新浪科技訊 10月13日下午消息，首次螞蟻集團正式開源業(yè)界首個高性能擴散語言模型推理框架dInfer。歸模個高 據(jù)介紹，型螞性在基準測試中，蟻集源業(yè)語dInfer將擴散語言模型的團開推理推理速度相比于英偉達擴散模型框架Fast-dLLM提升了10.7倍；在代碼生成任務HumanEval上，dInfer在單批次推理中創(chuàng)造了1011Tokens/秒的內首速度，首次在開源社區(qū)中實現(xiàn)擴散語言模型的擴散框架單批次推理速度顯著超越自回歸模型。dInfer的模型工作表明，擴散語言模型具備顯著的首次效率潛力，可以通過系統(tǒng)性的歸模個高創(chuàng)新工程兌現(xiàn)，為通往AGI的型螞性架構路徑提供極具競爭力的選項。 在配備8塊NVIDIA H800 GPU的蟻集源業(yè)語節(jié)點上，dInfer的團開推理性能表現(xiàn)令人矚目： 在與先前的dLLM推理方案Fast-dLLM的對比中，dInfer在模型效果持平的內首情況下，平均推理速度（avg TPS）實現(xiàn)了10.7倍的擴散框架巨大提升（681 vs 63.6） ；在代碼生成任務HumanEval上，dInfer在單批次推理中創(chuàng)造了1011 tokens/秒的速度 ；與在業(yè)界頂尖的推理服務框架vLLM上運行的、參數(shù)量和性能相當?shù)腁R模型Qwen2.5-3B相比，dInfer的平均推理速度是其2.5倍（681 vs 277） 。 螞蟻集團表示，dInfer連接了前沿研究與產(chǎn)業(yè)落地，標志著擴散語言模型從“理論可行”邁向“實踐高效”的關鍵一步。此次開預案，也是誠邀全球的開發(fā)者與研究者共同探索擴散語言模型的巨大潛能，構建更加高效、開放的AI新生態(tài)。 |