首次超越自回归模型！蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
新浪科技讯 10月13日下午消息，首次蚂蚁集团正式开源业界首个高性能扩散语言模型推理框架dInfer。归模个高
据介绍，型蚂性在基准测试中，蚁集源业语dInfer将扩散语言模型的团开推理推理速度相比于英伟达扩散模型框架Fast-dLLM提升了10.7倍；在代码生成任务HumanEval上，dInfer在单批次推理中创造了1011Tokens/秒的内首速度，首次在开源社区中实现扩散语言模型的扩散框架单批次推理速度显著超越自回归模型。dInfer的模型工作表明，扩散语言模型具备显著的首次效率潜力，可以通过系统性的归模个高创新工程兑现，为通往AGI的型蚂性架构路径提供极具竞争力的选项。
在配备8块NVIDIA H800 GPU的蚁集源业语节点上，dInfer的团开推理性能表现令人瞩目：
在与先前的dLLM推理方案Fast-dLLM的对比中，dInfer在模型效果持平的内首情况下，平均推理速度（avg TPS）实现了10.7倍的扩散框架巨大提升（681 vs 63.6） ；在代码生成任务HumanEval上，dInfer在单批次推理中创造了1011 tokens/秒的速度 ；与在业界顶尖的推理服务框架vLLM上运行的、参数量和性能相当的AR模型Qwen2.5-3B相比，dInfer的平均推理速度是其2.5倍（681 vs 277） 。
蚂蚁集团表示，dInfer连接了前沿研究与产业落地，标志着扩散语言模型从“理论可行”迈向“实践高效”的关键一步。此次开预案，也是诚邀全球的开发者与研究者共同探索扩散语言模型的巨大潜能，构建更加高效、开放的AI新生态。
海量资讯、精准解读，尽在新浪财经APP 责任编辑：何俊熹
相关文章：
相关推荐：
- 欧预选前瞻：威尔士 VS 比利时
- a16z发布全球AI应用榜：美图秀秀、豆包、DeepSeek等22款中国产品入选
- 美图发布全能修复功能 覆盖演唱会、高糊图等场景
- 茶颜悦色回应联名手账本抄袭事件：确实存在部分未经授权的挪用
- Windows10明日正式停服！专家：5亿用户成“裸奔靶子”
- 抖音电商升级治理违规发货 清退违规商家超1000个
- 传祺向往S9开启预售：搭载华为乾崑智驾ADS 4，预售价25.99万元起
- 值得买科技发布2025年半年报：营业收入5.82亿元，净利润1269.26万元
- 图片报预测德国战北爱首发：维尔茨、阿德耶米等
- 歌手曾一鸣吐槽小米YU7车内有异味：一分钱一分货，理想MEGA就没有