2025年10月14日,苹果公司与俄亥俄州立大学联合研发的新型语言模型技术引起广泛关注。这项名为"少步离散流匹配"(Few-Step Discrete Flow-Matching,简称FS-DFM)的技术突破,能够在保证文本生成质量的同时显著提升处理效率。
现有文本生成技术主要采用两种模式:自回归模型通过逐字预测确保稳定性,但生成速度较慢;扩散模型采用并行生成,通常需要上千次迭代才能获得理想效果,计算资源消耗较大。FS-DFM创新性地将生成过程压缩至仅需8轮迭代,输出质量却能达到传统方法经过大量迭代后的水准,大大缩短了生成响应时间。
该技术的核心优势在于优化了迭代机制。研发团队采用了三阶段训练方案:首先增强模型适应不同迭代次数的能力,提升灵活性;其次引入指导性"教师"模型,确保每次更新既有效又准确;最后优化调整路径,使每个步骤都能更精确地逼近预期结果。
实验数据表明,FS-DFM的生成速度比同类模型最快提升了128倍。虽然其参数规模仅在1.7亿到17亿之间,但在核心性能指标上表现突出。与参数更大的Dream(70亿)和LLaDA(80亿)等模型相比,FS-DFM的困惑度得分更低,说明其生成的文本更加准确流畅;同时在熵值控制方面也更稳定,既不会产生重复冗余,又能有效避免语义混乱。
这项技术突破为长文本高效生成开辟了新方向,展现出在实际应用中降低计算成本、提升响应速度的巨大潜力。
