首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
MIT与英伟达开发TLT技术:大模型训练效率提升210%

MIT与英伟达开发TLT技术:大模型训练效率提升210%

热心网友
57
转载
2026-02-28

IT之家2月28日消息,麻省理工学院新闻网站于2月26日发布研究动态,披露该校联合英伟达等科研机构推出名为“驯服长尾”(TLT)的创新技术,该技术能显著提升大语言模型(LLM)在强化学习训练中的效率表现。

据IT之家引述论文内容指出,大模型擅长通过分步推理处理复杂问题,但在强化学习(RL)训练流程中,其计算资源与能源消耗往往极为庞大。

研究团队发现,生成多个备选答案的“推演”阶段占据了高达85%的训练时长。由于不同处理器生成回复的文本长度存在差异,处理速度较快的处理器常被迫闲置,需要等待其他处理器完成长文本任务,由此形成严重的效率瓶颈。

为解决这一痛点,麻省理工学院研究人员联合英伟达、苏黎世联邦理工学院等机构,共同提出名为“驯服长尾(TLT)”的自适应解决方案。


该方案的核心在于创新性地运用“投机解码”技术,通过训练一个轻量级的“草稿模型”快速预测大模型的未来输出,再由大模型批量验证这些预测结果。这种机制使得大模型无需逐词顺序生成内容,从而大幅加快了整体处理速度。



传统投机解码方案中,草稿模型通常仅训练一次并保持静态参数。但在强化学习场景下,主模型需要经历数千次迭代更新,静态草稿模型会迅速失效。


为此,TLT系统引入了“自适应草稿训练器”。当部分处理器完成短查询任务进入闲置状态时,系统会立即调度它们实时训练草稿模型。同时,“自适应推演引擎”会根据工作负载特征自动调整解码策略,确保草稿模型始终与目标大模型保持高度同步,且不产生额外计算开销。


基于真实世界数据集的测试表明,TLT技术在完全保持模型准确率的前提下,将多个推理大语言模型的训练速度提升了70%至210%。


值得一提的是,训练得到的轻量级草稿模型还可作为免费副产品,直接用于后期的高效部署。研究团队计划将该技术融入更多训练与推理框架,进一步降低AI开发成本并提升能源利用效率。


参考文献

来源:https://www.163.com/dy/article/KMRLICC60511B8LM.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

搜索成本仅为推理十分之一却鲜为人知的行业真相
科技数码
搜索成本仅为推理十分之一却鲜为人知的行业真相

OpenClaw的爆火,让众多AI应用开发者第一次直面了高昂的Token账单——一个用户请求可能触发多轮工具调用,每次调用都携带超长上下文,实际的API成本远超预期,甚至可能达到订阅费用的数十倍。如何有效控制Token成本,正成为AI Agent开发者面临的核心挑战与增长瓶颈。 这显然不是可持续的商

热心网友
05.12
EPFL等机构发现大语言模型的内部思维与人类创造性大脑高度同步
科技数码
EPFL等机构发现大语言模型的内部思维与人类创造性大脑高度同步

这项由瑞士洛桑联邦理工学院(EPFL)、意大利卢加诺大学(USI)、韦斯利安大学、巴黎脑研究所(ICM)以及宾夕法尼亚州立大学联合开展的研究,以预印本形式发布于2026年4月,论文编号为arXiv:2604 03480。对这一交叉领域感兴趣的读者,可以通过该编号在arXiv平台上查阅完整原文。 一、

热心网友
04.22
摩尔线程完成智谱GLM-5.1适配
科技数码
摩尔线程完成智谱GLM-5.1适配

北京商报讯(记者 陶凤 王天逸) 人工智能领域又传来一条振奋人心的消息。4月8日,摩尔线程正式宣布,其旗舰级AI训推一体全功能GPU——MTT S5000,已经成功完成了对智谱新一代旗舰模型GLM-5 1的Day-0极速适配。这意味着,推理部署与训练复现的全部流程,现在都能在这条国产算力路径上获得支

热心网友
04.15
如何利用SQL进行推理
数据库
如何利用SQL进行推理

如何用SQL求解逻辑推理题:经典楼层分配谜题实战 今天我们来探讨一个非常有趣的技术应用:使用SQL来求解逻辑推理题。这听起来或许有些大材小用,但正是这种跨界应用,充分展现了SQL语言的强大灵活性以及开发者分析问题的思维能力。我们将以一个经典的五人楼层分配谜题作为案例,逐步拆解如何用纯粹的SQL找到答

热心网友
04.14
AI看图能力真伪探秘:它是否真是编出来的?
科技数码
AI看图能力真伪探秘:它是否真是编出来的?

一个学生忽视了一行代码,结果发现了一件很不对劲的事:在一个多模态医学AI项目中,这行代码原本负责让模型读取图像数据。但因为这次疏忽,模型实际上完全没有看到任何图片。按理说系统应该报错,或者至少拒绝回

热心网友
04.01

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

英特尔酷睿Ultra游戏本性能解析:AI加持下的全新体验
AI
英特尔酷睿Ultra游戏本性能解析:AI加持下的全新体验

根据Gartner最新市场报告,2025年全球PC出货量突破2 7亿台,同比增长9 1%。在人工智能技术浪潮与AI PC算力升级需求的双重驱动下,整个PC行业正迈入一个全新的增长周期。作为细分市场的重要力量,游戏笔记本电脑也迎来了关乎性能、体验与场景定义的关键换代节点。 回顾行业发展,英特尔于202

热心网友
05.15
TUSD稳定币详解:TrueUSD项目背景、主要用途与投资风险全解析
web3.0
TUSD稳定币详解:TrueUSD项目背景、主要用途与投资风险全解析

TUSD是一种与美元1:1锚定的合规稳定币,由TrustToken团队推出。它通过第三方机构定期审计和银行账户托管确保透明度,旨在提供可靠的数字美元解决方案。其用途涵盖交易、支付、DeFi及跨境结算,但用户仍需关注其中心化托管、监管变化及智能合约安全等潜在风险。

热心网友
05.15
OpenClaw Peekaboo v3发布:机器人视觉抓取技术实现一日三更
AI
OpenClaw Peekaboo v3发布:机器人视觉抓取技术实现一日三更

OpenClaw 生态中那个关键的“眼睛”和“手”——Peekaboo v3,正式回归了。这不仅是一次版本更新,更像是一次关键的“补完”。它让 AI 不再只是停留在聊天框里给出建议,而是真正获得了观察屏幕、点击按钮、操作真实桌面的能力。 过去几个月,OpenClaw 的热度经历了一个典型的周期:从概

热心网友
05.15
微信小程序找个球全关卡通关攻略图文详解
游戏攻略
微信小程序找个球全关卡通关攻略图文详解

微信小游戏《找个球》,玩的就是眼力。每张看似相同的图片里,都藏着好几处“破绽”——有的明显,有的则隐蔽得让人抓狂。从简单的卧室场景,到复杂的宴会、雨夜,关卡越往后,画面细节越多,挑战也越大。想通关?秘诀就一个:沉住气,从左到右,一寸一寸地对比。 为了方便大家攻克难关,这里整理了一份全关卡通关攻略图合

热心网友
05.15
找个球第10关怎么过 图文通关步骤详解
游戏攻略
找个球第10关怎么过 图文通关步骤详解

《找个球》第10关攻略详解:如何快速找出15处不同?本关场景围绕经典角色“嬛嬛”与“大胖橘”展开,挑战在于发现两幅图片间的细微差别。这些差异点主要隐藏在人物的发饰造型、衣领褶皱、服饰花纹等细节处。同时,背景中的花草形态、秋千绳索乃至庭院摆设也可能存在巧妙改动。想要高效通关,建议玩家采用分区对比法,先

热心网友
05.15