首页 游戏 软件 资讯 排行榜 专题
首页
AI
华为SINQ AI量化技术开源:RTX4090效率媲美A100,显存省70%

华为SINQ AI量化技术开源:RTX4090效率媲美A100,显存省70%

热心网友
17
转载
2025-10-07

华为发布革命性量化技术 SINQ,大模型部署成本骤降70%

华为苏黎世计算系统实验室近期公布了名为SINQ(Sinkhorn归一化量化)的开源量化技术。这项突破性创新专为解决大语言模型(LLM)高额显存需求而设计,已于9月26日以Apache 2.0许可证在GitHub和Hugging Face平台开源。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

与传统量化方案不同,SINQ最大的特点是跳过了复杂的校准步骤,可以无缝接入现有工作流程。实验室测试数据显示,该技术能使各类规模模型的显存占用降低60%-70%之多,让需要60GB显存的大型模型现在仅需20GB的环境就能运行。

\

两大核心技术革新带来性能飞跃

SINQ的成功源于两项关键技术突破:首先是"双轴采样"方法,通过为矩阵行列分别设置独立的缩放向量,替代了传统的单尺度量化方式。这种设计大大提升了量化误差分布的灵活性,显著减少异常值的影响。

\

另一项创新是基于Sinkhorn迭代的快速归一化算法。该算法能够平衡矩阵行列的标准差,有效缓解量化过程中的"矩阵不平衡"问题,从而保持模型精度。

\

性能表现远超主流方案

在最新基准测试中,SINQ在Qwen3、LLaMA等多个人气模型上都展现出显著优势。WikiText2等标准测试集的结果表明,它不仅大幅超越RTN、HQQ等免校准方法,甚至达到了需要数据校准方案的水平。

\

更令人惊喜的是,SINQ的处理速度极为出色:相比HQQ提速2倍,比AWQ更是快了30多倍。这意味着企业现在只需1600美元的RTX 4090显卡就能完成过去需要高端企业级GPU(如A100 80GB或H100)才能胜任的计算任务。

来源:https://www.ithome.com/0/887/680.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

问界M8 Max增程版上市,36.98万元起售
编程语言
问界M8 Max增程版上市,36.98万元起售

网易汽车3月25日报道鸿蒙智行旗下家庭智慧旗舰SUV问界M8正式发布年度焕新版本,核心升级集中在智能驾驶感知硬件、外观配色及续航版本,同步推出问界M8 Max增程长续航版,最新起售价36 98万元,

热心网友
04.01
华为千亿研发投入的新高地:押注哪些前沿技术?
科技数码
华为千亿研发投入的新高地:押注哪些前沿技术?

“关山初度尘未洗,策马扬鞭再奋蹄。”在最新披露的2025年经营情况中,华为以一句略带进取意味的表述,为这一年的经营状态定调。3月31日晚间,华为在正式对外发布了2025年整体业绩情况。数据显示,20

热心网友
04.01
OPPO新机4月21日发布,全家桶与友商或同日亮相
网络安全
OPPO新机4月21日发布,全家桶与友商或同日亮相

4月21日OPPO将联合哈苏举办一场影像新品发布会,其中Find X9 Ultra和Find X9s Pro两款旗舰同台亮相,Pad Mini、Watch X3 Mini、Enco Clip2等新品

热心网友
04.01
华为WatchBuds 2四月上市,手表与耳机迎全面升级
礼仪与书信
华为WatchBuds 2四月上市,手表与耳机迎全面升级

【CNMO科技消息】4月1日,有数码博主爆料称,华为WatchBuds2将于本月正式上市。作为华为首款智能手表与无线耳机二合一产品的迭代款,WatchBuds2在延续创新设计的同时,对耳机与手表功能

热心网友
04.01
华为鸿蒙版龙虾/YU7+GT实车曝光,苹果拟用长江存储
网络安全
华为鸿蒙版龙虾/YU7+GT实车曝光,苹果拟用长江存储

今日要闻速览1、苹果拟引入长江存储为国行iPhone供货,破解韩系垄断2、TCL 与索尼收购案落地,成立合资公司 Bravia Inc3、华为鸿蒙手机能养龙虾了!小艺 Claw 开启众测4、Clau

热心网友
04.01

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

卡达诺2030蓝图发布:莱奥斯升级引领网络进化
web3.0
卡达诺2030蓝图发布:莱奥斯升级引领网络进化

卡达诺生态的下一站:从研发深水区驶向规模化蓝海 区块链世界从不缺少雄心,但能将蓝图一步步变为现实的玩家却不多。近期,卡达诺核心开发团队Input Output Global(IOG)发布了一份面向2030年的网络可扩展性战略,目标明确:将网络每月交易处理能力从当前的80万笔,大幅提升至2700万笔。

热心网友
04.27
企业加密货币wallet是什么?热wallet与冷wallet如何选择?
web3.0
企业加密货币wallet是什么?热wallet与冷wallet如何选择?

企业加密货币钱&包:在便捷与安全之间找到你的平衡点 数字化浪潮下,企业如何安全、高效地管理数字资产,成了一个绕不开的核心议题。企业加密货币钱&包,正是为此而生的专业工具。它远不止一个存储地址那么简单,更是集成了多用户权限、交易审批、财务系统对接等企业级功能的管理中枢。简单来说,它的核心任务就两个:安

热心网友
04.27
PhpStorm配置GitHub Copilot_AI辅助编程插件安装与使用
编程语言
PhpStorm配置GitHub Copilot_AI辅助编程插件安装与使用

PhpStorm配置GitHub Copilot:AI辅助编程插件安装与使用 PhpStorm里装不上GitHub Copilot?先确认IDE版本和插件源 如果你在PhpStorm里死活装不上GitHub Copilot,问题大概率出在版本上。一个关键前提是:PhpStorm 2023 3及之后的

热心网友
04.27
Notepad++宏功能怎么录制_Notepad++自动执行重复操作技巧
编程语言
Notepad++宏功能怎么录制_Notepad++自动执行重复操作技巧

Notepad++宏录制需先打开文档(如Ctrl+N新建标签),否则按钮灰色禁用;仅捕获键盘操作与部分菜单命令,不支持鼠标、对话框交互;录制后须手动导出XML保存,否则重启丢失。 怎么开始录制宏却没反应? 很多朋友第一次用Notepad++的宏功能,都会遇到一个经典问题:那个“开始录制”的按钮,怎么

热心网友
04.27
ORDI价格预测2026-2030:是否会实现百倍增长?
web3.0
ORDI价格预测2026-2030:是否会实现百倍增长?

Ordinals (ORDI) 深度展望:2026-2030,百倍增长是神话还是可期的未来? 加密货币市场从不缺少惊喜,而Ordinals协议及其原生代币ORDI的异军突起,无疑是近年来最引人注目的叙事之一。这项技术巧妙地将数据“铭刻”在比特币的最小单位——“聪”上,硬生生在价值存储的基石上,开辟出

热心网友
04.27