游乐游手机版
首页/科技数码/文章详情

华为SINQ技术开源落地,一张4090显卡即可流畅运行大模型

时间:2025-10-06 19:29
10月5日消息,据报道,华为苏黎世的实验室发布了一种新的开源量化方法,可在不牺牲大模型输出质量的情况下,减少显存需求。该技术名为 SINQ(Sinkhorn-Normalized Quantizat

10月5日最新动态显示,华为瑞士苏黎世研发中心推出了一项突破性开源量化技术,这项创新能在保持大语言模型输出质量的前提下,显著降低显存占用需求。

这项名为SINQ(Sinkhorn归一化量化)的前沿技术已在GitHub和Hugging Face平台开源,使用Apache 2.0许可协议,企业及研究机构可自由使用、修改并进行商业应用部署。

华为发布开源技术SINQ:可大幅降低大模型硬件需求!一张4090就能跑

SINQ技术的最大亮点在于:无需耗时校准、部署便捷且能无缝融入现有模型工作流程。其实验数据显示,根据不同模型结构和位宽设置,可将显存占用降低60%-70%之多。

效果对比尤为惊人:原本需要配备60GB以上显存的模型任务,现在仅需约20GB显存即可流畅运行。这意味着过去必须依赖A100或H100等企业级GPU的场景,现在使用更具性价比的家用级RTX 4090显卡就能胜任。

目前该技术已在Qwen3系列、LLaMA和DeepSeek等多个主流模型架构上完成验证测试,在WikiText2、C4等基准测试中表现出优异的困惑度降低效果,同时有效控制了结果反转率。

特别值得一提的是,SINQ不仅支持NF4等非均匀量化方案,还能与AWQ等校准方法协同使用,使量化后的模型表现更接近全精度版本的输出质量。

在运行效率方面,实测数据显示:SINQ的量化速度较HQQ提升约2倍,相比AWQ更是快了30倍有余,这对量化时效性要求严格的研究场景和实际生产环境来说极具吸引力。

华为发布开源技术SINQ:可大幅降低大模型硬件需求!一张4090就能跑

来源:https://m.mydrivers.com/newsview/1078608.html
上一篇赛力斯加速24款问界M9硬件升级,首批改款车型已下线 下一篇鸿蒙智行国庆销量24600台,四天订单创新高
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
OpenClaw手机App上线,结果翻车了
科技数码 · 2026-07-01

OpenClaw手机App上线,结果翻车了

OpenClaw 官方宣布,已正式推出 iOS 和 Android 原生移动 App,用户如今可以在手机上使用这款主打“能真正帮你做事”的个人 AI 助手。官方在 X 上给出的定位也很直接:把 Agent 放进口袋里,让用户可以在移动端处理频道消息、任务和回复。从功能上看,OpenClaw 移动端并

优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5