游乐游手机版
首页/AI热点日报/热点详情

清华系团队是石科技发布国产Token优化工厂Vectron 日吞吐千亿Token兼容十余种芯片

类型:热点整理2026-07-18
是石科技发布国产Token优化工厂Vectron,兼容昇腾等10余种国产芯片,实现异构算力统一调度与推理加速,日吞吐量达千亿Token,通过KVCache压缩、全模态Token压缩等技术提升算力效率,推动AI基础设施从算力规模竞赛转向效率竞赛。

AI基础设施领域的竞争正经历一场深刻转型,从最初比拼算力规模的“上半场”,转向更考验系统优化能力的“下半场”。核心问题不再是拥有多少张显卡,而是如何将每一份算力高效、稳定地转化为可用的Token。在WAIC 2026上,是石科技发布的“拓元(Vectron)”产品,正是针对这一核心痛点给出的系统性解决方案,旨在成为中国AI产业的“Token优化工厂”。

算力浪费的现状与效率竞赛的开启

中国已建设超过50个智算中心,智能算力总规模突破1000 EFLOPS。然而,巨大的算力规模背后,是普遍存在的算力浪费问题。算力中心的平均利用效率远未达到理想状态,算不快、长上下文响应下降等现象成为常态。

“大量算力正在被浪费,算不快、长上下文多模态响应下降,是普遍现象。”是石科技创始人兼董事长闫博文在发布会上指出。他指出,算力基础设施建设提速的同时,如何进一步释放算力价值成为关键。据估算,“十五五”期间,中国算力产业总投资预计达到7万亿元。如果算力利用效率能够提升十到二十个百分点,将释放出万亿级的价值空间,让各行各业以更低的成本拥抱AI。

这不仅意味着更低的成本,更预示着AI基础设施的竞争焦点,正从“算力规模竞赛”转向“算力效率竞赛”。未来AI基础设施的关键,不再只取决于芯片数量,而是能否将芯片、互联、内存、散热、调度与软件栈整合为稳定可用的大规模系统。

WAIC 2026是石科技创始人兼董事长闫博文新品发布现场

拓元(Vectron):国产Token优化工厂

面对算力效率难题,是石科技推出了拓元(Vectron),这是一套完整的AI Infra优化体系,而非单一工具或模型。它旨在解决以下具体痛点:

  • 异构算力难以统一调度
  • 大模型推理缺乏深度优化
  • 长上下文导致显存与成本压力骤增
  • 国产芯片生态适配成本高昂

为了解决这些问题,拓元从四个层面进行优化:

  • 任务自适应优化:依托请求画像匹配最优计算链路,算力按需分配,减少资源浪费。
  • 算子库优化:硬件专属算子融合编译,充分释放芯片极限算力,让每颗国产芯片从“能用”变成“被榨出最优性能”。
  • 模型与推理框架优化:兼容主流国产芯片与大模型,异构深度调优,提升业务并发量。
  • 异构集群调度:破除跨地域、多芯片算力孤岛,统一纳管调度,盘活闲置算力。

根据介绍,拓元全面兼容昇腾、昆仑芯、天数智芯、太初、瀚博半导体、摩尔线程、沐曦、燧原等10余种国产算力芯片,适配20余个主流模型,实现国产异构算力池的统一调度与推理加速,每日Token吞吐量达千亿级别。

是石科技国产Token优化工厂“拓元”Vectron产品亮点

核心技术突破:将算力“榨”到极致

发布会上,闫博文重点介绍了拓元多项核心技术突破,每一项都直指企业使用大模型过程中的真实痛点。

KV Cache压缩:让长文本不再烧钱

当上下文变长时,显存压力急剧攀升。传统方法依赖输入阶段判断信息价值,但在真实业务中,模型需要关注的往往是动态变化的。拓元的结果感知驱动KV Cache压缩技术,可以在不牺牲模型效果的前提下,显著压缩KV Cache、降低显存压力,让长文本、大规模AI应用能够经济地运行。

全模态推理的Token压缩:让AI学会抓重点

在大模型运行过程中,并非所有信息都具有同等价值。如何保留关键Token、减少无效计算是效率提升的核心。拓元提出了基于模态自适应的免训练Token压缩方法,针对文本、视频、语音等不同输入,实现精准的信息筛选,让AI用更少计算完成更复杂任务。

长上下文优化:百万级信息的高效处理

企业知识库、智能助手等场景要求模型具备超长记忆能力。拓元通过混合位置索引合成的长上下文偏好训练方法,以及记忆引导的重读机制,在远小于同类方法的训练数据量下实现了显著效果提升。

可靠深度推理:让AI学会自我优化

传统大模型部署后,需要大量人工反馈来持续优化。拓元提出的“基于元奖励的可扩展奖励建模方法”,使得系统能够理解企业标准,在复杂业务场景中持续输出稳定、可靠、符合要求的结果,降低了落地成本。

智能体长程任务记忆机制:确保稳定执行

智能体在执行长程检索任务时,有时会因无法判断缺失信息而产生负面影响。拓元明确了以目标为导向的信息记忆策略,突破了稀疏信息难监测、长程建模受限、注意力机制二次复杂度开销大等难题,实现了更低训练成本、更高上下文理解能力和更强复杂推理能力。

我们希望AI不只是能够回答问题,而是能真正理解复杂世界。

是石科技国产Token优化工厂“拓元”Vectron产品亮点

从技术到产品:是石科技的商业化跳跃

是石科技成立于2021年,创始团队源自清华大学计算机系,具备国家级计算中心工程化经验。闫博文本人是清华大学航院博士、计算机系博士后,核心成员由高性能计算、人工智能等领域的资深专家,以及清华大学、北京大学、北京航空航天大学等重点高校学者组成。过去几年,公司已服务超过200家重点客户,覆盖互联网大厂、头部大模型公司、航空航天、生物制药、新能源等行业。

是石科技创始人兼董事长闫博文

拓元的发布,将这些领先的技术能力凝结成一个商业化和标准化的产品。正如闫博文在发布会上强调的:

技术创新的最终目的,不是停留在实验室,而是创造产业价值。

在国产芯片生态日趋成熟的背景下,拓元这样的“中间件”平台,通过统一管理异构资源、屏蔽底层差异,成为国产算力生态走向“好用”的关键拼图。它标志着是石科技从算力服务向Token服务的商业化新空间的开启。

来源:https://www.aitntnews.com/newDetail.html?newId=27351

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。