游乐游手机版
首页/科技数码/文章详情

智辰半导体赋能企业Token工厂云端调用到本地生产落地

时间:2026-07-23 11:22
走进2026世界人工智能大会(WAIC 2026)的展馆,一个值得留意的细节是:越来越多的大模型不再只藏在云端控制台里,而是有了在现实中可以触摸的载体,并开始渗入具体的工作与生活场景。 联想展示的AI主机P7只有约300克,却能在断网环境下支持高达122B参数的本地模型推理;科大讯飞把大模型能力塞进

走进2026世界人工智能大会(WAIC 2026)的展馆,一个值得留意的细节是:越来越多的大模型不再只藏在云端控制台里,而是有了在现实中可以触摸的载体,并开始渗入具体的工作与生活场景。

联想展示的AI主机P7只有约300克,却能在断网环境下支持高达122B参数的本地模型推理;科大讯飞把大模型能力塞进了AI眼镜,用于实时翻译、信息查询和会议纪要;面壁智能与乐聚机器人带来的导览与巡检系统,拔掉网络后仍能依靠多模态模型和本地知识库完成讲解、问答与现场分析。面向“toB”用户,桌面级AI工作站、知识库一体机和AI NAS也开始集中间出现,把大模型、RAG、企业文档和本地算力带进了办公室与企业机房。



这些产品形态看似分散,实则回应着同一类需求:当AI从偶尔打开的应用,演变为持续参与工作和生活的工具,用户需要更及时、更稳定、更私密、也更可控的智能。云端依然提供最强的通用能力,但越来越多的高频任务,正在向端侧设备、边缘节点和企业本地迁移。相比前两年围绕模型参数和云端算力展开的竞赛,今年WAIC对AI落地的讨论,明显有了更具体的产品形态和业务抓手。

正是捕捉到这一产业变化,智辰半导体创始人兼CEO王孝斌在本届WAIC上首次公开提出了“企业Token工厂”的概念。在他看来,当AI从尝鲜工具进化为企业日常生产力,企业需要的已不只是一个按需调用的模型接口,而是一套能够在自身数据边界内,持续、经济、可控地生产有效Token的完整AI生产体系。

在这套体系中,高频、稳定、数据敏感和低时延的任务,可以更多地在本地运行;需要最强通用能力、超长上下文或低频复杂推理的任务,则可以交给云端。它的目标不是追求“所有模型都在本地跑”,而是让企业在自己的预算和数据隐私边界内,获得最高效的AI生产力。这意味着,企业Token工厂正在成为企业算力基础设施的新范式。

产品层面,智辰T系列从一开始就面向百亿至万亿参数模型部署进行设计,采用灵活可拓展的芯片互联架构,原生支持FP4至BF16等精度格式和各类先进算法,支持高速内存扩展至TB级。它可以覆盖AI PC、个人工作站、AI算力盒和企业边缘服务器等生产力场景,以及具身智能、车载智能、家庭智能等广泛场景。

企业市场,正在算两本账

端边侧的AI落地需求虽广,但付费意愿最明确的,是将AI用于实际生产场景的企业客户。AI Coding、知识库、企业RAG、多模态内容生产等应用,已在部分行业形成高频需求。只要有助于降本增效,企业就有动力持续投入。

问题在于,需求增长快,供给却没跟上。公有云API尚难以长期高频负载;高端GPU服务器性能强,但投入和运维门槛高;本地设备又难以承载大模型。芯片、模型、算力、存储之间,仍缺乏一体化组合。

先说经济账。IDC数据显示,中国MaaS市场的Token调用量,从2024年的114万亿,增至2026年预计的40,000万亿。企业评估的不再只是API单价,而是完成任务所需的总Token和有效产出。这种压力已经传导到企业内部AI预算侧——Uber四个月就用完了年度AI预算,Meta从鼓励使用Token到设置Token预算限制,腾讯也从6月起大幅收紧配额。企业AI规模化后,不可能再用“先用再说”的粗放模式。

再算安全账。AI进入生产系统后,需要连接代码库、知识库和业务数据,仅靠API接入难以理解企业上下文,数据安全问题随之凸显。Palantir CEO Alex Karp曾质疑,企业在付Token费用的同时,核心数据和业务逻辑正被模型厂商缓存,并用于训练或增强模型,长此以往将侵蚀企业的知识产权与行业优势。更值得警惕的是,模型厂商正从“赋能者”演变为“竞争者”。今年6月,苹果在印度的核心供应商塔塔电子确认遭遇网络攻击,苹果未发布的产品资料被大量公开。两起事件性质不同,却都在提醒企业:敏感数据一旦进入外部模型或协作链条,暴露面和治理难度就会上升。

成本与数据两本账说明,企业不能在“全部上云”和“全部本地”之间二选一,而需要一套能根据任务特征灵活配置算力、模型和数据边界的混合架构。

企业Token工厂,企业算力基础设施的新范式

在智辰看来,企业Token工厂不是把云端数据中心缩小后搬进企业机房,也不只是购买一台装有大模型的服务器。它应当以企业数据和业务流程为基础,把云侧大模型、本地大模型、企业微调模型、本地知识库、身份权限、工具调用和工作流连接起来,将算力持续转化为能够进入业务流程的有效Token。



传统AIDC首先解决算力资源的建设与供给,通常关注峰值FLOPS、TCO等指标;云侧Token工厂面向大规模用户,关注集群推理效率(TPS)、单位功耗推理效率(TPS/MW);而企业Token工厂面对更有限的预算和更复杂的上下文,除了单位功耗推理效率,还需要关注单位Capex推理效率(TPS/Capex)、单位Token推理成本(元/Token)。

模型的组织方式也不相同。传统AIDC更接近标准镜像和模型目录按需部署;云侧Token工厂通过模型路由与负载均衡,把请求分配给更合适的模型和服务器,以提高集群吞吐与利用率;企业Token工厂则需要把云侧大模型、本地大模型、企业微调模型和RAG知识库组合起来,在能力、数据边界和成本之间动态选择。

私有数据和本地模型,是企业Token工厂与云侧最本质的区别。传统AIDC主要承载通用存储与计算负载;云侧模型通常通过API与企业数据进行有限交互;而企业Token工厂可以在企业权限边界内,把私有数据、身份信息、权限、实时业务系统、模型和工作流深度连接,让AI真正参与跨部门、跨系统的完整流程。

算力基础设施也因此出现差异。云侧需要强互联、高并发和大规模集群吞吐,企业侧则更强调按照数据存储和算力需求精准配置,对内存容量、低功耗、初始投入和灵活扩展要求更高。两者都追求成本和效率,但云侧重视规模化生产,企业侧更强调在有限Capex投入和运营成本下,获得足够高的有效Token产出。

智辰半导体:从大芯片经验到万亿参数模型端侧推理

这意味着,面向企业Token工厂的算力底座,芯片能力的评价逻辑已经脱离了单纯堆峰值TOPS的传统竞赛。能否装下大参数模型、能否在企业场景下长期稳定运行、能否以高性价比持续输出有效Token,才是决定产品落地性的核心门槛。智辰半导体的核心能力,正是建立在对这些企业级真实需求的理解之上。

智辰的能力首先来自团队。公司创始人和核心成员均来自全球顶级芯片企业,长期参与AI NPU、通信基带、手机SoC等大型芯片研发,拥有多颗世界级大芯片从产品定义、架构设计到每年亿级量产交付,再到多次迭代的完整经验。端侧AI芯片解决方案,不只是计算单元设计,还要同时处理功耗、内存、封装、软件工具链、终端适配和规模化量产,商业化门槛极高。智辰团队具备跨越这一高门槛的实力。



在软件层面,智辰已完成全球主流模型的芯片适配工作,正在推进主流推理框架、应用生态和开发生态的支持,打造具有极致性能、开箱即用的软硬件方案。数据显示,在大量企业垂直场景中,T系列方案的单位功耗推理效率与推理成本等指标,相比全球领先方案具备接近一个数量级的优势。

对一家新锐芯片企业而言,下一步需要跟产业链合作伙伴共同合作,把技术优势和产品优势,逐步转化为对企业先进生产力的真正交付。

国产端侧AI芯片的新窗口

2026年是端侧AI规模化落地的元年。与集中式云侧市场相比,端侧算力具有场景分散、需求多样、功耗与成本约束差异明显等特点。AI PC、个人工作站、企业服务器、具身智能和汽车,各有不同的模型、内存、算力和功耗约束,没有一种芯片和一种系统形态能覆盖所有场景。这给国产芯片企业留下了新的市场空间。

智辰半导体以生产力场景为锚点,依靠灵活可拓展架构覆盖更广泛的需求。凭借顶尖技术团队和领先产品定义,智辰有望持续领跑端侧AI赛道。

从WAIC 2026的展台变化开始,端侧AI已经不再只是一个硬件概念。随着AI更深入地进入企业数据和工作流,算力正在从单一云端走向端侧设备、边缘服务器与智算中心共同参与的混合架构。未来AI基础设施竞争的胜负,不只看谁的算力卡更强,更看谁在真实场景中,能够以更可控的成本持续生产可计量的智能。

这是企业Token工厂带来的新命题,也是智辰开拓的新机会。

来源:https://www.163.com/dy/article/L2GTULCV0511RIVP.html
上一篇IMAX大战AI诺兰刚封神马斯克Grok重拍《奥德赛》 下一篇vivo闯关下半场:AI未热、机海瓶颈、渠道困境
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
罗福莉入选新一届35岁以下科技创新35人中国区名单
科技数码 · 2026-07-25

罗福莉入选新一届35岁以下科技创新35人中国区名单

2025年《麻省理工科技评论》“35岁以下科技创新35人”中国区名单在上海发布,罗福莉、姚顺宇等入选。罗福莉推动大模型从“能聊天”走向“能干活”,探索智能体演进;姚顺宇建立非厄米拓扑能带理论。本届AI+机器人领域入选者占四成。

美国科技巨头为AI投资年内裁员近14万人
科技数码 · 2026-07-25

美国科技巨头为AI投资年内裁员近14万人

美国科技巨头年内裁员近14万人,同时计划在AI基础设施上投入7250亿美元。裁员主要目的为AI投资腾出资金并纠正疫情期间过度招聘,市场对AI相关裁员反应负面,而AI初创公司正加速扩招,形成对比。

位AI Infra高管复盘WAIC:暴力美学触顶后求变?
科技数码 · 2026-07-25

位AI Infra高管复盘WAIC:暴力美学触顶后求变?

WAIC2026上,AIInfra行业关注点从算力规模转向推理效率与Token产出。Agent驱动Token消耗激增,AI工厂与Token工厂成为关键载体。效率竞争取代规模竞赛,玩家分层加速,具备全栈优化能力的头部厂商优势凸显。

显卡厂商封仓引发涨价 玩家面临高价购买
科技数码 · 2026-07-25

显卡厂商封仓引发涨价 玩家面临高价购买

显卡市场,恐怕又要迎来一波涨价潮了。过去两年,不少玩家咬咬牙买下的高价显卡,如今回头看,竟然成了抄底。但问题在于,硬件市场每一次涨价,最终买单的永远还是玩家。 业内消息显示,GDDR7显存价格出现了明显上涨,单颗2GB显存价格上涨接近20美元。按8GB显存规格计算,一张显卡的显存成本或将增加约542

OpenAI加入签署AI开源模型公开信,组织达35家
科技数码 · 2026-07-25

OpenAI加入签署AI开源模型公开信,组织达35家

7月25日,微软、英伟达等25家美国公司联署公开信支持开放权重AI模型,随后签署方增至35家,新增包括OpenAI等。开放权重模型可下载、修改、运行,能扩大创新、强化竞争并降低风险,避免AI收益集中于少数巨头。