游乐游手机版
首页/科技数码/文章详情

Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验

时间:2026-02-21 16:25
IT之家 2 月 21 日消息,科技媒体 Wccftech 昨日(2 月 20 日)发布博文,报道称 AI 芯片初创公司 Taalas 为解决大模型的延迟与成本难题,推出“硬连线”(Hard-wir

IT之家2月21日消息,科技媒体Wccftech昨日(2月20日)发布文章称,AI芯片初创公司Taalas针对大模型面临的延迟与成本问题,推出了一项名为“硬连线”的技术,能够将AI模型直接固化在硅芯片内部。

在当前日趋激烈的AI算力竞赛中,延迟已成为制约智能体应用发展的核心瓶颈。不同于Cerebras或Groq通过集成SRAM进行加速的方案,成立仅两年半的Taalas选择了一条更为激进的专用集成电路路线。

据IT之家引述报道介绍,该公司研发了一个可将任意AI模型转化为定制硅片的技术平台,其核心理念在于“融合计算与存储”,能够将特定大语言模型的神经网络直接映射到硅片电路中,在DRAM级密度下完成所有计算。

这种设计完全摒弃了高带宽内存、复杂封装以及昂贵的散热系统,从物理层面消除了数据传传输中“内存墙”的障碍。

Taalas已展示了其首款产品HC1,该芯片专为Meta的Llama 3.1 8B模型设计。从技术规格来看,HC1采用台积电6纳米工艺制造,芯片面积高达815平方毫米,这一尺寸与英伟达的H100相当。

Taalas的在线聊天机器人演示在EE Times试用时达到了每秒15000个以上的令牌处理速度,但公司表示,在内部测试的某些条件下,速度已接近每秒17000个令牌。

然而,巨大的芯片面积仅容纳了80亿参数的模型,这与当前前沿的万亿参数模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高,但HC1的性能表现极具颠覆性。最新数据显示,相比现有的高端算力基础设施,Taalas方案实现了每秒令牌生成数量提升10倍的飞跃,同时生产成本降至原有方案的二十分之一。

为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中,通过30片芯片的集群配置,实现了高达每秒每位用户12000个令牌的吞吐速度。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。

每秒令牌生成数是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单元。这好比打字员的打字速度,该数值越高,AI回复就越快,用户等待时间就越短。

有媒体指出,Taalas的技术路线虽然诱人,但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片中,芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本购买专用硬件,一旦算法迭代更新,硬件可能面临淘汰风险。

来源:https://www.163.com/dy/article/KM9HSJ5U0511B8LM.html
上一篇索菲特纳专访:为《古墓丽影》重塑形象进行一年特训 下一篇成都春节黑科技盘点:AI眼镜与萌宠伴侣引领潮流
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
OpenClaw手机App上线,结果翻车了
科技数码 · 2026-07-01

OpenClaw手机App上线,结果翻车了

OpenClaw 官方宣布,已正式推出 iOS 和 Android 原生移动 App,用户如今可以在手机上使用这款主打“能真正帮你做事”的个人 AI 助手。官方在 X 上给出的定位也很直接:把 Agent 放进口袋里,让用户可以在移动端处理频道消息、任务和回复。从功能上看,OpenClaw 移动端并

优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5