Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验
IT之家2月21日消息,科技媒体Wccftech昨日(2月20日)发布文章称,AI芯片初创公司Taalas针对大模型面临的延迟与成本问题,推出了一项名为“硬连线”的技术,能够将AI模型直接固化在硅芯片内部。
在当前日趋激烈的AI算力竞赛中,延迟已成为制约智能体应用发展的核心瓶颈。不同于Cerebras或Groq通过集成SRAM进行加速的方案,成立仅两年半的Taalas选择了一条更为激进的专用集成电路路线。
据IT之家引述报道介绍,该公司研发了一个可将任意AI模型转化为定制硅片的技术平台,其核心理念在于“融合计算与存储”,能够将特定大语言模型的神经网络直接映射到硅片电路中,在DRAM级密度下完成所有计算。
这种设计完全摒弃了高带宽内存、复杂封装以及昂贵的散热系统,从物理层面消除了数据传传输中“内存墙”的障碍。
Taalas已展示了其首款产品HC1,该芯片专为Meta的Llama 3.1 8B模型设计。从技术规格来看,HC1采用台积电6纳米工艺制造,芯片面积高达815平方毫米,这一尺寸与英伟达的H100相当。
Taalas的在线聊天机器人演示在EE Times试用时达到了每秒15000个以上的令牌处理速度,但公司表示,在内部测试的某些条件下,速度已接近每秒17000个令牌。
然而,巨大的芯片面积仅容纳了80亿参数的模型,这与当前前沿的万亿参数模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。
尽管参数密度不高,但HC1的性能表现极具颠覆性。最新数据显示,相比现有的高端算力基础设施,Taalas方案实现了每秒令牌生成数量提升10倍的飞跃,同时生产成本降至原有方案的二十分之一。
为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中,通过30片芯片的集群配置,实现了高达每秒每位用户12000个令牌的吞吐速度。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。
每秒令牌生成数是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单元。这好比打字员的打字速度,该数值越高,AI回复就越快,用户等待时间就越短。
有媒体指出,Taalas的技术路线虽然诱人,但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片中,芯片一旦制造完成便无法更改模型参数。
这意味着客户必须为特定的模型版本购买专用硬件,一旦算法迭代更新,硬件可能面临淘汰风险。
相关攻略
这项研究来自美的集团AI研究中心(AIRC)与北京交通大学、大连理工大学的联合团队,论文于2026年4月10日挂载于预印本平台arXiv,编号为arXiv:2604 09450v1。对技术细节感兴趣的读者,可以通过这个编号查阅完整论文。 一个放射科医生的日常困境 想象一下,一位放射科医生每天早晨面对
来源:环球时报美国《科学日报》 4月4日文章,原题:科学家发现大米的奇异特性,并将它们转化为智能材料 近日,在一项发表在美国学术期刊《物质》上的研究中,英国伯明翰大学牵头的国际团队发现,紧密堆积的
一、前言:PCIe 5 0 SSD今年能普及吗?去年年底,我们还满心期待 2026 会是 PCIe 5 0 SSD 真正普及的一年。可谁也没想到,AI 引发的这轮半导体风暴,直接让存储市场的价格全线
这项由印度萨蒂亚赛巴巴高等学习学院联合印度理工学院罗帕尔分校和红帽公司共同完成的研究发表于2026年3月的arXiv预印本平台,编号为arXiv:2603 17309v1。有兴趣深入了解的读者可以通
快科技3月29日消息,据日本AKIBA PC Hotline报道,市面上出现了一批仿真度极高的假冒三星990 PRO SSD。其包装、标签几乎与正品无异,甚至能被Windows和CrystalDis
热门专题
热门推荐
备受瞩目的MG07,现已正式登陆工信部新车公告目录。这标志着,这款全新轿跑距离正式上市发售,又迈出了关键一步。 仅从外观设计审视,MG07便展现出令人过目不忘的视觉冲击力。其造型极具张力与未来感,辨识度极高。前脸配备的锐利修长大灯组,造型已接近高性能跑车的经典风格,视觉攻击性十足。车身侧面,流畅而舒
5月15日,彭博社的一则爆料,给硅谷的科技圈投下了一颗不大不小的石子。据知情人士透露,苹果与OpenAI那场曾被视为“天作之合”的战略联姻,在持续两年后正面临破裂危机。核心矛盾点在于,OpenAI方面认为商业回报远未达预期,甚至已开始考虑采取法律手段。 由于相关讨论尚未公开,消息人士要求匿名。他们指
XPL币是Plasma生态系统的原生代币,主要用于网络治理、交易费用支付和节点激励。Plasma项目旨在构建一个高效、可扩展的区块链基础设施,其技术背景涉及分片与Layer2解决方案。XPL币的使用场景覆盖了网络治理投票、Gas费抵扣、节点质押奖励以及生态内服务支付,其价值与Plasma网络的实际采用率和生态发展紧密相连。
OpenAI成立独立咨询公司DeployCo,并获40亿美元投资。新公司将通过派驻前线工程师和收购等方式,帮助企业部署AI应用。此举标志着其战略重心从研发转向大规模企业赋能,旨在弥合AI能力与企业实际应用之间的差距。面对万亿美元规模的系统集成市场,OpenAI将与现有咨询机构形成竞合关系。
5月13日,全球跑车行业迎来战略级转向:英国传奇性能品牌路特斯(Lotus)正式公布其“Focus 2030”全新战略规划。核心决策引发广泛关注——品牌宣布调整此前激进的全面电动化路线,重启燃油及混合动力跑车的研发,未来将采取燃油、混合动力与纯电动“三线并行”的产品发展路径。 路特斯集团首席执行官冯





