首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验

Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验

热心网友
91
转载
2026-02-21

IT之家2月21日消息,科技媒体Wccftech昨日(2月20日)发布文章称,AI芯片初创公司Taalas针对大模型面临的延迟与成本问题,推出了一项名为“硬连线”的技术,能够将AI模型直接固化在硅芯片内部。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

在当前日趋激烈的AI算力竞赛中,延迟已成为制约智能体应用发展的核心瓶颈。不同于Cerebras或Groq通过集成SRAM进行加速的方案,成立仅两年半的Taalas选择了一条更为激进的专用集成电路路线。

据IT之家引述报道介绍,该公司研发了一个可将任意AI模型转化为定制硅片的技术平台,其核心理念在于“融合计算与存储”,能够将特定大语言模型的神经网络直接映射到硅片电路中,在DRAM级密度下完成所有计算。

这种设计完全摒弃了高带宽内存、复杂封装以及昂贵的散热系统,从物理层面消除了数据传传输中“内存墙”的障碍。

Taalas已展示了其首款产品HC1,该芯片专为Meta的Llama 3.1 8B模型设计。从技术规格来看,HC1采用台积电6纳米工艺制造,芯片面积高达815平方毫米,这一尺寸与英伟达的H100相当。

Taalas的在线聊天机器人演示在EE Times试用时达到了每秒15000个以上的令牌处理速度,但公司表示,在内部测试的某些条件下,速度已接近每秒17000个令牌。

然而,巨大的芯片面积仅容纳了80亿参数的模型,这与当前前沿的万亿参数模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高,但HC1的性能表现极具颠覆性。最新数据显示,相比现有的高端算力基础设施,Taalas方案实现了每秒令牌生成数量提升10倍的飞跃,同时生产成本降至原有方案的二十分之一。

为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中,通过30片芯片的集群配置,实现了高达每秒每位用户12000个令牌的吞吐速度。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。

每秒令牌生成数是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单元。这好比打字员的打字速度,该数值越高,AI回复就越快,用户等待时间就越短。

有媒体指出,Taalas的技术路线虽然诱人,但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片中,芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本购买专用硬件,一旦算法迭代更新,硬件可能面临淘汰风险。

来源:https://www.163.com/dy/article/KM9HSJ5U0511B8LM.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

美的集团AI研究中心让AI读X光片的速度快了8倍,还更准确
科技数码
美的集团AI研究中心让AI读X光片的速度快了8倍,还更准确

这项研究来自美的集团AI研究中心(AIRC)与北京交通大学、大连理工大学的联合团队,论文于2026年4月10日挂载于预印本平台arXiv,编号为arXiv:2604 09450v1。对技术细节感兴趣的读者,可以通过这个编号查阅完整论文。 一个放射科医生的日常困境 想象一下,一位放射科医生每天早晨面对

热心网友
04.21
美媒:科学家发现大米奇异特性,并将它们转化为智能材料
科技数码
美媒:科学家发现大米奇异特性,并将它们转化为智能材料

来源:环球时报美国《科学日报》 4月4日文章,原题:科学家发现大米的奇异特性,并将它们转化为智能材料 近日,在一项发表在美国学术期刊《物质》上的研究中,英国伯明翰大学牵头的国际团队发现,紧密堆积的

热心网友
04.07
用PCIe 4.0的价格就能买到PCIe 5.0 SSD!铠侠EXCERIA G3 SSD评测:性能优秀温控一流 PCIe 5.0 SSD普及有望
娱乐
用PCIe 4.0的价格就能买到PCIe 5.0 SSD!铠侠EXCERIA G3 SSD评测:性能优秀温控一流 PCIe 5.0 SSD普及有望

一、前言:PCIe 5 0 SSD今年能普及吗?去年年底,我们还满心期待 2026 会是 PCIe 5 0 SSD 真正普及的一年。可谁也没想到,AI 引发的这轮半导体风暴,直接让存储市场的价格全线

热心网友
04.01
印度院校实现智能内存控制器,优化系统卡顿与功耗表现
科技数码
印度院校实现智能内存控制器,优化系统卡顿与功耗表现

这项由印度萨蒂亚赛巴巴高等学习学院联合印度理工学院罗帕尔分校和红帽公司共同完成的研究发表于2026年3月的arXiv预印本平台,编号为arXiv:2603 17309v1。有兴趣深入了解的读者可以通

热心网友
03.31
假SSD泛滥:实测读写7255MB/s,容量与大文件拷贝测试
娱乐
假SSD泛滥:实测读写7255MB/s,容量与大文件拷贝测试

快科技3月29日消息,据日本AKIBA PC Hotline报道,市面上出现了一批仿真度极高的假冒三星990 PRO SSD。其包装、标签几乎与正品无异,甚至能被Windows和CrystalDis

热心网友
03.30

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

PromptLayer
AI
PromptLayer

PromptLayer是什么 如果说构建AI应用是一场精巧的协作工程,那么Prompt(提示词)往往是其中最关键的“暗物质”。它决定了模型输出的质量,却常常散落在代码的各个角落,难以管理。PromptLayer的出现,就是专门为了解决这个痛点而生。它是一款专为Prompt工程设计的AI工具,核心目标

热心网友
04.24
Automix AI
AI
Automix AI

Automix AI是什么 在当下的就业市场,一份出色的简历和从容的面试表现,几乎成了每个求职者的“硬通货”。而这就引出了我们今天的主角——Automix AI。简单来说,这是一款由Automix团队精心打造的AI智能工具,它的核心使命就是帮助求职者打磨简历、锤炼面试技巧,从而在激烈竞争中脱颖而出。

热心网友
04.24
ProMind AI
AI
ProMind AI

ProMind AI是什么 在众多AI工具中,有一款产品正悄然成为专业工作者的得力搭档——它就是ProMind AI。简单来说,这是一款专为“效率”而生的AI助手,目标直指需要应对高复杂度任务的专业人群,比如内容创作者、营销人、工程师和产品经理。它的核心使命很明确:帮你把想法快速落地,无论是生成一段

热心网友
04.24
伊朗副总统称将严厉回击对伊朗能源设施的袭击
web3.0
伊朗副总统称将严厉回击对伊朗能源设施的袭击

伊朗副总统警告:任何对伊能源设施的袭击将招致严厉升级回击 4月24日,伊朗方面释放了明确且强硬的信号。副总统伊斯梅尔·萨加布·伊斯法哈尼公开表示,伊朗已准备好严厉回击任何针对其能源设施的袭击。这番话,无疑给当前紧张的地区局势又增添了一层清晰的注脚。 在伊朗埃斯拉姆沙赫尔举行的一次集会上,伊斯法哈尼的

热心网友
04.24
WriteCap
AI
WriteCap

WriteCap是什么 如果创作社交媒体内容时,你曾为想一句点睛的配文而绞尽脑汁,那么你对WriteCap的出现可能就不会感到陌生。简单来说,这是一款专门为解此困境而生的AI工具。它背后的开发团队,瞄准的正是社交媒体内容创作者、品牌营销人员乃至普通用户的日常痛点——如何让每一段分享都更抓人眼球。它的

热心网友
04.24