首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验

Taalas万tokens吞吐创纪录:DeepSeek R1集群实战极速体验

热心网友
47
转载
2026-02-21

IT之家2月21日消息,科技媒体Wccftech昨日(2月20日)发布文章称,AI芯片初创公司Taalas针对大模型面临的延迟与成本问题,推出了一项名为“硬连线”的技术,能够将AI模型直接固化在硅芯片内部。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

在当前日趋激烈的AI算力竞赛中,延迟已成为制约智能体应用发展的核心瓶颈。不同于Cerebras或Groq通过集成SRAM进行加速的方案,成立仅两年半的Taalas选择了一条更为激进的专用集成电路路线。

据IT之家引述报道介绍,该公司研发了一个可将任意AI模型转化为定制硅片的技术平台,其核心理念在于“融合计算与存储”,能够将特定大语言模型的神经网络直接映射到硅片电路中,在DRAM级密度下完成所有计算。

这种设计完全摒弃了高带宽内存、复杂封装以及昂贵的散热系统,从物理层面消除了数据传传输中“内存墙”的障碍。

Taalas已展示了其首款产品HC1,该芯片专为Meta的Llama 3.1 8B模型设计。从技术规格来看,HC1采用台积电6纳米工艺制造,芯片面积高达815平方毫米,这一尺寸与英伟达的H100相当。

Taalas的在线聊天机器人演示在EE Times试用时达到了每秒15000个以上的令牌处理速度,但公司表示,在内部测试的某些条件下,速度已接近每秒17000个令牌。

然而,巨大的芯片面积仅容纳了80亿参数的模型,这与当前前沿的万亿参数模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高,但HC1的性能表现极具颠覆性。最新数据显示,相比现有的高端算力基础设施,Taalas方案实现了每秒令牌生成数量提升10倍的飞跃,同时生产成本降至原有方案的二十分之一。

为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中,通过30片芯片的集群配置,实现了高达每秒每位用户12000个令牌的吞吐速度。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。

每秒令牌生成数是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单元。这好比打字员的打字速度,该数值越高,AI回复就越快,用户等待时间就越短。

有媒体指出,Taalas的技术路线虽然诱人,但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片中,芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本购买专用硬件,一旦算法迭代更新,硬件可能面临淘汰风险。

来源:https://www.163.com/dy/article/KM9HSJ5U0511B8LM.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

假SSD泛滥:实测读写7255MB/s,容量与大文件拷贝测试
娱乐
假SSD泛滥:实测读写7255MB/s,容量与大文件拷贝测试

快科技3月29日消息,据日本AKIBA PC Hotline报道,市面上出现了一批仿真度极高的假冒三星990 PRO SSD。其包装、标签几乎与正品无异,甚至能被Windows和CrystalDis

热心网友
03.30
篮球鞋为何发出摩擦声?解析背后的科技奥秘
科技数码
篮球鞋为何发出摩擦声?解析背后的科技奥秘

宋恒旭 粉笔划过黑板的一瞬间,篮球场上运动鞋不时发出的响声,这些生活中看似普通的摩擦现象,背后却隐藏着物理学界长期未能完全破解的谜题。近日,美国哈佛大学研究团队在《自然》杂志发表研究成果,首次揭示了

热心网友
03.30
警惕山寨三星SSD:假冒硬盤能偽造990 Pro讀寫速度
娱乐
警惕山寨三星SSD:假冒硬盤能偽造990 Pro讀寫速度

IT之家 3 月 28 日消息,零部件短缺推高了内存和 SSD 价格,市场环境正好给了诈骗者可乘之机。面对远低于正常市场价的“超值优惠”,不少消费者很容易上当。尤其是在 AI 数据中心持续大量占用

热心网友
03.29
aiXcoder-4B超DeepSeek:代码变更模型应用指南
AI
aiXcoder-4B超DeepSeek:代码变更模型应用指南

机器之心发布一款 “反直觉” 的产品,往往最能折射一个产业的真实需求。3 月 25 日,硅心科技(aiXcoder)发布了一款专为「代码变更应用」场景设计的高性能、轻量级模型 aiX-apply-4

热心网友
03.27
Android 17升级版后台冻结:谷歌算法调度手机充电速度
礼仪与书信
Android 17升级版后台冻结:谷歌算法调度手机充电速度

IT之家 3 月 27 日消息,科技媒体 Android Authority 今天发布博文,通过挖掘安卓 17 Beta 3 代码,发现了“优先充电”新功能,可以暂停后台活动以加快充电速度。IT之家

热心网友
03.27

最新APP

凡人传说
凡人传说
角色扮演 03-30
恶魔秘境
恶魔秘境
角色扮演 03-29
猫和老鼠华为
猫和老鼠华为
休闲益智 03-29
暗黑之地
暗黑之地
角色扮演 03-28
你比我猜
你比我猜
休闲益智 03-26

热门推荐

vivo Pad6 Pro发布:首款4K原彩屏配骁龙8,售4499元起
网络安全
vivo Pad6 Pro发布:首款4K原彩屏配骁龙8,售4499元起

3月30日消息,今晚除了手机之外,vivo还发布了全新的旗舰平板——vivo Pad6 Pro。行业首发13 2英寸4K原彩屏,分辨率3840×2160,347PPI,支持1-144Hz LTPS自

热心网友
03.30
WPS表格提取括号内容:3步掌握MID函数实战用法
电脑教程
WPS表格提取括号内容:3步掌握MID函数实战用法

WPS表格中提取括号内容有四种方法:一、单对英文小括号用FIND+MID;二、中英文括号通用需SUBSTITUTE预处理;三、多对括号取最后一对需REVERSESTRING反向查找

热心网友
03.30
聚焦AI文创与跨境,“数智苏豪”新街口OPC社区启幕
科技数码
聚焦AI文创与跨境,“数智苏豪”新街口OPC社区启幕

3月30日,南京新街口核心商圈,苏豪大厦一楼广场上机器人迎宾起舞,充满科技感。由苏豪资产运营集团与南京新街口金融商务区管理委员会(以下简称“新街口管委会”)共同打造的“数智苏豪”新街口OPC社区揭牌

热心网友
03.30
1.9亿年薪背后:又一位车企CEO薪酬为何大幅上涨?
科技数码
1.9亿年薪背后:又一位车企CEO薪酬为何大幅上涨?

电 动 知 家消 息,近日,据外媒报道,据福特汽车日前发布的一份文件,该公司首席执行 官吉姆·法利2025年的总薪酬大幅增长了11%,达到约2752万美元(约1 9亿元人民币),这是其自2020年末

热心网友
03.30
美议员为何急于拉黑中国机器人却暗留后门?
科技数码
美议员为何急于拉黑中国机器人却暗留后门?

白宫里,一台人形机器人缓步走入东厅,与美国“第一夫人”并肩亮相,动作仍带着明显的机械感;仅仅一天后,国会山上,这种“会走路的机器”却被划为潜在安全威胁,写进立法提案。这是上周美国上演的荒诞一幕。两党

热心网友
03.30