游乐游手机版
首页/电脑教程/文章详情

全球最小AI超算问世:300克190TOPS,本地运行120B模型

时间:2025-12-11 15:07
12 月 11 日消息,科技媒体 Wccftech 昨日(12 月 10 日)发布博文,报道称初创公司 Tiiny AI 发布号称全球最小的 AI 超级计算机 Tiiny AI Pocket La

12月11日消息,科技媒体Wccftech昨日(12月10日)发文报道称,初创公司Tiiny AI发布号称“全球最小的AI超级计算机”Tiiny AI Pocket Lab,其重量仅为300克,尺寸如手掌大小,但却配备了ARMv9.2架构的12核CPU和高达80GB的LPDDR5X内存,AI算力达到190 TOPS。

据引用的博文介绍,该设备尺寸仅为14.2×8×2.53厘米,重量约300克,用户可以轻松将其置于掌中。尽管体积小巧,Tiiny AI宣称该设备能成功部署拥有1200亿(120B)参数的模型,这在同类便携设备中尚属首次。

“全球最小AI超算”问世:300克、190 TOPS算力,可本地运行120B模型

该设备支持的大语言模型(LLM)据称能完美处理“博士级推理、多步骤分析和深度上下文理解”等复杂任务。其搭载了最新的ARMv9.2 12核CPU,并通过定制的异构模块(SoC + 独立NPU)提供了约190 TOPS的AI计算性能。

为了支撑庞大模型的流畅运行,该设备配备了高达80GB的LPDDR5X内存和1TB SSD存储空间。这种大容量内存配置让用户可以启用更激进的量化技术,从而在本地环境中流畅运行120B参数的大模型。此外,该设备的功耗控制也相当出色,TDP为30W,典型系统功耗约为65W。

“全球最小AI超算”问世:300克、190 TOPS算力,可本地运行120B模型

为了在如此紧凑的设备上实用化地运行120B模型,Tiiny采用了两项核心技术。首先是TurboSparse,这是一种神经元级别的稀疏激活技术,能在保持模型完整智能的同时,显著提升推理效率。

其次是PowerInfer,这是一个在GitHub上拥有超过8000颗星标的开源异构推理引擎。它能够通过动态分配CPU和NPU之间的计算任务,来加速繁重的大语言模型工作负载。

“全球最小AI超算”问世:300克、190 TOPS算力,可本地运行120B模型

在软件生态方面,AI Pocket Lab支持一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi等数十种主流开源模型及代理框架,无需依赖互联网或云端,支持完全离线操作。Tiiny AI确认将在CES 2026上正式展示该设备。

来源:https://www.ithome.com/0/904/147.htm
上一篇Win11推迟OOBE装机补丁功能,默认启用调整 下一篇铠侠2026年量产BiCS10 332层NAND闪存技术解析
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
国产内存新架构突破30TB带宽实现自主供应链
电脑教程 · 2026-05-11

国产内存新架构突破30TB带宽实现自主供应链

随着人工智能技术从模型训练大规模转向实际应用部署,AI算力的需求重心正发生深刻变化。一个关键的行业转折点已经到来:单纯追求算力峰值不再是唯一焦点,内存带宽与延迟正成为制约性能提升的新瓶颈。如何构建高带宽、低延迟、高能效的内存子系统,已成为全球AI芯片行业必须攻克的核心挑战。近期,国内科技企业在这一前

Edge浏览器网页捕获功能使用教程 截取全屏与区域截图详解
电脑教程 · 2026-05-11

Edge浏览器网页捕获功能使用教程 截取全屏与区域截图详解

Edge浏览器内置了强大的网页截图功能,无需安装插件。可通过右上角菜单、快捷键Ctrl+Shift+S、网页右键菜单、开发者工具命令或地址栏常驻按钮启动。支持截取整个长网页或自定义选定区域,截图后可直接编辑保存。

千度手机版官网免费入口手机端专用访问链接
电脑教程 · 2026-05-11

千度手机版官网免费入口手机端专用访问链接

千度是一个免注册、无广告的教育信息服务平台,提供资料库、文苑、课栈等核心板块。平台内容涵盖广泛学习资料,支持离线缓存与语义搜索,移动端设计简洁,无广告干扰。所有资源免费开放,不收集用户敏感信息,无商业化会员体系,注重隐私保护与内容纯粹性。

ES文件浏览器复制文件内容到剪贴板详细步骤教程
电脑教程 · 2026-05-11

ES文件浏览器复制文件内容到剪贴板详细步骤教程

使用ES文件浏览器复制文件时,需先开启剪贴板悬浮按钮。长按文件可呼出菜单进行复制,也可批量选择多个文件一并复制。如需复制文件路径,则需长按文件进入属性页面,手动复制路径文本。若使用平板或外接键盘,还可通过Ctrl+C快捷键快速完成复制操作。

如何设置鼠标连点器的固定点击间隔秒数
电脑教程 · 2026-05-11

如何设置鼠标连点器的固定点击间隔秒数

鼠标连点器通过设定毫秒级点击间隔实现精准自动化操作。用户需将目标秒数换算为毫秒值进行设置,并可配置热键、点击按键与固定坐标。建议正式使用前进行测试验证,并注意避免间隔过短或安全软件拦截,以保障运行稳定。