12月11日,IT之家援引科技媒体Wccftech报道称,初创公司Tiiny AI近日发布了一款号称全球最小的AI超级计算机——Tiiny AI Pocket Lab。这款设备重量仅300克,尺寸与手掌相当,却搭载了ARMv9.2架构的12核CPU和高达80GB的LPDDR5X内存,AI算力达到190 TOPS。
报道提到,这台迷你计算机的尺寸仅为14.2×8×2.53厘米,重量约300克,可以轻松握在掌心。尽管体积小巧,Tiiny AI宣称该设备能够成功部署参数规模达1200亿(120B)的大模型,这在同类便携设备中尚属首次。

Tiiny AI Pocket Lab正式亮相
据介绍,该设备支持的大语言模型(LLM)能胜任“博士级推理、多步骤分析和深度上下文理解”等复杂任务。其核心搭载了最新的ARMv9.2 12核CPU,并通过定制的异构计算模块(SoC + 独立NPU)提供约190 TOPS的AI算力。
为支撑庞大模型的流畅运行,该设备配备了高达80GB的LPDDR5X内存和1TB SSD存储空间。这种大容量内存配置让用户可以启用激进的量化技术,从而在本地环境中顺畅运行120B参数模型。此外,该设备的功耗控制表现出色,TDP为30W,典型系统功耗约为65W。

AI Pocket Lab重量仅为300克
为了在如此紧凑的设备上实用化运行120B模型,Tiiny采用了两项核心技术。首先是TurboSparse,这是一种神经元级别的稀疏激活技术,能在保持模型完整智能的同时,显著提升推理效率。
其次是PowerInfer,这是一个在GitHub上拥有超过8000颗星标的开源异构推理引擎。它能够通过动态分配CPU和NPU之间的计算任务,来加速繁重的大语言模型工作负载。

设备配备了高达80GB的LPDDR5X内存和1TB SSD存储空间
在软件生态方面,AI Pocket Lab支持一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi等数十种主流开源模型及代理框架。它无需依赖互联网或云端,支持完全离线操作。Tiiny AI确认将在CES 2026上正式展出该设备。
