行云集成电路最近推出了一款名为“褐蚁”的一体机产品，定价仅10万元，就能跑满血版DeepSeek R1/V3大模型（下文简称“满血版DS”），对话速度达到20token/s。简单算一笔账：一家中型企业只需花一辆家用轿车的钱，就能在自家机房部署起接近实验室级的大模型生产力工具——这个价格，过去连想都不敢想。

“褐蚁”一体机一共规划了三款配置：极致性能的褐蚁HY90、极致性价比的褐蚁HY70，以及主打超低价格的褐蚁HY50。这次正式面向市场的是褐蚁HY90，它由双路AMD EPYC 9355服务器、24条48G 6400M频率内存和5090D计算卡组成，支持FP8和INT4两种数据精度。在FP8精度下，跑满血版DS的对话速度能达到21token/s；切换到INT4精度，则可以提高到28token/s，最高支持128K上下文。除了DeepSeek R1/V3，褐蚁还支持嵌入向量、重排序模型，以及Gemma多模态模型等。

这段时间，美国对华芯片禁运和海外代工收紧，一体机的价格水涨船高，市场话语权几乎被那些拥有芯片和技术资源的大厂牢牢攥在手里。行云集成电路（以下简称“行云”）推出的褐蚁一体机，或许就是打破这种算力垄断、开启技术平权新浪潮的第一块多米诺骨&牌。

1. “掀桌子”式的奇袭

DeepSeek一体机市场“狂飙”了好几个月，涌入的玩家越来越多：服务器厂商、云厂商，甚至做软件的和做安全的，只要沾上科技边，几乎都推出了自己的产品。但问题也随之暴露——当前的一体机市场存在严重的供需错配。

能跑满血版DS的产品，厂商报价至少100万元起步，买家必须是预算充裕的大企业。而市场上真正有支付能力的企业并不多，大部分公司的预算集中在10-50万元区间，这个价位只能买到70B或32B版本的DS一体机。更要命的是，最近中美关税争端升级，美国商务部对英伟达H20、AMD MI308及其同类AI芯片向中国发布了新的出口许可要求，搭载H20芯片的一体机价格变得更加昂贵，对买家来说雪上加霜。

就算有厂商针对预算有限的企业推出了几十万元的低价一体机，看似提供了全链路的模型管理、数据处理和权限控制方案，但细看就会发现，这些产品大多是在攒了一些硬件之后，对dify、Langchain、Milvus等框架的UI做表面调整，底层架构优化几乎为零。没有核心的调度能力，也无法灵活接入其他主流模型，实际使用中问题频出。

据我们了解，很多花了10万元左右买了一体机的公司，开箱后发现只能跑INT4精度的数据，DS运行速度极慢，一个字一个字往外蹦。还有人买了蒸馏版模型的一体机，结果遇到了严重的幻觉问题——比如在知识库文字分段时，会把专业名词“阿莫西林”切割成“阿莫”和“西林”，业务根本没法正常运转。

而行云的褐蚁一体机，相较于百万元级别产品的优势非常直接——价格足够低。只需要14.9万元，就能在褐蚁HY90上以FP8精度运行满血版DeepSeek大模型。更关键的是，行云努力在硬件配置和用户体验之间找到了平衡点：在保证满血版DeepSeek模型在FP8精度下达到20token/s体验的前提下，进一步压缩硬件成本。

举个实测案例：把“一个汉字具有左右结构，左边是木，右边是乞。这个字是什么?只需回答这个字即可。”这个问题同时输入到运行在褐蚁HY90上的DeepSeek和DeepSeek官网。结果发现，褐蚁HY90上的DeepSeek运行速度比官网更快，也更先给出答案。

褐蚁一体机与官网推理能力对比测试，左为褐蚁H90，右为DeepSeek官网

在创作场景下也一样：让两者同时回答“简要概述小说《杀死一只知更鸟》的情节，并指出其中的主要主题”，褐蚁HY90依然比官网更快回答完毕。在玩家鱼龙混杂、价格日渐走高的一体机市场，行云这次的产品发布，无疑是一次正本清源的“掀桌子”式奇袭。

2. 将“大杀器”卖到10万元的秘密

把运行顶级大模型的成本从百万元级别拉到十万元级别，行云靠的是对技术趋势的深刻洞察和极致的软硬件协同优化。

在DeepSeek大模型部署中，内存（尤其是显存）是决定模型能否“满血运行”的核心瓶颈。内存容量是能否装下大模型的门槛，而内存带宽则是决定数据吞吐的生死线。大模型的参数量巨大，加上自注意力机制和前向传播的特性，本来就要求较高的内存；DeepSeek R1/V3的MoE架构更是因为需要预先加载所有专家参数，所需内存容量比传统Transformer架构的稠密模型还要大。

关于内存容量，我们此前在分析中提到过：要在单台一体机上运行满血版DeepSeek大模型，必须把参数和配置拉满，起码需要808-846GB显存，才能装下6710亿参数。

参考资料：IT技术分享-老张，某大厂；制图：甲子光年

内存带宽方面，DeepSeek每生成一个Token激活的参数量约为37B，这就要求总的内存带宽大约740GB/s。

一体机60%-70%的成本来自硬件，而硬件成本的大头是GPU和CPU。过去十年，行业过度追求GPU算力和内存的提升，忽视了同为核心处理器的CPU。大家都觉得AI推理，尤其是大模型，天然就该依赖GPU。

但行云发现，技术发展已经悄悄改变了格局。现在DDR5的频率逐渐达到6400MHz，更重要的是服务器CPU的内存通道数不断增加——从8通道增加到12通道，双路就是24通道。这样的双路24通道DDR5-6400内存，总带宽已经达到1.2TB/s。

这个转折点极其关键：1.2TB/s的带宽不仅远超740GB/s的需求线，甚至超过了高端消费级显卡如RTX 4090的显存带宽（约1TB/s）。这意味着，通过精心选择的服务器CPU平台，其DDR内存系统能同时提供巨大的容量（轻松达到1TB以上）和媲美甚至超越某些高端GPU显存的带宽。

“过去大家对GPU内存的认知是容量小、带宽高，对CPU内存的认知是便宜、容量大、带宽低。但这是过去的惯性思维。经过多年技术发展，顶级的CPU内存带宽已经超过了4090这样的顶级消费显卡——当然还是没法跟A100这种卡比，但至少达到了显存级别的带宽标准。这个认知转变很重要，因为搭载了这样一套服务器CPU内存总带宽，完全可以满足运行DeepSeek的需求。”季宇说。

这一发现为采用CPU内存作为主要载体承载大模型权重（尤其是内存密集型的MoE层）提供了理论基础，彻底改变了一体机的成本结构。

具体到褐蚁一体机HY90，它搭载了双路AMD EPYC 9355服务器CPU（24条容量48G、带宽6400M的内存）和英伟达消费级5090D显卡，CPU内存带宽达到1228GB/s，CPU内存容量达到1152TB。加上GPU的32G显存，不仅满足了满血全精度R1、V3模型的运行需求，理论上主参数1.5T以内的模型也都可以支持——包括今天刚发布的Qwen3和DeepSeek即将发布的R2模型。

但硬件谁都能攒。褐蚁一体机“物美价廉”的第二个秘诀，藏在软件和算法里。

2025年2月10日，清华大学KVCache.AI团队与趋境科技联合发布了KTransformers推理框架。这个框架基于Python架构设计，通过异构计算、量化优化和稀疏注意力机制等系列技术，大幅降低了大模型的硬件门槛。相比Python，KTransformers更加灵活和轻量化，能适应一体机需要的GPU/CPU优化策略。

这些技术组合应用后，KTransformers能把原本需要8张高端GPU卡才能运行的大模型，在单张消费级GPU上跑起来，推理速度不减反增。举个例子，一个130亿参数的模型，传统方案需要超过26GB显存，通过KTransformers优化后，只需6-8GB显存就能流畅运行，甚至能在普通游戏笔记本上部署。

可以说，KTransformers给想做一体机推理优化的团队提供了一个灵巧的“脚手架”，而行云是最早看到并完美利用这个“脚手架”的团队之一。基于KTransformers，行云推出了全新的自研推理引擎，将MoE层的token延迟从超过30ms降低到18ms（INT4精度下），后续支持了原版FP8精度，将单个Token的生成速度控制在50ms以内。

但这绝不仅仅是“拿来主义”。行云团队基于KTransformers重写了几乎每个底层算子，对计算流程、内存访问模式等做了深度改造和优化，不仅能跑FP8精度的模型，也极大提升了用户体验。如果说KTransformers解决了如何利用CPU内存在单张GPU上把模型跑起来的问题，那么行云解决的核心问题就是：如何将物理内存带宽尽可能多地转化为大模型实际使用的有效带宽。

这种对带宽的极致追求体现在对每个计算环节的毫秒级优化上。季宇特别提到混合专家模型（MoE）层——这是一个典型的内存带宽密集型计算场景。以Q4KM格式（INT4）为例，在KTransformers的实现中，每Token的MoE部分需要超过30ms，但理论值只需要13ms，而行云将其优化到了约18ms。

“在INT4精度下，MoE层处理一个token大约需要30多毫秒，而根据CPU实测带宽理论计算，大约只需要13毫秒。我们一步步将这个时间优化到18毫秒，已经非常接近理论极限，”季宇说，“换成FP8精度，时间又要翻倍，为了达到足够好的体验，每一毫秒都要争取。”

生成token所用时间与TPS关系 制图：甲子光年

这也是褐蚁一体机将满血版大模型的运行效率从行业平均水平的20token/s提升到接近30token/s的原因——每减少1ms的Token生成时间，TPS就能提升约1个。

褐蚁一体机测试数据 图源：行云集成电路

对内存瓶颈的深刻理解、对DDR内存潜力的挖掘利用、以及对推理引擎近乎重写的极致优化——这三者结合，构成了褐蚁的核心竞争力，也是行云能把这款碘伏行业的“大杀器”卖到10万元的秘密。

3. 从“褐蚁”到“蚁群”

“褐蚁”一体机的推出，只是行云“技术平权”愿景的第一步。

行云本身就是一家芯片设计公司，未来他们计划推出自研的GPU/AI加速卡，搭载到即将面世的褐蚁HY70和褐蚁HY50上——这将是性价比更高的一体机解决方案。

季宇透露，未来行云还会进一步提升单机的并发处理能力。目前他们正在将10台褐蚁HY90一体机做简单负载均衡，可以支持20个有效并发，与单台八卡141G版本H20一体机的并发数相当。但10台褐蚁HY90的总价只有大约150万元，完全有实力与H20一体机五五开平分市场。

行云还有更激进的方案：由30台褐蚁一体机组成的“蚁群”方案，可以发挥分布式系统的进一步优化能力，支持500-1000的有效并发数，价格仅为300-400万元。这个方案对标的是H200集群——目前单台H200一体机跑满血版大模型的并发数约为50左右，但单价约250万元一台。10台H200的集群价格高达2000万元，远高于行云30台“分布式蚁群”的价格。

“DeepSeek私有化部署并不是百万成本的东西，”季宇说，“把门槛降到十万价位，很多原来没有需求、甚至没想过可能性的用户和场景就能被打开了。”

刘慈欣在《三体》中写道：“褐蚁和蜘蛛不知道，在宇宙文明公理诞生的时候，除了那个屏息聆听的遥远的世界，仅就地球生命而言，它们是仅有的见证者。”在那宏大的宇宙图景中，微小的褐蚁也能见证宇宙公理的诞生。行云给自己的一体机取名“褐蚁”，也正是源于这份隐喻——他们希望这些设备能像宇宙中的褐蚁一样，撬动被高成本束缚的大模型落地应用市场，让前沿AI技术不再是少数巨头的专属，而是真正赋能千行百业的普惠工具。

或许正如大刘笔下所写的：AI普惠的钥匙，不在垄断者的保险箱里，而在每一份微小却极致的技术突破中。