AI推理过程中的计算成本，尤其是GPU资源的消耗，一直是困扰开发者和企业的核心难题。每一次向大语言模型发出请求，其背后都意味着实实在在的算力开销。如今，一家名为Tensormesh的初创企业提出了一种直击问题本质的解决方案——通过消除冗余计算来提升推理效率。这一思路已经获得了业界的真金白银支持：Nvidia、AMD和CoreWea ve等AI基础设施巨头联合投资了2000万美元。

除了上述三家产业资本外，本轮融资还包括Valley Capital Partners和Laude Ventures两家风险投资机构。这笔资金使得Tensormesh的总融资额攀升至2450万美元。与融资消息一同发布的，是公司的旗舰产品——Tensormesh Inference，一套软件即服务（SaaS）解决方案。

那么，这款产品究竟解决了什么痛点？关键在于GPU显存容量的局限性。由于缓存空间有限，GPU在执行任务时常常被迫反复计算相同的数据，这成为了效率提升的主要瓶颈。这一问题的根源在于大语言模型的工作机制：它们通常会将用户发送的每一个新提示或请求都视为一个全新的任务。这意味着，即使AI聊天机器人正与你进行连贯对话，或者分析一份它之前“见过”的文档，GPU也需要从零开始，重新处理整个冗长的上下文内容。其中的重复计算量，可想而知。

Tensormesh提供的解决方案是一项名为“键值缓存”（KV缓存）的技术。简而言之，它就像一个“中转驿站”，专门存储大语言模型在处理提示词时产生的中间推理数据。

有了这个“记忆库”，当模型再次遇到相似或相关的提示时，可以直接调用已存储的结果，跳过大量重复计算步骤，从而显著提升响应速度。对于需要构建多步骤推理AI智能体的开发者而言，这项技术带来的好处是立竿见影的——据称能将延迟和GPU支出降低多达10倍。

Tensormesh Inference产品建立在开源的LMCache项目之上。其亮点之一在于提供了一个直观的成本节约仪表盘，开发者不仅可以追踪“缓存命中率”，还能将这一技术指标换算为具体的成本节约金额，让优化效果一目了然。此外，开发者可以自主控制分配给缓存的存储空间大小，从而根据模型部署的规模和使用模式，精细调整基础设施，实现效率最大化。根据公司披露的数据，部分早期客户已实现超过70%的缓存命中率，这意味着超过三分之二的用户请求无需GPU重新计算，直接从缓存中获取了答案。

在部署模式上，Tensormesh提供了高度的灵活性，主要分为三种方式：第一种是与OpenAI API标准完全兼容的无服务器接口，开发者可以几乎无缝地将其集成到现有工作流中；第二种是按需部署，为运行高负荷工作负载的客户提供专用GPU资源；第三种则是预留部署方案，主要面向有定制化服务级别协议需求的企业级客户。

对于能获得Nvidia、AMD和CoreWea ve的青睐，公司创始人兼首席执行官Junchen Jiang并不感到意外。他表示：“Tensormesh为大语言模型处理提示时生成的中间数据提供了一种全新的视角。‘KV缓存’这个术语的背后，实际上是AI对用户问题的完整理解，这是一个全新的数据类别。”

这正是Tensormesh技术引人遐想之处。它正在将“AI中间数据”塑造成一个全新的、可能极具价值的资产类别。随着AI智能体变得越来越复杂，它们所需的上下文窗口也越来越大。通过有效扩展和管理这些上下文，Tensormesh很可能成为未来智能体AI技术栈中不可或缺的关键环节。

据悉，本轮融资所得将主要用于深化Tensormesh与AMD、Nvidia和CoreWea ve基础设施的硬件集成，并加速后续产品研发。公司同时承诺，将继续投入对底层开源项目LMCache的建设，未来的许多技术创新都将回馈这一社区项目。

Q&A

Q1：Tensormesh是如何提升AI推理效率的？

其核心在于“键值缓存”（KV缓存）技术。该技术会存储大语言模型在处理用户提示过程中产生的中间推理数据。当类似的提示再次出现时，系统可以直接从缓存中调用这些结果，从而跳过大量的重复计算步骤。这不仅大幅提升了响应速度，据称还能将相关场景下的延迟和GPU支出降低10倍。

Q2：Tensormesh Inference产品有哪些部署模式？

产品提供了三种灵活的部署选项：一是与OpenAI API标准完全兼容的无服务器接口，便于快速集成；二是基于专用GPU资源的按需部署，适合计算密集型工作负载；三是为企业级客户定制的预留部署方案，可满足特定的服务级别协议要求。

Q3：使用Tensormesh能节省多少成本？

实际节省成本因使用场景而异，但公司提供了一个关键参考指标：缓存命中率。已有客户实现了超过70%的命中率，这意味着超过三分之二的请求无需重新计算。产品内置的成本节约仪表盘可以将命中率直接转换为预估的成本节省金额，帮助用户清晰量化收益。