在 KULAAI（dl.877ai.cn） 平台进行 GPT-5.5 的实际部署评估时，一个常见困惑是：“这三个指标我该优先关注哪一个？”提问者手头通常有三份报告——延迟报告显示 P50 表现尚可，吞吐报告表明并发上去后有些吃力，成本报告则提示 Token 消耗比预期高出不少。单独看每份报告都能得出结论，但三者合在一起却相互矛盾。
实际上，延迟、吞吐、成本这三个指标并非三个独立的变量，而是一个彼此牵制的生态系统。本文的意图很明确：将三者置于同一坐标系中，从架构师视角提供一个整合分析的框架。
先理清三个指标之间的关系。延迟与吞吐是一对经典矛盾——并发低时，每个请求延迟都很低，但系统整体吞吐自然也上不去；提高并发可提升吞吐，但请求开始排队，延迟就会随之上升。延迟与成本同样是典型矛盾——为了降低延迟，你很可能选择更快的模型、预留更多并发、开启更多连接池，每一项都在推高成本；反之，为控制成本选用轻量模型或限制并发，延迟又会抬头。成本与吞吐的关系则更复杂——提高吞吐通常需要更多并发资源，成本大致呈线性甚至超线性增长；但高效的缓存与批处理技巧，却能在不增加成本的前提下硬生生拉高吞吐。
这意味着，优化任何一个指标，几乎必然要以牺牲另外两个为代价。如果不把三者放在一起审视，单点优化极易陷入“按下葫芦浮起瓢”的困境。举个典型场景：系统加载过程中的瞬时压力，正是这种权衡的集中体现——如果服务器初始配置不当，高并发下的 TCP 连接建立耗时可能瞬间暴涨。值得强调的是，这里我们聚焦的是网关层与上游 API 交互时的连接复用效率，而非 CDN 或前端优化。
那么，如何把三个指标放在一起看？不妨借用“水管理论”这个思维模型。
把一次请求想象成打开水龙头取水。延迟，就是等多久水才能来——管道长度、水压、水龙头直径共同决定了这个时间。吞吐，是单位时间内能取多少水——水管直径和水压是核心变量。成本，就是你用了多少水——取决于取水量和浪费情况。
短文本请求就像用小杯子接水，长文本请求则是用大桶接水。高并发等于多个水龙头同时打开。网络抖动就是水压不稳定。而缓存，好比是把用过一次的水存起来，下次直接取用，无需再等待放水过程。
用这个模型来看 GPT-5.5 的性能特征：它的“水管直径”不错，也就是单请求延迟中位数稳定在 600ms 左右。但它的“水压”不太稳定——P99 延迟波动非常显著，在长文本场景下，P99 甚至达到 P50 的 2.6 倍。同时，它的“水费”也在上涨——输出风格变得更详尽，导致 Token 消耗明显上升，即便模型单价可能更便宜。不过，它配备了一个“蓄水池”——Prompt Caching 能大幅降低输入成本，但这个蓄水池有有效期，水放久了会过期。
基于这个模型，一个架构师的决策框架可以拆解为四个步骤。
第一步，确定业务的首要约束。不同场景对三个指标的敏感度千差万别。实时对话场景，延迟是首要约束——用户在屏幕前等待，吞吐可依靠横向扩展解决，成本也有一定弹性空间。离线批处理场景，吞吐是首要约束——堆积的请求必须尽快处理完，延迟容忍度相对较高，成本则是核心考量。高价值分析场景，质量等同于成本——你需要最高配置模型，延迟和吞吐都可以为最终分析质量让步。
第二步，找到当前配置在三维空间中的位置。这里不能只看设计值，必须依据实际跑出来的数据。P50 延迟是多少？P99 是多少？两者的比值是否超过了 2.5 倍？比值过大说明系统存在明显的长尾瓶颈。当前吞吐是否已接近极限？排队深度和限流率是多少？接近极限时，P99 会急剧恶化。此外，单次请求的有效 Token 消耗是多少？缓存命中率和重试浪费率又是多少？这两个指标决定了实际成本偏离预算的程度。
第三步，识别当前配置的主要矛盾。三个指标中，哪一个才是当下的瓶颈？如果 P99 延迟过高但吞吐还有余量，主要矛盾就是延迟长尾，排查方向应聚焦于长文本请求排队、缓存失效以及连接池配置。如果延迟正常但吞吐就是上不去，主要矛盾是并发瓶颈，需要排查连接池上限、客户端并发策略以及下游限流。如果延迟和吞吐都正常，但成本超了预算，主要矛盾是 Token 效率，排查方向应为输出长度是否膨胀、缓存命中率是否下降、重试是否过于频繁。
第四步，在保证首要约束的前提下，优化另外两个指标。核心原则是“守住底线，优化上限”。如果首要约束是延迟，那么底线就是 P99 绝不能超过 SLA 上限，在这个基础上再去优化吞吐和成本。如果首要约束是吞吐，底线是单位时间处理量必须满足业务需求，在这个前提下再去控制延迟和成本。如果首要约束是成本，底线就是单次调用的有效 Token 消耗必须严格控制在预算内，在此框架下尽量提升延迟和吞吐的表现。
这套框架的核心价值，在于帮你避免单点优化带来的连锁反应。它把三个指标从“各自为政”的状态，拉回到了“系统协同”的视角，让架构师在做性能对比时能看到全景，而不是盲人摸象。GPT-5.5 的能力毫无疑问很强，但能否在延迟、吞吐、成本三个维度上，找到适合自己业务的最优平衡点，考验的从来不是模型本身，而是你——架构师——对这个三维空间的理解深度。