在一家传统企业的人工智能落地项目推进会上，场景往往这样展开。
技术负责人拍着桌子强调：绝不能上云，数据安全怎么保障？必须采购显卡，进行本地部署。预算表已经拟定完成，显卡加上配套服务器，一大笔资金砸进去，周期长达六到八周。
业务负责人寸步不让：等你的服务器到位，竞争对手的 AI 功能已经上线三轮了。先接入 API，一周内跑通流程，验证可行性之后再谈其他方案。
两边都有充分理由。项目会开完了，却没有任何结论。只能下个月再议。
这个场景，过去一年里我在不同公司听不同的朋友讲过至少十几遍。每一次卡住的都不是技术难题——而是决策顺序问题。
先别急着站队。我们得把两条路线的真实成本摆到桌面上来仔细算一算。
两条路线，本质差异很大
走云端，买 Token，启动成本几乎为零。注册一个 API Key，花几百元充值，当天就能开始调用模型。想换模型就换模型，用量大了可以弹性扩容，不用了便停止计费。获得的还是当前最强的模型能力——Claude Opus 4.8、GPT 5.5、最新的开源模型，云端永远第一时间上线。代价是什么？数据要经过第三方管道。每调用一次，就产生一笔费用。如果场景有海量调用，累计下来的 Token 费用可能相当可观。
走本地，部署模型，前期投入是实打实的。一张高性能显卡动辄大几万，配一套像样的推理服务器，大几十万甚至上百万就出去了。大部分企业根本不会一味追求顶配——要么用国产卡，要么用消费级显卡顶着，要么直接租云 GPU。选型本身就让人头疼，更别提机房、电力、散热、网络带宽和运维工程师这些配套成本。换来的是数据不出域、延迟可控、长期来看单次调用的边际成本更低。
但有一个很多人低估的代价：本地部署的模型能力，天然落后云端一到两代。你开始部署时可能还是 Llama 3、Qwen 2.5 的时代，等地部署完、调通、上线，最新最强的模型已经换了好几轮。而你本地跑的那个版本，短期内不会更新——因为重新部署一个新模型的风险和成本，跟第一次部署差不多。
所以两条路线各有各的昂贵之处。Token 是显性贵，但灵活；本地是隐性贵，但可控。它们不在同一个维度上竞争。
正确的顺序：先跑通，再优化
这个选择题之所以难，是因为大部分人在提问之前，把顺序搞反了。
正确的顺序应该是这样的。
第一阶段：用云端 Token 跑通业务流程。先别急着纠结模型强不强、贵不贵、数据安不安全。只做一件事——把从“用户需求”到“模型调用”再到“结果交付”的完整链路上线。这个链路包含什么？用户的输入怎么流转到模型？模型的输出怎么回到业务系统？异常情况怎么处理？十个人同时用并发够不够？这些只有真实跑起来才知道。光靠文档和推演是推不出来的。
这个阶段的目的不是省钱，不是安全，不是效率——目的是验证业务流程在 AI 加持下是否真的成立。很多项目死在这个阶段之前：硬件还没到，团队已经散了。或者硬件到了，模型部署完了，才发现“这个场景其实不需要 AI”。
第二阶段：根据真实数据做成本模型。当业务在云端跑了一个月、两个月之后，手里会有真实数据：日均调用量、峰谷分布、单个会话的平均 Token 消耗、哪些场景在烧钱、哪些场景其实没必要用最强模型。有了这些数据，才能做一道算账题：如果全部切本地，硬件折旧平摊下来，单次调用的成本是多少？跟现在的 Token 费用比，哪个更划算？敏感受限的场景占比多少？这道题在业务上线之前是算不出来的，因为没有真实数据支撑。
第三阶段：混合部署。算完账之后，你会发现大部分企业的最优解不是二选一，而是混合方案。核心敏感场景——涉及客户隐私、商业机密、合规红线——走本地，数据不出域。高频高并发场景——如果本地调用量足够大，边际成本确实低于云端——走本地，锁定成本。长尾场景、试验性场景、需要最强模型能力支撑的场景——走云端，保持灵活性。这是一个动态分配，而不是一次性的抉择。
当然，也有例外
金融、医疗、政务这些强合规行业，数据出域本身就是违规。对它们来说，先本地部署不是选择，而是底线。实时性要求极高的场景——比如语音交互、自动驾驶的决策链——云端往返的延迟不可接受，必须本地处理。
但即使是这些行业，仍然建议：如果允许，先用云端跑一轮 PoC。出一个最小可行产品，给决策层看：这就是我们要做的事，它的效果是这样的，它的成本是那样的。拿着这个去审批硬件预算，比拿着一份 PPT 要容易得多。而且 PoC 期间积累的 prompt 经验、业务流程设计、异常处理方案——这些切换到本地部署之后，全部可以复用。完全没有浪费。
别把顺序搞反了
最可惜的 AI 落地失败案例，不是技术选型错了，而是顺序搞反了。先砸一大笔钱买卡，然后开始想“这个模型到底能干什么”。硬件到位了，业务还没理清楚；业务终于理清了，硬件已经落后了一代。再砸一大笔钱升级。
Token 是用来验证的，本地模型是用来放大的。先验证，再放大。不要为了省一点 Token 费，先把大几十万砸进去。因为绝大多数项目，死掉的成本远比 Token 费高得多。
先跑起来。跑通了，再想怎么省钱。
