游乐游手机版
首页/AI热点日报/热点详情

Claude API中转站Skill实测:水太深了

类型:热点整理2026-07-06
针对ClaudeAPI中转站,用726道基准题自建Skill测试,结果显示ClaudeOpus4 8得分(59 73、51 55)低于DeepSeekV4Pro(66 76),成本却高出数倍,揭示模型真实性难辨,行业缺乏初级验证标准。
昨天一位朋友送了我一句话,听上去还挺有分量——他说我是个“Claude 科学家”。 说实话,这个称号背后,全是血泪史。我的 Claude 官方订阅账号,前前后后已经被封了四个原价的 Max 档位。后来索性买了一台新 Mac mini,结果没撑几天,也凉了。封号封到我开始怀疑人生。 但话说回来,Claude 这个东西,它就是绕不过去。只要深度用过一段时间,你一定会明白它在文字质量、上下文连贯性,尤其是处理长文逻辑结构时的差距。那种细腻度,真不是玄学。 所以问题就来了:我必须用 Claude,但我的路已经被彻底堵死了。 出路在哪?只能转向 API 中转站。 中转站这东西,我用了两个月。过程中最折磨人的一点是——它彻底是个黑盒。你根本不知道 API 背后接的到底是什么模型,然后,就被当成了韭菜。 市面上确实有些推荐中转站的网站,倍率标得很清楚,低的 0.3 倍,高的 1.8 倍、2.0 倍。看上去信息透明,但实话讲,你真能看懂那个倍率代表什么吗? 从长期使用的情况来看,0.3 倍率的平台,据说是用 Kiro 逆向出来的 Claude;2.0 倍率的,则被认为是正经从 Claude Max 号池接出来的 API。听起来后者肯定靠谱一些,毕竟倍率差了好几倍,价格摆在那里,总不能拿假货糊弄人吧。所以一开始我也是这么想的。 日常完成一件文书类工作,走完一套工作流,用 0.3 倍率的平台大概要花 5 毛钱;而换成 2.0 倍率的,一次就要 15 到 30 块。2.0 倍率嘛,行业里普遍的共识是,那是正经的 Claude Max 号池接出来的 API。 但用了一段时间之后,有一件事让人越来越发虚——有时候觉得模型挺聪明的,有时候又明显不对劲。这种飘忽不定的体验,让我心底始终悬着一个问号:这玩意儿背后到底是哪个模型? 花了大价钱,按理说心里该踏实了,但恰恰相反,心里反而更虚了。效果不能确定,时而好,时而不行。这种感觉,就像不知道自己是不是交了智商税,比直接用一个明知是假的模型还折磨人——因为你就是没办法做一个确定的判断。 所以,决定自己动手,把这件事彻底搞明白。从今年 1 月开始,花了几个月时间,研究怎么系统地验证一个 API 背后模型的能力,并把整个流程封装成了一个 Skill。 先说结论:信任中转站,真的不如路边拜个野佛。 ---

你怎么知道中转站的 Claude 是真是假?

这个问题可以说困扰了所有人。中转站的模型,到底是不是正经的 Claude? 目前的市面上和各个社区里,主流验证方法大概这么几种。 第一种:直接问。上去就问 API:“你是不是 Claude?”说实话,通过 API 接口写一个完整的系统提示词,这种方式基本就是摆设。太好造假了。背后接一个 DeepSeek,改个名字说自己是 Claude Opus 4.8,API 验证层面根本看不出来。 第二种:稀奇古怪的提示词工程。用各种奇异的提示词去套模型,看输出质量或者某些特定的输出结果。这种方法在 2024 年可能还凑合,但两年过去,中转站连这都不需要做多复杂的处理就能应付过去,基本已经彻底失效。这招连中转站看了都要笑。 第三种:在线检测网站。有些网站号称能检测 API 中转站是否掺水。我试过,整个检测流程 15 秒就全跑完了。从原理上说,这就不可能。正常答一道题,模型本身就要花几秒时间。更何况中转站 API 的 token 输出速度和路径稳定性本身就是问题,接入量一大,延迟和截断是家常便饭。15 秒能测出什么?测一道题的格式对不对还行,测模型的知识正确率和综合能力,天方夜谭。 那到底应该怎么办?

我的思路:不测真假,测差距

从今年 1 月开始,我就在研究怎么验证模型能力这件事。 最开始想到的就是 Benchmark。但调研了一圈下来,发现情况比想象中复杂得多。一方面,Claude 官方晒出来的那些分数,背后用的数据集基本都是内部私有的。比如 Claude Sonnet 4.6 的 System Card 里明确提到,他们测 Terminal-Bench 2.0 时用的是 Terminus-2 harness,还专门关了思考模式做了资源分配处理。SWE-bench Multimodal 干脆直接说用了“internal implementation”,分数根本不能和公开榜单直接比较。你拿到手的只是一个最终数字,题库本身并不公开。 但另一方面,其实大量公开 Benchmark 是一直存在的。像 SWE-bench Verified、GAOKAO-Bench、C-Eval、GSM8K、MMLU 这些数据集都是开源的,题库稳定,谁都可以测。CAICT 2024 年的一份报告就统计过,当前主流评测数据集中,开源的大概占 69%,闭源的只占 31%。 所以关键问题是:怎么用好这些现成的公开数据集来验证中转站? 调研到这里,我换了个思路。不一定非要用最新的 Benchmark 不可,既然那么难拿到手。这里有一个夜深人静时才突然想明白的反直觉点:每次 Claude 或者 OpenAI 推出新模型,前半个月到一个月,这个模型本身就是降智的。但无论怎么降智,肯定还是比很多国产模型强。所以大家默认的认知是:新模型发布之后,默认它比上一代强很多,旧 Benchmark 根本没有测试的必要了。 但这个认知,大错特错。新模型确实比旧模型强,但强归强,旧题库它未必能全做对。而且 Benchmark 的数据集本身是公开且相对稳定的,用它来做对比验证,反而是最靠谱的方式。 所以思路就变成了:不追求给出“yes or no”的答案,而是找一个参照物做对比。找一个基础模型,用同一套题库测出分数,再测目标 API 的分数,两个分数一对比,就能知道这个 API 到底是掺了水,还是真货。

Skill 是怎么做出来的?

说干就干。我做了一个完整的验证中转站 API 知识能力的 Skill,并设计了一套打分机制。 具体来说,从 GitHub 上找了 10 个高 Star 数的项目,每个项目里都有对应的 Benchmark 数据集和验证脚本。这些数据集来源非常多样,涵盖中文高考题、推理题、数学题、语言题、编程题,覆盖面挺广。 Skill 的设计逻辑如下:第一步,做 API 兼容性,可以接 OpenAI 接口,也可以接 Anthropic 接口。第二步,从这 10 个项目里构建一个完整的 manifest,把数据集统一整合起来。第三步,按顺序用这些题去请求目标 API,每答完一题就写入 JSONL 文件。第四步,用打分器判分——有些项目自带打分器,直接使用;有些需要自己写。第五步,所有题跑完之后,把结果聚合成一个加权 MCS 分数。 实际使用中,发现中转站 API 非常不稳定,经常会出现截断。这个 Skill 设计了一个关键能力:用 Claude Code 或 Codex 跑的时候,AI 本身会介入,当 API 答题被截断时,可以让 AI 帮忙重新做一遍这道题。这样最终评分不会因为格式问题出现大面积零分。 做完之后,这个 Skill 总共包含 726 道题,从 10 个项目里挑出来的精华部分,每个题目都有索引。每题会得到一个 item_score,通常是 0 或 1,少数 instruction-following 题目可以是 0.5。 MCS 的计算方式是:各能力维度分数按权重加权取平均。

测完数据,结果让人心态崩了

先说基准模型。DeepSeek V4 Pro 本身效果不错,关注度也高,而且 DeepSeek 官方 API 比较稳定,用起来放心。最终得分:66.76 分,满分 100。在推理、数学、中文、编程几个维度上表现都还可以。 然后就是重头戏。一直用的那几家平台,标注的都是 Claude Opus 4.8 的 API。这几家平台是某些检测中转站的网站里推荐的,用了挺长时间,用的时候心里一直犯嘀咕——有时候感觉挺聪明,有时候又觉得不太行。 跑完整个题库之后,心态直接崩了。花了那么多钱买的模型,最后得分多少?59.73 分。不如 DeepSeek V4 Pro。当然这里不是批评 DeepSeek 不行,而是说花了大价钱买 Claude,结果效果还比不上价格更低的产品。去掉 Data Structure 这一项,它的数学推理、Coding 能力,得分也都低得离谱。 光是一次日常行政任务润色,就要花将近 30 块钱,结果买了个这。 不死心,又测了另一家。这家倍率是 2.0 倍率。在懂行的人眼里,2.0 倍率算是正经 Claude 的基准线。低于 1.5 倍率大家会觉得太便宜不像真的,2.0 倍率大家普遍觉得应该是真货。再跑一遍,结果:51.55 分。推理、数学、编程分数跌得更惨。到这里,人是彻底麻了,透透的那种。 最离谱的是成本对比。DeepSeek V4 Pro 跑完整套题,用了不到 100 万 token,花了 9.97 元。而那两家自称正经 Claude Opus 4.8 的中转站,一个花了 35 元以上,一个花了近 20 元。这还是 726 道旧题,DeepSeek V4 Pro 大概不到一小时就跑完了,中转站 API 不稳定,跑了将近两小时。所以,那些号称十几秒就能测出模型知识能力的在线检测,有多不靠谱,你自己心里应该有数了。 简单说下怎么跑这个 Skill。需要用 Codex 或者 Claude Code,因为它本身依赖 AI 能力来处理截断和异常。如果 50 道题全是零分,问题大概率不在 API,而是打分器或格式出了固定 bug,需要人工介入修复。

叠甲时间

必须承认,这个 Skill 目前还是非常初级的版本,用的数据集也比较旧。它只能作为一个小参考,不能拿来判定某个 API 到底是不是正经 Claude。因为官方 Benchmark 你基本拿不到,所以也没办法给出更精准的答案。 当然,如果有人能非常便捷地测出一个 API 是不是正经 Claude,那中转站这个生意就没法做了,对吧。 但问题在于,这个行业连“初级”的验证标准都没有。消费者花着真金白银,连自己买的到底是不是 Claude 都不知道。这件事本身就不对。重要的事情说三遍。 如果只靠这个 Skill,你依然需要花费 1 小时以上的时间去验证,甚至要花 30 到 50 块钱,这个门槛对于验证中转站 API 来说,依然不现实。如果大家有其他更好的验证中转站 API 的想法,欢迎在评论区留言。 最后,希望大家玩得开心。感谢你的阅读。
来源:https://www.aitntnews.com/newDetail.html?newId=26099

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。