开发者开源AI测评工具，精准评估大模型智能缺陷

9月18日最新消息，程序员ionutvi近日推出了一款名为AI Benchmark Tool的智能测评工具，这款开源应用能够量化评估主流AI模型的"智商稳定性"，为开发者选择最优AI助手提供客观参考。

ionutvi透露，在日常使用ChatGPT、Grok、Claude等主流AI工具时，经常会遇到模型表现不稳定的情况——前一天还运行正常的任务，隔天就可能得到错误答案甚至直接被拒绝执行。他认为这种现象并非个例，而是AI供应商有意调整模型性能所致，就像Anthropic公司此前公开承认的那样。

为解决这一问题，他开发的这套测评系统能够自动在多款AI模型上运行140项编程调试任务，从四个核心维度进行量化评估：答案准确率、任务拒答率、响应速度以及表现稳定性。系统会实时生成模型间的综合排名，直观展现各款AI的"犯傻指数"。

更贴心的是，开发者还将价格因素纳入评分体系。有些AI服务表面价格低廉，但实际需要反复调试才能获得可用答案；而某些高价模型可能两三次尝试就能输出理想结果。通过这种性价比评估，用户可以更明智地选择符合预算的最优AI工具。

项目开源地址如下：

https://github-com.translate.goog/StudioPlatforms/aistupidmeter-api?_x_tr_sl=fr&_x_tr_tl=ro&_x_tr_hl=en&_x_tr_pto=wapp