近日，中文医疗大模型开放评测平台MedBench完成了一次重大升级。新增大模型API接口评测功能，并在开放性问答评估环节引入由医学专家人工标注评分要点的机制，这大大提升了评测结果的专业性与公正性。

模型能力评测不仅是衡量技术进步的标尺，更是驱动模型持续迭代与优化的核心动力。MedBench由上海人工智能实验室与上海市数字医学创新中心联合多家机构推出。作为医疗领域的专业评测基准，MedBench已纳入司南大模型开源开放评测体系（OpenCompass）。自上线以来，MedBench已累计为387个医疗大模型提供评测服务。

相关研究论文《MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models》近期发表于全球计算机系统领域权威期刊《Big Data Mining and Analytics》（中科院一区期刊，近两年平均影响因子10.6）。

全面升级：评测方式多样化，数据集持续扩充

依托专业医疗机构丰富的专家经验与知识储备，MedBench构建了五大评测维度：医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全与伦理。这些维度为医疗大模型的研发与实际应用提供了清晰的评估指标。近期，上海AI实验室联合团队对MedBench进行了全面升级，新增模型API接口评测方式，并优化了开放性问答的评估指标——由医学专家人工标注评分要点，进一步保障了评测结果的专业性与公正性。此外，评测数据集、评测方法及系统功能均得到扩充与升级，提供了更丰富、更贴近临床实践的应用场景。

动态评估机制：提升评测结果准确性

MedBench汇集了约30万道中文医疗专业评测题目，涵盖医学考试、医学问答、患者服务、医学问诊、病历分析、病历生成及辅助诊断等场景，覆盖多个临床科室。五大评估维度全面考察模型综合能力。评测流程采用全自动化云基础架构，有效解决了标准化不足与答案泄露问题。更巧妙的是，动态评估机制通过循环打乱选项顺序与随机提示匹配，显著提高了评估的科学性与准确性。

开放共享，推动专业互认体系建设

自发布以来，MedBench面向全球开放，致力于与各界共同推进医疗大语言模型评测体系的全面性、专业性与互认性。截至目前，已有387个医疗大模型通过该平台获得能力评估指标及优化方向。上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、广州实验室、上海交通大学、复旦大学、华东理工大学、同济大学、香港中文大学（深圳）、上海市卫生健康统计中心、华东师范大学等机构先后加入平台共建，汇聚行业经验，助力医疗智慧化转型。基于在医疗大模型评测领域的积累与实践，上海AI实验室与上海市卫生健康统计中心联合支持了《第二届全国数字健康创新应用大赛》相关成果评估，加速人工智能与医疗的交叉研究与协同创新。