糖尿病诊疗领域，长期以来一直面临一个核心矛盾：顶尖医疗资源集中在城市大医院，而基层医疗机构的诊断和管理能力相对薄弱。尤其对于糖尿病视网膜病变（DR）这类需要专业影像判读的并发症，筛查覆盖率和管理规范性始终是痛点。最近，一项来自中国的医工交叉研究给出了一个令人振奋的答案——全球首个面向糖尿病诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM正式亮相，相关成果于2024年7月19日发表在顶级期刊《自然·医学》（Nature Medicine）上。

从单一筛查到综合决策：AI系统的跨越式升级

过去几年，AI在糖尿病领域的应用主要集中在并发症筛查或单一环节的管理上，比如用深度学习模型自动判读眼底照片，或者用规则引擎生成简单的随访提醒。但真正的临床需求远不止于此——医生需要同时理解患者的影像资料、病史、用药情况和生活习惯，才能给出精准且安全的综合诊疗意见。而随着ChatGPT等生成式AI的爆发，多模态大模型技术给医疗AI带来了新可能，但此前还没有一个系统能真正把“看懂影像”和“生成诊疗建议”这两件事无缝衔接起来。

DeepDR-LLM恰恰填补了这个空白。这个系统由上海交通大学医学院附属第六人民医院贾伟平教授、李华婷教授团队，与上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队，联合清华大学黄天荫教授团队、新加坡国立大学覃宇宗教授团队共同完成。它融合了大语言模型（LLM）和深度学习技术，能够基于患者的眼底影像生成DR辅助诊断结果，并同时输出个性化的糖尿病综合管理意见——这意味着，基层医生拿到的不再是一串冷冰冰的指标，而是一份有逻辑、有依据、可执行的决策支持。

突破低算力瓶颈，37.2万条数据“喂”出的精准模型

技术实现上，团队面临的最大挑战是如何在有限的算力资源下训练出可靠的多模态大模型。大语言模型动辄需要数百块GPU，而医疗领域的数据又高度敏感、难以大规模获取。DeepDR-LLM的LLM模块采用了一种巧妙的融合策略——将训练网络层与大语言模型的固有权重参数相结合，这样一来，既保留了LLM强大的语言生成能力，又避免了完全从头训练的高昂成本。更重要的是，团队基于37.2万条来自基层慢病诊疗和慢病管理的真实数据与知识，对模型进行了高效优化训练，使其能够根据患者的个体临床信息生成精准的糖尿病管理意见。系统还兼容包括LLaMA在内的主流大语言模型，为未来的扩展和适配留出了空间。

覆盖亚非欧七国，前瞻性验证给出高质量循证证据

任何医疗AI系统，最终都要用临床数据说话。DeepDR-LLM的验证工作分为两步：首先，在覆盖亚洲、非洲、欧洲三大区域七个国家的多中心队列中进行了回顾性验证；随后，专门针对中国基层医疗的实际场景开展了前瞻性真实世界验证。研究团队表示，这是全球首次面向糖尿病医疗垂直领域提供的多模态大模型应用成效的高质量循证证据。结果表明，DeepDR-LLM系统可以有效改善DR筛查率，并显著提升基层糖尿病管理的规范性和效率。

当然，从实验室到广泛落地还有很长的路要走。但这项研究至少证明了一件事：当顶尖的临床洞察与前沿的AI技术真正深度交叉，是可能为糖尿病这一全球性慢病治理带来革命性数字解决方案的。对于数十亿糖尿病高危人群和无数基层医疗卫生工作者来说，这无疑是一个值得期待的开始。

附研究成果：
https://www.nature.com/articles/s41591-024-03139-8