Generative Large Language Models （LLMs） 在各种自然语言处理任务中取得了显著成功，包括问答和对话系统。然而，大多数模型是在英文数据上训练的，缺乏在提供中文答案方面的强大泛化能力。

那么，如何破解中文场景下的应用瓶颈呢？一个研究团队给出了他们的答案：MedChatZH。这是一款基于LLaMA架构Transformer解码器的对话模型，专门为了优化中医问答而设计。关键在于，研究团队在一个精心筛选的医学指导数据集上对其进行了微调。结果如何？在真实的医学对话数据集测试中，MedChatZH的表现显著超越了多个中文对话基线模型。为了推动传统中医与大型模型领域的共同发展，团队已将模型、代码和数据集在GitHub上开源。

眼下，大型语言模型在机器翻译、实体识别等一系列下游任务上的表现已毋庸置疑。以OpenAI在2023年推出的ChatGPT系列为例，其在学术与工业界引发的浪潮，实实在在地加速了自然语言技术的演进。但问题也随之而来：包括ChatGPT在内，绝大多数语言模型的训练和微调都重度依赖于英文数据集。一旦切换到中文这类语言，词汇的错位、语料上下文的差异以及回答习惯的不同，都会成为模型表现的掣肘，导致响应质量和泛化能力大打折扣。

更突出的挑战出现在专业垂直领域，例如传统中医会诊。即便强大如ChatGPT，在这里也常常“碰壁”。原因不难理解：一方面，医学领域严格的道德与审查约束，使得模型倾向于拒绝提供具体的医疗建议；另一方面，专门针对中医的训练数据严重匮乏，模型对相关查询的理解自然难以深入。

为了应对LLMs在中文场景的领域适应难题，研究者们已经提出了一些新的基础模型，比如扩展并针对中文词汇训练的Chinese-LLaMA和BLOOM，以及GLM这类双语模型。然而，直接将通用语言模型套用于专业领域，性能往往不尽如人意。与丰富开放的英文语料相比，中文语料要么被封闭在各种商业软件中难以获取，要么在互联网上面临质量参差、缺乏同行评议的困境。这直接导致了中文预训练语料和下游任务数据的稀缺，成为训练通用中文LLMs的核心障碍。而在中医会诊对话这样的垂直领域，挑战则更为严峻。

正是为了填补中医问答领域的研究空白并增强对话能力，本文介绍的MedChatZH应运而生。这是一款专门为中医患者对话优化的生成式大语言模型。它的训练分两步走：首先，在海量的中医文献上进行预训练，打下全面可靠的中医知识根基；随后，在一个融合了医学与通用对话的高质量数据集上进行微调。这个数据集经由启发式规则和基于模型的过滤等多重复杂处理，有效剔除了不相关内容和敏感信息（如个人隐私、口语化低质量回复）。

MedChatZH的最终表现，在一个真实世界的中医问答基准数据集上接受了检验，评估指标涵盖了传统度量与基于奖励的模型评分。数据显示，MedChatZH在中医对话模型（如BenTsao、HuatuoGPT）中表现优异，成功占据了领先位置。

这项工作的主要贡献可以概括为三点：

1. 提出了MedChatZH，一个为传统中医会诊对话量身定制的生成式AI系统，其实际表现达到了良好水平。

2. 系统性地收集、整理了大规模中医文献，构建了预训练语料库，并创建了一个医学与通用对话结合的高质量微调数据集。通过启发式方法和奖励评估，有效过滤了敏感信息与低质口语回复。

3. 在真实的中医问答基准数据集上全面评估了MedChatZH，结果证明其在多项评估指标上均优于其他基线模型。

MedChatZH之所以能妥善处理传统中医对话的独特复杂性，根本上得益于其在大量中医文献上的广泛预训练，以及在混合对话数据集上的精准微调。它的成功实践，无疑为开发适配不同语言与文化背景的专用大语言模型，开辟了一条新的可行路径。

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0010482524003743?dgcid=rss_sd_all