本次查询：Token Healing
中文解释：令牌愈合
常见场景：大语言模型的推理与生成过程
一句话解释
Token Healing是一种在生成过程中修复因分词器切割单词导致概率偏差的技术，确保整个单词被正确生成。
为什么会被关注
现代大语言模型使用子词分词器，常将如“don't”拆成“don”和“'t”等多个token，模型可能只生成前半部分，造成语义断裂。
随着模型在对话、代码生成等精细化场景的应用，用户对输出完整性的要求提高，Token Healing能有效减少这类错误，提升产品体验。
核心逻辑
Token Healing在每一步生成时，会回溯已完成token序列，检测是否存在因分词导致的未完单词，并动态调整当前token的候选概率。
常用做法包括重新归一化分裂token的logits，或利用贪心搜索强制生成完整单词，避免模型停在词汇碎片上。
常见场景
在对话机器人生成长文本时，防止“app”被拆成“ap”和“p”导致拼写错误；在代码补全中确保变量名如“myVar”完整输出。
在翻译或摘要任务中，保持专业术语（如“machine learning”）不被切割，提升结果准确性；在创意写作中减少语法断层。
容易混淆的点
Token Healing并非一种新的解码策略，而是对已有策略（如top-k、beam search）的补充；它专注于分词问题，而非控制多样性或长度。
它与“令牌剪枝”（Token Pruning）不同，后者为了加速推理而删除不重要的token；也与“分词后处理”不同，后者在生成后才修改文本。