目前，市面上开源的大语言模型层出不穷，令人眼花缭乱。尽管GPT-4o长期占据排行榜首，但这并不意味着它在所有应用领域都是最佳选择。例如，编程任务有Code-LM，数学推理有Meta-Math，图文多模态处理有Macaw-LLM——每个模型都有其独特的专长领域。那么，问题随之而来：面对如此众多的“专家级”模型，如何为每一次用户查询精准匹配最合适的那一个？
PolyRouter正是为解决这一挑战而设计的多LLM智能路由系统。其核心思路非常直接：根据查询的具体需求，动态地将请求调度至最匹配的专家模型，从而在性能、响应延迟、运营成本和生成质量之间找到最优平衡点。
PolyRouter 的核心价值与解决的问题
- 如何高效地与各个领域专精的大语言模型进行交互？这本身就是一个不小的挑战。
- 同时，还需要兼顾高查询吞吐量、不同模型带来的成本与延迟差异，以及多LLM的协同查询调度——这三方面问题缺一不可。
PolyRouter 与传统 MoE 架构的区别
- 在传统MoE架构中，包含一组专家模型，每个专家负责处理特定的数据子区域，并配有一个门控网络来决定各专家输出的贡献权重。
- 而LLM路由方法可以看作是MoE的一种特化应用：路由模型充当门控机制的角色，可用的专家模型则构成LLM集合。其本质都是“知人善任，让对的人做对的事”。
PolyRouter 提出的三种路由方案
- 随机路由器（Random-Router）：最基础的方案——随机选择一个专家模型来处理查询，并重复多次，然后根据多项指标评估效果。方法简单，但缺乏智能。
- kNN路由器（kNN-Router）：使用Sentence-Transformer将训练查询编码为向量，然后通过余弦相似度找出与测试查询最相似的训练样本，并从中选出表现最佳的专家模型。该方法相比随机方法有显著提升。
- BERT路由器（BERT-Router）：这是当前效果最优的方案，在多种评估标准下均超越了其他所有单一专家模型和路由方法。它能够根据需求动态分配查询，在优化性能、降低延迟和成本的同时，显著提升输出质量。用户体验升级后几乎无法再回到旧方法。
如何高效训练一个PolyRouter
第一阶段：准备router数据
- 选择专家模型及数据集：首先需要针对特定领域（例如生物信息学、编程、物理科学）筛选指令数据集和相应的专家模型，这样路由模型才能学会为不同类型的查询分配合适的专家。
- 前向传播与收集指标：对每个专家模型执行一次前向传播，收集训练路由模型所需的关键指标数据。具体包括：负对数似然（Negative Log Likelihood）、BERT相似度评分（BERTSim）、推理时间（秒）、以及总输入和输出Token数。这些数据构成了后续训练的基础“原材料”。
- 生成软标签：在获得专家预测数据集后，选择一个指标来生成软标签。目前使用BERTSim分数，目的是让路由模型学习专家模型在预测性能上的排名，而非简单的二值选择。
- 通过Softmax函数生成软标签：对于每条指令记录，使用带温度的Softmax函数生成软标签。公式为φr(x; T)=p(T)Pj∈E exp(T)，其中E为专家总数，T为温度参数，x为指标分数向量。
- 参数设置：在评估阶段，基于BERT相似度分数生成软标签，并将温度参数T设定为10。这一步旨在为路由模型准备高质量的输入数据，以提升后续预测的准确性和效率。
第二阶段：训练router
- 向量化表示：将指令记录通过路由器的嵌入模型（如Bag-of-Words、TF-IDF、BERT等）进行处理，生成向量化表示。这一步相当于将自然语言“翻译”为机器能够理解的数字语言。
- 训练分类器：利用生成的嵌入向量训练一个“提示到专家”的分类器。可选方法包括非参数监督学习（如kNN）、经典深度学习（如多层感知器MLP），或更高级的预训练语言模型（如BERT）。用户可根据需求选择，效果各有优势。
第三阶段：Router的应用
- 查询处理：当新用户提交查询后，路由器首先使用第二阶段调优好的嵌入模型对查询文本进行分词和编码，然后通过分类模型（MLP或BERT）执行一次前向传播，预测出最相关的专家模型。
- 专家模型选择：根据分类结果，路由器选定对应的专家模型，提交查询并执行推理任务。
- 查询响应：执行完成后，路由器接收专家模型的回复，并将其转发给用户。整个路由过程对用户几乎是透明的，但用户体验却因此得到显著提升。
- 监控与调优：在部署期间，平台会提供必要的监控能力，例如请求数量、查询语义上下文、专家模型的命中频率、总体成本等。这些数据既可以用于问题排查，也能反过来持续优化路由模型——形成正向迭代循环。