后端API网关模型推理服务AI Agent【免费下载链接】semantic-routerAn open, programmable decision layer for models and compute.项目地址https://gitcode.com/gh_mirrors/sem/semantic-router点击查看免费下载模型选择Model Selection是 Semantic Router 在完成路由决策之后、真正把请求发送给某个 LLM 之前的关键一环当一条决策命中了多个候选模型modelRefs时由选择算法决定这一次到底用哪个模型。本文以 v0.1 版本文档《Choosing a Selection Algorithm》为核心骨架结合当前仓库中src/semantic-router/pkg/selection/的实现源码与config/fragments/algorithm/selection/的真实配置片段系统讲解 8 种选择算法的适用场景、默认参数与配置写法。读完本文你将能够根据自身业务特征是否需要确定性、是否有用户反馈、是否有模型描述、是否重视成本快速选定算法并写出可直接落地的最小配置。快速决策树30 秒确定算法方向选型的第一步不是比较参数而是回答四个递进的问题。以下是原文档给出的决策树建议把每个节点的判断写进你的选型评审里Do you need deterministic routing? ├── Yes → Static Selection └── No → Continue... Do you have user feedback available? ├── Yes, abundant → Elo Rating ├── Some feedback → Hybrid (with Elo component) └── No feedback → Continue... Do you have good model descriptions? ├── Yes → RouterDC └── No → Continue... Is cost optimization important? ├── Yes → AutoMix └── No → Static or Hybrid简单记忆版与 overview.md 中的建议一致刚起步→ 用static默认有用户反馈→ 用elo有模型描述→ 用router_dc想优化成本→ 用automix全都想要→ 用hybrid需要说明的是v0.1 文档把算法分为核心算法Core与强化学习驱动算法RL-Driven两大类共 8 种。当前仓库的选择器实现已经扩展到更多方法如multi_factor、latency_aware、random以及 ML 系列knn/kmeans/svm/mlp本文以 v0.1 的 8 种为主线其余方法在算法全景一节做补充介绍。算法全景对比核心算法算法是否需要反馈部署复杂度适应性成本优化Static静态无低无手动Elo评分制高中高间接RouterDC语义匹配无中中无AutoMix级联混用低中中是Hybrid加权融合视情况高高是强化学习驱动算法算法是否需要反馈部署复杂度适应性个性化Thompson Sampling中低高可选按用户GMTRouter中高很高内置Router-R1无高高通过 LLM 实现从源码看算法家族的演进从当前仓库的目录结构可以更直观地理解这套体系的组织方式所有选择器的运行时实现集中在 src/semantic-router/pkg/selection每个算法一个文件例如static.go静态选择elo.goElo 评分含 elo.go#L30-L35 中DefaultEloRating 1500、EloKFactor 32两个默认常量router_dc.go语义相似度匹配automix.go成本-质量权衡的级联选择hybrid.go多信号加权融合rl_driven.goThompson Sampling 与 Router-R1 LLM 路由的统一实现gmtrouter.go图神经网络个性化路由以及扩展方法multi_factor.go质量/延迟/成本/负载加权或字典序比较、latency_aware.goTPOT/TTFT 百分位策略、random.go、ml_adapter.goKNN/KMeans/SVM/MLP选择器的创建入口在 factory.go#L163-L229 的Factory.Create()根据配置中的method字符串走switch分支为每种算法实例化对应选择器并注入模型配置、分类目录、Embedding 函数等依赖。这也是理解算法类型名type: elo与实现类一一对应的最直接证据。此外pkg/modelselection/README.md 明确指出一个重要的行为约束选择结果必须命中候选modelRefs之一否则请求失败而非静默换模型。这意味着算法只会从当前决策的候选集中挑选不会越权选择候选之外的模型。按使用场景的配置实战Startup / MVPStatic静态选择推荐理由用显式规则起步行为确定、零依赖、容易调试待积累数据后再迁移到自适应方法。algorithm: type: static static: default_model: gpt-3.5-turbo从当前仓库看静态选择的语义比文档示例更简单直接默认选取该决策modelRefs中的第一项若配置了按域domain的model_scores则选取最高分候选。仓库提供的 static.yaml 片段只有两行algorithm: type: static minimum_candidates: 1细节可参考 selection/static.md静态选择不向后继候选故障转移、不对负载作出反应、不从结果中学习后端可用性仍由常规 provider 路径负责。High-Volume ProductionAutoMix 或 Hybrid推荐理由在规模化场景下既要维持质量又要控制成本。algorithm: type: automix automix: cost_quality_tradeoff: 0.4cost_quality_tradeoff的取值范围是 0 到 10.0表示永远选质量最高的模型1.0表示永远选最便宜的模型。当前仓库源码 automix.go#L51-L108 给出了更完整的默认值VerificationThreshold默认0.7自校验置信度低于该阈值触发升级、MaxEscalations默认2、CostQualityTradeoff默认0.3。仓库预置的 automix.yaml 片段展示了生产向的取值algorithm: type: automix automix: verification_threshold: 0.78 max_escalations: 2 cost_aware_routing: trueAutoMix 依赖模型侧的quality_score与pricinginput_cost_per_1k/output_cost_per_1k用于在候选模型之间做成本-质量效用排序。文档建议 quality score 可通过基准测试MMLU、HumanEval 等、内部评测与用户满意度聚合得出。User-Facing ApplicationsElo推荐理由让用户反馈驱动主观质量维度上的模型选择。Elo 基于 Bradley-Terry 配对比较模型做在线学习是经典 RouteLLM 思路的运行时版本——不训练静态路由器而是根据实时反馈持续更新评分。algorithm: type: elo elo: k_factor: 32 storage_path: /data/elo-ratings.jsonk_factor控制评分波动速度16 为慢而稳定适合反馈成熟的系统、32 为平衡默认值、64 为快而剧烈适合快速实验期。当前仓库 elo.go 确认默认initial_rating 1500、k_factor 32并支持storage_path持久化评分与auto_save_interval保存频率如1m。若配置了category_weighted可按类别分别维护评分。反馈通过 feedback API 提交v0.1 文档中的示例# Positive feedback (model performed well) curl -X POST http://localhost:8080/api/v1/feedback \ -H Content-Type: application/json \ -d {request_id: req-123, model: gpt-4, rating: 1} # Negative feedback (model performed poorly) curl -X POST http://localhost:8080/api/v1/feedback \ -d {request_id: req-456, model: gpt-3.5-turbo, rating: -1}Specialized DomainsRouterDC推荐理由当模型各有明确专长时用语义嵌入把查询与模型描述进行余弦相似度匹配让对口模型承接对应查询。该方法受 RouterDC基于双对比学习 Query-Based Router论文启发本仓库实现采用预先计算模型描述嵌入的简化方案。algorithm: type: router_dc router_dc: require_descriptions: true当前仓库 router_dc.go#L37-L69 给出的默认值为temperature 0.07softmax 缩放按论文取值、min_similarity 0.3低于该相似度则回退默认模型。require_descriptions: true会强制启动时校验所有模型都有描述缺描述则启动失败从而尽早暴露配置问题。仓库预置的 router-dc.yaml 片段algorithm: type: router_dc router_dc: temperature: 0.2 dimension_size: 384 min_similarity: 0.7 use_query_contrastive: true模型侧需要配置描述与能力标签models: - name: gpt-4 description: Advanced reasoning, complex analysis, mathematical proofs, and detailed explanations capabilities: - reasoning - mathematics - code-review - analysis撰写描述的原则具体化写模型擅长的具体任务、用关键词覆盖用户可能在查询中使用的措辞、差异化突出独特能力、简洁12 句聚焦优势。能力标签建议每个模型保持 35 个。Enterprise / Multi-objectiveHybrid推荐理由需要同时平衡质量、成本、用户满意度与模型专长等多目标时用加权组合把 Elo、RouterDC、AutoMix、成本四个信号统一为一个分数。algorithm: type: hybrid hybrid: elo_weight: 0.3 router_dc_weight: 0.3 automix_weight: 0.2 cost_weight: 0.2组合分数公式来自原文档score(m, q) w_elo × E(m) w_dc × S(q,m) w_mix × V(m,q) w_cost × C(m)当前仓库 hybrid.go#L56-L65 的默认权重为experience_weight 0.3、router_dc_weight 0.3、automix_weight 0.2、cost_weight 0.2且normalize_scores true各分量归一化到 [0,1] 后再加权。注意仓库 v0.1 文档中的elo_weight在 selection_config.go 中对应experience_weight字段配置时以你所使用版本的 schema 为准。仓库预置的 hybrid.yaml 片段示例algorithm: type: hybrid hybrid: experience_weight: 0.4 router_dc_weight: 0.4 automix_weight: 0.2 cost_weight: 0.1权重预置参考预置方案Elo/经验RouterDCAutoMix成本适用场景均衡0.250.250.250.25通用质量优先0.40.30.20.1高价值任务成本优先0.10.20.20.5预算敏感学习优先0.50.20.20.1快速适应期硬性约束权重之和必须等于 1.0容差 ±0.01否则校验失败。Personalized Multi-User PlatformsThompson Sampling 或 GMTRouter推荐理由多用户平台需要随时间学习每个用户的偏好。Thompson Sampling 将模型选择建模为多臂老虎机问题通过 Beta 分布采样在探索尝试不确定的模型与利用选择已知好模型之间自动平衡。algorithm: type: thompson thompson: per_user: true min_samples: 10核心参数prior_alpha/prior_beta决定先验(1,1) 均匀、 (2,1) 乐观、 (1,2) 悲观、 (10,10) 保守per_user决定是否为每个用户维护独立分布decay_factor控制旧观测的衰减适合模型质量会漂移的非平稳环境min_samples控制全量利用前的最少样本数。反馈更新规则为成功α 1失败β 1。需要指出的是v0.1 中的独立thompson算法在当前仓库已并入 rl_driven.go 的 RL 驱动选择器use_thompson_sampling: true即开启采样默认开启并配套exploration_rate 0.3、exploration_decay 0.99、min_exploration 0.05等默认值该实现还提供enable_personalization与personalization_blend全局与用户级偏好的混合比例默认 0.7。GMTRouter则用异构图神经网络HGT建模 用户—查询—响应—LLM 多轮交互图学习用户级偏好algorithm: type: gmtrouter gmtrouter: num_layers: 2 # HGT 层深度 hidden_dim: 64 # 嵌入维度 num_heads: 4 # 注意力头数 learn_preferences: true # 启用在线偏好学习 model_path: null # 可选的预训练权重当前仓库 gmtrouter.go#L78-L92 的默认值embedding_dimension 768、num_gnn_layers 2、attention_heads 8。GMTRouter 适合用户基数大、多轮交互历史丰富的场景如果用户太少、无历史数据或对延迟极其敏感GNN 推理约增加 10ms则应考虑其他算法。Research / Complex Routing LogicRouter-R1推荐理由当路由逻辑难以用规则编码、需要语义理解时让 LLM 本身充当路由器通过think推理与route模型名/route决策的循环来做出选择。algorithm: type: router_r1 router_r1: router_endpoint: http://localhost:8001 use_cot: truethink/route 协议示例think Analyzing query: Debug this Python code - Query type: coding task - Requires: code understanding, debugging - Best model: code-llama (specialized for code) /think routecode-llama/route关键参数router_endpointRouter-R1 服务地址、max_iterations默认 3、temperature默认 0.7、use_cot链式推理、fallback_to_static路由器不可用时回退静态选择推荐开启以实现优雅降级。多模型聚合模式enable_aggregation: true下路由器可依次调用多个模型并把响应并入上下文后综合成最终答案这更贴近原论文的多轮聚合思路。当前仓库中该能力由 rl_driven.go 的EnableLLMRoutingRouterR1ServerURL配置控制并配套 router_r1_client.go 作为 LLM 路由客户端。Router-R1 的代价是明显的延迟增量原文档给出的典型参考值 100–500ms只适合对延迟不敏感的场景。渐进迁移路径系统成熟度提升时的典型演进路线原文档起步Static 选择 简单规则收集反馈积累用户反馈后迁移到 Elo补充描述加入 RouterDC 做查询-模型匹配优化成本引入 AutoMix 提升成本效率组合使用 Hybrid 综合所有方法实践中可以分阶段切换且每次切换前都要用历史流量或影子模式验证效果——v0.1 文档指出算法变更可通过配置重载生效在途请求仍按旧算法完成。关键考量数据需求算法数据需求Static不需要数据Elo需要持续一致的用户反馈点赞/点踩RouterDC需要高质量的模型描述AutoMix需要准确的定价与质量评分Hybrid上述组合Thompson Sampling需要反馈可在线运行GMTRouter受益于交互历史可预训练Router-R1需要独立的 Router LLM 服务模型描述有助于决策延迟影响以下为原文档给出的典型参考值实际数值取决于部署环境算法典型延迟Static 1msElo 2msRouterDC2–5ms含 embeddingAutoMix 3msHybrid3–5msThompson 2msGMTRouter5–15msGNN 推理Router-R1100–500msLLM 决策维护成本Static手动更新规则Elo反馈驱动自维护RouterDC模型变更时更新描述AutoMix成本变化时更新定价Hybrid建议周期性调优权重运行时前置条件结合 modelselection/README.md 的说明几种自适应算法并非开箱即用需要先满足外部依赖RouterDC / Hybrid 的语义匹配分量依赖Embedding 能力RouterDC 默认维度 768dimension_size需与 Embedding 模型输出一致Elo / Thompson 依赖反馈通道feedback API 持续投递与持久化存储storage_path未配置时数据在重启后丢失AutoMix 依赖模型pricing 与 quality_score字段Router-R1 依赖独立部署的Router LLM 服务未就绪时应保持fallback_to_staticGMTRouter 依赖多轮交互历史与可选预训练权重model_path。排障与调优速查来自 troubleshooting.md 的常见问题处理要点Elo 评分不变化检查 feedback 请求是否返回 200K-factor 过低可提到 64反馈量不足时需累积流量。若某个模型长期霸榜可删除storage_path文件重置评分或启用decay_factor降低旧比较的权重。RouterDC 选错模型先检查模型描述是否过于笼统A good AI model 是反面典型再确认 Embedding 是否正常计算curl /metrics | grep embedding。require_descriptions: true下缺失描述会导致启动失败。AutoMix 总选贵模型cost_quality_tradeoff过低偏向质量调高到 0.5 左右总选便宜模型则反向调低到 0.2 左右。同时确认定价数据完整。Hybrid 权重校验失败权重之和必须为 1.0±0.01。组件不贡献分数Elo 缺反馈历史、RouterDC 缺模型描述、AutoMix 缺定价数据都会让对应分量失效。调试手段将logging.level设为debug用X-Request-ID请求头如debug-123追踪单请求并检索日志关注model_selection_duration_seconds、model_selection_total、model_elo_rating等选择相关指标。从源码理解选择算法的执行生命周期最后把这套机制串起来看。一次带选择算法的请求在 Semantic Router 中的执行链路大致是依据 extproc/router_selection.go 与 factory.go 的实现推断extproc 启动时通过createModelSelectorRegistries构建选择器注册表读取全局model_selection配置、注入模型配置WithModelConfig、分类目录WithCategories、上下文 Embedding 函数与查询表最终CreateAll()实例化全部选择器请求到达后先做路由决策匹配命中的决策若配置了algorithm则从注册表取出对应选择器选择器读取该决策的modelRefs候选集按算法逻辑打分静态规则、Elo 评分、余弦相似度、POMDP 值或加权组合选出分数最高的候选并校验其必须命中modelRefs随后请求被路由到该模型。正是这个先匹配决策、再在决策候选内选模型的两段式结构让你可以为不同查询类型tech、coding、general 等分别配置不同算法——例如技术类查询用 Elo、常规查询用 Static——实现精细化的多策略共存。小结选型没有绝对最优只有当前阶段最合适。起步用 Static 保证确定性与可审计性有反馈后引入 Elo有描述后叠加 RouterDC重视成本时启用 AutoMix最后用 Hybrid 统一多目标面向个性化多用户平台再考虑 Thompson Sampling / GMTRouter需要语义推理时引入 Router-R1。每一类算法在当前仓库中都有对应的源码实现src/semantic-router/pkg/selection与可参考的配置片段config/fragments/algorithm/selection切换时注意以你所用版本的配置 schema 为准v0.1 文档与当前主线的字段名存在演进如similarity_threshold→min_similarity、confidence_threshold→verification_threshold、elo_weight→experience_weight。理解每个算法的数据前提、延迟代价与维护成本比记住任何一组参数都更重要。赞分享后端API网关模型推理服务AI Agent【免费下载链接】semantic-routerAn open, programmable decision layer for models and compute.项目地址https://gitcode.com/gh_mirrors/sem/semantic-router点击查看免费下载相关推荐semantic-router 的 decision 选择算法让决策模型为每条请求挑选最合适的模型semantic router 的 decision 选择算法让决策模型为每条请求挑选最合适的模型 导读 decision 是 vLLM semantic r后端API网关模型推理服务AI Agentsemantic-router KNN 模型选择算法指南基于历史示例的最近邻路由策略semantic router KNN 模型选择算法指南基于历史示例的最近邻路由策略 knn 是 semantic router 内置的四种 ML 模型选择算后端API网关模型推理服务AI Agentsemantic-router 静态选择static算法实战指南确定性模型路由、领域分数排序与配置详解semantic router 静态选择static算法实战指南确定性模型路由、领域分数排序与配置详解 导读 static 是 semantic rout后端API网关模型推理服务AI Agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考