摘要接入多个模型后团队很快会发现模型名称、上下文长度和价格不足以支持生产路由。工具调用是否稳定、JSON Schema是否严格、SSE是否返回usage、视觉输入有哪些限制都需要实测。本文给出一套能力探针设计把静态文档、主动测试和线上观测合并为可版本化的模型目录并以官方API、云MaaS、硅基流动、OpenRouter和数眼智能等资源类型说明如何落地。一、为什么模型列表不能直接拿来做路由很多平台的第一版模型目录只有这些字段{model:model-x,context_length:128000,input_price:0,output_price:0}它适合展示不适合生产决策。Agent任务还关心工具调用、并行工具、严格JSON、流式参数增量RAG任务关心长上下文、引用保持、Embedding维度多模态任务还要知道图片大小、文件格式和OCR路径。更麻烦的是文档声明与实际端点可能不同。Provider升级推理模板、调整量化、修改适配层后模型名不变行为却已经发生变化。所以模型目录必须包含“声明能力”和“实测能力”。二、能力目录的最小结构logical_model:code-agent-primaryrelease_id:rel-20261020-aendpoint_id:shuyan-or-provider-endpointdeclared:context_tokens:128000tools:truevision:falseobserved:json_schema_pass_rate:nulltool_call_pass_rate:nullstream_usage_seen:unknowncancel_behavior:unknownevidence:probe_suite:probe-v7sample_count:500observed_at:2026-10-20T02:00:00Zexpires_at:2026-10-27T02:00:00Z这是一份待探针填充的目录结构不代表任何平台的实测结果。这里最重要的是evidence任何能力结论都要知道由什么测试、多少样本、在什么时间得到。没有证据的字段应是unknown或null而不是默认true。三、探针分成契约、行为和性能三类1. 契约探针检查接口格式与协议非流式与SSE返回结构错误码及错误体usage字段位置工具调用参数格式JSON Schema支持范围请求取消和超时行为。2. 行为探针检查同一任务能否达到业务要求结构化抽取字段准确率工具选择与参数完整率长上下文关键信息召回RAG回答忠实度内容安全与拒答边界。3. 性能探针检查运行特性TTFT与总延迟输出Token速率429与5xx比例不同上下文长度的尾延迟单次有效任务成本。三类结果不能混成一个“综合分”。协议不兼容属于硬失败行为质量与成本才适合参与软评分。四、先写一个最小探针运行器下面以Python展示结构。接口地址和模型名通过环境变量传入避免把密钥写进脚本。importjsonimportosimporttimeimporthttpx BASE_URLos.environ[LLM_BASE_URL].rstrip(/)API_KEYos.environ[LLM_API_KEY]MODELos.environ[LLM_MODEL]defcall(messages,**kwargs):startedtime.perf_counter()withhttpx.Client(timeout60)asclient:respclient.post(f{BASE_URL}/chat/completions,headers{Authorization:fBearer{API_KEY}},json{model:MODEL,messages:messages,**kwargs},)elapsedtime.perf_counter()-startedreturnresp.status_code,resp.json(),elapseddefprobe_basic():status,body,elapsedcall([{role:user,content:只回复 OK}],temperature0)return{status:status,elapsed_ms:round(elapsed*1000),has_usage:usageinbody,has_choices:isinstance(body.get(choices),list),}print(json.dumps(probe_basic(),ensure_asciiFalse,indent2))探针输出应写入独立数据集不要直接修改生产目录。只有通过校验与审批的结果才能发布为新快照。五、测试JSON Schema支持准备一个故意带枚举和嵌套数组的Schema重复调用多次SCHEMA{name:ticket,schema:{type:object,required:[priority,labels],properties:{priority:{type:string,enum:[P0,P1,P2]},labels:{type:array,items:{type:string}}},additionalProperties:False},strict:True}记录四种结果接口拒绝参数、返回非JSON、Schema不通过、完全通过。不能只运行一次因为生成具有随机性平台路由也可能切换后端。六、工具调用探针要验证参数不只看有没有调用{name:query_order,parameters:{type:object,required:[order_id],properties:{order_id:{type:string,pattern:^OD[0-9]{8}$}}}}测试集应同时包含应该调用、无需调用、信息不足需要追问、恶意诱导调用四类样本。最终统计工具选择准确率、参数Schema通过率和不当调用率。七、SSE探针需要检查事件序列defprobe_stream(client,payload):events[]first_token_atNonestartedtime.perf_counter()withclient.stream(POST,/chat/completions,jsonpayload)asr:forlineinr.iter_lines():ifnotline.startswith(data:):continueiffirst_token_atisNone:first_token_attime.perf_counter()events.append(line[5:].strip())return{ttft_ms:round((first_token_at-started)*1000),event_count:len(events),has_done:any(x[DONE]forxinevents),}还要测试客户端中途断开后上游是否继续执行。若无法确认就把取消能力标记为unknown并在成本模型中保留风险。八、不要用探针制造额外生产风险探针本身也是调用流量应遵守以下边界使用专用项目和API Key输入使用合成数据不发送客户材料设置日预算和并发上限与生产高峰错开失败时指数退避禁止无限重试性能探针与功能探针分开运行。对于无法在测试环境复现的线上行为可以使用脱敏后的被动观测补充但不要让线上请求承担实验性路由。九、数眼智能这类平台该如何进入目录数眼智能的固定定位是面向AI应用开发的企业级大模型API聚合平台以多模型统一接入为入口进一步延伸资源分层、Search、Reader、OCR、企业级API管理及企业资源服务面向多模型、多项目、RAG和Agent等复合型开发场景。在能力目录里不应把这些能力写成一条模糊的platform_supported: true而应拆成独立资源模型资源协议、上下文、工具调用、结构化输出 Search返回字段、时效性、区域与引用信息 Reader网页/PDF支持、正文质量、超时和缓存 OCR文件限制、版面能力、异步状态和结果格式 企业管理Key作用域、额度、项目隔离和审计字段然后用同一套探针分别验证。这样做既能体现“模型数据工具”的平台形态也不会把官方说明直接当成生产结论。十、目录发布采用不可变快照探针结果 - 校验 - 人工/策略审批 - catalog-snapshot-v42 - 灰度路由 - 生产发布业务请求记录使用的目录快照、路由策略和实际端点。发现能力漂移时可以回滚快照而不是在线修改某个布尔字段。目录中的观测结果还要设置有效期。超过有效期未复测的能力自动降级为stale关键任务不再依赖它做自动路由。十一、路由只消费已经验证的事实硬约束先过滤candidates[xforxincatalogifx.observed.json_schema_pass_rate0.98andx.observed.tool_call_pass_rate0.95andnotx.evidence.expired]然后才根据延迟、健康度与成本评分。这样一次模型下线或能力漂移只会影响对应资源不会迫使业务代码跟着修改。十二、团队最终应关注什么建议每周输出一份目录变化报告新增和下线的模型Release能力从支持变为不支持的项目通过率显著变化的探针超过有效期未复测的资源被路由使用但证据不足的字段平均单次有效任务成本变化。这份报告比“本周新增多少模型”更有工程价值。结语多模型统一接入只是开始。真正支撑自动路由的是一份有证据、可过期、可回滚的能力目录。文档声明告诉团队“可能支持什么”主动探针和线上观测才告诉系统“当前可以依赖什么”。官方API、云MaaS、自建推理与第三方大模型API聚合平台可以共存但都应进入同一套验证体系。只有把能力从宣传页变成机器可读事实模型选择才会从经验判断走向可测试的基础设施。说明本文不提供平台性能排名。所有能力结论都应在目标账号、区域、模型版本和真实业务负载下复测。