【免费下载链接】tokentest.iotokentest.io — site MCP scaffold项目地址https://gitcode.com/gh_mirrors/to/tokentest.io点击查看免费下载TokenTest 是一款面向 AI 路由与大模型网关的黑盒评测工具它不代理你的业务流量而是从外部对 OpenAI 兼容或 Anthropic 风格的路由发起真实探针帮你判断申请到的模型和实际返回的模型是否一致、token 计量是否可信。本文带你解锁 TokenTest 的两项进阶玩法——Deep 深度探针与视觉评测覆盖工具调用tool call、流式输出SSE、图像与视频生成等能力让上线前的验收报告更贴近生产真实。 快速 vs 深度模式为什么 Deep 探针更值得跑TokenTest 提供三档评测模式在 Web 控制台中对应三个按钮新手可先跑 Quick 冒烟再做 Deep 深度验收模式中文界面适用场景探针深度Quick快速冒烟测试、批量初筛轻量采样、较短输出Truth深度上线前验收、深度比对加长输出、更多延迟样本、更长上下文Cost成本关注计费与 token 证据聚焦用量与计费边界在 index.html 中切换到 Truth深度模式时前端会把请求标记为deep: true见 index.html#L725从而触发更深的探针逻辑。Deep 深度探针相比 Quick在 lib/evaluator.js 中主要做了四件事更多延迟样本延迟采样从 3 次提升到 5 次lib/evaluator.js#L2-L3P50/P95/P99 与 TTFT 首包延迟更稳定。更长输出预算长输出探针maxTokens从 520 提升到 900lib/evaluator.js#L214能暴露长文本截断。更长上下文token 长输入包重复次数从 260 提升到 520lib/evaluator.js#L313压测上下文长度。更严的缓存证据缓存 fixture 长度几乎翻倍lib/evaluator.js#L117更好验证 cache token 行为。 Deep 深度探针测什么六大维度与探针包Deep 探针沿用文本评测的六大维度D1-D6其中 D3「通道与输出完整性」正是工具调用与流式的核心维度权重关注点D1 身份与协议完整性30%请求模型 vs 实际模型、协议结构、nonce 防重放、鉴权兼容D2 输出纪律与确定性任务30%严格 JSON、约束遵循、算术/逻辑/代码等可见答案稳定性D3 通道与输出完整性5%工具调用、视觉、文档、Web 搜索、长输出、流式 SSE、delta 粒度D4 Token 计量可信度15%usage 一致性、输入单调性、流式 usage、cache 证据D5 安全鲁棒性10%Prompt 注入、敏感信息、危险代码边界、错误泄漏D6 稳定/可靠/合规10%P50/P95/P99 延迟、TTFT、短时成功率维度定义见 lib/evaluator.js#L8-L63。工具调用Tool Call探针D3 中的channel_tool_use探针会向路由注入一个tt_record_capability函数并强制tool_choice观察路由是否真正回传tool_callslib/evaluator.js#L178-L184。如果模型只是把函数讲一遍而没有真正调用探针会标记通道证据缺失。流式输出Streaming SSE探针channel_stream_sse探针以stream: trueinclude_usage发起请求验证路由是否支持 SSE 增量输出、流结束时能否回传 usagelib/evaluator.js#L217-L223。Deep 模式进一步放大流式输出长度暴露 delta 粒度与截断问题。 如果你的路由宣称支持工具调用或流式但实际只是透传假象Deep 探针是成本最低的揭穿方式。 视觉评测图像与视频能力全覆盖TokenTest 内置独立的视觉评测器lib/visual-evaluator.js。在 Web 控制台可把评测目标切换为 Image图片或 Video视频index.html#L339-L340并针对 OpenAI 兼容的/images/generations、/videos/generations端点发起真实生成。图片评测用例图片核心用例默认自动运行覆盖物体生成、组合与数量约束、中文 Prompt 遵循、不安全生成拒绝此外还可勾选扩展控制项文字渲染、Seed 复现、画幅控制完整目录见 lib/visual-evaluator.js#L4-L77。图片与视频评分维度图片维度权重关注点I1 接入协议与产物完整性30%接口协议、响应结构、可用图片产物I2 图文一致性与核心遵循35%数量/组合约束、中文理解基础可用性I3 安全与合规边界20%不安全 Prompt 是否被拒绝或拦截I4 成本、延迟与稳定性15%生成延迟稳定性、扩展控制项视频评测则使用 V1-V4 维度生命周期、Prompt 与运动、时序一致性、安全与成本见 lib/visual-evaluator.js#L138-L151。️ 从界面到 CLI 与 MCP三种入口都能进阶TokenTest 的评测核心被 Web API、CLI、MCP 三方共享进阶玩法可以任选其一落地入口启用 Deep适用场景Web 控制台切换 Truth深度模式交互式验收、导出报告CLInpx tokentest evaluate --deepCI 准入、发布门禁MCP工具参数deep: trueClaude Desktop、Cursor、VS CodeMCP 侧还暴露了evaluate_image_model、evaluate_video_model与list_visual_cases工具方便在客户端里直接调用视觉评测见 lib/mcp-tools.js#L66-L97。TOKENTEST_BASE_URLhttps://api.example.com/v1 \ TOKENTEST_API_KEY$MODEL_API_KEY \ TOKENTEST_MODELSmodel-a,model-b \ npx tokentest evaluate --deep --min-score 80 --format junit --output tokentest.junit.xml 进阶评测最佳实践先用测试专用 KeyDeep 与视觉评测会发起真实生成务必使用只用于测试的 Key并设置上游消费限额。Quick 先筛、Deep 再验批量初筛用 Quick候选模型上深度探针与视觉评测避免无谓成本。对比模式看证据同一模型分别跑 Quick 与 Truth对比 D3 通道证据与延迟样本能直观看到路由宣称 vs 实际的差异。导出证据留档完成运行可导出 JSON / CSV / HTML / JUnit用于采购评审与故障复盘报告默认脱敏不含 Key 与原始授权头。想深入了解远端 MCP 的策略与工具 schema可阅读 docs/remote-mcp.md。赞分享【免费下载链接】tokentest.iotokentest.io — site MCP scaffold项目地址https://gitcode.com/gh_mirrors/to/tokentest.io点击查看免费下载相关推荐深度学习实战进阶从零构建计算机视觉能力图谱深度学习实战进阶从零构建计算机视觉能力图谱 还在为理论学习与项目实践之间的鸿沟而困扰当你面对卷积神经网络、自注意力机制等概念时是否感觉难以落地这套李宏毅示例工程终极dijkstra-cartography优化技巧提升地图绘制效率的5个方法终极dijkstra cartography优化技巧提升地图绘制效率的5个方法 dijkstra cartography是一个利用Dijkstra算法寻找数据可视化GIS后端终极指南如何解决ESP-IDF I2C驱动35微秒时间间隔问题终极指南如何解决ESP IDF I2C驱动35微秒时间间隔问题 ESP IDFEspressif IoT Development Framework是乐鑫物联网嵌入式驱动开发系统编程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考