1. 为什么模型优选需要 WWB从“感觉差不多”到 92.5% 相似度你手上有一份 Qwen3-4B 的原始权重又用 NNCF 或 optimum-intel 压出了 int4 版本文件体积从 8GB 掉到 2.5GB加载速度肉眼可见地变快。但问题来了压缩后的模型到底还能不能好好说话是“几乎无损”还是“已经废了”如果只靠肉眼看几条输出很容易被个例误导——有的 prompt 看起来正常换个问法就开始胡言乱语。WWBwho_what_benchmark就是来解决这个问题的。它是 OpenVINO™ GenAI 生态里的生成式 AI 模型简易准确率基准测试工具核心思路很直接让基线模型和优化模型分别对同一批 prompt 生成回答把回答转成嵌入向量再算两组向量之间的相似度得分。得分越接近 1说明优化模型的行为越贴近原版。它不判断“回答对不对”而是判断“回答像不像”这对量化、转换、蒸馏后的模型评估特别合适。适合谁用三类人最需要一是做本地部署、要在消费级显卡或 CPU 上跑 GenAI 的开发者二是做模型量化压缩、需要给出“压缩后精度损失”量化结论的工程师三是社区里做模型选型评审、要给候选模型排个序的人。WWB 为常见用例内置了默认数据集也支持插入自定义数据集所以你不必从零构造测试集。我试过用同一份 gt.csv 分别测 optimum-intel 推理和 OpenVINO™ GenAI 推理两条路径同一份 int4 模型前者相似度 92.5%后者 93.2%。这个差异本身就说明推理后端的选择也会影响最终表现而 WWB 能把这种差异量化出来。下面从环境准备开始一步步把这套流程跑通。2. TaoToken 前置给评测脚本一个稳定的模型调用通道WWB 本身是本地评测工具它不依赖外部 API 也能跑——只要模型权重在本地。但在实际工作流里你往往还需要一个统一的模型调用通道来做几件事对比不同模型服务返回的文本质量、在评测脚本里调用远端模型生成参考回答、或者把 WWB 的评测结果和线上服务的表现做交叉验证。这时候如果每个模型都单独配一套 Key 和 Base URL脚本会变得很难维护。TaoToken 在这里的角色是统一 Key/API 通道。它把不同模型的调用收敛到一套接口上你只需要维护一个 Key、一个 Base URL就能在脚本里切换模型。对 WWB 评测场景来说这解决的是“参考数据来源多样化”的问题你可以用本地模型生成 gt.csv也可以用远端模型生成另一份对照数据两边用同一套调用方式减少环境变量和鉴权代码的重复。具体要准备三样东西我把它叫“三件套”配置项取值来源用途Base URLhttps://taotoken.net/api所有请求的统一入口API Key控制台创建鉴权凭证Model ID模型列表里选指定调用哪个模型Base URL 用https://taotoken.net/api注意这个地址不带任何查询参数。API Key 在控制台的 API Keys 页面创建创建后只显示一次记得立刻复制保存。Model ID 根据你要调用的模型填比如做文本生成对比时选一个通用对话模型即可。如果你只是跑本地 WWB 评测TaoToken 不是必须的但如果你想把评测流程和线上服务打通或者需要在一个脚本里同时调用本地模型和远端模型那提前把这三件套配好会省很多事。配置方式很简单写进环境变量或者配置文件都行下一节给出可复制的片段。3. 可复制配置环境变量、settings 与 WWB 安装命令这一节把配置和安装命令都给全你照着复制即可。先配 TaoToken 三件套再建虚拟环境、装 WWB。TaoToken 的配置建议写成环境变量脚本里直接读避免硬编码。Linux/macOS 下可以写进~/.bashrc或单独的.env文件export TAOTOKEN_BASE_URLhttps://taotoken.net/api export TAOTOKEN_API_KEYsk-你的Key export TAOTOKEN_MODEL_ID你的模型ID如果你用的是支持 JSON 配置的工具链也可以写成settings.json形式路径按你的项目实际位置放{ base_url: https://taotoken.net/api, api_key: sk-你的Key, model_id: 你的模型ID }注意 base_url 结尾不要多加斜杠保持https://taotoken.net/api这个形式避免拼接出双斜杠导致 404。接下来是 WWB 的安装。全部在 Ubuntu 下演示先建虚拟环境python3 -m venv env2 source env2/bin/activate然后拉 OpenVINO™ GenAI 仓库WWB 是它的一部分git clone https://github.com/openvinotoolkit/openvino.genai.git cd openvino.genai git checkout 811056b1b9632f006bd97c20cbf53876c53d3a37这个 commit 是我验证过的版本。如果你要支持更新的模型建议用更新的 commit但安装步骤一致。把 WWB 工具复制到自己的工作目录cp -r tools/who_what_benchmark /home/rainhenry/AIGC/20251119_WWB/WWB 依赖 AutoGPTQ而且必须源码编译不能直接 pip 装。先下 v0.7.1 的源码包tar -xvf AutoGPTQ-0.7.1.tar.gz pip install torch --index-url https://download.pytorch.org/whl/cpu pip install huggingface-hub0.34.0中间如果有报错先忽略继续编译cd AutoGPTQ-0.7.1 export BUILD_CUDA_EXT0 python3 setup.py build python3 setup.py install cd ..然后编译安装 WWB 本体cd who_what_benchmark pip install -r requirements.txt pip install .这里有个坑要强调不要用python3 setup.py install装 WWB否则会有问题必须用pip install .。装完后pip list里应该能看到whowhatbench 1.0.0.dev0unknown.version。关键依赖版本参考openvino 2025.3.0、openvino-genai 2025.3.0.0、optimum-intel 1.26.1、transformers 4.55.4、auto_gptq 0.7.1。版本对不上时优先对齐这几个。4. 验证请求生成 gt.csv 并对比 int4 模型相似度环境装好后先下载原版 Qwen3-4B 作为基线。从 ModelScope 拉# 模型地址 https://modelscope.cn/models/Qwen/Qwen3-4B用 WWB 生成基准文件 gt.csvwwb --base-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B \ --gt-data gt.csv \ --model-type text \ --hf这一步会访问 HuggingFace 拉取 tokenizer 等资源网络环境要提前配好。跑完后当前目录会出现 gt.csv里面是基线模型对默认数据集的生成结果。这个文件是后续所有对比的参照物建议备份一份。接着下载转换后的 int4 模型# 模型地址 https://modelscope.cn/models/OpenVINO/Qwen3-4B-int4-ov先用 optimum-intel 推理方式对比wwb --target-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B-int4-ov \ --gt-data gt.csv \ --model-type text结果相似度 92.5%。再用 OpenVINO™ GenAI 方式对比wwb --target-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B-int4-ov \ --gt-data gt.csv \ --model-type text \ --genai相似度 93.2%。同一份 int4 权重换推理后端相似度差了 0.7 个百分点。这说明 WWB 不只是测模型也在测推理路径。如果你在做模型优选这两个数字就是决策依据92.5% 和 93.2% 都算高相似但如果你对精度更敏感GenAI 路径更优。WWB 还支持其他模型类型的相似度计算用wwb --help可以看全部选项。目前支持 text 等多种 model-type具体列表以帮助文档为准。如果你要评测的不是 LLM先查 help 确认类型再跑。验证成功的标志有三个gt.csv 正常生成且行数与数据集匹配target 模型评测能跑完不中断输出的相似度分数在 0 到 1 之间且合理低于 0.8 就要警惕量化损失过大。5. 常见错排查401、local proxy failed、reading choices 与 OAuth跑 WWB 和配 TaoToken 的过程中有几类报错出现频率最高逐个说清楚。401 Unauthorized。这个基本是 Key 的问题。先确认TAOTOKEN_API_KEY环境变量真的被读到了可以在脚本里打印一下长度不要打印完整 Key。如果 Key 刚创建确认没有多余空格或换行。还有一种情况是 Base URL 写错比如写成了带路径的地址导致鉴权端点不对。正确形式是https://taotoken.net/api不带尾斜杠。local proxy failed。这个报错通常出现在 WWB 访问 HuggingFace 或 ModelScope 下载模型时。先检查网络环境是否能正常访问模型仓库。如果是公司内网确认 DNS 和出站规则。这个报错和 TaoToken 无关是本地网络到模型仓库的链路问题。解决方式是提前把模型权重下载到本地用本地路径传给--base-model和--target-model避免评测时实时下载。reading choices 相关报错。这类错误一般出现在解析模型返回结构时返回体里没有预期的choices字段。原因可能是 Model ID 填错调到了不兼容的接口或者请求体格式和该模型不匹配。排查方法先用一个最小请求单独测通模型调用确认返回结构正常再放进 WWB 流程。如果用的是 TaoToken 通道确认 Model ID 是从模型列表里复制的准确值。OAuth 相关报错。如果你用的是需要 OAuth 的工具链比如某些 CLI 工具报错往往是因为 token 过期或 scope 不足。这类问题不在 WWB 本身而在调用链的上游。处理方式是重新走一遍授权流程拿到新 token 后更新配置。注意不要把 OAuth token 和 API Key 混用两者鉴权机制不同。还有一个容易忽略的坑WWB 安装时用了python3 setup.py install而不是pip install .会导致包元数据不完整运行时出现奇怪的 import 错误。如果你遇到ModuleNotFoundError但包明明装了先检查安装方式重装一遍。排查顺序建议先确认模型路径存在且可读再确认推理后端--genai 与否和模型格式匹配最后才怀疑网络和鉴权。大部分报错在前两步就能定位。6. 把评测接进日常工作流从单次对比到持续选型跑通一次 92.5% 和 93.2% 的对比只是开始。真正有价值的是把 WWB 变成日常选型流程的一部分。我的做法是维护一个models/目录每个候选模型一个子目录里面放权重和一份评测记录。每次有新模型进来先跑 gt.csv 对比把相似度、推理耗时、内存占用三个数字记进表格。相似度低于阈值比如 0.9的直接淘汰剩下的再比性能。gt.csv 建议固定下来不要每次重新生成。因为基线模型不变的话gt.csv 就是稳定的参照物这样不同时间评测的模型之间才有可比性。如果基线模型升级了重新生成 gt.csv 并标注版本。对于需要调用远端模型的场景TaoToken 的统一通道能让你在评测脚本里少写很多鉴权代码。把 Base URL、Key、Model ID 三件套配好之后切换模型只需要改一个 Model ID不用动请求逻辑。接入文档和 API Keys 都在控制台里能找到模型对话页面可以快速验证某个模型是否可用长期做编码和 Agent 评测的话 Coding Plan 更合适。最后给一个实用技巧WWB 的相似度分数对 prompt 分布敏感。默认数据集覆盖的是通用场景如果你的业务是垂直领域比如法律、医疗默认数据集的高分不代表业务场景也好。这时候用自定义数据集把业务里真实的 prompt 抽一批出来做 gt.csv评测结果才真正有参考价值。这一步多花半小时能避免上线后才发现模型在业务问法上崩掉的情况。