开源项目 L3 独立评测报告 promptfoo/promptfoo赛道A「AI Agent LLM Observability」LLM 红队测试与提示词自动评测工具评测引擎Valhalla-SafeNet-Accelerator路由/审计 Valhalla-Matrix-Alchemy-Lab L3 证据链评测等级L3 · PASSSchemal3-open-source-benchmark-v1作者Valhalla Matrix治理实验室✅ 一句话结论固定 commit 证据面完整、bounded 快照全核验L3 8项检查全部通过风险姿态 elevated重点关注配置面膨胀、本地状态持久化两大风险点。⚠️ 重要前置声明本文基于 SafeNet 合规浅克隆抽样静态源码取证仅做固定快照下的证据链审计无运行时渗透、无动态安全测试本报告不构成安全认证、合规担保与生产准入背书。0 导读为什么要审计 promptfoo在大模型应用落地链路中提示词评测、红队测试、模型输出一致性校验已经从“可选能力”变成刚需基建。promptfoo 是当前生态内知名度很高的开源 CLI 工具面向 LLM 提示词批量评估、对比测试、红队攻击集验证广泛用于提示词版本回归测试不同大模型、不同参数的输出横向对比自动化红队用例批量执行评测报告导出、团队侧评估台账沉淀很多 AI 应用团队直接把它接入 CI/CD 流水线把提示词评测左移。一旦评测工具本身配置复杂、状态不可控整个评测链路的可信度就会被击穿这也是我们把它纳入 Valhalla L3 独立评测体系的核心原因。本文严格遵循 Valhalla Matrix V2 证据闭环范式所有判断只来自固定 commit 快照抽样源码不引入外部社区口碑、线上 demo、第三方博客观点做到证据可复现、快照可回滚。1 项目基础快照项目字段取值GitHub 仓库promptfoo/promptfoo主编程语言TypeScript项目定位LLM 红队测试 提示词自动评测 CLI / SDK 工具L3 审计焦点评测引擎、数据集管理、报告输出、边界用例处理开源协议MITCopyright © Promptfoo 2025锚定 Commit93b2b18fbfc676cf9a495cfa04e09909c8c98c6e2 评测方法论Valhalla L3 审计规范本次审计全程使用 SafeNet RoutePlanner 合规采集链路采用partial shallow clone浅克隆不做完整仓库拉取控制取证边界符合 L3 bounded 审计约束。整套流程标准化动作锁定 40 位完整 commit SHA作为唯一可信快照锚点30 文件固定取证预算按配额分层抽样契约文件 / CI 流水线 / 测试用例 / 业务源码对每一个抽样文件执行 Git blob 哈希核验与固定 commit 树做回填复核生成bounded-git-snapshot-v1manifest绑定全局 canonical SHA-256输出状态标记bounded_verified仅代表本次划定抽样范围证据闭环不等于全仓库审计。核心区分点L3 不是全仓扫描而是可控预算下的证据抽样审计适合CTO/架构师快速做开源引入前的风险尽调平衡成本与可信度。3 L3 判定检查矩阵8项 GateGate 检查项结果说明resolved_fixed_commit✅ 通过commit 哈希有效Git 对象可定位shallow_non_full_fetch✅ 通过浅克隆采集符合取证约束bounded_snapshot_verified✅ 通过抽样文件在快照内完整匹配evidence_coverage_pass✅ 通过抽样配额内证据全覆盖root_contract_present✅ 通过根目录许可、README、安全说明等契约文件齐全test_surface_present✅ 通过具备配套测试文件与 schema 自校验manifest_hash_bound✅ 通过快照清单绑定 SHA256防篡改semantic_clean_gate✅ 通过抽样源码无高危静态语义告警统计汇总8 / 8 检查项通过证据覆盖率 100.00%最终判定 L3 · PASS4 证据面明细抽样配额分配本次审计总文件池仓库检出 5566 个文件取证预算30 个目标文件剩余 5536 个文件属于超范围跟踪不在本次审计边界内无嵌套子模块。快照 manifest SHA25685185d30e60a25c01d683776945b15f9d7dfe3b476f4763693c3d7ecbe5c53c8文件分类抽样数量代表文件清单root_contract 根契约8AGENTS.md、CODE_OF_CONDUCT.md、Dockerfile、LICENSE、package.json、README.md、SECURITY.md、tsconfig.jsonci_workflow 流水线3.github/workflows/deploy-launcher.yml、.github/workflows/docker.yml、.github/workflows/image-actions.ymltest 测试面7test/account.test.ts、test/cache.test.ts、test/config-schema.test.ts、test/database.test.tsproduction_source 业务源码12src/cache.ts、src/cliState.ts、src/configTypes.ts、drizzle.config.ts、vitest.config.ts5 风险切片 Risk Slices风险姿态elevated风险等级定义high / medium / low仅基于抽样源码静态证据标记不代表线上可利用漏洞。风险标签严重等级证据样本解读与落地建议config_surface_explosion 配置面爆炸mediumtsconfig.json、drizzle.config.ts、tsdown.config.ts、vitest.config.ts、test/config-schema.test.ts同时存在TS编译、数据库ORM、打包、单元测试多套独立配置并且项目自带配置schema自校验逻辑。 优势配置可被程序校验 隐患多配置栈版本冲突、配置项扩散团队维护成本上升CI流水线必须固化配置版本禁止动态传入未知配置state_persistence_risk 状态持久化风险lowsrc/cliState.tsCLI 本地存在持久化状态缓存。在CI多任务并行、容器无隔离场景下存在状态污染导致评测结果失真。 建议容器化运行时使用emptyDir每次评测前强制清理本地状态做到一次评测一个干净环境license_mixing_or_incompatibility 许可兼容关注lowLICENSE主协议为MITL3抽样下暂未检出明显不兼容许可建议接入前自行全量扫描依赖包许可证链 补充边界说明promptfoo 本身是用来执行LLM红队、提示词攻击测试的工具本报告是对 promptfoo 工程本身的静态审计不等于认可或豁免它执行红队测试时的合规责任。使用方必须遵守大模型服务商使用条款、网络安全相关法规仅在自有授权模型/自有业务资产上开展评测。6 审计链账本可追溯审计事件流route.planned(ALLOWED) → clone.shallow_ok → snapshot.bounded(BOUNDED_VERIFIED)全局审计链头09ff13b3ce0f45c749ef654ba8932e2df546205f594a08813600cfac32790d10审计落盘文件audit/audit_ledger.jsonl这套账本可以接入内部SCM/开源组件管理平台作为引入该组件的准入附件供法务、安全、架构评审查阅。7 综合结论 落地适配建议✅ 综合结论证据完备性固定commit bounded manifest 哈希绑定证据闭环可信L3 评级PASS满足Valhalla L3开源组件准入基线核心短板配置体系复杂、CLI本地状态缓存属于工程架构层面的可控风险不是致命缺陷。 适合落地场景AI 产品团队内部提示词回归流水线接入CI自动评测模型选型、不同服务商LLM输出横向对比平台安全团队自有授权模型的自动化红队测试台账内部评测平台底层SDK封装。⛔ 不推荐直接使用的场景多租户共享实例、未做环境隔离的公共评测服务直接面向外部不可信用户开放配置传入入口不做版本锁定、滚动拉取main分支的生产流水线。 生产侧落地规范极简checklist强制锁定本次审计commit或者固定tag禁止浮动版本容器隔离运行每次任务销毁重建清空cli本地状态配置文件纳入版本管理禁止外部动态注入配置schema补充依赖许可全量扫描梳理间接依赖许可证红队测试用例库单独管控禁止随意导入外部不可信payload8 系列尾注本文是《Valhalla L3 独立开源评测报告》第04期本系列目标建立一套可复现、证据优先Evidence-first的开源组件静态审计标准给架构师、CTO、安全负责人提供轻量化、可信的开源引入尽调材料对标开源资产的独立评级体系。往期报告#01 google/protobuf#02 google/tink#03 google/leveldbValhalla SafeNet Accelerator × Matrix Alchemy Lab证据优先 · 快照可复现 · 边界明确