LangWatch 数据可视化实战给 AI 应用监控搭自定义仪表盘的完整指南【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch有人问你模型响应最近三天快了多少每天烧多少 token如果第一反应是等我查下日志那你需要把 LangWatch 的 AI 应用监控数据可视化用起来——自定义仪表盘点几下配置trace 数据、token 用量、评估通过率就能摆成一张张能看的图这几个问题的答案直接摆在眼前。这个能力能帮你做什么LangWatch 的数据可视化不需要你写 SQL 或另配一套指标系统。图表构建器把 trace 数据变成一份可选的字段清单你挑指标、挑聚合、挑样式图就画出来了。仪表盘就是若干张这样的图拼在一起配好后能存成自定义报表整个团队打开看到的是同一份视图。用几分钟回答涨了多少、烧了多少不再翻日志同一个指标既能画趋势线也能画对比柱状图或 KPI 卡片随场景切换报表存下来就能共享权限分查看、编辑、管理三档团队各看各该看的三步搭出 LangWatch 自定义仪表盘像做 Excel 透视表搭仪表盘和做一张 Excel 透视表很像选字段、定聚合、挑样式三步走完。第一步选字段。图表构建器支持的指标涵盖 trace 数、独立用户数、token 用量、成本、评估分数等完整清单在 analytics 模块的图表词汇表里。我平时最关心四个完成时间performance.completion_time反映平均响应延迟配avg首 token 时间performance.first_token决定流式回答的体感速度看p95更真实prompt token 用量performance.prompt_tokenssum一下就是总开销评估通过率evaluations.evaluation_pass_rateavg出来是质量水位线。第二步定聚合。同一个字段聚合方式不同答案完全不同sum是加总avg是均值cardinality是去重计数多少独立用户只能用cardinality数。响应时间配avg常常偏乐观p95/p99才能看到最慢那批用户真实的体感。第三步挑样式和分组。常用样式如下选完再按模型、用户、主题分一分组图表类型什么时候用line/area折线 / 面积看随时间的趋势变化bar/horizontal_bar柱状 / 横向柱状分类对比、排名pie/donnut饼图 / 环形图看整体占比summaryKPI 卡片一眼看当前值monitor_graph监控图数值越线自动变色一张图的全部配置就是一份结构化 JSON等价于数据库里的一行记录所以既能改、也能通过 graphs 接口用 API 建图挂到仪表盘上最简形态长这样{ graphType: line, timeScale: 3600000, groupBy: metadata.model, series: [ { metric: performance.completion_time, aggregation: avg }, { metric: performance.prompt_tokens, aggregation: sum }, ], }两个 LangWatch 自定义报表的真实场景如何盯住 AI 客服的响应时长与满意度 要盯什么总对话量、响应延迟、正反馈比例。对话量是流量底盘延迟是体感指标正反馈比例直接对应服务质量。怎么配metadata.trace_id配cardinality得到对话数performance.completion_time配p95sentiment.thumbs_up_down配terms按正负向分组再按topics.topics分一组就能看到哪个话题槽在贡献投诉。时间粒度选一天一个点勾上includePrevious会自动叠出上一周期的虚线做对比。看到什么算达标p95 低于 3 秒且近两周没有台阶式抬升正反馈比例稳定在 80% 以上。如果连续两天跌破 70%先按主题分组看分布通常能定位到具体是哪类问题在拖后腿。如何做多模型性能与成本对比 ⚖️要盯什么哪个模型又快又便宜还不掉通过率。怎么配groupBy设成metadata.modelseries 里放两条performance.completion_time配avg、performance.total_cost配sum想横向比质量再加一条evaluations.evaluation_pass_rate配avg。时间范围取最近 30 天图型用柱状图模型多到柱状图挤不下时换horizontal_bar。看到什么算达标通过率相近的前提下单次请求成本总成本除以请求数更低的那个模型更值得放量。如果某个模型的成本占比超过一半要么换更便宜的模型顶上要么看看缓存命中能不能再拉高一点。进阶用法阈值监控图与报表共享把图型换成monitor_graph图表会按数值自动变色通过率高位是绿色中间段黄色跌破线红色还可以标记为防护栏检查项一眼扫过就知道哪块出了问题{ graphType: monitor_graph, series: [{ metric: evaluations.evaluation_pass_rate, aggregation: avg }], monitorGraph: { isGuardrail: true, disabled: false }, }配好的图存成报表即可在团队仪表盘共享权限分查看者只读、编辑者可改配置、管理员完全控制三档。更多结构细节见 dashboard 模块。配置 AI 监控指标时容易踩的坑时间粒度选太细折线变心电图。30 天数据按 10 分钟一个点画稀疏时段全是零值和孤立尖峰趋势完全被噪声盖住。日常报表用 1 小时一个点看长周期直接用自动粒度。同一指标换聚合方式数字对不上。trace 数用sum是总请求量换成cardinality是去重数。开会引用数字时把聚合方式一起说出来否则口径永远对不齐。分组维度贪多图表变毛线团。同时按模型和主题分组十几个类别叠在一起谁也读不出信息。一张图只留一个分组维度需要交叉对比时改用筛选条件收窄范围。仪表盘不是目的把感觉哪里不对变成周二那天 p95 涨了 300 毫秒才是。今晚就打开仪表盘构建器先把最近 7 天的一张响应时间 成本折线图建出来明天开会你手里就有数据了。【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考