LangWatch 自定义仪表盘指南4 步搭出 AI 应用监控报表【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch日常巡检时你发现某个模型的 token 消耗这一周翻了三倍翻遍日志和调用记录半天也没定位到原因。用 LangWatch 数据可视化可以把分散的 Trace 数据变成自定义仪表盘不写 SQL 也能搭出属于自己的 AI 应用监控报表。场景token 消耗突然不对劲上周五值班工程师发现某客服 agent 的日 token 消耗是平时的三倍。第一反应是逐条打开 Trace一次 AI 请求调用的完整记录在调用详情里核对时间、模型名和 token 数。麻烦在于这些数据是平的模型、用户、话题、评估结果全都摊在 metadata 里回答到底是谁多用了要人肉交叉好几个字段。管几个 agent 的团队还撑得住几十个 agent 就没法靠人翻了。出路不是攒更多数据而是换一种问法不做翻找单个异常改用聚合指标 分组维度让仪表盘直接回答。分散的 Trace 数据如何变成自定义仪表盘LangWatch 把每次 AI 调用记为一条 TraceTrace 内部最小的执行单元叫 Span例如一次 LLM 请求或一次工具调用。每条 Trace 都带一组结构化字段总耗时、首 token 时间、prompt/completion tokens、成本、模型名、用户 ID、评估结果等。dashboard 模块源码见 modules/dashboard/直接基于这些字段渲染图表。不需要写 SQL从列表里挑一个指标、选一种聚合方式、挑一个图表类型系统当场生成聚合查询一页里可以同时摆多种图请求总量趋势折线、用户情绪占比环形、热门话题 Top N柱状。它们都是指标 聚合 分组 时间粒度的组合。问题变成这些要素怎么配。从指标到图表50 预定义指标如何组合图表的起点是指标。LangWatch 提供 50 多个预定义指标大致分四类流量Traces、Users、Threads会话线程看系统忙不忙性能总耗时metrics.total_time_ms、首 token 时间metrics.first_token_ms、每秒 tokens看跑得快不快成本用量metrics.prompt_tokens、总成本看一次请求花多少钱评估质量评估通过率需指定评估器evaluator判定通过与否的质量规则看哪项质量检查挂了每条系列series图表里的一条数据线本质是一段短配置。比如每小时 prompt tokens这条系列{ metric: metrics.prompt_tokens, aggregation: sum, format: 0.[0]a, colorSet: blueTones }剩下三个变量聚合方式sum、avg、cardinality去重计数、分组维度用户、话题、模型、Span 类型、时间粒度分钟级到 30 天级。三者和指标一组合就决定了图表的最终形态常用图表类型及适用场景图表类型适用场景折线 / 面积时间序列趋势、累积量堆叠面积 / 堆叠柱状成分占比、多维对比水平柱状长标签排名散点相关性分析如 prompt 长度 vs 耗时饼 / 环形占比分布摘要卡片KPI 单值展示监控图阈值状态变色背后如何工作数据经 OpenTelemetry 采集写入后端列式数据库图表查询按需聚合重复查询条件走缓存前端由 Recharts 库渲染明暗主题都支持。实战4 步搭一个客服质量监控仪表盘问题很典型客服 agent 上线三个月运营想一眼看到今天质量行不行而不是翻调用明细。配置思路分四步选图表类型上排摘要卡片总对话量、正面反馈率、平均响应时间、超时对话占比下排折线图满意度趋势、超时占比趋势配数据系列总对话量用metadata.trace_id cardinality满意度用评估通过率 avg按 quality_check 评估器过滤响应时间用metrics.total_time_ms avg设粒度小时级给值班实时看天级进周报加分组超时占比那条折线按话题分组直接看出是哪类问题在拖后腿效果是早上打开仪表盘4 张 KPI 卡片先告诉你 agent 是否正常某张卡片变红下面趋势图回答从什么时候开始劣化话题分组回答发生在哪类问题上。如何配置监控图表的告警阈值普通图表用来看数有些指标还需要判断——这是监控图monitor graph干的活。配置片段如下{ graphType: monitor_graph, series: [{ metric: evaluations.evaluation_pass_rate, aggregation: avg, key: quality_check }], monitorGraph: { isGuardrail: true, disabled: false } }图表主体会随取值实时变色以通过率为例 绿色通过率 80%正常 黄色通过率 40%–80%警告 红色通过率 40%异常把isGuardrail打开这个指标同时充当护栏拦截不合格输出上线的关卡同一份通过率既能做事后监控也能看在线拦截效果。报表权限怎么分、报表怎么分发图建好、阈值设完最后一步是让团队用起来。先通过 API 把图表配置存成持久资源curl -X POST $API_BASE/api/graphs \ -H X-Auth-Token: $API_KEY \ -d {name: 每日性能监控, graph: {...}}访问控制分三档权限档操作范围适合角色查看者只读访问业务、客服同事编辑者修改图表配置分析师管理员完全控制含删除与权限变更团队负责人分发方式有三种 公开链接生成只读分享链接直接丢进 IM 邮件订阅按周期把报表发到指定邮箱 嵌入集成把图表嵌进内部系统或 wiki详见官方仪表盘文档读完后的 3 个可执行动作挑出团队最关心的 3 个指标通常是总量、成本、通过率先搭一个3 卡片 1 折线的最小仪表盘。给最核心的评估加一张监控图把绿/黄/红阈值边界设出来。用公开链接 邮件订阅把仪表盘分发给团队把翻日志排查降级成先开仪表盘。【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考