VSS MCP协议详解如何用Model Context Protocol统一编排视频工具【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSVideo Search and Summarization视频搜索与摘要是 NVIDIA 推出的 GPU 加速视频分析蓝图而贯穿其中的MCPModel Context Protocol模型上下文协议是它把视频搜索、事件查询、告警验证、自动报告等能力统一编排给 AI Agent 的核心机制。本文将用通俗的方式带你搞清楚 VSS 里的两个 MCP 服务器分别能做什么、工具有哪些、以及它们如何被自然语言驱动最终把一套复杂的多容器视频分析系统编排起来。先搞懂MCP 协议是什么可以把 MCP 理解为AI Agent 与外部工具之间的USB 接口以前每个 AI 助手想调用一个系统能力都要单独写一套适配代码互不兼容用 MCP 后任何支持该协议的服务器把功能封装成标准工具Tool暴露出来任何 Agent 都能即插即用地发现并调用。在 VSS 中MCP 由 NVIDIA Agent Toolkit (NAT) 提供运行时支持Agent 侧只需一句自然语言就能被翻译成对正确工具的正确调用序列。VSS 里的两大 MCP 服务器VSS 内置了分工明确的两类 MCP 服务器这也是统一编排的关键一个管数据一个管部署。1️⃣ Video Analytics MCP —— 让 Agent 会查视频它把存储在 Elasticsearch 中的视频分析数据事件、传感器、行为统计封装为标准 MCP 工具让 Agent 能用自然语言查询监控数据详见 Video Analytics MCP 文档。工具作用get_incident按 ID 获取单条事件详情get_incidents按传感器、地点、时间段、VLM 判定过滤查询事件get_sensor_ids/get_places获取传感器清单、层级化地点地图get_fov_histogram视野占用率直方图人数/车辆数随时间变化get_average_speeds分方向的平均速度指标analyze对视频数据做统计分析它的一个亮点是语义地点搜索基于 sentence-transformer 向量嵌入你可以问杜布克市昨天最堵的路口Agent 会自动把语义匹配到具体地点再查数据。2️⃣ VSS Orchestrator MCP —— 让 Agent 会部署视频系统如果说第一个服务器解决查数据这个服务器解决的是管系统。它是宿主机上的一个进程把 Docker Compose 部署能力封装成 9 个vss_orchestrator__*工具实现见 orchestrator tools.py配置模板在 vss_orchestrator_mcp_config.yml工具作用profiles列出支持的部署配置base / search / lvs / alertsprereqs自动检查 Docker、GPU、磁盘等前置条件docker_generate根据所选 Profile 生成 .env 和 compose 编排文件docker_up/docker_down后台启动 / 停止整套视频分析服务栈docker_status轮询后台操作进度并回传日志摘要docker_list/docker_logs查看容器清单、拉取指定容器日志docker_read读取生成的编排产物内容两个不透明 IDdocker_compose_id与docker_compose_ops_id串联起整个异步编排流程生成 → 启动 → 轮询状态 → 收尾全程无需人工敲 docker 命令。统一编排是怎么发生的在 NemoClaw 集成 中这套机制体现得最直观——你把原本要手动编辑.env、敲一堆 compose 命令的多服务部署变成了一次聊天会话自然语言进入比如以验证模式部署 VSS alerts 配置Agent 规划调用链prereqs→docker_generate→docker_up→ 循环docker_status工具执行并回传结果日志、错误、进度流式返回到聊天窗口安全护栏遇到docker_down这类破坏性操作Agent 会先询问确认。而查询侧的闭环同样成立Agent 调用get_incidents找到事件 → 结合 VLMCosmos判定真伪 → 调用analyze生成统计 → 输出自然语言报告。两条链共用同一套 MCP 协议这就是统一编排的含义——数据访问、模型推理、系统运维都走同一种对话式工具调用。快速上手路径 了解组件全貌先读 VSS Agents 概览认识 LLMNemotron、VLMCosmos与 Agent 的分工跑通一个 Profile通过deploy/docker下的开发者配置部署 base 或 alerts 配置体验问答与报告生成工作流注册 Orchestrator MCP参考 Orchestrator MCP 文档用nat mcp serve在 9988 端口启动服务器接入 Agent把 NemoClaw 笔记本流程 按顺序执行即可在 Agent UI 里用自然语言管理整套视频系统深入工具参数各工具的入参与返回结构在 Video Analytics 工具说明 和 Orchestrator 工具参考 中有完整示例。小结MCP 是 VSS 的神经系统一个协议打通数据查询、AI 推理与系统运维三类工具两个服务器各司其职Video Analytics MCP 管看得懂Orchestrator MCP 管管得住对新手友好掌握它你无需成为 Docker 专家用自然语言就能驱动一套 GPU 加速的视频分析与摘要系统。这正是参考架构的价值所在——把复杂的视频 AI 运维变成一句聊天。【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考