VSS自定义Agent教程如何在NVIDIA蓝图上搭建你自己的视频分析代理【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSVideo Search and Summarization视频搜索与摘要是 NVIDIA 推出的 GPU 加速 AI 蓝图本教程带你从零开始自定义 Agent在现成的视频分析蓝图上通过配置 Agent 工具、接入 MCP 服务器、接入 RAG 知识库一步步搭建属于你自己的视频分析代理——支持自然语言搜索视频、视觉问答Visual QA和自动报告生成无需从头编写复杂代码。1️⃣ VSS 是什么先看懂这张架构图VSS 由三大处理层组成 实时视频智能RTVI实时提取视频特征与语义嵌入结果发布到消息代理下游分析Downstream Analytics把原始检测转化为事件、轨迹和已验证告警Agent 与离线处理通过 MCPModel Context Protocol统一调用搜索、问答、摘要、片段检索等工具默认的 Agent 已经内置了video_understanding视觉问答、video_report_gen报告生成等工具并搭载NVIDIA Nemotron LLM和NVIDIA Cosmos VLM两个核心模型。你要做的是在这个地基上加料。2️⃣ 选对起点三种开发者 Agent 配置Profile自定义 Agent 的第一步不是写代码而是选对 Profile。仓库内置了三套开箱即用的开发者配置各自对应不同的工具组合Profile核心能力适用场景dev-profile-base视频上传、VLM 问答、报告生成、片段/快照检索新手首选最轻量dev-profile-lvs长视频摘要、流式字幕生成、存储字幕问答长视频分析dev-profile-search基于 Cosmos Embed 的语义视频搜索视频归档检索三套配置分别位于deploy/docker/developer-profiles/下的dev-profile-base、dev-profile-lvs、dev-profile-search目录完整说明见 VSS-Agent-Profiles.mdx。 建议从dev-profile-base开始它不依赖事件数据库最容易被新手跑通。3️⃣ 读懂配置文件Agent 的控制中枢每个 Agent 的行为由一份 YAML 配置文件决定比如 dev-profile-base 的 config.yml。它由 6 个区块组成理解它们是自定义 Agent 的关键配置区块作用新手关注度general前端、遥测追踪⭐object_stores报告等产物的存储位置⭐function_groups接入外部MCP 服务器⭐⭐⭐functions注册 Agent 可用的工具自定义函数在这⭐⭐⭐llms配置 LLM / VLM 模型⭐⭐⭐workflow顶层 Agent、路由提示词、工具列表⭐⭐⭐完整参考见 VSS-Agent-Configuration.mdx。4️⃣ 加料为你的 Agent 添加自定义能力这是本教程的核心环节共 4 种扩展方式按难度从低到高排列 方式一换模型最简单在llms区块即可切换 LLM 或 VLM 模型端点。默认使用 Nemotron LLM 做推理、Cosmos VLM 看视频你想换成更强的开源视觉模型改配置就行。模型配置细节参考 configure-llm.mdx 和 configure-vlm.mdx。方式二写一个自定义函数工具在functions区块注册你自己的 Python 函数再把它加进workflow.tool_namesLLM 就会按需调用它。适合查数据库调内部 API这类轻量能力。方式三接入自己的 MCP 服务器推荐 ⭐VSS Agent 原生支持 MCP 协议这是扩展能力最干净的方式——把你已有的服务工单系统、IoT 平台、自研分析引擎包成 MCP 服务器后Agent 端只需 4 行配置function_groups: my_custom_mcp: _type: mcp_client server: transport: streamable-http url: http://localhost:9000/mcp支持streamable-http、sse、stdio三种传输方式。配置前先列出服务器提供的工具nat mcp client tool list --url http://localhost:9000/mcp方式四接入 RAG 知识库在functions中注册_type: knowledge_retrieval的检索工具Agent 回答视频问题时就能引用你的企业文档。蓝图内置 6 种后端frag_api、es_caption、langchain等其中es_caption已直接对接视频摘要服务存储的字幕数据。 这四种方式的完整文档VSS-Agent-Customization.mdx。⚠️ 别忘最后一步更新路由提示词无论加什么工具都要在workflow.prompt中告诉 LLM什么时候该用它。路由规则写得好Agent 才不会拿错工具。5️⃣ 部署验证让新 Agent 跑起来把修改后的配置文件通过环境变量VSS_AGENT_CONFIG_FILE指给你的自定义配置重启 Agent 容器Agent API 默认运行在http://localhost:8000打开 UI 用自然语言测试例如Summarize video1.mp4 → 触发摘要Generate a report for video1.mp4 → 触发报告生成你自定义的工单查询 → 验证 MCP 工具是否被正确调用 提示仓库内置了 Agent 评估模块源码见 services/agent/packages/vss_agents/可以用 LLM-as-Judge 给你的 Agent 打分量化自定义前后的效果差异。 进阶参考这些资料值得收藏资料路径Agent 概览架构与两种运行模式VSS-Agent-Overview.mdxAgent 工作流总览问答/告警/搜索/摘要agent-workflows.mdx报告生成自定义vss-agent-report-generation.mdxVideo Analytics MCP 服务器工具参考Video-Analytics-MCP-Server.mdx生产蓝图配置仓库/智慧城市deploy/docker/industry-profiles/warehouse-operations/Agent Skills 目录可被编码代理调用的技能包skills/README.md总结一下搭建自己的 VSS 视频分析代理 选 Profile → 改配置 → 加工具MCP/RAG/自定义函数→ 写路由提示词 → 部署验证。整个过程中你甚至一行 Python 都不用写就能拥有一个能看懂视频、会说话、能写报告的 AI 代理 。【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考