Vision Agent 完整指南用自然语言几分钟生成可运行的视觉代码【免费下载链接】vision-agentThis tool has been deprecated. Use Agentic Document Extraction instead.项目地址: https://gitcode.com/GitHub_Trending/vi/vision-agent写一个数出图片里有几个罐子的脚本常规流程是找模型、读文档、调参数、写胶水代码半天就过去了。Vision AgentLandingAI 出品的视觉 AI 代理库把这套流程压缩成一句话——你给一段提示词加一张图它替你挑模型、写代码、跑测试最后直接交一份可运行的 Python 脚本。一分钟看懂输入是「提示词 图片/视频」输出是「可直接运行的视觉任务代码」不是聊天式的泛泛回答。它内置了一套视觉工具库检测、分割、计数、视频跟踪等代理会根据任务自动挑选组合。生成的代码会附带测试用例跑不过就自动改写直到测试通过才交付。支持本地起一个 Web 对话界面边看边调也可以在你的脚本里以库的形式调用。底层用 Anthropic Claude 与 Google Gemini 两个大模型协同模型可以在配置文件里换成你习惯的后端。它凭什么能做到拆开看Vision Agent 就是「规划 工具库 自动验证」三件套规划层Planner 代理先把你的自然语言任务拆成带编号的步骤计划比如先加载图像 → 检测火焰 → 生成掩码 → 保存可视化。打开 verbose 模式就能看到它每一步在干什么。工具层vision_agent.tools里是一组现成的独立模型和函数例如florence2_object_detection负责检测、countgd_object_detection负责计数、countgd_sam2_video_tracking负责视频里的人物跟踪。代理按任务从库里选你也可以在自己的脚本里直接 import 使用不经过代理。验证层Coder 代理按计划生成代码和对应的测试用例然后在独立进程里执行测试失败就带着报错信息重新生成循环到通过为止。这一步是它和普通大模型写代码最大的区别——代码不是写完就交是跑通了才交。模型编排集中在 vision_agent/configs/ 目录下想只走 Anthropic 或改成 OpenAI改一个配置文件的事代理框架本身不动。三步跑通第一步装库。pip install vision-agent第二步配置三把 API 钥匙VISION_AGENT、ANTHROPIC、GOOGLE 各一把分别来自 LandingAI、Anthropic 控制台和 Google AI Studio。export VISION_AGENT_API_KEYyour-api-key export ANTHROPIC_API_KEYyour-api-key export GOOGLE_API_KEYyour-api-key第三步写一个最小脚本给任务 图片。agent VisionAgentCoderV2(verboseTrue) code agent.generate_code([AgentMessage(roleuser, contentDescribe the image, media[friends.jpg])])跑完之后可执行的视觉代码就躺在code.code里连同测试代码一起写进文件即可运行。不想写脚本的话仓库里还带了两个现成入口examples/chat/ 是本地 Web 应用make setup make run启动 FastAPI 后端 React 前端浏览器直接对话examples/notebooks/counting_cans.ipynb 是数罐子的 Notebook 示例。什么时候该用它产线/质检抽检把一张有瑕疵的产品图丢给它它替你写出定位 分割 标注的检测脚本省去自己翻分割模型的文档。视频里盯人盯物一段监控片段 跟踪所有行人它会组合检测与跟踪工具输出带时间戳的帧和轨迹。快速验证想法产品方案评审前需要个 demo用一句话生成初版脚本先把效果跑出来再谈选型。把视觉能力塞进现有脚本不需要完整代理流程时直接调用工具函数如T.countgd_object_detection(person, image)几行代码完成计数。几个让人眼前一亮的设计测试驱动的代码交付生成代码自带测试用例失败就迭代重写。你拿到手的不是看起来能跑的代码而是已经验证过的脚本省掉自己调错的时间。代理过程全程可见verbose 模式下计划步骤、每次工具调用、每次观察结果都打印出来。对新手来说这等于一份视觉任务怎么拆的示范比看教程吸收得快。工具可插拔、可扩展内置工具不够用时用va.register_tool装饰器把自己的函数注册进去代理就能在规划里把它选上。examples/custom_tools/ 里有一个模板匹配的完整示范。人机协同模式Web 界面支持 human-in-the-loop检测结果可以人工确认后再继续往下走适合对准确度要求高、愿意多花半分钟确认的场景。写在最后Vision Agent 的价值一句话概括把找模型、学 API、写胶水代码的活外包给代理你只负责说清楚要什么。想上手的话最直接的下一步是跑一遍 examples/notebooks/counting_cans.ipynb再翻翻 docs/api/ 里的 agent 与 tools 文档。一点提醒项目当前描述中已标注 deprecated官方团队建议新需求转向其后续的 Agentic Document Extraction 方向但如果你正想理解规划—工具—验证这套代理架构怎么落地这个库的代码和示例依然是很值得一读的样本。【免费下载链接】vision-agentThis tool has been deprecated. Use Agentic Document Extraction instead.项目地址: https://gitcode.com/GitHub_Trending/vi/vision-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考