【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载agent-vision-toolkit是专为纯文本大模型设计的视觉工具箱与技能集支持多图理解、图片问答、长截图 OCR 与前端 UI 还原。它的核心机制focus hint焦点提示会自动从对话中提取任务意图随图片一起传给视觉模型——拿回来的图片描述聚焦于当前步骤真正要紧的细节而不是一段泛泛的详细描述。本文从原理、实现和实测数据三个角度拆解这套机制。为什么通用的图片描述帮不上忙大多数纯文本模型的视觉转接方案是视觉模型先看图输出一段通用描述再交给纯文本模型自行拼凑答案。问题在于——同一张图在不同任务里真正重要的细节完全不同。项目做过一次严格的同图 A/B 实验同一张图标对照预览图跑两次describe_image唯一的区别是有没有 focus hint。结果很有代表性无 hint视觉模型陷入自由联想模式把空白格子里根本不存在的图标脑补了出来还把一堆损坏的描摹结果说成更清晰的版本有 hint描述成对核验、直击问题甚至更短3611 字符 vs 4761 字符。 无 hint 不是中性的安全默认——它把模型放进自由联想模式反而更容易虚构内容。完整实验记录见 research/2026-08-03-hint-ab-comparison.md。focus hint 从哪来两种来源自动提取focus hint 不需要任何手动配置它来自对话本身图片来源hint 取自哪里用户直接粘贴的图片该条消息自身的文本也就是用户的请求agent 调用view_image等工具取回的图模型调用工具前自述的动机收尾段落下图是第二个场景agent 在执行 UI 复刻任务时对自己的图标对比预览调用view_imagefocus hint 就是它刚说的那句让我看一下——它会准确显示哪些图标坏了。一个有意思的细节提示里只会告诉视觉模型当前这一步什么最重要不会添加任何新的视觉事实。也就是说hint 改变的是描述的侧重点和回答质量而不是往图里塞信息。实现细节500 字符与收尾段落策略核心逻辑在 vision_proxy.py 中规则相当克制只取尾部 500 字符长消息往往前面堆材料、最后才提问保留尾部即可只取收尾段落模型在看图前会写一段 reasoning动辄几千字符文件列表、被放弃的猜想真正表达我接下来要看什么的往往就是最后一段——实测 49 次真实调用中88% 的看图意图出现在最后 300 字符内见 research/2026-08-03-view-image-hint.md拼装成视觉 prompt角色契约 描述指令 hint 输出约束见_vision_prompt。对应的 prompt 结构大致如下research/2026-08-03-hint-ab-comparison.md 与生产代码一致你是帮助纯文本编程助手理解图片的。 仔细读图中的所有文字并做足够详细的描述。 【focus hint以下是最近的请求只用于判断图中哪些部分最重要 若无关则忽略它、描述整张图】 {hint 尾部 500 字符} 不要自行完成请求只描述图中可见的内容。 现在输出图片描述。Codex / Claude Code 走透明代理 vision_proxy.pyPi 与 OpenCode 则通过单文件扩展实现同一套 hint 策略extensions/pi/vision.ts、extensions/opencode/vision.ts行为完全一致。相关单元测试在 tests/test_focus_hint.py。实测数据focus hint 到底省在哪项目在看到数据之前先写好了评测设计预注册随后跑了 230 道单图问答题、5 组对照条件结论写进了 research/2026-08-04-focus-hint-eval.md。这里如实汇报包括不那么好听的部分✅ 站得住的正面结论hint不是靠写得更长赢的带上 hint 后描述更短2108 字 vs 2284 字、视觉 token 更少2741 vs 2763答题模型推理量还少了 9%排除替代解释hint 让模型多写所以撞对更多不成立——它是更省的那一条。⚠️ 诚实的零结果在自带明确问题的单图问答上hint 测不出统计显著的准确率增益全部配对检验 p ≥ 0.227。作者解释题目本身就锚定了要找什么替代了 hint 的一部分作用——而真实场景里用户粘一张图并不附带请看第 47 行的报错文字中转本身的代价被首次量化相比原生视觉模型直接作答约3.2 倍延迟 / 2.1 倍 token。换句话说focus hint 的价值不在让答案更对而在让描述更聚焦、更短、更贴合当前任务——这正是 agent 流水线里最需要的性质。快速上手三步让 agent 拥有聚焦的眼睛按 AGENT_INSTALL.md 安装复制vision_proxy.py与vision_client.py配置VISION_API_KEY、VISION_BASE_URL、VISION_MODEL三个环境变量将 Codex 的 base_url或 Claude Code 的ANTHROPIC_BASE_URL指向本地代理端口19100重启 agent直接在对话里粘贴截图即可——focus hint 全程自动无需任何额外操作。独立使用glance等五个命令行工具时也可以通过-q 问题显式指定关注点获得同样的聚焦效果。更多接入细节见 README_CN.md。总结 focus hint 的本质把 agent 为什么要看这张图变成一条 500 字符以内的提示随图传给视觉模型它不添加任何视觉事实只决定描述侧重点——同图不同任务拿到不同的、各取所需的描述实测描述更短、token 更少、回答更贴合任务项目在文档中如实标注了机制层评测的零结果边界这种克制反而值得借鉴。赞分享【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载相关推荐CrewAI 如何用 DALL-E 工具让 Agent 在任务中生成图片CrewAI 如何用 DALL E 工具让 Agent 在任务中生成图片 如果你的 CrewAI Agent 需要在执行任务的同时产出图片比如为目标公司生成一人工智能AI AgentAgent 框架多智能体工作流自动化后端EasyGank网络层设计Retrofit RxJava的完整实践指南EasyGank网络层设计Retrofit RxJava的完整实践指南 想要构建一个优雅、高效且易于维护的Android网络层吗 EasyGank项BLIP图像描述生成让AI看懂图片并生成精准描述BLIP图像描述生成模型是一个革命性的视觉 语言预训练框架能够为任何图片生成高质量的自然语言描述。该模型在COCO数据集上进行预训练采用基础的ViT架构作为创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考