VisionClaw功能清单语音驱动Ray-Ban眼镜的4个典型场景与8类智能体能力【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClawVisionClaw 是一个面向 Meta Ray-Ban 智能眼镜的实时 AI 助手开源项目戴上眼镜、按下 AI 按钮、开口说话它就能通过眼镜摄像头看见你的世界、理解你的语音并替你执行搜索、发消息、记清单等智能体Agentic操作。一、VisionClaw 能做什么4个典型场景整个使用流程极其简单——戴上眼镜点一下 AI 按钮然后像和朋友聊天一样说话。以下是 README.md 中列出的 4 个最能代表其能力的典型场景场景你说的话VisionClaw 做了什么️ 视觉问答我在看什么What am I looking at?Gemini 透过眼镜摄像头理解画面并描述场景 清单记忆把牛奶加到我的购物清单交给 OpenClaw 智能体通过你连接的应用完成添加 代发消息给 John 发消息说我晚点到经由 OpenClaw 路由到 WhatsApp / Telegram / iMessage 语音搜索搜索附近最好的咖啡店通过网络搜索获取结果并直接朗读给你听技术上的关键细节眼镜摄像头以约 1fps 的速率把画面推给 Gemini 作为视觉上下文而音频则双向实时流动——它不是先转文字再回答的旧式语音助手而是原生的实时语音对话。二、工作原理一张图看懂数据流从 README.md 的架构说明可以总结出三层结构采集层眼镜或手机Meta Ray-Ban 眼镜或手机摄像头作为替代输出视频帧 麦克风音频智能层Gemini Live API通过 WebSocket 实时传输 JPEG 帧约 1fps与 16kHz PCM 音频Gemini 以原生语音回应并可在对话中发起工具调用执行层OpenClaw 网关可选接收工具调用调度 56 项技能——网络搜索、消息收发、智能家居、便签提醒等执行结果再传回给 Gemini 朗读出来 没有 OpenClaw 也能用此时 VisionClaw 是纯语音 视觉模式接上 OpenClaw 后它才真正变成一个能动手办事的智能体。三、8类智能体能力清单结合 agent/main.py 中定义的智能体指令与 gateway/public/guide.html 的使用指南VisionClaw 的智能体能力可以归纳为以下 8 类1️⃣ 实时视觉理解摄像头画面持续喂给模型支持读一下这个标签这两件哪个便宜这类需要当场看见才能回答的问题。2️⃣ 实时语音对话基于 Gemini Live 的原生语音链路非语音转文字优先带回声消除与麦克风门控响应自然、可打断。3️⃣ 快速事实查询quick_search天气、比分、股价、新闻、营业时间等几秒内出结果回答会自动在屏幕上弹出结果卡片。4️⃣ 深度浏览代理browse更耗时的慢速网页任务查商品价格与评论、对比两款产品、查店铺实时库存与营业时间。它比快速搜索慢但能像浏览器一样深入网页。5️⃣ 个人账户执行execute智能体在你自己的已连接账号里操作发消息、收发邮件、管理日历与提醒、读写 Notion 页面、在 Slack 发消息或搜索。这是智能体行动的核心通道。6️⃣ 笔记与清单管理记住这个把牛奶加到购物清单我清单上有什么把牛奶删掉——即时完成且每次操作都会把最新清单卡片显示在屏幕上。7️⃣ 屏幕卡片展示show_card当回答有视觉结构日程、列表、对比、分步结果时智能体会自动生成卡片让你一眼看清而不是逐行念给你听。8️⃣ 应用连接与授权管理通过 gateway/src/apps.ts 注册的可连接应用支持 Google 日历、Gmail、Notion、Slack 等——在设置页一键授权、随时断开。云托管网关gateway/README.md还可为每位用户提供独立的记忆存储与凭据保险库。四、上手指南从安装到戴镜体验快速安装步骤iOS克隆仓库后打开samples/CameraAccess/CameraAccess.xcodeproj复制 Secrets.swift.example 为Secrets.swift并填入 Gemini API Key 即可运行仓库地址https://gitcode.com/gh_mirrors/vi/VisionClawAndroid用 Android Studio 打开samples/CameraAccessAndroid/同样复制Secrets.kt.example并填入密钥没买眼镜也能玩选择Phone 模式用你手机的后置摄像头完整体验整条流水线——AI 按钮一点语音 视觉对话立刻开始。最快连接 Ray-Ban 眼镜的方法戴眼镜使用前必须在手机上的 Meta AI 应用里开启开发者模式连续点击 App 版本号 5 次解锁否则眼镜会拒绝连接然后在 VisionClaw 中点击Start Streaming再点 AI 按钮即可开始语音 视觉对话。两种后端按需选择本地模式OpenClaw把 OpenClaw 网关跑在自己的 Mac 上手机与 Mac 同网即可能力最丰富云托管模式Gateway运行 gateway/ 中的托管网关无需自建沙箱智能体会话、长期记忆、用户凭据全部托管在云端应用无需任何改动即可切换五、写在最后VisionClaw 展示了一条清晰的产品路径眼镜负责看见Gemini Live 负责听懂和开口OpenClaw 智能体负责动手。三者组合起来智能眼镜第一次从拍照硬件变成了真正的全天候 AI 助手。项目同时提供 iOSSwiftUI与 AndroidJetpack Compose双端客户端并保持功能同步见 samples/CLAUDE.md 的双端对照表无论是开发者学习智能体架构还是用户尝鲜眼镜 AI都值得 clone 下来跑一跑。【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考