25 元把旧眼镜变 AI 智能眼镜OpenGlass 开源项目全解析【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass商业 AI 眼镜上千元起、固件还锁死。OpenGlass 用一块 ESP32 S3、一颗摄像头加一块锂电池把旧眼镜改成能拍照、记场景、AI 问答的智能眼镜零件成本不到 25 元。图佩戴 OpenGlass 智能眼镜的第一人称现场画面项目全景它是什么、凭什么行主控芯片拇指大小的双核摄像头开发板选的是 Seeed Studio XIAO ESP32 S3 Sense。ESP32 S3 可以理解成一块拇指大的双核小电脑主频 240MHz一边抓图像一边传数据不打架。关键在它把 OV2640 摄像头和 PDM 麦克风都焊在同一块小板上你不用再单独拼主板、镜头、麦克风。板载 8MB OPI PSRAM外挂的大容量临时内存照片缓冲放得下传输不卡顿。体感差异整块直接卡进镜腿比市售 AR 眼镜那种一体机身小得多也便宜得多。传输链路一套省电的蓝牙数据管道用 BLE蓝牙低功耗GATT 像给蓝牙定义的一套插座音频、照片、控制各占一个口互不干扰。眼镜不经过手机中转直接对浏览器传固件里audioData、photoData、photoControl各是一个特征值。照片按 200 字节一小块分片推送末尾用0xFF 0xFF标志收尾断包能识别。体感差异弱信号下传输也不容易整张丢图连接稳定。供电与固定一枚锂片电池加一个打印支架电池选 EEMB LP5020303.7V、250mAh像手机里那种薄扁纽扣电池薄到能贴进镜腿不鼓包。支架用仓库提供的 STL 文件 3D 打印卡住开发板即可免焊接。固件每 60 秒把电池等级上报一次电量状态随时可查。体感差异整机几乎无感比市售一体式智能眼镜轻一截。图镜腿上的 OpenGlass 硬件ESP32 S3 小板与摄像头特写快速问答问真的不到 25 元吗答核心是 XIAO ESP32 S3 Sense 开发板、集成摄像头和 250mAh 锂片电池再加打印支架耗材合计约 25 美元比上千元的商业 AI 眼镜低一个数量级。问需要会编程和焊接吗答硬件卡进支架免焊固件用 Arduino IDE 一键烧录软件是现成 Expo 应用你只填密钥就能跑。问需要买显示屏吗答不需要。它没有内置屏识别结果发到手机或浏览器页面显示靠眼镜采集 手机呈现分工。能力深潜核心功能怎么跑起来的场景记忆让你不用翻相册也能问刚才看见什么戴着眼镜走动时它每 5 秒自动拍一张把你看到的攒成一份带描述的记忆库。固件loop()按间隔触发take_photo()JPEG 编码后经蓝牙分块推到前端前端usePhotos()重组图像交给 Ollama 的moondream:1.8b-v2-fp16视觉模型生成文字描述连画面里的文字都一起转写。5 秒一张一小时通勤能攒约 700 条描述之后随时可追问。图眼镜每 5 秒自动抓拍一次第一人称场景看图问答把一连串照片变成可以追问的记忆你只管提问它从所有照片的描述里找答案不用你回翻。Agent.answer()把已存的照片描述按Image #i拼成一段长文本交给 Groq 的llama3-70b-8192或 OpenAIgpt-4o系统提示词限定只根据照片描述回答、不要泛化。问我钥匙放哪了它只基于你拍过的画面回答不瞎编。图向眼镜提问后AI 基于历史照片描述作答️语音播报让答案不只在屏幕上还能读出来答案除了显示还能念给你听。openai.ts里textToSpeech()调tts-1nova 音色把文字合成音频AudioContext直接播放麦克风侧经 I2S 16kHz 采样可选 Opus/MuLaw/PCM 三种编码。走路时听答案不用低头看屏解放双手。快速问答问模型跑在本地还是云端答看图描述走本地 Ollama 的 moondream断网也能出描述最终问答走云端 llama3-70b / gpt-4o需联网。问前端为什么把照片旋转 270°答摄像头装在镜腿时画面是侧的DeviceView.tsx用rotateImage(buffer, 270)校正方向再送模型。实测场景把项目放进真实生活通勤路上外语路牌不用掏手机进异国城市戴着眼镜走它每 5 秒拍一张路牌和店招moondream 把画面里的文字连同场景一起转写出来攒成记忆。到地铁口你问刚才那个蓝色牌子写的什么llama3-70b 直接从描述里摘出文字念给你全程不用掏手机。一张 JPEG 约按 200 字节分片经蓝牙传完抬头就是答案。图通勤途中眼镜抓拍路牌与环境文字️逛展看展拍过的都能再问回来在玻璃穹顶展馆里走动它默默记录每件展品、每块说明牌。逛到后面忘了某块牌子讲什么开口问刚才那块展板的重点是什么它基于你走过的路线描述作答省去了翻几十张图的步骤。一次 30 分钟逛展约累积 360 张照片描述追问命中率靠本地 OCR 转写支撑。图逛展时眼镜持续记录第一人称视野️找东西默认玩法我的车在哪项目 demo 名就叫 Dude wheres my car?——把车停进车位拍一圈环境走开后问我的车停在哪个柱子旁它比对各张描述回答适合停车、找钥匙、找钱包。操作步骤启动应用 → 自动每 5 秒拍一张 → 提问 → 语音 文字双通道出答案三步走完。快速问答问完全不会代码能玩起来吗答可以。硬件卡进支架免焊固件 Arduino IDE 一键烧录软件 clone 后npm start打开浏览器 localhost 即可唯一门槛是给 Ollama、Groq/OpenAI 各填一个密钥。上手指南从零到跑通的最短路径阶段一跑通最简体验10 分钟见到界面先装好硬件、烧录固件见阶段二软件侧一条命令拉代码、装依赖、起应用用 Chrome 打开浏览器打印的 localhost 链接点 Connect to the device 就连上眼镜。从输入命令到看见连接按钮约 10 分钟。# 一条命令拉代码 → 进目录 → 装依赖 → 起应用 git clone https://gitcode.com/GitHub_Trending/op/OpenGlass cd OpenGlass npm i npm start⚙️阶段二配好模型让问答真正可用识别跑在本地 Ollama问答走云端。下载视觉模型、填密钥、重启应用即可# 下载本地视觉模型识别靠它 ollama pull moondream:1.8b-v2-fp16 # 编辑 sources/keys.ts 填入 Groq / OpenAI / Ollama 密钥后重启 npm start固件用 arduino-cli 烧录时务必指定 OPI PSRAM# 编译并上传固件-p 换成你的真实端口 arduino-cli compile -u -p COM5 -b esp32:esp32:XIAO_ESP32S3:PSRAMopi firmware️阶段三进阶定制改哪都看得懂换问答引擎sources/modules/ 下groq-llama3.ts与openai.ts可互换或换成 Ollama 本地模型改动集中在 sources/agent/imageDescription.ts。调拍照节奏firmware/firmware.ino 的handlePhotoControl支持 5~300 秒间隔前端写入对应控制值。省流量传音频同文件把CODEC_PCM切成CODEC_OPUS音频体积更小、蓝牙更省。常见坑位问题原因解法烧录后相机不出图PSRAM 没选对Arduino IDE 的 Tools 里设为 OPI PSRAM网页连不上设备浏览器不支持 Web Bluetooth换 Chrome / Edge 并允许蓝牙识别很慢或超时本地模型没下载先跑ollama pull moondream:1.8b-v2-fp16照片方向歪 90°摄像头装反前端默认rotateImage270°装反则调 firmware/camera_pins.h快速问答问没手机、只用浏览器行不行答可以Web 版跑在 Chrome/Edge若要 AppExpo 也支持安卓/iOS蓝牙插件已配好。问烧录时端口识别不出来答换 USB 口或换线Windows 装 CP210x 芯片驱动再用arduino-cli board list确认真实端口名。生态与玩法社区正在做什么语音寻物版答案直接读进耳朵在内置问答上强化语音闭环——拍过的场景里找东西答案用 OpenAI TTS 念出来解放双手。难度低。入口在 sources/modules/openai.ts。Opus 低延迟传输版更省流量的蓝牙把固件音频编码切到 Opus16kHz 音频体积更小弱网下照片和语音都更快。难度中。改 firmware/firmware.ino 顶部宏即可。本地全离线版断网也能看图描述用 Ollama 自托管把问答也搬到本地配合 moondream弱信号环境仍能出描述。难度高。改 sources/agent/imageDescription.ts 把llamaFind指向本地模型。回到开头那个千元改不了的痛点你花 25 元就能拥有一副听你指挥的 AI 智能眼镜。下一步很具体——clone 仓库、在 sources/keys.ts 填好密钥、ollama pull moondream:1.8b-v2-fp16拉模型再打开浏览器连上眼镜。上游已并入 Omi 项目关注它的后续更新你的改造也能提 PR 回流社区。【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考