Omi 开源 AI 第二大脑教程3 步跑通让它记住你说过什么【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/FriendOmi 是一个完全开源的 AI 第二大脑你佩戴的 Omi 项链或手机持续记录你的屏幕内容和对话实时转写成文字自动生成摘要和待办事项之后你在聊天窗口问它上周会里定的deadline是什么它答得上来——因为聊天基于它存下的记忆回答。它替会议多、信息碎片化的职业人群解决了记不住、搜不到、回头没依据的问题。先说结论它和同类方案差在哪挑三个可以当面验证的点连硬件都开源。MIT 许可不只是应用代码。项链的 PCB 图纸和外壳 STL 文件都在 omi/hardware/Omi Glass 眼镜的开发板固件在 omiGlass/firmware/。同类产品通常只开放 API不开放板级设计。能离线转写。设备端可脱离网络完成语音转文字弱网环境会议室角落、电梯不丢内容。一套记忆多个入口。同一条记忆在 macOS 应用、Windows 应用、Flutter 手机 App、Apple Watch 和 Omi Glass 上共享不是各端各存一份历史。三步跑通 Omi AI 本地部署macOS需要 macOS 14、Xcode、Node.jsgit clone https://gitcode.com/GitHub_Trending/fr/Friend cd Friend/desktop/macos ./run.sh --yolo--yolo表示自动完成全部交互确认。脚本会构建应用、连上公共云后端并启动不需要你配任何密钥也不需要自己起本地后端。Windows只需要 Node.jscd Friend\desktop\windows npm install copy .env.example .env npm run dev它用的是.env.example里的公共配置。验证方法很简单应用起来后对着麦克风说两三句话聊天页能看到逐字实时转写出现说明采集→传输→转写这条主链路已经通了。想跑完整后端自己的 Firestore、Pinecone 等的话按 backend/README.md 的 12 步清单走那属于第二阶段的活。它是怎么工作的一条音频的旅行不贴代码讲数据流向。你说话后声音走这么一圈设备端Omi 项链或手机麦克风采集音频用 Opus 编码通过蓝牙或 HTTPS 发往后端VADGPU 微服务先判断现在到底有没有人在说话避免把空调声也转进去DiarizerGPU 微服务区分这句话是我说还是对方说Deepgram STT实时语音转文字存储层文本进 Firestore语义向量进 Pinecone1536 维对应 OpenAI 嵌入会话状态缓存在 RedisLLM聊天、每日摘要、待办提取都基于上面这些记忆生成。记忆不是一进来就永久保存的。按 PRODUCT.md 的约定所有新内容先进短期记忆池维护任务给每条待处理项分派且仅分派一条出路提升为长期、归档、进审核或拒绝提升是进入长期记忆的唯一通道且必须由一次账本事务记录。这条设计防的是记忆无限膨胀和重复条目。实战装一个指令应用并让它生效选plugins/instructions/mentor_01这个例子它有代表性不用写代码纯靠自然语言指令改变 AI 行为。应用装好后在会议里随口说一句 hey Omi, what do you think?几秒后 AI 会基于刚才转写的内容给你一段意见输出——这就是看到/听到 → 理解 → 记忆 → 被检索 → 行动这条主循环的最短演示没反应时别先怀疑模型先看两处聊天页的转录文本里有没有你那句话没有就是音频链路断了有的话再看应用列表里 mentor 是否处于启用状态。指令类应用最常见的翻车点就是装完没开行为不会自己生效。回头看这一步指令应用本质上就是一段系统提示词加触发语。plugins/instructions/下还有 SOS、map-notes、notion-crm 等十几个同类实现改一个触发词或输出格式重启应用就能看效果是试水 Omi 定制开发成本最低的路径。新手容易踩的坑1. 设备没灯、应用里没有转写。原因按概率排固件没烧录、设备没电、状态卡死。解决顺序先充电重启再在 App 里 Settings → Device Settings → Update Firmware 直接升级固件getstartedwithomi.mdx 的 FAQ 给的也是这个顺序。2. 本地后端报 Failed to load API keys: Internal Server Error。不是密钥错是 Firestore 缺复合索引。按 backend/README.md 的说明在 Firebase 控制台给dev_api_keys和mcp_api_keys两个集合各建一个user_id升序 created_at降序的索引刷新即可。3. Windows 上音频处理失败。缺opus库它是音频编解码的硬依赖MSYS2 下用pacman装完记得把 DLL 目录加进PATH然后重开终端验证。4. 蓝牙搜不到设备。先确认系统给应用开了蓝牙和麦克风权限macOS 首次运行会弹授权点了不允许之后要去系统设置手动改再重新配对。接下来可以探索什么想深挖机制docs/doc/ 里有后端深潜、转录管道、聊天系统和 BLE 协议四类文档比 README 的 ASCII 架构图详细得多想做自己的硬件看 Integrations 集成指南和 omi/hardware/ 的设计文件即可。另外 sdks/device/ 提供了同一套 BLE 协议在 TypeScript、Go、Rust、C、Dart 里的实现如果你的设备不是 Omi 官方硬件从这里接入手最快。遇到问题Discord 社区响应比翻 issue 快。【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/Friend创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考