1. 微信女友链路拆解Hermes Agent 多模态陪伴到底怎么跑通Hermes Agent 是一个可以常驻在服务器上的智能体框架它能通过 gateway 把对话能力接到微信、Telegram、Discord 这类聊天平台。所谓「微信女友」本质是让 Hermes Agent 在微信里完成三件事听懂你发的语音、用文字或语音回你、在合适的时候发一张图。这三件事分别对应 STT语音转文字、TTS文字转语音和 Vision/生图能力。适合谁适合已经有一台能跑 Hermes Agent 的机器、想让微信 Bot 从「只会打字」升级成「能听会说还会发图」的人。我先把整条链路说清楚后面每一步你都能照着复制。微信侧收到一条语音消息Hermes gateway 把音频文件交给 STT provider本地 faster-whisper 或云端 Whisper 把它转成中文文本文本进入对话编排由主模型生成回复如果当前处于语音模式回复文本再交给 TTS provider 合成音频作为附件发回微信如果用户问的是「你在干嘛」这类状态问题编排层会触发生图工具生成图片后作为图片消息发回。整条链路里模型调用是最容易卡住的地方STT、TTS、主对话、Vision、生图可能来自不同厂商每家一个 Key、一套计费、一套限流管理起来非常碎。这就是我把 TaoToken 拉进来的原因。TaoToken 提供统一的 API 入口把多家模型的调用收敛到一个 Base URL 和一把 Key 上。对 Hermes Agent 这种要同时调多个模型能力的场景统一 Key 能省掉大量环境变量和配置文件的分叉。你可以在 https://taotoken.net/api 拿到兼容接口然后在 Hermes 的模型配置里把 Base URL 指过去主对话、Vision、生图都可以走同一个入口。注意STT 和 TTS 在 Hermes 里是独立的 provider 体系本地 faster-whisper 和 Edge TTS 不需要 Key所以统一 Key 主要解决的是对话模型、视觉模型和生图模型的接入问题。下面这张表是我实测下来各能力的推荐组合你可以按自己的预算和机器性能选能力推荐方案是否需要 Key说明STTlocal faster-whisper否免费中文优先吃 CPU/GPUSTTgroq Whisper是快有免费额度TTSedge否免费可调语速音调TTSminimax是中文效果好付费主对话TaoToken 统一入口是一把 Key 调多家模型Vision千问 / GPT 多模态是必须选支持图片的模型生图GPT Image 系列是通过 CLI 工具调用链路拆完你会发现真正难的不是单个功能而是把它们编排成「像真人」的行为。比如什么时候该用语音回、什么时候该发图、代码和链接要不要念出来。这些靠一段系统提示词约束后面第 4 节我会给出可直接用的片段。2. TaoToken 前置准备统一 Key 与 Hermes 模型配置在动手接微信之前先把模型入口统一掉不然后面每加一个能力就要改一次配置。TaoToken 的定位是模型 API 聚合入口你注册后在控制台创建 API Key就能用一个 Base URL 调用多家模型。对 Hermes Agent 来说这意味着主对话模型、Vision 模型、生图模型可以共用同一套鉴权信息配置文件里只维护一份 Key。第一步打开 https://taotoken.net/api 了解接口格式然后进控制台创建 Key。控制台地址是 https://taotoken.net/console 创建完记得复制保存Key 只显示一次。如果你后面要跑长期编码或 Agent 任务可以看下 Coding Planhttps://taotoken.net/coding-plan 它更适合高频调用场景。只是想先验证模型通不通可以用模型对话页面https://taotoken.net/model-chat 。拿到 Key 之后先别急着写进 Hermes用一条 curl 确认入口可用。这一步能帮你排除掉后面 90% 的「到底是 Key 错还是配置错」问题export TAOTOKEN_API_KEYsk-你的Key curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: gpt-4o-mini, messages: [{role: user, content: 只回复两个字在的}] }如果返回里有choices字段和正常内容说明 Key 和入口都没问题。返回 401 就是 Key 错了或没带Bearer返回model not found就是模型名写错了去控制台看可用模型列表。接下来把 Key 写进 Hermes 的环境变量。Hermes 读取模型配置一般走环境变量或配置文件我建议环境变量放 Key配置文件放 Base URL 和模型名这样换 Key 不用改配置。在服务器上编辑~/.hermes/.env或你部署时用的 env 文件# ~/.hermes/.env TAOTOKEN_API_KEYsk-你的Key TAOTOKEN_BASE_URLhttps://taotoken.net/api/v1然后在 Hermes 的模型配置里指向这个入口。Hermes 的配置文件通常是~/.hermes/config.toml或~/.hermes/config.yaml具体看你安装版本。以 TOML 为例主对话模型这样写[llm] provider openai-compatible base_url https://taotoken.net/api/v1 api_key_env TAOTOKEN_API_KEY model gpt-4o-mini [llm.vision] provider openai-compatible base_url https://taotoken.net/api/v1 api_key_env TAOTOKEN_API_KEY model qwen-vl-max这里provider用openai-compatible是因为 TaoToken 的接口兼容 OpenAI 格式Hermes 里凡是支持自定义 Base URL 的 provider 都能接。api_key_env写环境变量名而不是明文 Key避免 Key 进 git。Vision 单独一段模型必须选支持图片输入的DeepSeek 这类纯文本模型填进去也不会生效。配置完执行一次校验hermes config hermes config get llm.base_url hermes config get llm.model确认输出的 Base URL 是https://taotoken.net/api/v1模型名和你填的一致。如果 Hermes 版本不支持config get直接cat ~/.hermes/config.toml看也行。这一步做完你的 Hermes 就有了一个统一模型入口后面 STT、TTS、生图都围绕它展开。3. 可复制配置STT、TTS 与微信 gateway 三件套这一节是全文最核心的可复制部分。我按「微信对接 → STT → TTS → 行为编排」的顺序给配置每一段都能直接粘贴。先提醒一个前提如果你的 Hermes 跑在境外服务器确保到微信侧的网络链路稳定否则 gateway 绑定会失败或掉线。另外微信 Bot 不是独立账号很多能力受限别指望它像真人号一样。3.1 微信 gateway 对接启动 gateway 并选择微信hermes gateway setup在交互菜单里选Weixin / WeChat (configured)。接着会给出登录链接或二维码VPS 环境下通常输出一个 URL复制到浏览器打开就是二维码微信扫码授权。授权方式建议保持默认的Disable group chats (recommended)只允许私聊安全性最高。如果你的 Bot 之前绑过别的 Agent会提示解绑重绑确认即可一个微信只能绑一个 Bot。绑定后随便给 Bot 发一条消息它会回一个授权码把授权码交给 Hermes 完成对接hermes gateway bind --code 你的授权码 hermes gateway statusstatus显示 connected 就说明微信侧通了。此时发消息应该能收到 Hermes 的回复但还只是纯文本。3.2 STT 语音转文字配置Hermes 支持 local、groq、openai、mistral 几种 STT 来源。我推荐 local faster-whisper免费、不走云端、中文优先。安装依赖并写入配置sudo apt update sudo apt install -y ffmpeg portaudio19-dev python -m pip install -U faster-whisper hermes config set stt.enabled true hermes config set stt.provider local hermes config set stt.local.model base hermes config set stt.language zh验证 faster-whisper 是否装好python - PY import importlib.util print(faster_whisper:, bool(importlib.util.find_spec(faster_whisper))) PY输出True即可。base模型对中文够用机器性能好可以换small或medium性能差就保持base或改用云端 STT。配置改完必须重启 gateway 才生效hermes gateway restart3.3 TTS 文字转语音配置TTS 我选免费的 Edge声音用台湾腔女声zh-TW-HsiaoChenNeural。安装依赖并配置sudo apt install -y ffmpeg libopus0 python -m pip install -U edge-tts hermes config set tts.provider edge hermes config set tts.edge.voice zh-TW-HsiaoChenNeural生成一段测试音频确认声音可用edge-tts -v zh-TW-HsiaoChenNeural \ -t 语音配置好了我之后可以用台湾腔甜妹的声音说话。 \ --write-media /tmp/hermes-tts-test.mp3 ls -lh /tmp/hermes-tts-test.mp3文件存在且大小正常就说明 TTS 通了。然后在聊天平台里启用语音模式/voice tts没生效就再hermes gateway restart一次。这里要有个预期微信 Bot 受接口限制语音通常以附件形式发回不是原生语音气泡点开才能听。想要丝滑语音体验可以考虑换其他聊天平台对接。3.4 行为编排提示词把语音和图片的触发规则写进 Hermes 的系统提示词或人格配置里它才会「像真人」。下面这段可以直接用## 语音与图片输出 - 默认文字回复。 - 用户说「用语音回复」「语音回答我」「我想听你说话」后进入持续语音模式后续优先用 TTS 语音回复直到用户说「用文字回复」。 - 用户发语音时可以自然用语音回但代码、命令、链接、表格、安装步骤等内容仍优先文字必要时附一句简短语音。 - 语音要像微信真人语音短句、自然、温柔、有陪伴感不朗读 Markdown不念代码和链接。 - 默认不随便发图。 - 用户明确要图或问「你在干嘛 / 你在做什么 / 你现在干什么呢」这类状态问题时生成真实图片并发送。 - 状态类图片要对应当前动作例如正在回微信、查资料、写代码、整理笔记。 - 图片必须真实生成、确认文件有效后再发失败就说明真实原因不用描述冒充。 - 助手本人图片保持统一写实女性形象年轻中文女性助手、柔和亲近、自然生活感不二次元、不夸张。这段提示词的作用是把「什么时候语音、什么时候发图」从模型随机行为变成确定规则。没有它模型可能每条都发语音或者你问状态它只回文字。4. 端到端验证从微信语音消息到语音回复配置写完必须做一次完整验证否则你不知道是 STT 没转、TTS 没合成还是 gateway 没发出去。我按「分段验证 → 端到端验证」的顺序来每步都有明确的成功标志。4.1 分段验证 STT先单独测语音转文字不经过微信。准备一个中文语音文件或者用 edge-tts 生成一个当输入edge-tts -v zh-CN-XiaoxiaoNeural \ -t 今天天气不错我们出去走走吧。 \ --write-media /tmp/stt-input.mp3 python - PY from faster_whisper import WhisperModel model WhisperModel(base, devicecpu, compute_typeint8) segments, info model.transcribe(/tmp/stt-input.mp3, languagezh) print(detected:, info.language) for s in segments: print(s.text) PY成功标志输出里能看到「今天天气不错」这类文本。如果输出空或乱码检查ffmpeg是否装了、音频格式是否支持、stt.language是否设成zh。4.2 分段验证 TTS前面 3.3 已经生成过测试音频这里再确认一次播放链路ffprobe -v error -show_entries formatduration,size \ -of defaultnoprint_wrappers1 /tmp/hermes-tts-test.mp3有 duration 和 size 就说明音频文件有效。如果 duration 是 0多半是 edge-tts 网络请求失败重试或换 voice。4.3 端到端验证现在做完整闭环。确保 gateway 在跑hermes gateway status hermes gateway restart然后在微信里给 Bot 发一条语音内容说「用语音回复我你现在在干嘛」。预期行为是Hermes 收到语音 → faster-whisper 转成文字 → 主模型理解并进入语音模式 → 因为问的是状态问题触发图片生成 → TTS 合成语音 → 微信收到一条语音附件加一张图片。如果只收到文字检查/voice tts是否在当前会话启用如果收到语音但没图检查生图工具是否装好、Vision 模型是否支持图片如果语音是乱码或英文检查stt.language和 TTS voice 配置。验证通过后你就有了一个能听、能说、能发图的最小闭环。4.4 生图工具接入可选想让它在被问「你在干嘛」时真的发图需要接一个生图 CLI。我用的思路是把生图能力封装成命令行工具Hermes 通过调用命令生成图片。安装时先确认 Node.js 版本和登录状态node -v # 需要 20然后按项目文档安装安装后验证imgen --help imgen a cute orange cat sticker, transparent background \ -o ./imgen-test.png -s 1024x1024 -b transparent ls -lh ./imgen-test.png图片生成成功且文件有效再把它接到 Hermes 的工具调用里。注意生图模型也要走统一入口Base URL 和 Key 复用第 2 节的配置模型名换成支持生图的即可。5. 常见报错排查401、local proxy failed 与 choices 为空这一节按真实报错来。你跑的时候大概率会碰到下面几个我把我踩过的坑和定位方法都列出来。401 Unauthorized。最常见。先确认 curl 能不能通curl -s -o /dev/null -w %{http_code}\n https://taotoken.net/api/v1/models \ -H Authorization: Bearer $TAOTOKEN_API_KEY返回 401 就是 Key 问题Key 复制时带了空格、Key 已删除、或者环境变量没被 Hermes 读到。检查hermes config get llm.api_key_env输出的变量名和env | grep TAOTOKEN是否一致。Hermes 是 systemd 服务的话改完 env 要systemctl restart对应服务光hermes gateway restart可能读不到新变量。local proxy failed / connection refused。这个报错通常出现在 Hermes 尝试连本地代理或本地模型端口时。如果你没配代理检查配置文件里有没有残留的proxy字段如果配了本地 STT 或本地模型确认对应进程在监听。用ss -tlnp | grep 端口看端口是否起来。还有一种情况是 Base URL 写成了http://localhost但服务不在本机改成https://taotoken.net/api/v1即可。reading choices: unexpected end of JSON input。这个报错说明返回体不是合法 JSON通常是入口返回了 HTML 错误页或空响应。先用 curl 看原始返回curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d {model:gpt-4o-mini,messages:[{role:user,content:hi}]} | head -c 500如果返回 HTML说明 Base URL 路径错了注意要带/v1。如果返回{error:...}按 error message 处理常见是模型名不存在或额度不足。OAuth / 授权相关报错。微信 gateway 绑定阶段如果提示授权失败先确认二维码没过期重新hermes gateway setup生成。如果提示已绑定其他 Agent去原 Agent 解绑或换一个微信。生图工具如果走 OAuth 登录确认登录态没过期重新登录一次。语音转出来是英文或空。检查stt.language是否为zhstt.local.model是否下载完整。faster-whisper 首次运行会下载模型网络不好会失败手动指定缓存目录或重试。TTS 没声音或文件 0 字节。edge-tts 依赖网络请求微软服务网络不稳会失败。重试几次或换zh-CN-XiaoxiaoNeural测试是不是 voice 名的问题。排查的核心思路是先 curl 验证入口再分段验证 STT/TTS最后端到端。不要一上来就怀疑 Hermes大部分问题在 Key、Base URL 和模型名这三样上。6. 继续折腾把统一 Key 用在更多 Agent 场景跑通微信女友只是起点。你会发现一旦模型入口统一了后面加能力就是改配置的事。比如你想让它定时去抓某个信息源、整理成日报发回微信只需要加一个定时任务和对应的工具调用模型还是走同一个 Base URL。想验证新模型效果直接去 https://taotoken.net/model-chat 试不用改 Hermes 配置。想长期跑编码或 Agent 任务Coding Plan 比按次调用更划算https://taotoken.net/coding-plan 。接入文档在 https://taotoken.net/doc 里面有各语言的调用示例和参数说明。API Key 管理在 https://taotoken.net/api-keys 建议给不同用途建不同的 Key方便排查和吊销。如果你用 Claude Code 这类工具Anthropic 兼容入口在 https://taotoken.net/claudecode-anthropic 配置方式类似都是 Base URL 加 Key 加模型名三件套。最后给一个实用建议把 Hermes 的配置文件纳入版本管理但 Key 走环境变量。这样你换机器、重装、调模型时只需要重新导出环境变量配置本身不用动。语音和图片的行为规则写在提示词里也一起进版本管理方便你迭代「女友人设」。等你把 STT、TTS、Vision、生图都串起来再回头看最花时间的其实是调提示词和试模型组合而不是装环境。