MiniMind-O WebUI实战电话模式与实时语音交互的完整设置指南【免费下载链接】minimind-o️ A 0.1B Omni model trained from scratch, capable of listening, speaking, and seeing!项目地址: https://gitcode.com/gh_mirrors/mi/minimind-oMiniMind-O WebUI 是 0.1B 全模态Omni模型 MiniMind-O 的官方交互界面支持电话模式、实时语音交互、语音克隆与图像问答。本指南面向新手带你从零完成环境配置、启动 WebUI、进入电话模式并与模型通话全程无需编写代码。一、MiniMind-O WebUI 能做什么MiniMind-O 是一个从 0 训练的超小型 Omni 模型minimind-3o主干约 0.1B 参数单一权重同时支持文 / 音 / 图三模态输入与文本 流式语音输出。官方提供了两套 WebUI界面入口特点实时 WebUI本指南主角webui/web_demo.pyWebSocket 双向流式支持电话模式、实时打断barge-in、摄像头视觉Gradio 演示scripts/web_demo_omni.py非实时上传/录音后整段回复适合快速体验实时 WebUI 的核心能力电话模式打开浏览器即拨号麦克风流持续上行模型流式语音回复支持边听边答⚡实时打断模型说话时你再开口它会立即停下重新听Silero VAD 检测音色选择与克隆内置 dylan、serena、uncle_fu 等音色也能录一段话克隆自己的声音摄像头看图通话中开启 cam自动抓拍画面作为视觉输入。二、环境准备3 步下载所有资源建议机器任意带 NVIDIA GPU 的电脑显存 8GB 左右即可无 GPU 时可用 CPU 推理速度较慢。第 1 步克隆仓库并安装依赖git clone --depth 1 https://gitcode.com/gh_mirrors/mi/minimind-o cd minimind-o pip install -r requirements.txt依赖清单见 requirements.txt其中flask-sock就是电话模式 WebSocket 的底层。第 2 步下载模型组件放到model/目录modelscope download --model gongjy/SenseVoiceSmall --local_dir ./model/SenseVoiceSmall modelscope download --model gongjy/siglip2-base-p32-256-ve --local_dir ./model/siglip2-base-p32-256-ve modelscope download --model gongjy/mimi --local_dir ./model/mimi modelscope download --model gongjy/campplus --local_dir ./model/campplus分别对应语音编码器、视觉编码器、Mimi 音频编解码器语音输出 24 kHz 波形靠它还原、说话人编码器音色克隆用。仓库已自带 VAD 模型 model/vad/silero_vad.onnx 和内置音色 model/speaker/voices.pt无需额外下载。第 3 步下载 Omni 模型权重# 下载 transformers 格式权重稍后放入 WebUI 扫描目录 modelscope download --model gongjy/minimind-3o --local_dir ./minimind-3o三、启动 WebUI一条命令跑起来web_demo.py启动时会自动扫描--load_from目录下所有包含权重文件的子文件夹因此先把权重目录放进去cp -r minimind-3o ./webui/ cd webui python web_demo.py --load_from . --port 7860看到Warmup done!后浏览器访问http://localhost:7860即进入聊天主界面访问http://localhost:7860/call可直达电话模式。常用启动参数速查参数默认值说明--load_from./模型扫描目录放多个子文件夹可在页面上热切换模型--device自动有 CUDA 用 cuda显存不足排查问题时可改为cpu--port7860端口被占用时调整如--port 8000--audio_chunk_frames4流式播放每块解码的 Mimi 帧数约 320ms播放卡顿调大到 8/12--audio_overlap2分块解码重叠帧缓解块边界杂音一般无需调整--max_history_turns0电话模式带多少轮对话历史调大更有上下文但延迟与显存增加四、先体验聊天模式文本、语音、图像三合一进入主界面后底部输入区有 3 个按钮图像按钮从文件选图或现场拍照模型会以语音文字回答图中是什么录音按钮按住录制一段语音提问语音输入走端到端链路不经过独立 ASR 转文字输入框直接打字提问。每次回复都会流式播放语音右上角面板实时显示text_ttft/audio_ttft首字/首音延迟右上角音色下拉框可切换内置音色dylan、eric、serena、uncle_fu、vivian与 unseen 音色克隆音色也可在此选择。五、电话模式像打电话一样和模型实时对话点击主界面右上角的Call按钮页面切换到全屏通话界面前端逻辑见 webui/web_demo.html。电话模式的工作原理浏览器通过ScriptProcessor把麦克风采集的音频重采样到 16 kHz按 4096 样本打包成二进制帧经 WebSocket/ws/realtime持续推给后端后端用 Silero VAD 判断说话/停顿一旦检测到你说完立刻送入模型生成文本与语音再把 24 kHz PCM 音频流实时推回浏览器播放。模型说话期间你若再次开口VAD 触发interrupt当前回复立即中断——这就是接近真实打电话的体验。通话界面 5 个控件说明控件功能顶部状态球动态显示 idle / listening / thinking / speaking 状态音量越大波纹越强cam按钮开启摄像头每轮对话自动抓拍一帧作为图像输入实现看着你说话log按钮展开本次通话的完整文字记录session transcriptend按钮挂断释放麦克风与 WebSocket顶部模型/音色下拉通话中也可切换模型与音色音色变化即时生效小提示浏览器要求麦克风权限若地址栏出现请求访问摄像头和麦克风请点允许WebSocket 需要ws://或wss://局域网/远程访问时请给服务加一层 HTTPS 反代Nginx 转发 7860 端口并启用 WebSocket 即可。六、语音克隆30 秒让模型用你的声音回答主界面右上角点击当前音色 → 选择底部 clone给音色起个名字24 字以内如小王按提示自然朗读「今天阳光很好欢迎来到我的语音克隆小实验。」3~6 秒为宜环境尽量安静提交后系统自动做 1.5 倍速增强、提取 CAM speaker embedding 与 Mimi reference codes新音色立即出现在下拉列表中并持久化到 model/speaker/voice_clone.pt。克隆音色可随时在列表中点×删除。注意当前版本音色克隆仍属 Beta 能力男女声差异与语调倾向可以区分但长句稳定性有限别对高保真复刻抱太高期待。七、常见问题快速排查Q1端口被占用 / 想开两个实例换一个端口启动即可python web_demo.py --port 8000。Q2显存不够或报错先用--device cpu验证流程是否跑通GPU 下建议给浏览器其他页面减负Mimi 解码与 Talker 生成都在同一张卡上。Q3电话模式一直显示 connecting / 收不到声音依次检查① 浏览器是否授权麦克风② 是否通过localhost访问或已配置 HTTPS③ 终端是否已完成Warmup done!。Q4回复语音断断续续、有爆音把--audio_chunk_frames从 4 调到 8 或 12延迟换平滑度边界杂音明显时把--audio_overlap调到 3~4。Q5模型答非所问、不记得上文电话模式默认不带历史--max_history_turns0。需要多轮上下文时启动加--max_history_turns 4。八、写在最后MiniMind-O WebUI 把听、看、说的完整 Omni 链路装进了一个 0.1B 模型里而电话模式 实时打断让它具备了真实对话的雏形。整套配置只需 3 步装依赖、下模型、一条命令启动普通个人 GPU 甚至 CPU 都能体验。想进一步折腾的同学可以继续看看 model/model_omni.py 中RealtimeSession的 VAD 状态机实现或参考 eval_omni.py 做命令行推理——这个小而完整的代码库正是理解 Omni 语音交互的最佳切入点。【免费下载链接】minimind-o️ A 0.1B Omni model trained from scratch, capable of listening, speaking, and seeing!项目地址: https://gitcode.com/gh_mirrors/mi/minimind-o创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考