浏览器里的 LLM 推理jax-js 驱动 Whisper 语音识别与语音克隆全解析【免费下载链接】jax-jsJAX in JavaScript – ML library for the web, running on WebGPU Wasm项目地址: https://gitcode.com/gh_mirrors/ja/jax-js想在浏览器里直接跑大模型jax-js 是一个纯 JavaScript 编写的浏览器机器学习框架兼容 JAX/NumPy API能把数组运算编译为 WebAssembly 与 WebGPU 内核让你在 Web 端完成LLM 推理、Whisper 语音识别与语音克隆——全程本地运行音频不出浏览器隐私有保障。为什么是浏览器端推理传统方案要把音频上传到服务器而 jax-js 把整个推理链路搬进了前端三种后端WebGPUGPU 加速、WebGL、WasmCPU自动探测设备能力代码见 src/backend/webgpu.ts 与 src/backend/wasm.ts体积小gzip 后仅约 80 KB零外部依赖隐私安全录音、权重、推理全部在客户端完成浏览器兼容性一览平台CPUWasmGPUWebGPUChrome / Edge✅✅Firefox✅✅macOS 26Safari / iOS✅✅iOS 26Android Chrome✅✅Whisper 语音识别音频到文字的完整链路演示代码位于website/src/routes/whisper/目录共四步音频解码与重采样用 Web Audio API 解码录音统一为 16 kHz 单声道features.ts特征提取手写 STFT Mel 滤波器把波形转换为 80 维 log-mel 谱30 秒窗口3000 帧编码器 解码器完整实现了 Whisper 的 Transformer 结构支持tiny.en→medium全部 8 种规格权重以 fp16 safetensors 加载model.ts 中定义了各档 dModel 与层数带时间戳的解码贪心采样 时间戳门控输出带起止时间的分段文本decoding.ts几个工程亮点值得学习KV Cache 加速解码器逐 token 自回归Key/Value 张量只增量更新避免重复计算jit 内核融合编码器、交叉注意力 KV、单步解码各编译一次并缓存model.ts性能可视化页面实时展示模型加载、prefill、逐 token 解码的耗时语音克隆Kyutai Pocket TTS 的浏览器实现TTS 演示website/src/routes/tts/运行 Kyutai 开源的Pocket TTS模型架构由两部分组成FlowLM自回归 Transformer预测音频潜变量latent配合流匹配解码LSD生成高质量波形pocket-tts.tsMimi 神经声码器把潜变量还原为音频帧每步输出 1920 个采样点边生成边播放是关键体验优化inference.ts 中的推理循环每生成一帧音频就立即推入播放器页面还会实时统计帧率和实时率RTF。️ 如何克隆一个声音页面内置 8 个预置声线alba、cosette、jean 等每个声线只是一份audio_prompt潜变量文件page.svelte。克隆新声音的原理相同把参考音频编码为语音潜变量与文本嵌入拼接后作为条件输入——这就是零样本语音克隆的核心整个流程见 inference.ts。文本分词由浏览器内的 SentencePiece tokenizer 完成权重解析则复用 packages/loaders/src/safetensors.ts 中的 safetensors 读取器支持 OPFS 本地缓存二次访问近乎秒开。快速上手3 步在浏览器中部署引入框架npm i jax-js/jax或直接在 HTML 中用 ES Module 引入 CDN 版本复制website/src/routes/whisper/或website/src/routes/tts/目录作为你的语音应用起点按你的需求替换模型权重 URL页面会自动在 WebGPU / Wasm 后端间切换总结jax-js 证明了浏览器即推理终端的可行性Whisper 语音识别做到了带时间戳的准实时转录语音克隆做到了流式生成、边说边听而这一切都发生在用户设备本地。对隐私敏感场景会议记录、语音助手、无障碍产品来说这是一条值得关注的技术路线。核心功能与浏览器支持矩阵详见 FEATURES.md。【免费下载链接】jax-jsJAX in JavaScript – ML library for the web, running on WebGPU Wasm项目地址: https://gitcode.com/gh_mirrors/ja/jax-js创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考