【免费下载链接】speech-swiftAI speech toolkit for Apple Silicon — ASR, TTS, speech-to-speech, VAD, and diarization powered by MLX and CoreML项目地址https://gitcode.com/gh_mirrors/sp/speech-swift点击查看免费下载speech-swift是一款面向 Apple Silicon 的本地语音工具集基于 MLX 与 Core ML 驱动覆盖 ASR、TTS、语音增强等能力。它能把嘈杂的会议录音、手机采访、在线通话音频全部在本地 Mac 上完成 4 步精修降噪、回声消除、去混响、音频超分辨率——隐私数据不出机器效果媲美云端服务。第一步构建 speech-swift 运行环境所有命令都通过统一的speechCLI 调用首次使用需要先构建git clone https://gitcode.com/gh_mirrors/sp/speech-swift cd speech-swift make buildmake build会同时编译 Swift 包和 MLX 所需的 Metal 着色库metallib。如果运行时看到Failed to load the default metallib报错重新执行一次make build即可解决。模型权重DeepFilterNet3、Sidon、FlashSR 等会在首次使用时自动从 Hugging Face 下载到本地缓存无需手动管理。 完整构建与故障排查见 docs/building.md第二步降噪——一键去除背景噪音背景噪音键盘声、风扇声、街道噪音是最常见的问题。denoise命令基于 DeepFilterNet3Interspeech 2023模型默认走 Apple 神经引擎ANE模型仅约 2.2 MB短音频处理速度可达实时 8 倍RTF 0.13。# 基本用法输入 noisy.wav输出 noisy_clean.wav .build/release/speech denoise noisy.wav # 指定输出文件 .build/release/speech denoise noisy.wav --output clean.wav # 超长音频自动分块处理超过 45 秒的输入无需担心 .build/release/speech denoise long_meeting.wav # 改用 MLX/GPU 引擎无时长上限适合大文件 .build/release/speech denoise noisy.wav --engine mlx几个实用细节长音频自动分块Core ML 引擎单次处理上限约 60 秒超过 45 秒的输入会自动按 45 秒窗口分块处理并用 500 ms 等功率淡入淡出无缝拼接对使用完全透明。质量有实测背书在 VoiceBank-DEMAND 测试集上该管线 PESQ 达到 3.097超过官方 Python 实现的 3.029。命令实现源码见 Sources/AudioCLILib/DenoiseCommand.swift技术细节见 docs/inference/speech-enhancement.md第三步回声消除——去掉扬声器串音视频通话或外放录音中麦克风常常录进了扬声器播放的声音对方的声音、系统提示音形成恼人的回声。speech-swift 内置LocalVQEEchoCancellerLocalVQE v1.4-AEC 架构采用自适应滤波 学习残差掩码两级结构只移除可预测的播放分量不损伤你自己的声音。与批处理命令不同回声消除需要两路对齐的音频流一路是麦克风信号一路是实际送往扬声器的参考信号。典型用法是程序化调用let aec try await LocalVQEEchoCanceller.fromPretrained() // 每帧 256 个采样点16 kHz 下的 16 ms两路必须严格同步 let cleanMic try aec.processFrame( microphone: microphoneFrame, reference: playbackReferenceFrame )对于已录好的一对同步文件也有批处理入口process(microphone:reference:sampleRate:primeDelay:)会先从整段音频估计整体延迟再处理跳过在线收敛期处理吞吐可达 37 倍实时。⚠️ 参考信号必须是送往输出的原始干净信号。如果参考信号丢失样本或时间轴错位处理结果会劣化——遇到设备切换、断流时应调用reset()重置滤波器状态。实现位于 Sources/SpeechEnhancement/LocalVQEEchoCanceller.swift使用约束详见 docs/inference/echo-cancellation.md。第四步去混响——Sidon 联合降噪 去混响空旷房间、浴室、大厅录出的语音会带明显混响嗡嗡的尾巴声。restore命令使用 SidonICASSP 2026模型一次完成联合降噪 去混响输入任意采样率输出统一的48 kHz高保真单声道——相当于顺手把采样率也升上去了。# 基本用法输出 输入名_restored.wav48 kHz .build/release/speech restore noisy_reverb.wav -o clean.wav # int8 变体体积更小、峰值内存更低 .build/release/speech restore noisy_reverb.wav --variant int8 -o clean.wav # 指定 Core ML 计算单元默认已针对两阶段分别调优 .build/release/speech restore noisy_reverb.wav --compute-units ane长录音按 10 秒窗口自动处理并拼接无需干预。值得注意的是Sidon 的设计目标是保留说话人身份这也是它常被用于克隆语音前清洗参考音频的原因TTS 时可用speak --clean-reference直接调用同一管线。源码见 Sources/AudioCLILib/RestoreCommand.swift管线细节见 docs/inference/sidon.md。denoise 还是 restore主要是背景噪音白噪、人声嘈杂选denoise录音有明显房间混响、需要保真度选restore它顺带也降噪且输出 48 kHz。第五步音频超分辨率——补回缺失的高频细节电话录音8 kHz、老录音、低码率音频普遍闷闷的高频被裁掉。upsample命令基于 FlashSR单步蒸馏扩散模型MLX 加速做音频超分辨率把窄带音频补全为48 kHz宽频音频# 基本用法 .build/release/speech upsample phone_call.wav -o clean_hr.wav # int8 变体量化更精确磁盘约 720 MB .build/release/speech upsample phone_call.wav --variant int8 -o out.wav # 固定随机种子结果可复现 .build/release/speech upsample phone_call.wav --seed 42 -o out.wav输入任意采样率都会被内部重采样到 48 kHz按 5.12 秒窗口处理输出时长与输入严格一致。参数细节见 docs/inference/flashsr.md命令实现见 Sources/AudioCLILib/UpsampleCommand.swift。推荐处理顺序与常见问题针对一份又吵、又有混响、还串了回声的录音推荐顺序顺序问题命令输出采样率1️⃣扬声器回声LocalVQE 回声消除16 kHz2️⃣背景噪音 房间混响speech restore48 kHz3️⃣高频缺失电话级带宽speech upsample48 kHz常见问题速查报错Failed to load the default metallib重新执行make buildMetal 库缺失。denoise 长音频报 Core ML 错误默认自动分块即可覆盖仅当你手动加了--no-chunk且音频超过 60 秒才会报错。首次运行很慢在下载模型权重后续走本地缓存。想接入自己的 App四个模块都支持 Swift API——SpeechEnhancer、SpeechRestorer、LocalVQEEchoCanceller、FlashSR签名统一可任意组合成你自己的音频处理管线。整个流程全部本地完成数据不出 MacANE/GPU 加速离线可用——这正是 speech-swift 把 ASR、TTS、语音增强聚合成一套工具包的价值所在。赞分享【免费下载链接】speech-swiftAI speech toolkit for Apple Silicon — ASR, TTS, speech-to-speech, VAD, and diarization powered by MLX and CoreML项目地址https://gitcode.com/gh_mirrors/sp/speech-swift点击查看免费下载相关推荐Android Speex 音频降噪与回声消除示例Android Speex 音频降噪与回声消除示例 项目介绍 本仓库提供了一个基于Speex库的Android音频降噪与回声消除的示例项目。通过使用Speex库VoiceFixer音频修复实战3步让嘈杂录音秒变清晰人声你是否曾经因为录音中的杂音而懊恼那些重要的会议记录、珍贵的访谈录音被背景噪音毁得面目全非。别担心VoiceFixer就像一位专业的声音整形师能够智能人工智能语音音频处理Buzz音频降噪功能提升嘈杂环境下的转录质量Buzz音频降噪功能提升嘈杂环境下的转录质量 引言嘈杂环境下的音频转录痛点 在日常工作和生活中我们经常需要处理各种音频内容如会议录音、采访记录、课堂讲座人工智能语音音频本地部署桌面应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考