人工智能语音音频【免费下载链接】react-native-executorch-fsmn-vad项目地址https://ai.gitcode.com/hf_mirrors/software-mansion/react-native-executorch-fsmn-vad点击查看免费下载react-native-executorch-fsmn-vad 仓库发布了语音活动检测Voice Activity Detection, VAD模型fsmn-vad的 ExecuTorch.pte端侧模型可以直接在 React Native 应用中离线运行。本文带你读懂它forward的输入输出契约输入是[1000, 512]的特征张量输出是[1, 1000, 248]的结果张量——每个数字都对应明确的物理含义。 这个仓库是做什么的仓库托管的是 FunASR 项目 上游 fsmn-vad 模型导出后的产物专为 react-native-executorch 库准备即导出即运行的端侧推理程序。目前仅发布了一个可用变体路径后端精度xnnpack/fsmn_vad_xnnpack_fp32.ptexnnpackfp32模型文件约 1.7 MB1,827,808 字节非常轻量。根目录的 config.json 只声明了modelName: fsmn-vad真正的技术细节都在各后端目录的配置里。 forward 输入输出契约一览契约完整定义在 xnnpack/config.json 的methods.forward字段中项目形状 (shape)数据类型 (dtype)说明输入[1000, 512]float321000 个音频帧每帧 512 维特征输出[1, 1000, 248]float32批次维 1保留 1000 帧每帧 248 维输出两边都是float32与文件名中的fp32精度一致配置中还声明了能力标签voice-activity-detection见 xnnpack/config.json。 输入端解读[1000, 512] 是什么注意输入是一个二维张量没有显式批次维512是特征维度每一行代表一个音频帧经过前端特征提取后得到的 512 维特征向量具体的特征类型由上游前端管线决定模型只认这个维度约定。1000是帧数一次forward调用处理 1000 个连续帧。在常见前端配置帧移约 10 ms下1000 帧大约对应10 秒左右的音频因此这个模型适合按秒级窗口逐段喂入。调用时若帧数不是 1000 或特征维不是 512与契约不符运行结果不可靠——这正是契约声明的意义它把喂什么写得明明白白。 输出端解读[1, 1000, 248] 是什么输出是三维张量逐维拆解1批次维显式补上了 batch 维表示一次推理只处理一个样本。1000帧维与输入帧数一一对应每进 1 帧、每出 1 帧时间轴不丢失。248状态维每一帧对应一个 248 维的输出向量它承载了模型对该帧的 VAD 解码状态信息是后续聚合成语音 / 非语音逐帧判定的原始依据。也就是说标题里输出 248更准确的读法是帧数保持 1000 不变248 是每帧的输出状态维。拿到这个张量后端上层如 react-native-executorch 的 voice-activity-detection 任务管线会进一步消费它得到每个时间位置是否有人声的结论。⚙️ 如何在 React Native 中使用按 README.md 的说明把这些文件接入 React Native ExecuTorch 时将库的模型注册表中对应的 model constant 传给voice-activity-detection任务管线即可。仓库自身不包含业务代码——它提供的是契约 模型文件上层管线负责把音频变成[1000, 512]输入再把[1, 1000, 248]输出翻译成最终决策。 运行时兼容性与后端选择运行时版本这些文件面向ExecuTorch v1.4.1运行时发布官方不提供向前兼容保证更旧的运行时可能无法加载见 README.md。为什么只有 xnnpack仓库曾尝试另外两个后端均被实测否决原因记录在各自的 NOTES 中coreml/NOTES.mdCore ML 在CPU_AND_NE下执行报错0x1fp16/fp32 均复现CPU_ONLY虽可运行但相对 XNNPACK 无加速优势故不发布。mlx/NOTES.md同一台 iPhone 16、同一输入下xnnpack fp32 以1.5 ms 中位耗时产出有限输出而 MLX 构建体积大 57%2.87 MB且执行失败Method forward failed故同样不发布。这个对照实验恰好证明了契约的价值两份配置声明了完全相同的 forward I/O 契约同一输入同时喂给两者差异完全来自后端本身而非输入或测试方法。 关键文件索引输入输出契约xnnpack/config.json端侧模型文件xnnpack/fsmn_vad_xnnpack_fp32.pte变体与兼容性说明README.md模型名声明config.json未发布后端的原因coreml/NOTES.md、mlx/NOTES.md一句话总结向forward喂入 1000 帧 × 512 维的 float32 特征就会拿到 1 × 1000 帧 × 248 维的 float32 结果——帧数原样保留248 维承载逐帧 VAD 状态交给上层管线即可落地成语音活动检测结论。赞分享人工智能语音音频【免费下载链接】react-native-executorch-fsmn-vad项目地址https://ai.gitcode.com/hf_mirrors/software-mansion/react-native-executorch-fsmn-vad点击查看免费下载相关推荐Paper2Poster Skill 输入输出契约解析最小输入、四大交付物与 poster.yaml 落地指南Paper2Poster Skill 输入输出契约解析最小输入、四大交付物与 poster.yaml 落地指南 本文以仓库中 skills/reference人工智能大模型AI Agent多智能体AI 应用AI 评测AI 技能输入 输出输入 输出 link → link link → link link → link link → link link → link ! link → link开发工具格式化CLIAtomic Agents 结构化 I/O 指南用 BaseIOSchema 为 Agent 定义输入输出契约Atomic Agents 结构化 I/O 指南用 BaseIOSchema 为 Agent 定义输入输出契约 BaseIOSchema 是 Atomic AAI AgentAgent 框架MCP 服务后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考