资讯动态

全面认识Index-Translate:文本、图像、语音、长文档一网打尽的多语言翻译模型家族

发布时间:2026/10/13 4:28:43 来源:尧图企业网站定制
【免费下载链接】Index-TranslateA Multilingual, Multimodal Translation Model Family项目地址https://gitcode.com/gh_mirrors/in/Index-Translate点击查看免费下载Index-Translate 是一个基于 Qwen3.5 构建的多语言、多模态翻译模型家族覆盖 150 种语言的文本翻译、零 OCR 依赖的原生图像翻译、保留原声的语音翻译、按音节数精准控制的配音翻译以及整篇长文档翻译。家族提供 2B / 9B / 35B-A3Bpreview三种规模并配有免费在线 API——不用 GPU 也能在几秒内体验旗舰模型。一个模型家族覆盖 4 大翻译场景很多人以为翻译模型只能翻译文本段落但 Index-Translate 用一套基础能力延伸出了完整的场景矩阵模型解决的问题典型用法Index-Translate150 种语言文本 原生图像翻译视觉编码器零 OCR 依赖网页、截图、路牌、图表Index-Echo S2TT语音 → 带时间戳的双语字幕zh→en/ja/es视频字幕、播客Index-Echo S2ST语音 → 语音翻译保留源说话人声线视频配音、本地化Index-Homura译文长度受目标音节数控制歌词、口播、定时长配音Index-NativeLong整篇长文档一次生成跨段落保持上下文书籍、论文、小说2B 支持 262K 上下文三个文本主力规模各有定位2B可跑在 CPU / 轻薄本上做边缘部署9B是工作站级均衡之选35B-A3Bpreview是 MoE 旗舰复杂场景质量最佳。所有模型还同步发布了GGUFllama.cpp 本地推理含视觉 mmproj 权重、FP8与FP4vLLM 服务化三种量化构建硬件门槛覆盖得很全。三步快速上手免费 API 零 GPU 体验多语言翻译仓库内置了一个零依赖纯 Python 标准库无需 pip 安装的官方脚本 inference/llm/call_api.py调用免费的在线 35B 旗舰 API# 1. 命令行直接翻译源语言自动识别 python inference/llm/call_api.py 你好世界。今天天气不错。 --target en # 2. 图像翻译整张截图交给模型无需 OCR python inference/llm/call_api.py --image screenshot.png --target zh公开 API 完全兼容 OpenAI 规范/v1/chat/completions、/v1/responses可以直接接入你现有的 OpenAI SDK 代码把model改成Index-Translate-35B-A3B即可。有 GPU 的读者可以走自托管路线官方一键脚本 inference/llm/serve_vllm.sh 内置了 translate / homura / nailong 各规格的启动预设git clone https://gitcode.com/gh_mirrors/in/Index-Translate cd Index-Translate ./serve_vllm.sh translate-2b原生图像翻译为什么不用 OCR 反而更好传统的图像翻译是流水线作业OCR 识别 → 文本清洗 → 文本翻译每一级误差都会级联放大漏字、断行、阅读顺序错乱。Index-Translate 全系2B / 9B / 35B内置了原生视觉编码器mmproj图像特征直接投影进模型表征空间模型在提取文字的同时就理解了版面几何与语义结构端到端输出译文零外部 OCR 依赖。官方实测的几类高难场景表现都相当稳图像类型表现亮点软件设置界面系统术语准确密集按钮不错位技术流程图保留架构概念与流向关系实景路牌抗眩光与透视畸变单位换算正确30 mph → 30 英里/小时商品包装日本文书「国内製造」准确本地化为日本制造图像翻译的完整教程Web Demo、API、llama.cpp 本地部署见 docs/image_translate.md。Index-Echo 语音翻译从字幕生成到原声级配音语音部分是这个家族最炫的地方分为两条路线S2TT语音→字幕输入中文音视频输出带时间戳的双语 SRT 字幕zh→en/ja/es包内自带 VAD 分窗、滑窗上下文和术语表支持入口脚本是 inference/echo-s2tt/s2tt.py。S2ST语音→语音中/英文音频翻译成 en/es/ja/zh且保留源说话人的声线入口脚本是 inference/echo-s2st/dub.py。其架构源自技术报告如下S2TT 先做端到端语音转写翻译S2ST 在冻结的 S2TT 基础上用约 30M 可训练参数的 Hidden2CV 映射器对齐到 CosyVoice3 的文本嵌入空间再叠加源说话人的 CampPlus 声纹条件最终由声码器合成语音效果演示左图是一段英文演讲视频被配成日语右侧同步显示多语种翻译字幕右图则是同一段演讲被实时翻译为中英日韩西阿等 6 种语言字幕如果目标是整部视频video-dub/ 提供了完整流水线mp4 → 抽音频 → 人声分离demucsBGM 保留→ VAD 分段 → 逐段 S2ST 配音 → 时间轴对齐 → 输出配音 mp4。一条命令即可python dub_video.py input.mp4 --lang en --s2st-url http://127.0.0.1:8094 --srt产出配音视频、SRT 字幕和逐段 JSON 清单配音会自动做轻微变速以贴合原片时长。Index-Homura 与 Index-NativeLong音节控制与长文档的难活Index-Homura 解决时长约束问题给一个目标音节数 N模型会输出恰好落在该长度附近的译文这对配音、歌词、口播至关重要。示例原文生活两天是一种什么体验目标音节实际输出音节英文译文1010to live for two days. What would that be like?1414What would it be like to live there for two days, I wonder?1818What would it be like to live there for two days, trying to get by somehow?在 SandGlass 基准上Index-Homura-9B 有81.92% 的译文落在目标音节数 ±10% 以内。Index-NativeLong 解决长文档上下文问题整篇文档一次性生成跨段落保持人物名、术语一致。官方对比中一篇约 32K token 的奇幻小说里角色名王妃在全文 31% / 57% / 85% 位置都被 NativeLong-9B 一致译出而分块翻译的同一 9B 模型则分别变成了 Instructor Wangfei、the Dean、The Queen Consort——上下文断裂的代价一目了然。入口脚本是 inference/llm/doc_translate.py音节控制入口是 inference/llm/syllable_translate.py。指令跟随翻译术语、格式、风格都能约束Index-Translate 深度融合了 instTrans 指令跟随能力约束分两类硬约束任一失败即判定失败术语表强制-g参数、JSON/CSV/代码等格式结构保留-H参数软约束分级评分语气风格调整、领域消歧-S-d参数比如把plant在工业语境里译成工厂而不是植物。一个典型用法——带术语表翻译python inference/llm/translate.py 王平仲采用了更加昂贵的碳纤维材料。 \ --target en -g 碳纤维:carbon fiber, 抗裂缝:crack resistance实战用沉浸式翻译实现双语网页阅读对个人用户最实用的落地是把 Index-Translate 接进Immersive Translate沉浸式翻译浏览器插件实现网页双语对照阅读。由于浏览器的 CORS 限制和思维链抑制需求官方提供零依赖的本地桥接代理浏览器插件 → 本地代理 (127.0.0.1:8080/v1) → 免费 35B 在线 API / 本地 vLLM启动只需一条命令Windows 用户甚至可双击根目录的 run_proxy_windows.bat 一键完成然后在插件的翻译服务 → 开发者设置里选择 OpenAI 兼容接口填入终端打印的 4 个参数接口地址http://127.0.0.1:8080/v1、模型Index-Translate-35B-A3B、Key 随意填写、限流 3~5点击测试服务连接出现绿色对勾即配置成功配置完成后按Alt A打开任意外文网页即可看到中英双语对照的流畅阅读体验延迟约 150ms详细步骤与故障排查超时、端口冲突、python未识别等见 docs/immersive_translate.md仓库里还有一个更轻量的原生浏览器扩展支持 Chrome / Edge / Firefox作为备选。评测基准、文档与获取方式官方同步发布了 4 个翻译评测基准数据与评测脚本都在 benchmarks/ 目录方便复现与选型基准考察能力规模instTrans指令跟随翻译10 类约束3,000 条任务MEME社区文化梗的中英翻译3,638 条SandGlass音节时长约束翻译3,600 条NAtIveLong长文档整篇翻译BWB / 国风网文8484 条元数据完整评测表格FLORES、WMT26、低资源语言、字幕、书籍网文等 7 大维度见 docs/evaluation.md提示词模板见 docs/prompts.md技术报告原文见 docs/Index_Translate_Series_Technical_Report.pdf。项目采用Apache-2.0协议开源模型权重与量化构建可在 Hugging Face / ModelScope 的 IndexTeam 空间下载。无论你是想用免费 API 快速试水的普通用户还是想在边缘设备、工作站或 GPU 集群上部署的开发者这个家族都有对应的规模与格式可选。快速导航想做的事看这里命令行 / API 快速翻译inference/llm/call_api.py图像翻译教程docs/image_translate.md沉浸式翻译接入docs/immersive_translate.md语音字幕 / 配音inference/echo-s2tt/ · inference/echo-s2st/视频翻译配音流水线video-dub/dub_video.py基准评测与复现benchmarks/README.md赞分享【免费下载链接】Index-TranslateA Multilingual, Multimodal Translation Model Family项目地址https://gitcode.com/gh_mirrors/in/Index-Translate点击查看免费下载相关推荐模型文档本地化DeepSeek-VL2多语言文档翻译指南模型文档本地化DeepSeek VL2多语言文档翻译指南 引言打破多模态模型的语言壁垒 你是否曾因开源模型文档仅支持英文而错失关键功能细节是否在部署多模态大模型多模态PaddleSpeech 中的 Whisper 模型实战多语言语音识别、语音翻译与语言识别全指南PaddleSpeech 中的 Whisper 模型实战多语言语音识别、语音翻译与语言识别全指南 Whisper 是 OpenAI 训练的一种通用语音识别A人工智能语音音频Codex × 飞书CLI三步解锁高效团队协作新技能Codex × 飞书CLI三步解锁高效团队协作新技能 你是否经常在飞书海量文档中迷失方向是否厌倦了在云盘、多维表格、知识库之间反复切换让我们一起探索如何用文档教程知识库创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑