【免费下载链接】K2-Horizon-375B-A23B-MXFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/K2-Horizon-375B-A23B-MXFP4点击查看免费下载K2-Horizon-375B-A23B-MXFP4 是 AMD 官方发布的 MXFP4 量化 MoE 大模型总参数 3750 亿、激活 230 亿专为 AMD MI355 / MI350 显卡优化基于 vLLM ROCm Docker 镜像可一条命令部署为 OpenAI 兼容的推理服务。本文提供从零开始的完整部署指南硬件要求、Docker 镜像、可直接复制的 vLLM 启动命令、服务验证方法和常见问题排查。一、快速了解这个模型有什么特别项目说明模型架构K2HorizonForCausalLMMoE192 个专家、每 token 激活 8 个 1 个共享专家层数 / 隐藏维度61 层 / 6144最大上下文524288 tokens约 512K量化方案OCP MXFP4权重静态量化 激活动态量化仅作用于路由 MoE 专家其余模块保持原始精度量化工具AMD Quark v0.12.0支持硬件AMD MI355 / MI350gfx950软件栈ROCm 7.2.3 PyTorch 2.12.0 vLLM推理引擎vLLM官方 Docker 镜像alexsu52/vllm-openai-rocm:v0.30.0-k2horizon简单理解MXFP4 是一种 4-bit 浮点量化格式把占用空间最大的 MoE 专家权重压缩后显存占用和加载时间都大幅下降而精度损失极小详见第六节基准测试。模型结构细节可参考 config.json量化配置quant_method 为 quark、fp4、group_size 32见 config.json。二、部署前准备硬件与环境清单✅硬件要求GPU至少 4 块 AMD MI355 或 MI350官方推荐--tensor-parallel-size 4四卡张量并行磁盘约 760 GB 可用空间模型共 61 个 safetensors 分片物理大小约 758 GB见 validation.json操作系统Linux✅软件要求Docker含 NVIDIA 风格的--device /dev/kfdROCm 设备支持已安装 ROCm 7.2.3 驱动环境 权重获取可选如果你希望在宿主机本地放好权重再挂载进容器可用 git clone 拉取仓库含 LFS 大文件git clone https://gitcode.com/hf_mirrors/amd/K2-Horizon-375B-A23B-MXFP4如果容器内网络可直连模型仓库也可以不下载让 vLLM 启动时按模型名自动拉取见第四节说明。三、一键拉取官方 ROCm Docker 镜像 官方镜像已预集成 ROCm 7.2.3、PyTorch 2.12.0、vLLM 以及 K2-Horizon 的模型代码支持无需手动安装任何依赖这是10 分钟跑通的关键docker pull alexsu52/vllm-openai-rocm:v0.30.0-k2horizon四、完整启动命令可直接复制⚡把模型目录挂载到容器内并启动服务将/path/to/换成你本地模型路径docker run -d --name k2-horizon \ -e VLLM_ROCM_USE_AITER1 \ --device /dev/kfd --device /dev/dri \ --security-opt seccompunconfined \ --ipchost --group-add video \ -p 8000:8000 \ -v /path/to/K2-Horizon-375B-A23B-MXFP4:/model/k2-horizon \ alexsu52/vllm-openai-rocm:v0.30.0-k2horizon \ vllm serve /model/k2-horizon \ --trust-remote-code \ --tensor-parallel-size 4 \ --dtype auto \ --gpu-memory-utilization 0.9 \ --generation-config auto \ --reasoning-parser k2_horizon \ --chat-template-content-format string \ --enable-auto-tool-choice \ --tool-call-parser k2_horizon \ --attention-backend ROCM_AITER_UNIFIED_ATTN如果不挂载本地目录把vllm serve /model/k2-horizon换成vllm serve amd/K2-Horizon-375B-A23B-MXFP4即可让 vLLM 自动下载权重需容器可联网。关键参数说明官方命令完整版见 README.md参数作用--trust-remote-code允许加载模型自带的自定义代码 configuration_k2_horizon.py、modeling_k2_horizon.py--tensor-parallel-size 44 卡张量并行模型分片加载--dtype auto自动选择精度底座 bfloat16 MoE 专家 MXFP4--gpu-memory-utilization 0.9显存利用率上限 90%--generation-config auto读取 generation_config.json 中的默认生成参数--reasoning-parser k2_horizon/--tool-call-parser k2_horizon解析推理过程与工具调用--enable-auto-tool-choice开启自动工具选择Function Calling--attention-backend ROCM_AITER_UNIFIED_ATTN使用 ROCm AITER 统一注意力后端性能关键VLLM_ROCM_USE_AITER1环境变量启用 AITER 内核优化⏱️ 启动耗时主要花在 758 GB 权重的加载上4 卡并行下首次请求前请预留几分钟服务就绪后日志中会出现Uvicorn running on http://0.0.0.0:8000。五、验证服务并发起第一次请求 ✅在新终端中执行# 1. 查看模型是否加载成功 curl http://localhost:8000/v1/models # 2. 发起第一次对话OpenAI 兼容接口 curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: K2-Horizon-375B-A23B-MXFP4, messages: [{role: user, content: 你好用一句话介绍你自己}] }能返回正常回复说明部署完成 。服务完全兼容 OpenAI API现有基于/v1/chat/completions的客户端代码通常只需改一下base_url即可接入。六、量化效果怎么样基准测试结果 AMD 在 GSM8K 和 GPQA Diamond 上对比了原始模型与本量化模型相同框架、相同设置、同一台机器评测Benchmark原始模型MXFP4 量化版精度回收率GSM8K5-shot92.42%91.89%99.43%GPQA Diamond0-shotthinking87.3%86.79%99.42%结论很直观MXFP4 量化几乎无损推理能力保留了 99% 以上可以放心用于生产场景。复现评测的完整命令含 lm-eval 与 sgl-eval 用法见 README.md。七、常见问题排查Q1长上下文 / 思考模式该怎么配置模型最大支持 524288 tokens 上下文见 config.json。短任务如 GSM8K加--max-model-len 8192即可快速跑通若需 65536 tokens 以上的生成预算thinking 模式需按官方说明调大上下文长度注意显存占用会相应上升。Q2卡不够 4 张怎么办官方验证配置是 4 卡MI355/MI350 ×4。显存不足或卡数不匹配时--tensor-parallel-size需要与 GPU 数量一致请保证 4 卡 MI355/MI350 的整机环境。Q3启动报错提示找不到模型代码确认已带--trust-remote-code参数且模型目录完整包含 configuration_k2_horizon.py 与 modeling_k2_horizon.py 两个自定义代码文件。Q4磁盘空间估算61 个分片共 34076 个张量、物理大小约 758 GB见 model.safetensors.index.json 与 migration_manifest.json请至少预留 800 GB 空间。八、关键文件速查 文件用途README.md官方说明模型概览、量化脚本、部署与评测复现config.json模型结构参数与 MXFP4 量化配置configuration_k2_horizon.py自定义模型配置类K2HorizonConfigmodeling_k2_horizon.py自定义模型实现K2HorizonForCausalLMchat_template.jinja对话模板chat templatetokenizer.json / tokenizer_config.json分词器词表 250624generation_config.json默认生成参数BOS/EOS tokenmodel.safetensors.index.json61 个权重分片的索引validation.json权重校验与迁移元信息总结在 4 卡 MI355/MI350 机器上只需docker pull 一条vllm serve命令K2-Horizon-375B-A23B-MXFP4 即可对外提供 OpenAI 兼容推理服务MXFP4 量化让它以更低的显存成本保留了 99% 以上的推理精度是 AMD 平台上部署超大 MoE 模型的省心之选。赞分享【免费下载链接】K2-Horizon-375B-A23B-MXFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/K2-Horizon-375B-A23B-MXFP4点击查看免费下载相关推荐K2-Horizon-375B-A23B-MXFP4全景解析AMD官方375B MoE大模型MXFP4量化版99.4%精度保持率值得部署吗K2 Horizon 375B A23B MXFP4全景解析AMD官方375B MoE大模型MXFP4量化版99.4%精度保持率值得部署吗 K2 Hori如何让K2-Horizon-375B-A23B-MXFP4深度推理三级推理强度think/think_fast/think_faster机制揭秘如何让K2 Horizon 375B A23B MXFP4深度推理三级推理强度think/think_fast/think_faster机制揭秘 K2 HTileLang用几行 Python 写出接近 cuBLAS 的 GPU 算子TileLang用几行 Python 写出接近 cuBLAS 的 GPU 算子 你需要写一个 FP16 GEMM 内核但不想花几周啃 CUDA Progra上一篇vue-cropper配置全攻略20个属性参数详解与最佳实践下一篇FanControl用免费风扇曲线把电脑风扇噪音降下来的调速工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考