【免费下载链接】Phi-3.5-mini-instruct_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_npu_4K点击查看免费下载Phi-3.5-mini-instruct_rai_1.8.0_npu_4K是 AMD 官方为 Ryzen AI 系列 APU 深度优化的本地大语言模型基于微软 Phi-3.5-mini-instruct 训练成果经 Quark 量化AWQ / uint4 权重 / BFP16 激活和 OGA Model Builder 构建最终完成 NPU 部署后处理Full Fusion 4K 上下文。它支持在笔记本 NPU 上以极低功耗流畅对话无需联网、无需显卡普通用户 5 分钟即可上手。为什么这个模型适合笔记本本地推理和普通 Hugging Face 模型不同这个仓库里的不是原始权重而是为 Ryzen AI NPU 编译好的推理模型。它的三大特点决定了体验特点说明对你的意义 NPU 加速genai_config.json中配置了hybrid_opt_token_backend: npu解码阶段卸载到 NPU省电、发热低续航更久 AWQ 量化uint4 权重、Group 128 非对称量化见 config.json 的quantization_config模型体积更小内存占用更低⚡ 4K 上下文支持 4096 token 上下文rai_config.json 中max_prompt_length为 4096可以粘贴较长的文档让模型总结仓库中还包含大量dd_metastate_*开头的文件这些是 NPU 预编译的推理状态包Prefill阶段覆盖 128~4096 的多种序列长度Token阶段覆盖 256~4096 的注意力掩码尺寸。也就是说常见输入长度都能直接命中预编译缓存首次加载就能全速运行这就是5 分钟跑通的关键。跑通前1 分钟环境与硬件自检开始前先确认两点避免白忙活硬件笔记本需搭载支持 NPU 的 AMD Ryzen AI 处理器如 Ryzen AI 300 系列 / Strix 平台并安装 AMD Ryzen AI RuntimeRyzenAI 软件栈。运行时需要支持 RyzenAI 后端的 ONNX Runtime GenAI 环境AMD 官方 Ryzen AI 文档中有对应的 hybrid OGA 快速入门指引。如果这两项都具备就可以直接往下走了。5 分钟上手四步跑通本地对话第 1 步克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_npu_4K第 2 步检查关键文件是否完整进入目录后确认核心文件都在model.onnx是推理图model.onnx.data是权重数据ls model.onnx model.onnx.data tokenizer.json genai_config.json第 3 步加载模型NPU 自动生效使用 ONNX Runtime GenAI 加载该目录即可genai_config.json会自动选择 RyzenAI 后端并启用 NPU 混合推理详见 genai_config.json。核心调用大致如下import onnxruntime_genai as og model og.Model(Phi-3.5-mini-instruct_rai_1.8.0_npu_4K) 由于hybrid_opt_token_backend已设为npu无需手动指定设备——NPU 会在逐 token 解码时自动接管计算。第 4 步发起对话配合仓库自带的聊天模板 chat_template.jinja系统/用户/助手三角色格式输入任意问题即可得到本地生成的回复。建议先用介绍你自己这类短提示验证通路再尝试 4K 长文档总结。核心文件解读每个文件负责什么不熟悉仓库结构也没关系下面这张表帮你快速定位文件作用model.onnx / model.onnx.dataONNX 推理图与权重数据NPU 直接执行genai_config.json模型结构32 层、3072 隐藏维度、32 头 解码搜索参数top_k: 50等与 NPU 后端配置config.json模型架构配置与 AWQ 量化策略定义configuration_phi3.py / modeling_phi3.pyPhi3 架构的 Python 参考实现便于理解模型行为tokenizer.json / tokenizer.model分词器把文字转成模型能读的 tokenchat_template.jinja多轮对话的提示词模板dd_metastate_*系列文件NPU 预编译推理状态Prefill / Token 两阶段按不同长度分段rai_config.json各版本 Ryzen AI Runtime 允许的最大 prompt 长度1.6.0 为 4096sample_finetune.py附带的 LoRA 微调示例脚本面向 GPU 训练场景非 NPU 推理README.md / LICENSE项目说明与 MIT 许可证信息常见问题 FAQQ1跑在 NPU 上速度会有多快NPU 负责逐 token 解码、CPU 负责其余环节hybrid 混合推理在主流 Ryzen AI 笔记本上可获得流畅的流式输出体验且功耗远低于纯 CPU 方案。具体速度因机型而异。Q2为什么叫 4K指最大支持4096 token 上下文。输入超过限制会被截断长文档场景建议分段投喂。Q3没有 NPU 的老机器能跑吗可以降级到 CPU 推理移除/替换 provider 配置即可但会失去低功耗优势速度也会明显下降。Q4可以微调这个模型吗仓库附带的 sample_finetune.py 是面向 GPU LoRA 的微调示例NPU 部署包本身不建议直接修改。Q5数据隐私如何全部推理在本地完成提示词与回复均不出设备天然适合处理敏感文档。总结Phi-3.5-mini-instruct_rai_1.8.0_npu_4K 微软 Phi-3.5-mini-instruct AMD AWQ 量化 NPU 预编译开箱即跑只需「克隆 → 检查文件 → 加载 → 对话」4 步5 分钟即可在 Ryzen AI 笔记本上体验本地大模型关注 genai_config.json 和 rai_config.json 两个配置就能理解它的 NPU 加速与 4K 上下文是怎么实现的现在拿起你的 Ryzen AI 笔记本让大模型真正住进本地吧赞分享【免费下载链接】Phi-3.5-mini-instruct_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_npu_4K点击查看免费下载相关推荐如何在笔记本上运行Phi-3.5-mini-instruct_rai_1.8.0_hybrid10分钟快速启动Ryzen AI本地LLM推理教程如何在笔记本上运行Phi 3.5 mini instruct_rai_1.8.0_hybrid10分钟快速启动Ryzen AI本地LLM推理教程 本文带你快速10分钟快速上手Phi-4-mini-instruct_rai_1.8.0_hybridRyzen AI笔记本本地跑大模型保姆级教程10分钟快速上手Phi 4 mini instruct_rai_1.8.0_hybridRyzen AI笔记本本地跑大模型保姆级教程 Phi 4 mini i如何5分钟在AMD Ryzen AI笔记本上跑通本地推理Qwen3-VL-4B-Instruct_rai_1.8.0_npu_16K快速上手教程如何5分钟在AMD Ryzen AI笔记本上跑通本地推理Qwen3 VL 4B Instruct_rai_1.8.0_npu_16K快速上手教程 想在 AMD上一篇FanControl终极指南4步实现Windows风扇精准控制与极致静音下一篇重塑暗黑2角色构建d2s-editor如何解锁你的游戏创造力创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考