self-llm 的 MLX-LM 环境如何配置并首次运行 Gradio 模型下载与对话应用【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm如果你有一台搭载 Apple M 系列芯片的 Mac想用 Apple 原生的 MLX 框架在本地跑大模型推理self-llm 仓库的models_mlx/目录提供了一条完整路径配置好 Python 环境后启动一个集「模型下载」与「模型对话」于一体的 Gradio Web 应用从 HuggingFace 拉取量化模型到本地再直接和模型对话。本文基于仓库内 models_mlx/README.md、requirements.txt、run_app_gradio.py 与 modules/download_model.py 的实际内容给出配置环境、启动应用、下载模型并完成首次对话的操作步骤和成功判断方式。准备条件一台搭载 Apple M 系列芯片的 Mac。该目录的教程定位是「充分利用 Apple M 系列芯片的性能进行本地推理」MLX-LM 走 Metal 后端面向单用户本地场景这一点在 docs/MLX-LM_Intro.md 的对比表中有所说明。已安装 Conda用于创建独立的虚拟环境。已获取 self-llm 仓库后续命令均需要在models_mlx/目录下执行README 中的pip install -r requirements.txt依赖当前目录就是models_mlx/。models_mlx/的关键文件如下理解它们的职责有助于后续操作models_mlx/ ├── run_app_gradio.py # Gradio 交互式应用模型下载 对话 ├── requirements.txt # Python 依赖 ├── configs/ # 模型配置JSON 格式支持热加载 │ └── model_info/ │ ├── mlx.json # MLX 量化模型列表 │ └── original.json # 原始 HuggingFace 模型列表 ├── modules/ # 功能模块 │ └── download_model.py # 模型下载模块可独立运行 ├── models/ # 下载的模型存放目录 └── notebooks/ # Jupyter Notebook 教程配置 Conda 环境与安装依赖在models_mlx/目录外先创建并激活环境再回到models_mlx/安装依赖# 创建 Conda 虚拟环境 conda create -n mlx-lm python3.11 conda activate mlx-lm cd models_mlx # 安装依赖 pip install -r requirements.txtrequirements.txt 固定了四个依赖版本安装后环境即满足应用运行要求mlx-lm0.31.1 transformers4.57.5 gradio6.9.0 socksio1.0.0了解模型来源与配置Gradio 应用和命令行下载工具都从configs/model_info/下的 JSON 文件读取模型列表两个来源含义不同mlx.json来源选mlxmlx-community 提供的已量化 MLX 格式模型界面上标注为「已量化的 MLX 格式推荐 Mac」。original.json来源选original原始 HuggingFace 模型。例如 mlx.json 中配置了 AlibabaQwQ、Qwen1.5、Qwen2、Qwen2.5、Qwen2.5-Coder、Qwen3 等、DeepSeek、GoogleGemma-2 / Gemma-3、MetaLlama-3.1 / Llama-3.2 / Llama-4、Microsoft、Mistral 等公司的模型original.json 配置了Qwen/Qwen3-8B、meta-llama/Llama-3.2-3B-Instruct等 HF 仓库名。应用运行时实际以下拉框中出现的选项为准因为页面加载时会重新读取这两个 JSON支持热加载。如果你需要增加新的模型编辑configs/model_info/mlx.json或configs/model_info/original.json后刷新页面或点击界面上的「 刷新」按钮即可生效无需改动代码。启动 Gradio 应用在已激活mlx-lm环境的前提下于models_mlx/目录执行python run_app_gradio.py启动后浏览器会打开 Gradio 页面标题为「LLM on Mac - 本地大模型交互平台」包含两个 Tab 模型下载与 模型对话。首次使用时先完成下载 Tab 的操作再切到对话 Tab。在 Gradio 页面下载第一个模型在「模型来源」单选框中选择mlxMac 上推荐或original。切换来源后「公司/组织」「模型系列」「选择模型」三级下拉框会联动刷新。依次选定公司、系列和模型例如 Alibaba → Qwen3 →Qwen3-0.6B-4bit。选定模型后右侧「下载状态」框会给出该模型的 Repo ID 和本地保存路径mlx来源的 Repo ID 按mlx-community/{模型名}拼接如mlx-community/Qwen3-0.6B-4bitoriginal来源的 Repo ID 就是配置中的 HF 仓库名。查看状态提示再决定是否下载提示「✅ 模型已存在本地无需下载」且按钮变为「已存在无需下载」跳过直接去对话 Tab提示「⚠️ 本地未检测到该模型点击『确认下载』开始下载」点击「确认下载」开始下载。下载是长任务状态框会先显示「⏳ 开始下载…」完成后显示「✅ 下载完成」并列出 Repo ID、本地路径和耗时耗时为当次实际测量值文档未给出固定预期。本地检测的依据是模型目录中是否存在config.json模型按models/{source}/{company}/{series}/{模型名}的目录结构存放见 modules/download_model.py 中get_local_path与model_exists的实现因此「已存在」判断实际就是检查该目录下有无config.json。可选用终端交互下载模型不启动 Gradio 也可以在models_mlx/目录直接用命令行完成同样的下载python -m modules.download_model它会依次让你选择来源1 为 mlx2 为 original默认 1、公司、系列和模型编号已下载的模型会在列表中显示「✅ 已下载」确认输入y后才开始下载其余输入会取消。注意该命令会向models/目录写入模型文件下载前请确认磁盘空间与网络可用。首次加载模型并对话切到「 模型对话」Tab操作链路如下按「模型来源 → 公司/组织 → 模型系列 → 选择模型」四个下拉框选择刚才下载的模型。这四个框只扫描models/目录下已有config.json的本地模型所以新下载的模型如果没出现先点击「 刷新模型」。选择「推理框架」mlxMLX 后端支持流式输出transformersHuggingFace Transformers 后端用于original来源的模型。可选框架会按 JSON 中该系列的FrameworkInference配置生成点击「 刷新配置」可重新读取。点击「加载模型」「加载状态」框返回如下内容即表示成功耗时为当次实际测量值✅ 模型加载成功 模型: Qwen3-0.6B-4bit 路径: models/mlx/Alibaba/Qwen3/Qwen3-0.6B-4bit 框架: mlx ⏱️ 耗时: X.XX 秒 现在可以开始对话了 在「对话参数」区按需调整参数界面默认值为Temperature 0.7范围 0.0–1.5、Top-p 0.8范围 0.0–1.0、Max Tokens 512范围 64–2048「启用思考模式」默认关闭。在输入框输入问题例如界面示例按钮中的「请用一句话解释什么是人工智能」并回车或点击「发送」。MLX 框架下回复是逐段流式呈现的输入⚠️ 请先在上方加载模型之类的提示则说明模型未加载成功回到第 3 步检查。对话过程中可随时点「️ 清空对话」重置上下文。结果验证与已知边界下载成功的判断状态框显示「✅ 下载完成」且models/{source}/{company}/{series}/{模型名}/config.json已生成之后再选中该模型会显示「✅ 模型已存在本地无需下载」。加载成功的判断加载状态框显示「✅ 模型加载成功」失败时会显示「❌ 加载失败: 异常信息」且模型路径不存在时显示「❌ 模型路径不存在」。下载失败的判断状态框显示「❌ 下载失败: 异常信息」可据异常内容检查网络或 HF 仓库访问情况。边界说明mlx与original两类来源是两条独立的模型链路下载 Tab 与对话 Tab 的下拉框各自独立刷新不要把在线下载和本地加载混在同一步里排查本目录的 Notebook 教程如 Qwen3_MLX_部署与交互.ipynb面向不通过 Gradio 直接调用 MLX / Transformers 的场景首次使用 Gradio 应用时无需执行。完成以上步骤后你就在 Apple Silicon 机器上拥有了一个可重复使用的本地模型入口之后新增模型只需编辑configs/model_info/下的 JSON 并刷新页面然后走同样的「下载 → 加载 → 对话」流程即可。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考