【免费下载链接】MiniCPM-V-4.7-1B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-1B-8bit点击查看免费下载MiniCPM-V-4.7-1B-8bit 是一款面向 MacApple Silicon的 8bit 量化多模态视觉大模型由 mlx-community 将 OpenBMB 的 MiniCPM-V-4.7-1B 转换为 MLX 格式而来支持图片理解、多图对比与视频问答。借助 MLX 框架它可以完全本地运行在你的 Mac 上无需云端依赖几分钟即可上手。 一分钟了解它是什么模型来源OpenBMB 的 MiniCPM-V-4.71B 参数级视觉语言模型由 mlx-community 转换为 MLX 格式量化方案8bit 仿射affine量化分组大小 64体积权重文件约 2.8GB单文件 model.safetensors校验值记录在 conversion.json能力纯文本对话、单图 / 多图理解、视频问答许可Apache-2.0可自由使用 对新手最友好的一点它内置原生 NumPy/Pillow 处理器不需要 PyTorch也不需要加载 remote code安装即用。项目说明参数规模1B约十亿参数量化8bit affinegroup size 64上下文长度最大 262144 tokens运行框架MLX-VLMmain 分支0.7.8适用硬件Apple SiliconM 系列芯片Mac许可证Apache-2.0⚖️ 8bit 量化混合精度背后的取舍很多人以为量化就是把所有权重都压到 8bit而这个模型更聪明——它采用混合精度策略96 个核心线性模块使用 8bit 仿射量化group size 64视觉编码器、视觉融合器visual merger、词嵌入、输出层与线性注意力模块保持 BF16 精度循环张量A_log保留源精度效果相比 16bit 权重体积接近减半而精度损失被压到极低。完整的转换参数与权重 SHA-256 校验值都记录在 conversion.json 中任何人都可以复核。️ 环境准备3 步装好运行环境第 1 步确认硬件macOS Apple Silicon 芯片M1 及以上建议 8GB 统一内存起步16GB 更从容第 2 步准备 Python 虚拟环境python3 -m venv minicpmv-env source minicpmv-env/bin/activate第 3 步安装带 MiniCPM-V 4.7 支持的 MLX-VLMpip install -U githttps://github.com/Blaizzy/mlx-vlm.gitmain⚠️ 注意4.7 模型的支持目前只在 MLX-VLM 的 main 分支中提供安装时请使用上面的 main 分支地址而不是包管理器里的旧版本。 快速上手1 条命令完成第一次看图首次运行会自动下载约 2.8GB 权重到本地缓存之后即可离线使用mlx_vlm.generate \ --model mlx-community/MiniCPM-V-4.7-1B-8bit \ --image path/to/image.jpg \ --prompt 请描述这张图片中的内容。 \ --max-tokens 200 \ --temperature 0官方验证时的真实输出示例两只猫的图片Two tabby cats sleep on a bright pink couch, with remote controls nearby.——一次图像推理不到 1 秒完整记录见 validation.json。多图对比重复传入--image即可mlx_vlm.generate \ --model mlx-community/MiniCPM-V-4.7-1B-8bit \ --image a.jpg --image b.jpg \ --prompt 这两张图有什么不同视频问答mlx_vlm.generate \ --model mlx-community/MiniCPM-V-4.7-1B-8bit \ --video clip.mp4 \ --prompt 总结这段视频里发生了什么。纯文本对话去掉--image/--video只保留--prompt即可。 关键参数速查表参数作用建议值--image输入图片可多次传入实现多图本地图片路径--video输入视频最多 128 帧本地视频路径--max-tokens最大生成 token 数200--temperature采样温度0 为贪心解码0描述类任务--processor-kwargs传递图像处理器参数见下方技巧细节增强技巧默认视觉下采样为16x处理速度快、通用性好如果要看清文字、logo 等细节可切换到4x--processor-kwargs {downsample_mode: 4x}图像预处理的其余默认值切片模式、最多 9 个切片、448 分辨率缩放、patch 14可在 processor_config.json 中查看。️ 仓库文件地图文件作用README.md模型卡片来源、量化方案、使用方法config.json架构与量化配置8bit / group 64 / affineconversion.json转换参数、权重 SHA-256 校验值validation.jsonM3 Ultra 上的验证结果与耗时processor_config.json图像 / 视频预处理配置chat_template.jinja对话模板含工具调用格式tokenizer.json、tokenizer_config.json分词器及其配置model.safetensors.index.json权重映射与总大小❓ 常见问题 FAQQ为什么必须从 main 分支安装 MLX-VLMAMiniCPM-V 4.7 的架构支持含原生 NumPy/Pillow 处理器目前只在 main 分支提供旧版本加载会报错。Q需要多大内存A8bit 权重大约 2.8GB8GB 统一内存即可运行16GB 及以上更宽裕长上下文、多图场景建议更大内存。QIntel Mac 或 Windows 能跑吗A不能。MLX 专为 Apple Silicon 设计需要 M 系列芯片的 Mac。Q8bit 和 4bit 版本怎么选A8bit affine 量化精度损失更小是更稳妥的选择4bit 体积更小但浮点 4bit 格式的输出质量可能与 affine 量化存在差异详见 README.md 的验证说明。✅ 小结MiniCPM-V-4.7-1B-8bit 让Mac 本地跑视觉大模型变得前所未有地简单一条安装命令、一条生成命令即可完成图片描述、多图对比和视频问答。8bit 混合精度在体积与质量之间取得了很好的平衡8GB 内存的 MacBook 也能流畅体验。打开终端敲下第一条命令亲自感受端侧 AI 的速度吧。赞分享【免费下载链接】MiniCPM-V-4.7-1B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-1B-8bit点击查看免费下载相关推荐MongoDB 中的 c-ares异步 DNS 解析库的定位、ares_build.h 构建配置机制与多架构引入详解MongoDB 中的 c ares异步 DNS 解析库的定位、ares_build.h 构建配置机制与多架构引入详解 本文以 MongoDB 代码库中内置的Kibana EUI 浮层组件无障碍命名规范EuiModal、EuiFlyout 与 EuiPopover 的 aria-labelledby 正确接线Kibana EUI 浮层组件无障碍命名规范EuiModal、EuiFlyout 与 EuiPopover 的 aria labelledby 正确接线 本篇MiniCPM-V-4.7-1B-int4端侧部署指南如何把视觉多模态大模型跑上iPhone、Android与鸿蒙MiniCPM V 4.7 1B int4端侧部署指南如何把视觉多模态大模型跑上iPhone、Android与鸿蒙 MiniCPM V 4.7 1B int4人工智能大模型多模态基础模型模型量化本地部署上一篇AntiMicroX 终极指南游戏手柄键盘映射的完整解决方案下一篇PHP_XLSXWriter多工作表管理如何创建和组织复杂的Excel文档创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考