开源大模型实战指南从 OLMo、Llama 到 Mistral 的选型与上手基于 generative-ai-for-beginners 第 16 课【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners开源 LLM 的世界充满活力且持续演进。本文围绕 generative-ai-for-beginners 课程的第 16 课展开系统讲解「开源模型Open Source Models」的定义、优势与选型方法并结合本仓库第 20 课Mistral、第 21 课Meta/Llama的实际代码与第 02 课、第 18 课、第 19 课的相关知识带你理解开源权重模型与专有模型的差异、如何评估成本与质量以及如何在 Microsoft Foundry 模型目录、Hugging Face 等平台上快速上手真实模型。读完后你将能独立完成开源模型的调研、比较、选择并开始用真实 API 构建生成式 AI 应用。学习目标理解「开源模型」在 LLM 语境下的确切含义掌握使用开源模型的核心收益可定制性、成本、灵活性学会在 Hugging Face 与 Microsoft Foundry 模型目录中探索和筛选可用的开源模型。什么是开源模型开源软件Open Source Software在众多技术领域的进步中扮演了关键角色。Open Source InitiativeOSI为软件定义了被归类为开源的 10 条标准源代码必须在 OSI 认可的许可证下公开共享。LLM 的开发虽然与软件开发有不少相似之处但过程并不完全相同。围绕「LLM 语境下的开源定义」社区展开了大量讨论。要让一个模型符合传统开源定义以下信息应当公开可用用于训练模型的数据集训练过程中产出的完整模型权重评估代码微调代码完整的模型权重与训练指标。目前只有极少数模型完全满足这些标准。Allen Institute for Artificial IntelligenceAllenAI开发的 OLMo 模型 就属于这一类。由于绝大多数模型在撰写本文时未必完全符合上述全部标准本课程在后续叙述中统一称之为「开放模型Open Models」。这个术语更准确地涵盖了「开源权重」与「受限开源」之间的灰色地带——正如第 02 课所补充的开源与开放权重模型允许检查、下载或定制模型产物但许可证各不相同有些完全开源有些则是带使用限制的开放权重模型见 02-exploring-and-comparing-different-llms/README.md 中「Open-Weight/Open-Source versus Proprietary Models」一节。开源模型与专有模型的分野在深入选型之前先厘清两个阵营开源 / 开放权重模型模型产物可供检查、下载或定制例如 Meta 的 Llama 系列、Mistral 的部分模型以及 Hugging Face 上托管的大量模型。适合需要控制部署位置、数据驻留、成本或定制深度的场景但团队仍需在投入生产前审查许可证条款、服务成本、维护与安全更新以及评测质量。专有模型由提供商拥有并托管例如 OpenAI 与 Anthropic Claude 等。它们通常针对托管生产环境做了优化提供更强的支持、安全体系、工具集成与规模化能力但用户一般无法检查或修改模型权重必须审查提供商的隐私、留存、合规与可接受使用条款。开放模型的核心优势高度可定制Highly Customizable—— 开放模型随详细的训练信息一同发布研究人员和开发者可以修改模型的内部结构从而针对特定任务或研究领域微调出高度专业化的模型。典型的例子包括代码生成、数学运算与生物学领域。成本Cost—— 使用和部署这些模型的每 Token 成本低于专有模型。在构建生成式 AI 应用时应当针对你的实际用例观察「性能 vs 价格」的对比来源Artificial Analysis —— 不同模型在性能与成本上的分布对比灵活性Flexibility—— 使用开放模型意味着你可以灵活地在不同模型之间切换甚至将它们组合使用。一个典型例子是 HuggingChat Assistants用户可以直接在界面中选择当前使用的模型探索不同的开放模型Llama 2面向对话优化的开源权重模型Llama 2 由 Meta 开发是针对聊天类应用优化的开放模型。其微调方法包含大量对话数据与人类反馈RLHF因此模型能产出更符合人类预期的结果带来更好的用户体验。社区基于 Llama 微调出大量专业版本例如Japanese LlamaELYZA-japanese-Llama-2-7b专精日语Llama ProTencentARC/LLaMA-Pro-8B基座模型的增强版本。仓库纵深Meta 模型家族的新一代能力。本仓库第 21 课21-meta/README.md进一步展示了 Llama 家族的后续演进可作为选型延伸Llama 3.170B/405B Instruct405B 参数规模属于开放 LLM 范畴相对 Llama 3 提供更大的上下文窗口128k tokens vs 8k、更大的最大输出 Token 数4096 vs 2048以及更强的多语言支持。这些能力支撑起原生函数调用native function calling、更强的 RAG 表现与合成数据生成synthetic data generation。Llama 3.211B/90B Vision Instruct引入多模态能力可同时处理文本与图像提示同时提供 1B/3B 纯文本变体适合在边缘/移动设备上低延迟部署。第 21 课给出了通过azure.ai.inferenceSDK 调用 Llama 3.1 触发内置工具brave_search、wolfram_alpha的代码骨架以及用ImageContentItemImageUrl.load()让 Llama 3.2 90B 做图像理解的完整示例可直接对照学习见 21-meta/README.md。Mistral以高性能与高效率著称的 MoE 模型Mistral 是高度聚焦高性能与高效率的开放模型。它采用混合专家Mixture-of-ExpertsMoE方法将一组专门的「专家模型」组合进一个系统根据输入动态选择部分专家参与计算。这样模型只处理自己擅长的输入使计算更加高效。社区微调版本示例BioMistral聚焦医学领域OpenMath Mistralnvidia擅长数学计算。仓库纵深Mistral 全系实战对比。本仓库第 20 课20-mistral/README.md用可运行的代码展示了 Mistral 家族三个成员的真实差异Mistral Large 22407旗舰模型面向企业级应用。相对初代 Mistral Large上下文窗口从 32k 提升到 128k数学与编码任务平均准确率从 60.4% 提升到 76.9%并支持英、法、德、西、意、葡、荷、俄、中、日、韩、阿拉伯、印地语等多语言。特别适合 RAG大上下文窗口、原生函数调用支持并行/串行调用外部工具与代码生成Python、Java、TypeScript、C。Mistral Small小语言模型SLM相比 Mistral LLM 价格下降约 80%延迟更低可部署在不同环境中适合文本摘要、情感分析、翻译等文本任务以及高频请求、低延迟代码评审等场景。第 20 课还提供了用同一 FizzBuzz 提示词对比 Small 与 Large 响应延迟通常相差 3–5 秒的对照实验代码。Mistral NeMo目前该家族中唯一采用 Apache 2.0 许可证的免费模型被视为 Mistral 7B 的升级。它使用Tekken tokenizer替代常见的 tiktoken在更多语言与代码上取得更好的分词效率基座模型开放微调并原生支持函数调用——是首批做到这一点的开源模型之一。第 20 课给出了用mistral-common包对比 NeMo 与 Large 在同一提示下 Token 数量的可运行示例。第 20 课还包含一个完整的Mistral Large 2 驱动 RAG示例用 Cohere Embeddings 模型对文本分块向量化、用faiss作为向量存储做相似度检索再把检索到的分块与问题一起构造 prompt 发给 Mistral最终得到自然语言回答见 20-mistral/README.md 的「RAG Example using Mistral Large 2」一节。Falcon低算力预算下的高效 LLMFalcon 由技术创新研究所Technology Innovation InstituteTII创建。Falcon-40B 在 400 亿参数上训练在更低的算力预算下展现出优于 GPT-3 的表现。这得益于FlashAttention 算法与多查询注意力multiquery attention两者显著降低了推理时的内存需求。由于推理时间缩短Falcon-40B 非常适合聊天类应用。社区微调版本示例OpenAssistantfalcon-40b-sft-top1基于开放模型构建的助手GPT4ALLnomic-ai性能高于基座模型的变体。如何选择开放模型选择开放模型没有唯一答案。推荐的起点是Microsoft Foundry 模型目录的「按任务筛选filter by task」功能它帮助你了解模型针对哪些类型的任务训练而成。Hugging Face也维护着LLM Leaderboard排行榜按特定指标展示表现最好的模型。跨类型比较不同 LLM 时Artificial Analysis是另一个很好的资源来源Artificial Analysis —— 不同模型在智能水平指数与速度/成本上的对比如果正在处理某个特定用例直接搜索聚焦于同一领域的微调版本往往更高效。此外一个推荐实践是用多个开放模型做实验观察它们在你与你的用户的预期下表现如何。结合平台能力做系统化评估第 02 课02-exploring-and-comparing-different-llms/README.md将选型过程从「个人实验」升级为「平台化评估」给出了可复用的方法论Microsoft Foundry前身 Azure AI Studio / Azure AI Foundry的模型目录支持按任务、提供商、许可证、部署选项或名称筛选模型通过模型卡片Model Card查看用途说明、训练数据、代码示例与内部评测结果通过Model Benchmarks面板跨模型对比基准还可以对受支持的模型做微调fine-tune并部署到实时推理端点。注意并非目录中所有模型都支持微调和按量付费部署务必查看模型卡片确认能力与限制。与微调的关系选型之后的性能优化路径第 16 课提到开放模型高度可定制、可微调。第 18 课18-fine-tuning/README.md系统阐述了这条路径当提示工程prompt engineering与 RAG 都无法满足要求时可以对预训练模型做监督微调supervised fine-tuning即用未包含在原始训练集中的新数据重新训练模型得到针对特定任务或领域的自定义模型。微调还能减少 few-shot 提示所需的示例数量从而降低 Token 用量与成本。不过微调是高级技术若执行不当可能无法达到预期效果甚至损害目标领域的性能因此需要先问自己用例是什么是否先尝试了提示工程和 RAG 作为基线成本可调性、人力、算力、数据与收益质量、成本、可扩展性是否匹配详见 18-fine-tuning/README.md 的「When and why should we fine-tune models?」一节部署方式的现实考量开放模型的「开放」还体现在部署方式的多样性上。结合第 19 课19-slm/README.md与第 20、21 课你可以用以下任一方式把开源权重模型跑起来云端 API通过 Microsoft Foundry 模型目录 Azure AI Inference SDK / OpenAI SDK 调用 Llama、Mistral、Phi 等模型也可以用 NVIDIA NIM 微服务部署。本地运行ollama run phi3.5、Microsoft Foundry Localfoundry model run phi-3.5-mini、Hugging Face Transformers、ONNX Runtime for GenAIpip install onnxruntime-genai以及 Apple MLX、Qualcomm QNN、Intel OpenVINO 等厂商量化推理方案。第 02 课同时提醒在本地或私有环境运行模型需要合适的硬件、服务基础设施、监控以及兼容的开源/开放权重许可证或商业许可证自托管开源权重模型依然需要算力与运维经验。下一步行动开放模型最大的优点是上手极快。推荐直接浏览 Microsoft Foundry 模型目录其中包含一个专门的 Hugging Face 集合收录了本文讨论的这些模型Llama、Mistral、Falcon 等。你可以用目录的「按任务筛选」缩小候选范围阅读模型卡片确认许可证、上下文窗口、支持的任务与部署方式对照本仓库 20-mistral/README.md 与 21-meta/README.md 的 SDK 示例编写第一个调用这些示例使用azure.ai.inference的ChatCompletionsClient并推荐使用 Microsoft Foundry Models 进行原型开发结合 18-fine-tuning/README.md 评估是否需要进一步微调或在 19-slm/README.md 中了解小模型/边缘部署的轻量化路径。完成本课后你可以继续探索本仓库的 Generative AI Learning collection 系列课程进一步夯实生成式 AI 的知识体系。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考