文章目录一、模型层最底层能力1.1 LLM大语言模型1.2 多模态Multimodal二、能力增强层让模型更“聪明”2.1 RAGRetrieval-Augmented Generation2.2 Embedding向量化2.3 向量数据库Vector DB三、Agent 体系从被动应答到主动执行3.1 Agent智能体3.2 MCPModel Context Protocol3.3 agents.md3.4 Agent Skills技能体系四、编排 框架层工程化4.1 Agent FrameworkAgent框架4.2 Workflow / DAG工作流4.3 Function Calling函数调用五、记忆体系越来越火5.1 Memory记忆六、推理能力2024–2026爆火6.1 Reasoning推理模型6.2 ReActReason Act七、自动化 AI工程7.1 AutoGPT / BabyAGI7.2 AI Coding Agent总结一张认知图随着人工智能技术的飞速发展围绕大语言模型LLM构建的能力体系正在形成一个多层次、立体化的技术生态。从最基础的模型层到能力增强层再到Agent体系、工程化框架以及最新的推理能力和未来趋势本文将全景式解析这一技术体系的内在逻辑与核心组件。一、模型层最底层能力这是所有上层能力的基础1.1 LLM大语言模型代表OpenAI、Anthropic核心文本理解 生成本质概率预测下一个 tokenLLM是当前AI浪潮的核心驱动力代表产品包括OpenAI的GPT系列、Anthropic的Claude系列等。其本质是基于海量文本训练的统计模型核心机制是概率预测下一个token。当我们与ChatGPT对话时它并不是真正“理解”了语义而是通过复杂的神经网络计算不断预测最可能出现的下一个字词。这种机制赋予了模型强大的文本生成和理解能力使其能够完成写作、翻译、摘要、问答等多种任务。1.2 多模态Multimodal文本 图片 音频 视频典型能力看图写代码语音对话视频理解 趋势从“会说话” → “会看 会听 会操作”多模态能力是模型从“会说话”向“会看、会听、会操作”进化的必然趋势。它整合了文本、图片、音频、视频等多种数据形态形成了更全面的感知能力。典型应用包括上传一张产品截图让AI生成对应代码、直接与AI进行语音对话交流、让AI理解视频内容并进行摘要等。多模态模型正在打破不同信息形态之间的壁垒使AI更接近人类的感知方式。二、能力增强层让模型更“聪明”2.1 RAGRetrieval-Augmented GenerationRAG的核心思想是模型外部知识库的组合模式。当用户提出问题时系统首先从外部知识库中检索相关信息然后将这些信息作为上下文拼接最后交给LLM生成回答。中文检索增强生成核心思想模型 外部知识库 这种架构有效解决了两个关键问题幻觉问题胡编基于检索到的真实信息生成大幅降低胡编乱造的概率数据更新问题外部知识库可随时更新无需重新训练模型 典型结构用户问题 → 向量检索 → 拼接上下文 → LLM回答2.2 Embedding向量化Embedding是将文本、图片等非结构化数据转化为数值向量的技术。这些向量在数学空间中的位置和距离代表了原始内容的语义相似度。把文本变成向量用于相似度搜索语义匹配 是 RAG 的基础设施2.3 向量数据库Vector DB与传统数据库不同向量数据库支持高效的相似性搜索能够快速找到与查询向量最相似的记录是实现RAG架构的关键组件。常见PineconeWeaviateMilvus 用来存 embedding三、Agent 体系从被动应答到主动执行3.1 Agent智能体核心LLM 工具 记忆 规划能力能力自动拆解复杂任务为可执行的子任务根据需要调用外部工具如搜索引擎、计算器、API接口在连续多轮交互中保持状态和执行轨迹3.2 MCPModel Context ProtocolMCP是标准化模型调用工具的协议。它解决了过去Agent开发中“每个工具都要单独适配”的问题通过统一接口规范大幅降低了Agent与工具集成的成本。简单来说MCP就像USB-C接口让模型可以“即插即用”各种工具而不是为每个设备准备专门的充电线。 本质给模型“标准化接工具”的协议作用统一工具调用方式降低 Agent 集成成本3.3 agents.mdagents.md文件可以理解为给Agent的“说明书”是system prompt的结构化版本。它明确规定了Agent的角色定位、行为准则、可用工具、限制条件等信息让Agent的行为更加可控和可预期。 本质给 Agent 的“说明书”类似system prompt 的结构化版本3.4 Agent Skills技能体系技能体系是可复用的能力模块集合。例如查天气是一个技能查数据库是另一个技能调用外部API也是一个技能。将这些基础技能模块化可以在不同Agent之间共享复用提高开发效率。 本质可复用的能力模块比如查天气查数据库调接口四、编排 框架层工程化4.1 Agent FrameworkAgent框架常见LangChainLlamaIndex作用工具调用的管理和路由多轮对话的记忆维护任务执行流程的编排与外部系统的集成4.2 Workflow / DAG工作流 把 AI 任务拆成流程用户输入 → 检索 → 推理 → 调工具 → 输出典型形态类似后端微服务编排4.3 Function Calling函数调用 LLM 可以直接输出{tool:get_weather,args:{city:Shanghai}}系统接收到这个指令后解析并执行对应的函数将结果返回给模型继续处理。这是Agent能够“行动”的技术基础。 是 Agent 能执行的关键五、记忆体系越来越火5.1 Memory记忆分三种短期记忆上下文当前对话窗口内的上下文用于维持连贯对话长期记忆数据库跨会话存储的向量化信息让AI能记住历史交互用户记忆个性化针对特定用户的个性化信息如偏好、习惯、历史行为越来越多的产品正在探索“AI有记忆”的能力让每次交互都建立在过往的基础上而非从零开始。六、推理能力2024–2026爆火6.1 Reasoning推理模型代表趋势chain-of-thought多步推理 模型不只是“回答”而是“思考”6.2 ReActReason Act思考 行动结合Thought思考下一步 → Action执行行动 → Observation观察结果 → Thought继续思考 Agent 核心模式七、自动化 AI工程7.1 AutoGPT / BabyAGI 自动完成任务的早期形态特点自己拆任务自己执行7.2 AI Coding Agent代表趋势AI 写代码 改代码 跑代码已经在改变开发模式总结一张认知图模型层 └── LLM / 多模态 能力增强 └── RAG / Embedding / 向量数据库 Agent层 └── Agent / MCP / Skills / agents.md 工程层 └── LangChain / Workflow / Function Calling 智能增强 └── Memory / Reasoning / ReAct 未来趋势 └── Multi-Agent / AI Native / Tool Use 感谢阅读想了解更多 我的博客网站 | 记录思考分享干货 我的个人主页 | 关于我、开源项目