本页涵盖了在将追踪记录记录到 LangSmith 时需要理解的关键概念。一个 追踪记录 记录了您的应用程序执行的步骤序列——从接收输入到中间处理再到生成最终输出。追踪记录中的每个步骤都由一个 运行 表示。多个追踪记录被分组在一个 项目 中并且来自多轮对话的追踪记录可以链接在一起作为一个 线程。下图显示了这些概念在简单 RAG 应用程序中的上下文该应用程序从索引中检索文档并生成答案。运行一个运行是表示 LLM 应用程序中单个工作单元或操作的跨度。这可以是任何事情从对 LLM 或链的单个调用到提示格式化调用再到可运行的 lambda 调用。如果您熟悉 OpenTelemetry您可以将运行视为一个跨度。跟踪一个追踪记录是单个操作的运行集合。例如如果您有一个用户请求触发一个链并且该链对 LLM 进行调用然后对输出解析器进行调用依此类推所有这些运行都将属于同一个追踪记录。如果您熟悉 OpenTelemetry您可以将 LangSmith 追踪记录视为跨度集合。运行通过唯一的追踪记录 ID 绑定到追踪记录。线程一个线程是代表单个对话的一系列追踪记录。许多 LLM 应用程序具有类似聊天机器人的界面其中用户和 LLM 应用程序进行多轮对话。对话中的每一轮都表示为自己的追踪记录但这些追踪记录通过属于同一个线程而链接在一起。线程中的最新追踪记录是最新消息交换。要将追踪记录分组到线程中您需要传递一个带有唯一标识符值的特殊元数据键session_id、thread_id或conversation_id该标识符值将追踪记录链接在一起。了解如何配置线程。项目项目是追踪记录的集合。您可以将项目视为与单个应用程序或服务相关的所有追踪记录的容器。您可以拥有多个项目并且每个项目可以拥有多个追踪记录。有关项目设置和追踪记录的更多详细信息请参阅 将追踪记录记录到项目。反馈反馈允许您根据某些标准对单个运行进行评分。每个反馈条目由一个反馈标签和一个反馈分数组成并通过唯一的运行 ID 绑定到运行。反馈可以是连续的或离散的分类的并且您可以在组织内的不同运行中重用反馈标签。您可以以多种方式收集运行的反馈与追踪记录一起发送 来自 LLM 应用程序。由用户在应用程序中 内联 或在 注释队列 中生成。由自动评估器在 离线评估 期间生成。由 在线评估器 生成。要了解有关应用程序中如何存储反馈的更多信息请参阅 反馈数据格式指南。标签标签是附加到运行的字符串集合。您可以使用标签在 LangSmith UI 中执行以下操作将运行分类以便更轻松地搜索。筛选运行。将运行分组以进行分析。了解如何将标签附加到您的跟踪记录。元数据元数据是您可以附加到运行的键值对集合。您可以使用元数据存储有关运行的其他信息例如生成运行的应用程序版本、生成运行的环境或您想要与运行关联的任何其他信息。与标签类似您可以使用元数据在 LangSmith UI 中筛选运行或将运行分组以进行分析。了解如何将元数据添加到您的跟踪记录。数据存储和保留对于 2024 年 5 月 22 日星期三或之后摄取的跟踪记录LangSmith (SaaS) 会保留距跟踪记录插入 LangSmith 跟踪数据库的日期和时间最多 400 天的跟踪数据。400 天后跟踪记录将从 LangSmith 中永久删除并保留有限量的元数据用于显示准确的统计信息例如历史使用情况和成本。有关数据保留层级、定价和自动升级方案的更多信息请参阅 使用情况和计费数据保留。从 LangSmith 删除追踪记录如果您需要在到期日期之前从 LangSmith 中删除跟踪记录可以通过删除包含它的项目来执行此操作。您可以通过以下方式删除项目在 LangSmith UI 中选择项目溢出菜单上的删除选项。使用 delete_tracer_sessions API 端点使用delete_project()(Python) 或deleteProject()(JS/TS) 在 LangSmith SDK 中。LangSmith 不支持自助删除单个跟踪记录。如果您需要删除 LangSmith 项目中的单个跟踪记录或一组跟踪记录在到期日期之前帐户所有者应通过 LangSmith 支持 联系支持并提供组织 ID 和跟踪记录 ID。《AI提示工程必知必会》为读者提供了丰富的AI提示工程知识与实战技能。《AI提示工程必知必会》主要内容包括各类提示词的应用如问答式、指令式、状态类、建议式、安全类和感谢类提示词以及如何通过实战演练掌握提示词的使用技巧使用提示词进行文本摘要、改写重述、语法纠错、机器翻译等语言处理任务以及在数据挖掘、程序开发等领域的应用AI在绘画创作上的应用百度文心一言和阿里通义大模型这两大智能平台的特性与功能以及市场调研中提示词的实战应用。通过阅读《AI提示工程必知必会》读者可掌握如何有效利用AI提示工程提升工作效率创新工作流程并在职场中脱颖而出。