很多人在看到Unity HDRP写实数字人这类标题时第一反应往往是被皮肤质感、毛发细节和眼神光影这些渲染层面的东西吸引。但真正动手做过数字人的朋友应该都有体会如果一个数字人只能按预设动画循环播放或者只能点按钮触发几句固定回复那它充其量只是个高级一点的三维模型展示器配不上数字人这个名字。真正让数字人活过来的是背后那套能听、能想、能说的智能体系统。这套系统在Unity里通常被称为AIAgent。这一篇是这个系列的第一课我们不急着碰HDRP里那些让人眼花缭乱的体积光、SSSS皮肤散射先把地基打牢。我会带着你把AIAgent的完整架构理清楚然后从零写一个能跑在Unity HDRP工程里的智能体骨架。它要能做到接收用户输入、调用大语言模型生成内容、把流式结果实时显示在屏幕上并给后续的语音合成和口型驱动留下干净的接口。如果你是想做数字人直播、虚拟助手、数字孪生里的智能导览员或者单纯想给Unity项目加一个能对话的AI角色这篇课程都适用。我会尽量把每一步的前因后果都讲明白而不是丢给你一堆代码让你自己猜。1. 为什么数字人必须有一个AIAgent层很多人第一次接触数字人开发时最容易犯的错误是先把模型、场景、渲染管线全部折腾好最后才想起要接AI。结果就是——模型精致到毛孔可见但对话逻辑只能用一堆if-else硬撑连多轮上下文都记不住。1.1 AIAgent在数字人系统中的角色定位我们要明确AIAgent并不是一个单独的模型文件也不是某个SDK的插件它是一层负责认知和决策的中间层。如果把数字人比作一个人那HDRP渲染出来的是他的外貌骨骼动画和BlendShape是肌肉和表情而AIAgent就是大脑和神经系统。这一层要干的活很清晰接收多模态输入键盘文本、语音识别结果、甚至摄像头捕捉的用户表情维护对话状态和上下文记忆调用大语言模型LLM生成回复内容解析回复中的意图触发数字人的动作、表情或工具调用把最终文本推送给TTS语音合成和口型动画系统这里有个容易被忽略的重点AIAgent必须是独立于渲染层和表现层的一个抽象层。否则你的智能体会被Unity的组件生命周期、场景切换、资源加载这些问题绑架代码写两天就想重写。1.2 为什么选HDRP来做写实数字人先花点篇幅聊一下渲染管线的选择因为很多人在项目启动时就会卡在这里。Unity主流的渲染管线有三条内置管线Built-in、通用渲染管线URP和高清渲染管线HDRP。如果目标是写实数字人那HDRP几乎是唯一合理的选择。原因很实在HDRP支持基于物理的渲染PBR最完整的特性集像次表面散射SSS模拟皮肤半透明感、高精度贴花、体积雾、光线追踪阴影这些是写实皮肤质感的基础。URP虽然性能更好、适配移动端更方便但它的SSS实现和反射效果在质量上限上明显不如HDRP。数字人的特写镜头下这个差距会被无限放大。HDRP的Eye Shader和Hair Shader是专为角色渲染优化的尤其是眼球的高光反射和头发的透光效果Built-in里要做出一模一样的效果需要大量魔改Shader。但HDRP也有它的脾气。它的光照单位是物理单位Lux、Candela方向光默认强度只有几千Lux和内置管线的1.0是一个数量级的差异。很多从Built-in转过来的朋友第一个反应是场景怎么全黑。这块后面实操部分会说到。1.3 这一课的边界什么做、什么不做系列课程的第一课我建议先把AIAgent架构跑通。具体来说这一篇我们会做搭建Unity HDRP工程基础环境实现AIAgent核心组件消息路由、上下文管理、LLM调用、流式响应建立一个简单但可复用的工具调用机制做一个Debug面板方便后续不依赖外部客户端直接调试不做的事也明确一下不做精细的模型绑定、不做TTS接入、不做口型动画这些后续课程会一一展开。但我在接口设计时会留好位置你在学完这篇后可以顺着接口把语音和口型接进来。2. AIAgent核心架构设计与模块拆解2.1 消息驱动的智能体骨架为什么不用函数调用式写法我见过不少人在Unity里写AI逻辑时习惯直接定义一个ChatBot类里面写一个GetResponse(string input)方法然后同步等着HTTP返回结果。这种方法在原型验证时可以用但一旦涉及语音输入、异步LLM响应、TTS播放、表情动画联动代码会迅速腐烂成一团意大利面。正确的做法是采用消息驱动架构Message-Driven Architecture。整个AIAgent内部不直接互相调用对方的方法而是往中央消息总线Message Bus上发事件。比如语音识别模块识别出一句话发送UserMessage事件智能体核心收到UserMessage调用LLM发送AssistantMessageStarted/AssistantMessageDelta/AssistantMessageCompleted事件表现层监听这些事件分别控制UI文字输出、TTS播放、口型动画这样做的核心价值是让认知层与表现层彻底解耦。你换掉语音识别SDK不需要动渲染层你换掉LLM提供商不需要动UI逻辑。对于一个人要维护整个数字人项目的开发者来说这个解耦能省下大量调试时间。2.2 三大核心子模块认知引擎、上下文管理器、工具调用器拆开来看AIAgent内部有三个子模块各自职责单一。**认知引擎Cognition Engine**负责所有与大模型相关的逻辑。包括API密钥管理、请求构建、超时重试、流式解析。它是整个智能体最消耗网络资源的部分也是最容易出bug的地方。**上下文管理器Context Manager**负责记忆维护。大语言模型的上下文窗口有限数字人不可能把整个对话历史都塞进每次请求。上下文管理器需要实现两类记忆短期记忆当前会话的最近N轮对话和长期记忆从本地或远端数据库读取的用户画像、历史偏好。第一课我们会先把短期记忆做扎实长期记忆留一个接口。**工具调用器Tool Caller**是让AIAgent从只会聊天升级为能干活的关键角色。它把Unity内部的函数包装成LLM可理解的工具。比如给LLM声明一个ChangeBackgroundColor工具LLM在收到把背景调成蓝色这句话时会返回一个结构化的工具调用指令工具调用器负责解析并执行。LLM ——(工具调用指令 JSON)—— Tool Caller ——反射/委托—— Unity 业务逻辑2.3 接口定义写给后续章节的扩展契约为了后面几堂课能无缝衔接我在设计接口时提前把输入和输出都用通用数据结构约束好。public interface IAIAgent { // 当用户有新的输入时调用文本、ASR结果等 void SendUserInput(string text, string messageType text); // 智能体完成一轮思考后的事件 event System.Actionstring OnResponding; // 流式输出期间持续触发 event System.Actionstring OnResponseCompleted; // 每轮回复结束后触发 // 供外部模块如TTS获取当前回复文本的完整内容 string CurrentResponse { get; } }这个接口设计背后的思路是上层只管输入和监听事件不关心LLM底层是OpenAI还是本地部署的模型。对于写实数字人项目来说这意味着你今天可以用OpenAI的GPT系列跑通逻辑明天想换成国产大模型或者本地模型只需要改认知引擎内部的一个客户端实现接口层和表现层完全不用动。3. 实操从空工程到AIAgent可运行3.1 环境准备与HDRP工程创建动手之前先把环境捋清楚。我使用的环境是Unity 2022.3 LTSHDRP 14.x这个组合目前最稳定。不建议在这个系列里用Unity 6000.0的早期版本有些API变动会导致示例代码不一致。创建工程的时候直接在Unity Hub里选择HDRP模板。如果你已经有现成的Built-in工程想升级可以尝试Window Package Manager里安装High Definition RP包然后执行升级向导但我不建议在数字人项目上走这条路。HDRP升级涉及灯光、材质、Shader的全面转换容易遗留很多隐蔽问题。干净起步后面会省心很多。工程创建完成后第一件要做的事是设置渲染管线的质量配置。HDRP模板虽然自带了一些配置但默认配置是按照通用高质量渲染预设的弹性太大性能消耗也大。在Project Settings Graphics里把HDRP全局配置换成项目专用的配置然后在HDRP Asset里按下面参数调整参数项推荐值说明Lit Shader ModeBoth兼顾实时光追和不支持光追的设备Shadow Quality中等16级级联数字人近景较多已够用Contact Shadows开启写实角色地面接触阴影质量提升明显Volumetric Fog建议关闭数字人近景通常用不到很耗性能3.2 搭建AIAgent脚本骨架在Assets/Scripts/AIAgent目录下我们来搭建核心代码。先用一个基础的AIAgentManager作为对外入口它是MonoBehaviour挂在场景的GameObject上负责协调所有子模块。using System; using System.Threading; using System.Threading.Tasks; using UnityEngine; namespace DigitalHuman.AIAgent { public class AIAgentManager : MonoBehaviour { [Header(认知引擎配置)] [SerializeField] private string apiEndpoint https://api.example.com/v1/chat/completions; [SerializeField] private string apiKey your-api-key; [SerializeField] private string modelName gpt-4o-mini; [SerializeField] private float temperature 0.7f; [Header(上下文管理)] [SerializeField] private int maxContextRounds 10; private CognitionEngine cognitionEngine; private ContextManager contextManager; private ToolCaller toolCaller; public event Actionstring OnResponding; public event Actionstring OnResponseCompleted; private void Awake() { contextManager new ContextManager(maxContextRounds); toolCaller new ToolCaller(); toolCaller.RegisterBuiltinTools(); } private void Start() { cognitionEngine new CognitionEngine(apiEndpoint, apiKey, modelName, temperature); } public async void SendUserInput(string text) { if (string.IsNullOrWhiteSpace(text)) return; contextManager.AddUserMessage(text); // 1. 检查是否有本地工具可处理 var toolPlan ToolPlanner.TryPlan(text); if (toolPlan ! null) { ExecuteToolPlan(toolPlan); return; } // 2. 交给LLM处理 var messages contextManager.BuildRequestMessages(); try { using var cts new CancellationTokenSource(); await foreach (var delta in cognitionEngine.StreamChatAsync(messages, cts.Token)) { contextManager.AppendAssistantDelta(delta); OnResponding?.Invoke(contextManager.CurrentAssistantMessage); } contextManager.CompleteAssistantMessage(); OnResponseCompleted?.Invoke(contextManager.CurrentAssistantMessage); // 3. 特殊指令解析 await toolCaller.TryExecuteEmbeddedCommand(contextManager.CurrentAssistantMessage); } catch (OperationCanceledException) { Debug.LogWarning(AIAgent: 请求已取消); } catch (Exception ex) { Debug.LogError($AIAgent: LLM调用失败 - {ex.Message}); } } } }这段代码里有一个很多人会觉得奇怪的细节我没有把LLM调用写在Start里做依赖注入而是用async void。这是因为在U3D的生命周期模型下async Task只有在配合UniTask或者专门的异步工具库时才好用。async void配合事件监听在原型验证阶段最直接。等后续要正式封装再迁移到UniTask会更合适。3.3 CognitionEngine实现流式响应的关键处理认知引擎是这个智能体的大脑接口它的核心职责是把HTTP请求发出去并把流式返回的增量文本一步步吐出来。这里最关键的决策是使用流式接口Streaming而非一次性接口Non-Streaming。原因在于数字人场景对响应延迟感极其敏感。用户问完话后如果屏幕上停滞2秒再一次性弹出一大段文字体验会非常僵硬。而流式接口在第一个token到达时就开始渲染用户会感觉数字人正在打字思考心理延迟感会大幅改善。public class CognitionEngine { private readonly HttpClient httpClient; private readonly string endpoint; private readonly string model; private readonly float temperature; public CognitionEngine(string endpoint, string apiKey, string model, float temperature) { this.endpoint endpoint; this.model model; this.temperature temperature; this.httpClient new HttpClient(); this.httpClient.Timeout TimeSpan.FromSeconds(30); this.httpClient.DefaultRequestHeaders.Authorization new System.Net.Http.Headers.AuthenticationHeaderValue(Bearer, apiKey); } public async IAsyncEnumerablestring StreamChatAsync(ListChatMessage messages, [System.Runtime.CompilerServices.EnumeratorCancellation] CancellationToken ct) { var requestBody new { model model, messages messages.Select(m new { role m.Role, content m.Content }), temperature temperature, stream true }; var json JsonSerializer.Serialize(requestBody); using var request new HttpRequestMessage(HttpMethod.Post, endpoint); request.Content new StringContent(json, Encoding.UTF8, application/json); using var response await httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, ct); response.EnsureSuccessStatusCode(); using var stream await response.Content.ReadAsStreamAsync(ct); using var reader new StreamReader(stream); string line; while ((line await reader.ReadLineAsync()) ! null) { ct.ThrowIfCancellationRequested(); if (!line.StartsWith(data:)) continue; var data line.Substring(5).Trim(); if (data [DONE]) break; using var doc JsonDocument.Parse(data); var delta doc.RootElement .GetProperty(choices)[0] .GetProperty(delta) .GetProperty(content) .GetString(); if (!string.IsNullOrEmpty(delta)) yield return delta; } } }当你在Unity里跑上面的代码前确认一下System.Net.Http库已经引入。Unity 2022.3默认的API兼容级别是.NET Standard 2.1HttpClient和IAsyncEnumerable都是可用的。如果你的项目API兼容级别被改成了.NET Framework可能需要调整。注意Unity主线程不能直接做网络等待上面代码里的await foreach实际上是在异步上下文中恢复的。如果你在调用SendUserInput后对Unity API比如GameObject.Instantiate或者Material.SetColor进行操作记得使用UnityMainThreadDispatcher之类的工具把回调调度回主线程。调试时最明显的症状就是有时报错有时不报错全是线程问题。3.4 ContextManager与ToolCaller的完整实现上下文管理器的重心在该保留什么该丢弃什么。按经验值10轮对话加系统提示词大概能控制在4K到6K token以内。对大多数数字人场景够用了而且请求响应速度也理想。public class ContextManager { private readonly int maxRounds; private readonly ListChatMessage chatHistory new(); private string systemPrompt 你是一个友善、专业的数字人助手。回答要简洁、自然控制在2-3句话内。; public ContextManager(int maxRounds) { this.maxRounds maxRounds; } public void SetSystemPrompt(string prompt) { systemPrompt prompt; } public void AddUserMessage(string content) { chatHistory.Add(new ChatMessage(user, content)); TrimHistory(); } public void AppendAssistantDelta(string delta) { if (chatHistory.Count 0 || chatHistory[^1].Role ! assistant) { chatHistory.Add(new ChatMessage(assistant, string.Empty)); } chatHistory[^1].Content delta; } public void CompleteAssistantMessage() { TrimHistory(); } public string CurrentAssistantMessage chatHistory.Count 0 chatHistory[^1].Role assistant ? chatHistory[^1].Content : string.Empty; public ListChatMessage BuildRequestMessages() { var messages new ListChatMessage { new ChatMessage(system, systemPrompt) }; messages.AddRange(chatHistory); return messages; } private void TrimHistory() { int overflow chatHistory.Count - maxRounds * 2; if (overflow 0 chatHistory[0].Role ! system) { chatHistory.RemoveRange(0, overflow); } } }关于systemPrompt我强烈建议你在做数字人时花心思打磨这一段。很多人直接用默认prompt结果数字人说话又长又官方完全没有性格。我常用的写法是给AI定义一个虚拟人格你是一位拥有十年经验的形象顾问名叫小雅。你说话语气轻松自然喜欢用短句会适当使用嗯对我跟你讲这类生活化过渡词。你在回答时永远倾向于给出简洁可执行的建议而不是长篇大论。当用户情绪低落时你会在回复中自然加入温暖的表情词语但不刻意煽情。你现在正与一位线下用户面对面交流请用中文回复。工具调用器的设计思路是定义一组工具每个工具有名称、描述、参数Schema和执行逻辑。LLM在收到需要调用工具的问题时会输出一段结构化的工具调用JSON工具调用器负责解析并执行。public class ToolCaller { private readonly Dictionarystring, Funcstring, string tools new(); public void RegisterTool(string toolName, Funcstring, string handler) { tools[toolName] handler; } public void RegisterBuiltinTools() { RegisterTool(show_clock, _ DateTime.Now.ToString(yyyy年MM月dd日 HH:mm:ss)); RegisterTool(set_expression, expressionName { // 后续接表情管理器时在这里发事件 Debug.Log($[ToolCaller] 切换表情: {expressionName}); return $已将表情切换到{expressionName}; }); } public async Task TryExecuteEmbeddedCommand(string text) { // 简单指令解析形如 [tool:show_clock]但实际项目里建议由LLM工具调用协议返回 if (string.IsNullOrEmpty(text)) return; var match Regex.Match(text, \[tool:(\w)(?:\((.*?)\))?\]); if (!match.Success) return; var toolName match.Groups[1].Value; var arg match.Groups[2].Value; if (tools.TryGetValue(toolName, out var handler)) { var result handler(arg); Debug.Log($[ToolCaller] 工具 {toolName} 执行结果: {result}); } } }如果后续接入的是OpenAI的Function Calling或兼容协议解析逻辑需要升级为JSON格式的tool_calls字段解析但核心架构不会变。这套设计有一个好处不管底层是Prompt解析、工具调用协议还是未来的多模态Agent协议工具注册与执行的核心逻辑都能复用。4. 调试与常见问题排查实录4.1 HDRP工程常见启动问题新HDRP工程一打开遇到的第一个问题全是光照相关的。首先是场景全黑方向光不生效。解决路径是确认HDRP Asset里的Light Layer是否正确。如果方向光勾选了Light Layer 1而物体在Layer 0那物体就收不到光。其次检查Directional Light的IntensityHDRP默认用Lux单位室外阳光强度大概在100000 Lux左右室内常用300~1000 Lux。很多新手即使把强度调到2场景也是黑的就是这个单位换算的坑。如果你看不到实时阴影检查HDRP Asset的Shadow设置和Project Settings Graphics里的摄像机是否勾选了Shadow相关选项。写实数字人对阴影质量要求很高我建议至少把级联阴影设为8级不然人物鼻尖下方的阴影会糊成一片。4.2 HttpClient在Unity中的环境适配Unity不同版本对HttpClient的支持有差异旧版本2018~2019上HttpClient依赖的System.Net.Http类库经常缺失。即使2022.3已经内置我仍然建议在manifest.json里显式声明{ dependencies: { com.unity.nuget.newtonsoft-json: 3.2.1, com.unity.modules.jsonserialize: 1.0.0 } }另外如果你的目标平台是WebGL那有个很现实的限制WebGL的C#运行时不支持完整的HttpClient套接字通信只能用UnityWebRequest。我的建议是开发阶段用Editor和PC平台调HttpClient发布WebGL时给CognitionEngine换一个后端实现。这也是为什么我在接口设计时把认知引擎拆成一个独立类而不是把网络逻辑内联到MonoBehaviour里。遇到中文乱码问题时一个很隐蔽的坑是Unity默认的StreamReader没有指定UTF-8编码而LLM返回的JSON经常包含中文转义字符。务必在构建请求时显式指定request.Content new StringContent(json, Encoding.UTF8, application/json);4.3 调试面板与对话日志搞数字人开发一个能直观看到内部状态的调试面板能帮你减少一半的焦虑。我的做法是在Canvas上放一个DebugPanel实时显示三块内容上下文管理器当前存了多少轮对话、最后一次LLM请求的状态码和耗时、流式输出当前累计的字符数。这个调试面板在接入TTS和口型之后尤其重要。当你发现数字人嘴形和语音对不上时你可以先回到Debug面板看文本输出和音频时间戳是否同步快速定位是TTS的问题还是口型动画的问题而不用在表现层瞎猜。调试面板的UI布局很简单一个ScrollRect加三个Text组件。但如果你的HDRP项目里需要让UI不被场景模型干扰记住Canvas的Render Mode用Screen Space - Camera然后把UICamera的Clear Flags设置成Depth Only。这块在数字人直播场景里踩坑率极高经常出现UI被3D模型穿模遮挡。常见问题可能原因解决方案HDRP场景全黑光照单位理解错误方向光Intensity调至30000~100000 LuxHttpClient在WebGL报错API兼容级别和平台限制替换为UnityWebRequest实现LLM返回中文乱码请求体未用UTF-8Encoding.UTF8显式编码回调卡住/UI无响应异步未调度回主线程使用UnityMainThreadDispatcherUI穿模被模型遮挡Canvas渲染模式问题摄像机关联Depth Only清空4.4 流式输出卡顿一个容易被忽视的GC陷阱这里分享一个我在实际项目里踩过的坑。await foreach拿到增量文本后如果直接用string delta拼接在对话长度较长时会产生大量堆内存分配。Unity的Mono垃圾回收器Boehm GC对这种频繁小分配处理得并不好实测在50轮对话后会出现明显的帧率抖动。我的优化思路是在ContextManager内部用StringBuilder来暂存当前回复每个增量到达时Append进去只有最终完成时才把ToString()的结果放入对话历史。大约能减少80%的临时字符串分配。这里附上一个经过剪辑的优化片段public class ContextManager { private readonly StringBuilder sb new(256); public void BeginAssistantTurn() { sb.Clear(); chatHistory.Add(new ChatMessage(assistant, string.Empty)); } public void AppendAssistantDelta(string delta) { sb.Append(delta); chatHistory[^1] new ChatMessage(assistant, sb.ToString()); } }虽然每次Append时仍然会复制一次string但至少不会产生大量的小号中间字符串。后续如果你接入TTS需要把文字变成音频建议也走这个结构——先聚合成完整文本再交给TTS而不是一个字一个字地送。5. 交互场景验证让智能体真正跑起来5.1 用UI InputField做一个对话入口现在AIAgent核心已经能跑通了我们做一个简易的对话入口来验证。在场景里创建一个Canvas加上InputField、Button和文本显示区域。在按钮点击事件里调用一条主线程调度器或直接调用SendUserInput。public class ChatPanel : MonoBehaviour { [SerializeField] private AIAgentManager agent; [SerializeField] private TMP_InputField inputField; [SerializeField] private TMP_Text responseText; private void Start() { agent.OnResponding OnResponding; agent.OnResponseCompleted OnResponseCompleted; } public void OnSendButtonClicked() { var text inputField.text.Trim(); if (text.Length 0) return; inputField.text string.Empty; responseText.text 思考中...; agent.SendUserInput(text); } private void OnResponding(string partial) { responseText.text partial; } private void OnResponseCompleted(string full) { responseText.text full; // 后续TTS接在这里调用 TTSClient.Speak(full) } }这里有个细节要留意TMP_InputField和TMP_Text是需要导入TextMeshPro资源的。新工程第一次创建Text对象时Unity会提示导入TMP Essentials务必导入否则运行时会报缺材质错误。5.2 验证流式输出与上下文记忆运行场景后一个可以拿来反复测试的场景是输入我叫李雷来自上海再输入我之前跟你说的我的名字和城市是什么如果上下文管理器工作正常第二次提问时LLM应该能准确回答出李雷和上海。如果它答不出来说明你的上下文管理没有正确把BuildRequestMessages拼进请求或者TrimHistory把之前的消息删掉了。还要验证流式输出是否正常工作。正常情况下你会在InputField点击发送后0.5~2秒内看到文字逐字蹦出来。如果等了很久才一次性出现说明响应头没有即时解析或者HTTPS网络链路有缓存代理。这时候用Debug.Log打印一下每次delta的内容看是Unity端问题还是服务端返回就是按块到达的。5.3 与抖音侧边栏等外部应用接入的坑最近很多做数字人直播的朋友都在聊Unity和抖音侧边栏开放平台小玩法/小手柄的接入。这块牵扯的不是AIAgent逻辑本身而是跨进程通信和鉴权。如果你计划把HDRP数字人发布成PC端工具并在直播伴侣里叠加显示有一个重要参数要提前设置工程里的Player Settings Resolution建议使用透明背景或者绿幕抠像两种方案之一。绿幕方案在Unity里很简单——摄像机颜色设为纯绿然后直播软件里做色度键抠除。透明背景方案要复杂一些需要开启DX11或Vulkan的透明窗口渲染同时HDRP的Post Processing要关掉Bloom和Tonemapping否则透明背景区域会被强制填充成黑色。我自己踩过这个坑查了半天才发现是后处理导致的。如果你也想走透明背景把HDRP Asset里的Post-processing全部关掉再试试看。5.4 性能基线参考很多人关心AIAgent对游戏帧率的影响。单独说AI逻辑这部分CPU开销其实很小主要耗时在网络等待上。但如果你在同一个场景里既有HDRP渲染又有LLM请求建议关注一下主线程的阻塞情况。以我的RTX 3060开发机为例场景里跑一个带SSSS皮肤的数字人模型约8万面、4盏实时光源、启用体积雾和光追反射平均帧率在48 fps左右。如果此时发起LLM请求并正确使用了异步流式解析主线程帧率大概只会掉2~3 fps。如果你的项目在LLM请求期间帧率掉到30以下大概率是有同步代码阻塞了主线程比如WaitForSeconds阻塞或者Thread.Sleep去代码里查一遍这两个方法即可。6. 进阶扩展从会聊天到会行动6.1 让智能体通过工具操作游戏对象当工具调用器跑通之后智能体就不只是个聊天机器人了。我给一个实际场景的扩展示例让AI根据用户指令控制场景里的点光源颜色。在ToolCaller里注册工具toolCaller.RegisterTool(set_light_color, arg { var parts arg.Split(,); if (parts.Length ! 3) return 参数格式错误; var r float.Parse(parts[0], CultureInfo.InvariantCulture) / 255f; var g float.Parse(parts[1], CultureInfo.InvariantCulture) / 255f; var b float.Parse(parts[2], CultureInfo.InvariantCulture) / 255f; UnityMainThreadDispatcher.Execute(() { var light GameObject.FindObjectOfTypeLight(); light.color new Color(r, g, b); }); return $已将灯光RGB调整为({parts[0]},{parts[1]},{parts[2]}); });在这个扩展过程中你会遇到的真正难点是LLM如何知道当前场景有什么可操作对象。如果你的场景里有多盏灯、多个模型LLM返回的工具参数就会变得不可预测。我给的建议是不要试图让LLM自己感知场景而是在注册工具的描述里写得很明确。比如工具名称: set_light_color 参数: r,g,b (0-255) 描述: 调整场景主光源的颜色用RGB整数表示。例如输入把灯调成蓝色时参数为0,0,255。这样LLM就知道参数格式了。工具描述写得越精确工具调用的成功率越高这也算是我在十多个项目里试出来的老经验。6.2 多模态输入接口预留AIAgent最终要接的是麦克风语音输入。为此我建议在IAIAgent接口上提前预留一个音频元数据类型。等后续课程接入ASR时可以把语音识别结果以文本形式走同一个SendUserInput入口也可以先传原始音频路径在智能体内做端到端语音处理。预留的方式很简单public struct UserMessage { public string Text; public string MessageType; // text / asr / vision public string Payload; // 额外数据如音频路径、图像路径 }把SendUserInput(string text)重载成SendUserInput(UserMessage message)即可。这属于接口演进的第一步能看到这里说明你对后续课程的思考已经比大多数只盯着渲染效果的同学深入了。6.3 数字人性格一致性的工程化手段最后提一个写实数字人项目独有的坑LLM生成的回复风格容易漂移。有时候数字人是个专业顾问有时候又突然变成网络段子手。原因通常是systemPrompt写得笼统且上下文管理里没有维持稳定的人格锚点。我的做法是在ContextManager的BuildRequestMessages里每轮请求都加入一个定时刷新的人格提醒消息。这个提醒不需要很长大概一行字// 每4轮对话自动追加一条人格强化 if (chatHistory.Count % 8 0) { messages.Add(new ChatMessage(system, 记住你是小雅说话依然要保持轻松、简短、友好的风格不要输出长篇大论。)); }这样能显著降低回答风格漂移的概率。你也可以在长期记忆模块里放一份完整的persona.json由上下文管理器在关键时机注入。这是产品化数字人和Demo级数字人的一个分水岭。走到这里AIAgent骨架已经完整跑起来了它具备消息路由、上下文管理、LLM流式调用、工具注册与执行能力而且所有模块之间都是事件驱动、解耦清晰的。我在这个课程里特别强调接口设计就是希望你在后续接入语音、表情、口型、动作时不需要再回头改造核心逻辑。最后分享一个实际体会我在给客户做数字人项目时发现他们验收的第一个点往往不是渲染有多逼真而是它能记住我之前说过的话吗、它能根据我的指令做点实实在在的事情吗。这些底层体验全部依赖于今天搭建的AIAgent层。这个基础打得牢不牢直接决定了整个数字人项目的上限。如果你的动手能力强现在就可以去翻一下HDRP的材质管线找一张写实脸部贴图感受一下HDRP和内置管线在皮肤表现上的差距。下一堂课我们开始正式进入写实数字人的渲染与模型准备环节到时候你会发现有了这一课打底后面的路走起来会顺很多。