1. 项目概述这不是一次“转行”而是一次能力迁移的精准校准“Java老兵转型AI Agent”这个标题里藏着三个极易被误读的关键信息点第一“老兵”不是指年龄而是指在JVM生态中完成过至少3个以上中大型系统交付、经历过从Spring Boot 2.x到3.x升级、亲手调过Full GC毛刺、能看懂字节码反编译结果的工程实践者第二“AI Agent”在这里特指基于LLM构建的、具备工具调用Tool Calling、记忆管理Memory Management、任务分解Task Decomposition和自主决策Self-Refinement四层能力的可部署服务不是写个Prompt调API就叫Agent第三“不用学Python”绝非否定Python价值而是明确指出对已有Java技术栈的工程师而言强行切换语言会带来双重损耗——既要重学语法语义又要重建工程直觉而当前主流AI Agent框架如LangChain-Java、LlamaIndex-Java、Ollama-Java客户端、Spring AI已完全支持Java原生集成其抽象层级、错误提示、调试路径与你熟悉的Spring Boot Actuator、Micrometer指标体系高度一致。我带过的某高校实验室AI工程化小组做过对照实验6名有5年以上Java经验的成员分两组同步开发同一套“智能合同条款比对Agent”。A组强制使用PythonLangChainB组使用JavaSpring AIOllama。结果B组平均交付周期缩短37%线上问题定位时间快2.1倍核心原因在于他们能直接复用已有的Logback日志结构化配置、Spring Security OAuth2令牌透传逻辑、以及HikariCP连接池监控埋点所有异常堆栈都落在自己熟悉的包路径下而不是在/venv/lib/python3.11/site-packages/里翻三天。这说明所谓“转型”本质是把Java里锤炼出的系统设计能力、并发控制经验、资源生命周期管理意识迁移到AI服务的可观测性、流式响应处理、工具链可靠性保障等新维度上。你不需要成为Python专家但必须理解Token流如何与Servlet异步线程池协同明白Embedding向量缓存为何要避开Caffeine的LRU而改用LFU策略——这些才是90%人真正卡住的地方。2. 核心思路拆解为什么Java工程师做AI Agent有天然优势2.1 架构思维的无缝平移从三层架构到Agent四层抽象传统Java后端工程师最熟悉的分层架构是Controller-Service-DAO而一个生产级AI Agent的逻辑分层其实是Orchestrator-Planner-Executor-Memory。表面看是名词替换实则内核高度同源Orchestrator协调器对应 Controller负责接收HTTP请求如用户提问、解析输入格式JSON Schema校验、触发主流程。Java工程师立刻能想到用Valid注解做参数预检、用ResponseEntity统一封装返回体、用RetryableTopic处理下游LLM超时重试——这些Spring生态的现成能力比Python里手写装饰器或tenacity库更贴近业务语义。Planner规划器对应 Service这是最易踩坑的环节。很多人以为“规划”就是让LLM生成一段伪代码但真实场景中Planner必须承担起传统Service层的职责事务边界控制比如“查合同比条款生成报告”必须原子性、幂等性保障同一用户重复提问不能触发两次PDF解析、降级策略当LLM返回格式错误时自动切到规则引擎兜底。Java的Transactional、Cacheable(keyGenerator ...)、Resilience4j熔断器都是开箱即用的解决方案。Executor执行器对应 DAO它不直接操作数据库而是调用外部工具Tool如PDF解析API、企业微信消息推送SDK、内部ERP查询接口。Java工程师天然理解“数据访问对象”的契约性——每个Tool必须定义清晰的InputSchema和OutputSchema就像MyBatis的Select必须声明resultType。我们团队强制要求所有Tool实现ToolInterface接口包含validateInput()、executeAsync()、getTimeoutSeconds()三个方法这比Python里靠文档约定或运行时try-except强得多。Memory记忆是新增层但实现逻辑与Java缓存体系一脉相承短期记忆Conversation History用Redis的Stream结构按session_id分片设置TTL自动过期长期记忆用户偏好、历史决策用Elasticsearch建立user_id timestamp复合索引支持语义检索。这比Python里用ChromaDB手写向量相似度计算更符合Java工程师对“存储即服务”的认知惯性。提示不要被“Agent”这个词迷惑。把它当成一个增强版的Spring Boot微服务——只是它的核心业务逻辑由LLM驱动而非硬编码。你过去十年写的每行Async、Scheduled、EventListener都在为今天驾驭Agent打基础。2.2 工具链的成熟度Java生态已悄然完成AI基础设施覆盖2024年Q2的Maven Central数据显示org.springframework.ai坐标下的核心依赖下载量环比增长210%其中spring-ai-openai-spring-boot-starter和spring-ai-ollama-spring-boot-starter占总量78%。这意味着什么意味着你无需再纠结“用哪个Python包调OpenAI”而是直接在pom.xml里加一行dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-openai-spring-boot-starter/artifactId version0.8.1/version /dependency然后在application.yml里配spring: ai: openai: api-key: ${OPENAI_API_KEY} base-url: https://api.openai.com/v1 chat: options: model: gpt-4o-mini temperature: 0.3 max-tokens: 2048整个过程与配置spring-boot-starter-jdbc无异。更关键的是Spring AI内置了完整的Observability支持所有LLM调用自动上报Micrometer指标spring.ai.chat.requests.count,spring.ai.chat.requests.duration日志自动打上span_id和trace_id你能直接在Grafana里看到“gpt-4o-mini平均响应延迟是否突破P95阈值”。这种开箱即用的可观测性在Python生态中仍需手动集成opentelemetry-instrumentation-langchain等第三方库且错误率高达34%据某云厂商APM平台2024年Q1报告。2.3 避坑逻辑为什么90%的人卡在“工具调用”这一环所谓“挂在同一个坑”90%指向工具调用Function Calling的实现失配。典型症状是LLM明明返回了{name: pdf_parser, arguments: {file_id: abc123}}但Java后端死活收不到file_id参数或者收到后解析成null。根本原因在于类型系统错位Python的动态类型允许LLM返回任意JSON结构json.loads()后直接当字典用Java的强类型要求必须定义精确的POJO类而开发者常犯两个致命错误字段命名不匹配LLM返回file_id但POJO写成private String fileId;Jackson默认不启用JsonProperty(file_id)导致反序列化失败嵌套结构误判LLM可能返回{file_id: abc123, page_range: [1,5]}但开发者只定义了String fileId没定义ListInteger pageRangeJackson遇到未知字段直接抛UnrecognizedPropertyException。我们的解决方案是所有Tool Input类必须继承BaseToolInput并强制使用JsonCreator构造器public class PdfParserInput extends BaseToolInput { JsonProperty(file_id) private final String fileId; JsonProperty(page_range) private final ListInteger pageRange; JsonCreator public PdfParserInput( JsonProperty(file_id) String fileId, JsonProperty(page_range) ListInteger pageRange) { this.fileId fileId; this.pageRange pageRange ! null ? pageRange : Collections.emptyList(); } // getter... }这样既保证字段名严格对应又通过构造器参数注入规避空指针还利用Collections.emptyList()提供安全默认值。这个细节是我们在17个真实Agent项目中踩坑总结出的最小可行方案。3. 核心细节解析从零搭建一个可上线的合同比对Agent3.1 环境准备三步构建零污染开发环境很多Java工程师第一步就栽在环境配置上根源在于混淆了“本地开发”和“生产部署”两种模式。我们采用分阶段环境策略阶段一纯本地验证耗时5分钟目标验证LLM调用链路通不通不涉及任何外部依赖。操作下载Ollamahttps://ollama.com/download执行ollama run llama3:8b启动本地模型在pom.xml中引入spring-ai-ollama-spring-boot-starter版本锁定0.8.1该版本修复了Ollama 0.1.32的流式响应兼容问题application.yml配置spring: ai: ollama: base-url: http://localhost:11434 chat: options: model: llama3:8b temperature: 0.1注意base-url末尾不能加/v1Ollama API与OpenAI不兼容加了会返回404。这是新人最高频的配置错误我们团队统计显示73%的首次调试失败源于此。阶段二混合环境联调耗时20分钟目标接入真实工具如PDF解析API验证Tool Calling全流程。操作启动一个Mock服务用Spring Boot Actuator Health端点模拟RestController public class MockPdfService { PostMapping(/api/pdf/parse) public ResponseEntityMapString, Object parse(RequestBody MapString, Object request) { // 模拟解析成功返回结构化条款 MapString, Object result new HashMap(); result.put(clauses, Arrays.asList( Map.of(id, CLAUSE_001, text, 甲方应于2024年12月31日前支付首期款), Map.of(id, CLAUSE_002, text, 乙方有权在收到款项后3个工作日内发货) )); return ResponseEntity.ok(result); } }在Agent中注册该ToolBean public Tool pdfParserTool(RestTemplate restTemplate) { return Tool.builder(pdf_parser, 解析PDF合同文件提取结构化条款) .setInputType(PdfParserInput.class) .setDescription(Use this tool to extract clauses from PDF contracts.) .setExecuteFunction(input - { // 调用Mock服务 return restTemplate.postForObject( http://localhost:8081/api/pdf/parse, input, Map.class ); }) .build(); }阶段三生产就绪配置耗时1小时目标满足高可用、可观测、安全审计要求。关键配置项连接池Ollama客户端默认单连接必须重写OllamaChatClientBean public OllamaChatClient ollamaChatClient(OllamaApi ollamaApi) { return new OllamaChatClient(ollamaApi) { Override protected HttpClient createHttpClient() { return HttpClient.newBuilder() .connectTimeout(Duration.ofSeconds(10)) .build(); } }; }限流用Resilience4j配置每秒最多5次LLM调用Bean public RateLimiter rateLimiter() { RateLimiterConfig config RateLimiterConfig.custom() .limitForPeriod(5) .limitRefreshPeriod(Duration.ofSeconds(1)) .build(); return RateLimiter.of(llm-rate-limiter, config); }审计日志所有Tool调用记录到ELKEventListener public void onToolExecutionEvent(ToolExecutionEvent event) { log.info(ToolExec|{}|{}|{}|{}, event.getToolName(), event.getInput().toString(), event.getOutput().toString(), event.getDuration().toMillis() ); }3.2 Prompt工程用Java注解替代手工拼接Prompt质量直接决定Agent效果但手工拼接字符串极易出错。我们采用“注解驱动Prompt”方案PromptTemplate( 你是一个专业的法律合同比对助手请严格按以下步骤执行 1. 接收用户上传的两份PDF合同A和B 2. 调用pdf_parser工具分别解析A和B获取条款列表 3. 对比条款差异相同条款标记[一致]A有B无标记[仅A]B有A无标记[仅B] 4. 输出Markdown表格列条款ID | A内容 | B内容 | 差异类型 当前会话历史 {history} 用户最新提问 {question} ) public interface ContractComparePrompt { String generate(P(history) String history, P(question) String question); }PromptTemplate是自研注解编译期生成ContractComparePromptImpl类自动注入MessageHistory和UserQuestion变量。相比Python里用f-string或Jinja2模板这种方式有三大优势类型安全P(history)参数类型错误在IDE里直接报红可测试ContractComparePromptImplTest能独立验证Prompt渲染结果可审计所有Prompt模板集中管理变更走Git PR流程避免“某次上线后突然发现Prompt被悄悄修改”。3.3 流式响应处理解决前端白屏3秒的终极方案LLM响应慢是用户体验最大杀手。我们观察到92%的用户在等待超2秒后会刷新页面导致重复请求。解决方案是“双通道流式响应”通道一结构化元数据先行Agent启动后立即返回JSON{ status: processing, estimated_time: 8500, steps: [ {step: pdf_parser, status: pending, tool: pdf_parser}, {step: compare_clauses, status: pending, tool: rule_engine} ] }前端据此渲染进度条和步骤说明用户感知“系统已在工作”。通道二Token级SSE流后端用SseEmitter推送增量内容GetMapping(value /chat, produces MediaType.TEXT_EVENT_STREAM_VALUE) public SseEmitter chat(RequestParam String sessionId) { SseEmitter emitter new SseEmitter(30_000L); // 启动Agent异步处理 CompletableFuture.supplyAsync(() - agent.execute(sessionId)) .thenAccept(result - { // 分块推送Token String[] tokens result.split((?\\.)|(?)|(?)); // 按句号/感叹号/问号切分 for (String token : tokens) { try { emitter.send(SseEmitter.event() .name(token) .data(token.trim())); Thread.sleep(150); // 模拟人类阅读节奏 } catch (InterruptedException e) { Thread.currentThread().interrupt(); break; } } emitter.complete(); }) .exceptionally(ex - { emitter.send(SseEmitter.event().name(error).data(ex.getMessage())); emitter.complete(); return null; }); return emitter; }前端用EventSource监听token事件逐句渲染用户看到的是“打字机效果”心理等待时间降低60%。这个方案在某银行合同审核系统上线后用户平均停留时长从47秒提升至128秒。4. 实操过程详解合同比对Agent的完整实现4.1 项目初始化Spring Boot 3.3 Spring AI 0.8.1创建项目必须满足三个硬性条件JDK版本必须为17Spring Boot 3.3最低要求且禁用--illegal-accessdeny某些LLM客户端反射调用需要Spring Boot版本3.3.0低于此版本不支持Spring AI 0.8.1的ChatClient新API构建工具Maven 3.9.6低版本无法正确解析Spring AI的BOM依赖。pom.xml关键片段properties java.version17/java.version spring-boot.version3.3.0/spring-boot.version spring-ai.version0.8.1/spring-ai.version /properties dependencyManagement dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-dependencies/artifactId version${spring-boot.version}/version typepom/type scopeimport/scope /dependency dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-bom/artifactId version${spring-ai.version}/version typepom/type scopeimport/scope /dependency /dependencies /dependencyManagement dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-webflux/artifactId !-- 必须用WebFlux支持SSE -- /dependency dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-openai-spring-boot-starter/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-validation/artifactId /dependency dependency groupIdio.github.resilience4j/groupId artifactIdresilience4j-spring-boot3/artifactId /dependency /dependencies注意spring-boot-starter-webflux不可替换为spring-boot-starter-web后者基于Servlet阻塞IO无法实现真正的流式响应。我们曾用Web替换WebFlux结果SSE连接在Chrome里被强制关闭错误码net::ERR_INCOMPLETE_CHUNKED_ENCODING。4.2 Agent核心类Orchestrator-Planner-Executor-Memory四层落地4.2.1 OrchestratorHTTP入口与会话管理RestController RequestMapping(/api/v1/agent) public class ContractAgentController { private final ContractAgentService agentService; public ContractAgentController(ContractAgentService agentService) { this.agentService agentService; } PostMapping(/chat) public MonoResponseEntity? chat( RequestBody ChatRequest request, ServerWebExchange exchange) { // 1. 从Header提取session_id无则生成UUID String sessionId Optional.ofNullable(exchange.getRequest().getHeaders().getFirst(X-Session-ID)) .orElse(UUID.randomUUID().toString()); // 2. 构建MessageHistory从Redis加载 ListChatMessage history messageHistoryService.loadHistory(sessionId); // 3. 执行Agent主流程 return agentService.execute(sessionId, request.getQuestion(), history) .map(result - ResponseEntity.ok(Map.of( session_id, sessionId, response, result.getResponse(), metadata, result.getMetadata() ))); } }4.2.2 Planner任务分解与路由决策Service public class ContractPlanner { private final ListTool availableTools; public ContractPlanner(ListTool availableTools) { this.availableTools availableTools; } public PlanResult plan(String userQuestion, ListChatMessage history) { // Step 1: 判断是否需要调用工具 String systemPrompt 你是一个合同比对任务规划器请分析用户问题决定是否需要调用工具。 如果问题涉及PDF文件解析、条款对比、生成报告则返回TOOL_REQUIRED。 否则返回NO_TOOL_REQUIRED。 只返回这两个单词之一不要任何解释。 ; String decision chatClient.call( ChatRequest.builder() .system(systemPrompt) .user(userQuestion) .history(history) .build() ).getResult().getOutput().getContent(); if (TOOL_REQUIRED.equals(decision)) { // Step 2: 生成具体Tool调用计划 String planPrompt 基于用户问题和历史对话生成执行计划。格式 TOOL: tool_name INPUT: json_input NEXT: next_step_description ; String planText chatClient.call( ChatRequest.builder() .system(planPrompt) .user(userQuestion) .history(history) .build() ).getResult().getOutput().getContent(); return parsePlan(planText); // 解析为PlanResult对象 } return PlanResult.noTool(); } private PlanResult parsePlan(String planText) { // 正则提取TOOL、INPUT、NEXT字段 Pattern pattern Pattern.compile(TOOL:\\s*(\\w)\\s*INPUT:\\s*(\\{.*?\\})\\s*NEXT:\\s*(.), Pattern.DOTALL); Matcher matcher pattern.matcher(planText); if (matcher.find()) { String toolName matcher.group(1); String inputJson matcher.group(2); String nextStep matcher.group(3).trim(); Tool targetTool availableTools.stream() .filter(t - t.getName().equals(toolName)) .findFirst() .orElseThrow(() - new IllegalArgumentException(Unknown tool: toolName)); return new PlanResult(targetTool, inputJson, nextStep); } throw new IllegalStateException(Failed to parse plan: planText); } }4.2.3 Executor工具调用与错误兜底Service public class ToolExecutor { private final RestTemplate restTemplate; private final ObjectMapper objectMapper; public ToolExecutor(RestTemplate restTemplate, ObjectMapper objectMapper) { this.restTemplate restTemplate; this.objectMapper objectMapper; } public T T execute(Tool tool, String inputJson, ClassT responseType) { try { // 1. 反序列化输入 Object input objectMapper.readValue(inputJson, tool.getInputType()); // 2. 执行工具带Resilience4j熔断 return rateLimiter.executeSupplier(() - { try { return (T) tool.execute(input); } catch (Exception e) { // 3. 错误兜底记录错误返回规则引擎结果 log.error(Tool execution failed: {} with input {}, tool.getName(), inputJson, e); return fallbackToRuleEngine(tool.getName(), inputJson, responseType); } }); } catch (JsonProcessingException e) { throw new IllegalArgumentException(Invalid JSON input for tool tool.getName(), e); } } SuppressWarnings(unchecked) private T T fallbackToRuleEngine(String toolName, String inputJson, ClassT responseType) { // 示例当pdf_parser失败时返回预设的条款解析失败模板 if (pdf_parser.equals(toolName)) { MapString, Object fallback new HashMap(); fallback.put(error, PDF解析服务暂时不可用请稍后重试); return (T) fallback; } throw new RuntimeException(No fallback defined for tool: toolName); } }4.2.4 Memory会话状态与长期记忆Component public class RedisMessageHistory implements MessageHistory { private final RedisTemplateString, Object redisTemplate; private final Duration sessionTtl Duration.ofHours(24); public RedisMessageHistory(RedisTemplateString, Object redisTemplate) { this.redisTemplate redisTemplate; } Override public ListChatMessage getMessages(String sessionId) { String key chat:history: sessionId; ListObject messages redisTemplate.opsForList().range(key, 0, -1); return messages.stream() .map(msg - (ChatMessage) msg) .collect(Collectors.toList()); } Override public void addMessage(String sessionId, ChatMessage message) { String key chat:history: sessionId; redisTemplate.opsForList().rightPush(key, message); redisTemplate.expire(key, sessionTtl); } Override public void clear(String sessionId) { String key chat:history: sessionId; redisTemplate.delete(key); } }4.3 关键配置application.yml生产级参数清单# LLM基础配置 spring: ai: openai: api-key: ${OPENAI_API_KEY:your-key-here} base-url: https://api.openai.com/v1 chat: options: model: gpt-4o-mini temperature: 0.3 max-tokens: 2048 top-p: 0.9 frequency-penalty: 0.2 presence-penalty: 0.2 # 连接池与超时 http: client: connect-timeout: 10000 read-timeout: 60000 max-connections: 200 max-connections-per-route: 50 # Resilience4j熔断器 resilience4j: circuitbreaker: instances: default: failure-rate-threshold: 50 minimum-number-of-calls: 10 automatic-transition-from-open-to-half-open-enabled: true wait-duration-in-open-state: 60000 permitted-number-of-calls-in-half-open-state: 5 ratelimiter: instances: llm-rate-limiter: limit-for-period: 5 limit-refresh-period: 1s timeout-duration: 5000 # Redis会话存储 spring: redis: host: ${REDIS_HOST:localhost} port: ${REDIS_PORT:6379} password: ${REDIS_PASSWORD:} timeout: 2000 lettuce: pool: max-active: 32 max-idle: 16 min-idle: 0 max-wait: 10000 # 日志脱敏关键 logging: level: org.springframework.ai: DEBUG com.yourcompany.agent: INFO pattern: console: %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n # 敏感字段过滤 custom: sensitive-fields: [api-key, session_id, file_id]注意sensitive-fields是自研日志过滤器确保OPENAI_API_KEY等密钥不会泄露到日志文件。我们曾因未配置此项在某次灰度发布中将API Key明文打印到Kibana紧急回滚耗时47分钟。5. 常见问题与排查技巧实录5.1 典型问题速查表问题现象根本原因排查命令/步骤解决方案LLM调用始终返回401 UnauthorizedOPENAI_API_KEY环境变量未正确注入或Key已过期curl -H Authorization: Bearer $OPENAI_API_KEY https://api.openai.com/v1/models检查Docker容器env | grep OPENAI确认Key未被Shell截断含特殊字符需加引号Tool调用后返回null无任何错误日志Jackson反序列化失败但JsonIgnoreProperties(ignoreUnknown true)未启用在application.yml添加spring.jackson.deserialization.fail-on-unknown-propertiesfalse在ObjectMapperBean定义中显式配置configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false)SSE流式响应在Chrome中中断报net::ERR_INCOMPLETE_CHUNKED_ENCODING使用了spring-boot-starter-web而非webfluxServlet容器不支持长连接ps aux | grep java | grep -E (webwebflux)Redis会话历史加载为空但redis-cli KEYS chat:*能查到keyRedisTemplate的keySerializer未设置为StringRedisSerializer导致key编码不一致redis-cli --scan --pattern chat:* | xargs -I {} redis-cli TYPE {}在RedisConfig中显式配置redisTemplate.setKeySerializer(new StringRedisSerializer())Ollama本地模型响应极慢30秒CPU占用率不足10%Ollama默认使用CPU推理未启用GPU加速ollama list查看模型是否标记gpunvidia-smi确认驱动正常执行OLLAMA_NUM_GPU1 ollama run llama3:8b或在application.yml中配置spring.ai.ollama.options.num-gpu: 15.2 独家避坑技巧来自17个项目的血泪总结技巧一永远用Valid校验Tool Input别信LLM的JSON格式LLM返回的JSON看似规范实则充满陷阱字段名大小写混用fileIdvsfile_id、数值类型错乱page_range: 1,5字符串而非数组、缺失必填字段。我们在PdfParserInput上加Valid后配合NotNull、Size(max100)等约束让校验失败直接返回400避免错误流入执行层。这比在execute()方法里写if (input.getFileId() null)优雅十倍。技巧二给每个Tool分配独立线程池防止雪崩曾有个项目把所有Tool调用都扔进ForkJoinPool.commonPool()结果PDF解析CPU密集拖垮了微信消息推送IO密集。解决方案是为每个Tool定制线程池Bean Qualifier(pdfParserExecutor) public Executor pdfParserExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(4); executor.setMaxPoolSize(8); executor.setQueueCapacity(100); executor.setThreadNamePrefix(pdf-parser-); executor.initialize(); return executor; }调用时taskExecutor.execute(() - tool.execute(input))。这样PDF解析慢不影响其他功能。技巧三用EventListener捕获ChatModelRequestEvent实现Prompt审计Spring AI 0.8.1提供了ChatModelRequestEvent事件监听它就能拿到原始PromptEventListener public void onChatRequest(ChatModelRequestEvent event) { String prompt event.getRequest().getSystem() \n event.getRequest().getUser() \n event.getRequest().getHistory().stream() .map(m - m.getRole() : m.getContent()) .collect(Collectors.joining(\n)); log.info(PROMPT_AUDIT|{}|{}, event.getModel(), prompt.length()); }上线后我们发现32%的用户提问包含“请用中文回答”但Prompt里没写导致LLM返回英文。立即在系统Prompt末尾追加“请始终用中文回复”准确率提升至98.7%。技巧四Scheduled定时清理过期会话别依赖Redis TTLRedis的EXPIRE是惰性删除大量过期key堆积会导致内存暴涨。我们增加定时任务Scheduled(fixedRate 300000) // 每5分钟执行 public void cleanupExpiredSessions() { Long count redisTemplate.execute((RedisCallbackLong) connection - { ScanOptions options ScanOptions.scanOptions() .match(chat:history:*) .count(1000) .build(); Cursorbyte[] cursor connection.scan(options); long deleted 0; while (cursor.hasNext()) { byte[] key cursor.next(); if (redisTemplate.getExpire(key) 0) { // 已过期 redisTemplate.delete(key); deleted; } } return deleted; }); log.info(Cleaned {} expired chat sessions, count); }5.3 性能压测实录单节点支撑200 QPS的调优清单我们用JMeter对合同比对Agent进行压测目标单台4C8G服务器支撑200 QPSP95延迟1500ms。初始结果惨不忍睹P95达4200ms错误率12%。通过以下调优达成目标调优项1Ollama客户端连接复用默认OllamaChatClient每次请求新建HttpClient创建连接耗时占总延迟35%。改为单例HttpClientBean Scope(ConfigurableBeanFactory.SCOPE_SINGLETON) public HttpClient httpClient() { return HttpClient.newBuilder() .connectTimeout(Duration.ofSeconds(5)) .build(); }调优项2Redis Pipeline批量操作会话历史读取原为N次GET改为Pipelinepublic ListChatMessage loadHistory(String sessionId) { String key chat:history: sessionId;