资讯动态

CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation

发布时间:2026/10/20 19:35:14 来源:尧图企业网站定制
文章主要内容总结本文提出了首个用于评估大型语言模型(LLMs)生成跨编程语言(CPL)互操作代码能力的基准——CrossPL。该基准围绕进程间通信(IPC)构建,包含1982个任务,覆盖6种主流编程语言(Java、Python、JavaScript等)和7种典型IPC技术(HTTP、TCP、gRPC等)。为构建CrossPL,作者通过以下步骤实现:分析19169个多语言GitHub仓库,使用156个手工设计的有限状态机(FSMs)识别真实世界中的IPC模式;开发基于LLM的自动化管道,用于提取CPL代码片段、生成任务指令并验证功能正确性;对20个代表性LLMs(包括14个通用模型和6个代码专用模型)进行评估,采用FSM-based验证方法。评估结果显示,即使表现最佳的模型在CPL场景下也存在明显不足,且在不同编程语言和IPC技术上的性能差异显著。研究揭示了现有LLMs在跨语言代码生成中的局限性,强调了针对性优化的必要性。创新点首个专注于CPL互操作代码的基准:CrossPL是首个系统性评估LLMs生成跨编程语言IPC代码能力的基准,填补了现有研究空白。基于FSM的接口表征:基于官方IPC技术规范设计156个FSMs,精确捕捉不同IPC场景的状态转换逻辑,为代码检测和验证提供结构化工具。自动化基准构建流程:开发基于LLM的自动工作流,实现代码片段提取、任务指令生成和验

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑