文章主要内容总结本文介绍了首个针对电子设计自动化（EDA）领域多模态大语言模型（MLLMs）的综合基准测试集——MMCircuitEval，旨在全面评估MLLMs在电路设计各阶段的性能。该基准包含3614个精心筛选的问答对，覆盖数字和模拟电路的关键EDA阶段（基础知识、设计规范、前端设计、后端设计），数据来源于教科书、技术题库、数据手册及真实文档，并经过专家审核确保准确性。通过对现有主流LLM的评估发现：现有模型在电路设计任务中表现存在显著差距，尤其在后端设计和复杂计算任务中表现不佳；多模态模型在处理电路相关图像时性能常低于纯文本模型；针对性训练（如ChipExpert）可有效提升模型在特定领域的表现。此外，文章探讨了改进方向，如优化图像处理策略、增加高质量电路数据训练、采用思维链（CoT）推理等。创新点首个多模态电路设计基准：首次覆盖EDA全流程（从基础知识到前后端设计），同时支持数字和模拟电路评估，填补了现有基准范围狭窄的空白。精细化分类体系：按设计阶段、电路类型、测试能力（知识、理解、推理、计算）、难度等级等多维度对问题分类，可深入分析模型的优势与局限。高质量数据与严格审核：数据来源多样（含真实产品文档），经领域专家手动审核，确保准确性和技术深度，且包含文本和多模态问题（占比41.6%）。综合评估方法：结合BLEU、ROUGE、嵌入余弦相似度及GPT偏好度等指标，全面衡量模型输出
`)
