2024年我花了大半个月把市面上能碰到的text-to-cad项目都翻了一遍。这个方向跟我之前接触的“文本生成3D模型”完全不一样——它不是为了生成一个好看的渲染网格而是要让机器直接产出能编辑、能出工程图、能进CNC或3D打印机的CAD模型。对真正干活的人来说这两件事的难度差距就像“按菜谱把食材摆盘”和“把一道菜真正做出来”那么大。这篇文章我会按自己的实操经历来写先聊text-to-cad为什么会在最近集中爆发再把我梳理过的几条技术路线摆出来对比然后带你完整跑一遍开源项目把一句自然语言变成可编辑的STEP文件最后聊聊生成结果的修复、清洗以及这个方向落地时绕不开的那些坎。适合3D打印玩家、机械工程师、产品设计师还有对AI辅助设计好奇但还没上手的人。1. 从“文生3D”到“文生CAD”这中间差的不只是精度1.1 大部分人容易混淆的概念网格模型和CAD实体模型现在说到“AI生成3D模型”大家最熟悉的场景是输入一句“一只踩着滑板的柴犬”模型就吐出带纹理的网格mesh保存成OBJ或者GLB往游戏引擎或者渲染软件里一扔就完事了。这类模型表面看着再精细本质上只是一层“皮”——一堆三角形顶点和面片拼出来的外轮廓没有厚度、没有材质参数、没有内部结构更没有一个可回退的特征历史。CAD模型则是另外一套东西。它背后是实体几何solid geometry有完整的边界表示B-rep有建模历史树每个台阶、每个孔、每个倒角都能被选中、改参数、重新计算。你把一个STEP文件丢给加工厂人家能直接根据它编程、选刀具、开干你把一个OBJ丢过去对方大概率只会回你一句“这个没法加工你发个STEP。”text-to-cad想解决的就是这个跨度让AI不只是“捏一个形状”而是“按工程语言把特征搭起来”。这也是为什么网上那些炫酷的AI生成视频看着好玩但真把产物拿进SolidWorks、FreeCAD里一检查立刻见真章。1.2 text-to-cad本质上是“描述-约束-特征”的三元映射我自己的理解是text-to-cad的核心难点可以拆成三个环节描述Description用户说“一个M10六角头螺栓”这句话背后是GB/T或ISO标准里一整套尺寸表——对边距多少、头厚多少、螺纹长度怎么标。约束Constraint工程语言天然带约束位置关系居中、阵列、对称、尺寸关系等距、配合公差、制造约束最小壁厚、脱模斜度、倒角避免应力集中。特征FeatureCAD建模不是素描它是一串有序操作先画草图、再拉伸、再打孔、再阵列、再倒角。特征顺序错了整个零件就废了。以前的生成式AI擅长第一项“描述”比如按文字生成图片但做CAD需要同时拿捏三项。这也是为什么单纯把文本生成3D模型那套办法搬过来放到工业场景里基本跑不通。我见过不少团队拿扩散模型直接出STL结果每个模型都“像那么回事”但没一个能进装配体——螺纹孔位置偏心、安装面不平行、壁厚只有0.3毫米一看就是没理解工程约束。1.3 为什么这个方向在最近一两年突然集中爆发这里有几个推力是叠在一起的。第一CLIP这类图文对齐模型和扩散模型解决了“从文字到粗粒度三维形状”的问题至少让机器有了空间概念。第二大语言模型LLM的代码能力突飞猛进让“把描述翻译成参数化建模脚本”第一次变得可行——CAD模型本质上就是一串程序化的特征操作这个逻辑和写代码天然合拍。第三像Text2CAD这类开源数据集陆续放出来总算解决了部分训练数据短缺的问题学术界和社区都能上手了。第四Zoo、Autodesk这些公司下场做demo和商业化产品把“text-to-cad”这个关键词的热度一下子推高。最近在技术社区里刷到这个词的频率明显变高了。我相信热度背后不只是概念炒作而是真的有一批用户——尤其是3D打印玩家和小型制造商——在寻找“我说一句话你把我想要的标准件/外壳/支架做出来”的路径。这个需求以前只能靠建模师手搓现在终于出现了自动化苗头。2. 主流的text-to-cad方案走一遍四条技术路线对决2.1 扩散生成路线先有形状再谈参数化代表项目OpenAI的Point-E、Shape-E学术界的Text2Mesh以及一堆直接输出网格/点云的工具包括一些商用文生3D平台。这些方案的好处是“出活快、看着像”输入一句话几分钟就能拿到一个带纹理的网格。坏处也很直接输出不是实体模型参数化信息为零导入CAD后基本无法编辑。你拿到一个“看起来像扳手”的网格但真要量尺寸、改开口宽度、调整厚度就得先逆向建模。我做过一次测试拿Shape-E生成一个简单的“支架”转成STEP后模型体积直接塌陷修复花的时间比自己重画还长。结论这条路线适合游戏资产、视觉预览、快速灵感参考不适合工程交付。如果目标是最终能加工的CAD扩散路线只能当“前端草稿本”。2.2 LLM 程序化建模路线Zoo Text-to-CAD这类方法的原理这是我个人最看好的路线也是目前社区里“text-to-cad”讨论度最高的实现方式。以Zoo开源的Text-to-CAD项目为代表它的思路其实很直白用大语言模型把用户的自然语言指令翻译成CadQuery代码Python库底层基于OpenCASCADE。代码在本地或云端执行CadQuery按脚本里的特征操作构建实体。最终导出一个真正的STEP文件带有完整的B-rep几何和参数化历史。这个思路妙在“不直接生成几何而是生成构建几何的指令”。CAD本来就是过程化的让模型学习操作序列比让模型直接输出三角网格靠谱得多。实测下来只要文本描述清晰模型能生成出带多个特征的实体零件STEP文件拿进FreeCAD还能继续改尺寸。当然瓶颈同样明显模型生成的代码偶尔会跑不通或是特征逻辑与用户本意有偏差一个复杂装配体涉及几十个零件LLM的代码上下文很快会撑爆。但比起扩散路线的“奴性不可变”这条路至少给了工程师一条“AI起草、人来改”的协作路径。2.3 学术路线Text2CAD、CAD-GPT与监督数据集学术圈在这件事上极其活跃。最有名的当属2024年的Text2CAD工作论文标题直接就叫《Text2CAD: Generating Sequential CAD Designs from Beginner-to-Advanced Level Text Prompts》。作者团队做了一个包含约14万个“自然语言指令-CAD模型”配对的数据集把CAD建模分解成草图中的线段、圆弧、圆等图元再用语言模型逐段生成2D草图然后通过扫掠sweep和拉伸extrude构建出3D实体。这条学术路线的意义在于它把问题定义清楚了——生成的结果不应该是像素或网格而应该是一串可复现的建模操作。评测时不光看几何像不像还会看生成的CAD程序在标准数据集上的重建准确率。此外还有不少以“CAD-GPT”命名的开源Demo比如Hugging Face社区里的一些项目利用LLM直接生成可执行的建模脚本。这些项目大多处于“能跑通示例但离生产还远”的状态不过作为学习材料特别值适合想彻底搞懂内部机制的读者。2.4 商业插件与嵌入路线AI辅助而非完全替代Autodesk、PTC、Onshape这些CAD大厂也在悄悄布局。方向通常不是“一步生成整个零件”而是“AI辅助其中一个环节”用自然语言过滤标准件库、根据文字描述建议特征类型、在草图阶段约束求解时提供候选方案或者在装配环境里做语义搜索。专做程序化建模的CadQuery/OpenSCAD社区也在尝试接LLM让用户“说出想法生成可二次编辑的脚本”。我的判断是最终能落地的形态大概率不是“输入一句需求CAD里瞬间出现一个完美零件”而是“AI先把特征框架搭好工程师负责确认约束和细节”。工业场景的容错率太低全自动生成很难被老师傅接受但“AI给个初稿”这件事绝大多数工程师都愿意试试。3. 跟着我跑一遍把一句话变成可编辑STEP文件3.1 环境准备选择入口和确认依赖先说结论如果你要本地复现我建议从LLM生成CadQuery脚本这个路线入手不要一上来就碰扩散模型甚至训练。原因很简单这个路线链路短、问题可定位而且产物是标准的STEP你能直观对比“生成的模型”和“想要的模型”之间差在哪。我以类似Zoo Text-to-CAD的开源实现为例整理环境清单Python 3.10以上建议直接用conda新建环境避免依赖冲突。CadQuery库这是核心依赖负责把脚本变成实体。安装时注意OpenCASCADE编译版本容易出问题建议直接用预编译的wheel包。一个可调用的大语言模型接口。你有三个选择调用商业API效果好、省事本地部署开源模型隐私好、免费但对显卡要求高或者先用现成的在线Demo跑通流程再考虑本地化。可视化预览可以装一个CQ-editor或者直接在FreeCAD里导入STEP。实测过程中最大的坑反而是Python环境。CadQuery和OpenCASCADE有几个版本组合不兼容安装完一导入就报dll错误看起来像环境坏了其实是版本没对齐。建议固定使用最新的稳定版组合不要混装beta。3.2 从文本输入到STEP输出的完整链路拆解整个生成链路其实只有四步理解这四步后面调试才能有的放矢构造System和User提示词把用户需求喂给LLM。这个环节决定了模型“听没听懂”。LLM返回CadQuery代码。大部分开源模型会顺着你的System提示词写代码但偶尔会“自由发挥”——比如加了一段无关的渲染或者引入了未定义的变量。本地执行这段代码CadQuery根据代码里的拉伸、打孔、倒角操作构建出实体模型。调用cq.exporters.export()导出STEP文件再用FreeCAD或专业CAD检查。整个链路里最值得调试的其实是第1步和第3步提示词构造决定语义是否准确代码执行决定几何能否生成。如果模型返回的代码跑不通最常见的报错是CadQuery API使用错误——比如把旧版的box(size)写法混进新版或是布尔操作两实体没有相交导致difference失败。3.3 Prompt写作技巧实测下来影响最大的几个点我在反复实验后发现同样的模型输入“做一个托盘”和输入下面这段描述成功率差距是天壤之别生成一个长度为40毫米、宽度为30毫米、高度为8毫米的平底托盘。底部四角分别设计一个半径为3毫米的螺丝通孔孔心距离相邻边缘5毫米。托盘四壁厚度2毫米外壁四周添加半径1毫米的倒角。差别在哪我总结了几条核心经验单位必须明确。模型默认会用毫米但你不写单位他可能按英寸或比例尺乱标。对齐单位是第一批要干的事。几何参数要完整。长度、宽度、高度、厚度、孔径、倒角能写清楚就写清楚。你不给模型就会替你做决定十个里有八个不符合预期。特征顺序要按建模逻辑排。先底座再孔再倒角这个顺序不能乱。我曾经把“先倒角再打孔”写进Prompt生成的代码直接让倒角把孔口破坏了。语义要收敛。避免“好看一点”“常见设计”“大致均匀”这类模糊词尽量换成“四角均布”“间距8毫米”“对称布置”这类能落地的指令。给系统提示词加护栏。明确要求模型“只输出可执行的CadQuery代码不要加解释”否则模型经常会在代码里穿插中文注释或者干脆先输出一段“以下是实现代码”。这条经验几乎是通用的text-to-cad本质上是约束求解你给的约束越完整结果越接近工程可用。3.4 常见报错与调试思路别指望一次跑通本地跑这类项目报错是常态。我整理一下出现频率最高的几类报错类型典型表现排查方向语法错误CadQuery API拼写不对、参数缺失查模型输出日志看是不是被截断或者模型用了旧版语法布尔操作失败Difference后实体为空检查两个实体是否真的相交坐标位置是否如预期非流形实体导入FreeCAD后几何检查报错用ShapeFix或FreeCAD的Part Check Geometry修复单位/坐标系错误模型尺寸明显偏大或偏小检查Prompt里是否写了单位坐标系原点是否被模型随意平移我的调试习惯是第一优先级看LLM生成的代码里有没有“擅自发挥”。很多问题不是代码跑不通而是代码跑通了但逻辑和用户需求不符比如把“四个孔”做成了“阵列六个孔”。第二优先级才是看CadQuery报错。如果你在Prompt里要求“一次只生成一个零件先底座后细节”错误率会肉眼可见地下降。如果你刚开始接触text-to-cad我的建议是大量使用现成的开源Demo和在线Playground体验流程先把“描述-生成-导入-检查”这个闭环跑顺再考虑本地部署。自己折腾环境虽然能学到不少但第一周大概率会浪费在依赖安装和版本兼容上。4. 模型“生成出来”只是开始清洗、修复与导入CAD的实操4.1 网格产物和实体产物后续流程完全不同凡是最终输出STL/OBJ的方案进工程流程之前都逃不掉逆向建模这道坎。网格只是一层表面没有实体体积信息导入CAD后连最简单的“挖一个通孔”都做不了因为根本没有可操作的实体特征。我建议你把输出目标尽量对准STEP这类B-rep格式。STEP文件进CAD后至少还能检查几何、测量尺寸、标记固定约束位甚至在某些软件里可以重新编辑历史树。如果手里只有网格那么第一步永远是“网格清洗”而不是“直接转实体”。4.2 我常用的三种修复套路网格转曲面如果网格质量还可以用Blender的QuadRemesh把三角网格重建成四边面再导出到Rhino或者FreeCAD的Part模块转NURBS曲面。这个流程对简单零件成功率尚可但对复杂有机形状基本没戏。B-rep修复如果已经在STEP阶段用OpenCASCADE的ShapeFix工具或者FreeCAD里“Part Workbench → Check Geometry”功能检查修复。常见问题是微小的面间隙、重叠边、非流形顶点通常按一键修复能救回来大半。重新建模我现在的默认策略其实是“修两次不行就重画”。很多AI生成零件的尺寸和特征槽点太多修复的功夫足够用CadQuery手写一遍了。AI的作用是给你提供草图和灵感而不是直接交付终版。你可能会觉得“那这不是没用吗”但我实际用下来AI生成最值钱的部分在于它把“从零到初稿”的时间压缩到了几分钟尤其适合标准法兰、支架、外壳这类结构相对固定的零件。你花五分钟改参数比你从空白草图开始磨一个小时要高效得多。4.3 导入CAD全流程的避坑清单我按自己踩过的坑给你整理一份清单导入前逐条检查单位是否统一STEP默认毫米但不少开源项目输出的是英寸或任意单位。导入后第一步就测量尺寸和Prompt里的设计值对一遍差了25.4倍就是单位错了。面朝向是否一致有些网格转STL时法线混乱切片软件里看起来破洞百出。用FreeCAD的网格检查工具把法线全部朝外。实体是否空心扩散模型输出常出现“只有外壳、没有填充”的情况。转STEP后测量体积如果体积异常小基本就是壳体而非实体需要补厚度。倒角和圆角的延续性AI生成的倒角经常在接口处断开肉眼看着还行加工时刀具路径会出问题。逐条检查圆角链的连续性别漏。装配干涉如果生成的是配对零件比如“可以套在20mm管路上的盖子”务必在装配环境里检查干涉。AI对配合间隙的理解很差经常做成零间隙或过盈几十丝的“死配合”。这一步我称之为“设计意图的补完”。无论AI多强它目前都没有真实制造经验。你作为工程师得把“能生成”和“能用”之间最后一公里补齐。5. 精度、数据集与评测为什么“看起来很像”永远不等于“能用”5.1 误差有三个层次别只盯着几何误差几何误差尺寸偏差0.5毫米孔位偏了0.2毫米。这是最浅层的误差肉眼和测量工具都能发现。语义误差你说“四角均布”模型理解成“四边一字排开”。文字表达的歧义传到几何层面就变成完全不同的零件。这种误差比尺寸偏差更致命因为不仔细看根本发现不了。约束误差缺少最小壁厚、缺少脱模斜度、缺少圆角。这种误差一旦进入制造环节就是废品——注塑脱不了模、铣削断刀、应力集中处开裂。这是我把text-to-cad归类为“难点远高于文生图”的原因。文生图错了最多“不像”大不了重新抽卡CAD模型错了是实打实的物料和时间损失。5.2 数据集解决了什么没解决什么Text2CAD这类开源数据集解决了初始阶段的最大痛点没有对齐的“文本-CAD”训练对。它把万人标注和程序合成的数据整理成可用于训练的格式让学术团队和独立开发者有了共同起跑线。但真实工业场景的数据缺口依然明显。公开数据集中在简单的机械零件、支架、外壳多实体装配体、钣金件、模具结构这些工业高频场景覆盖极差。中文指令标注也少很多开源模型对“给我一个带四个M5螺纹孔的法兰”这种混合了中文和公制标准的指令处理起来明显吃力。如果未来有团队专门做高密度、多语种、含加工约束的CAD指令数据集这方向的价值可能比模型本身还大。5.3 评测指标一个还没定论的问题但工程师心里有杆秤学术界的标准评测经常用“生成草图与参考草图的Dice相似度和Chamfer距离”靠几何重叠度打分。但工程师在乎的根本不是形状像不像而是加工可行性和装配配合度这个孔的位置能不能对准对接件这个壁厚能不能满足强度这个公差标注能不能指导生产所以当我评估一个text-to-cad项目时我给自己定的标准很简单生成的结果能不能放进装配体而不干涉能不能被CAM软件识别出加工特征能不能在改尺寸后保持设计意图。通不过这三条哪怕相似度满分我都会把它当玩具看。5.4 想在企业里落地还有几道明显的坎企业内部部署时最现实的问题是模型数据放在哪。很多公司不想把图纸和设计意图发到外部API所以私有化部署和轻量化本地模型是个硬需求。其次是安全性划分AI生成的模型出了问题谁负责最后是流程适配现在设计师的肌肉记忆、快捷键和图层规范全都建立在传统CAD流程上让老师傅突然改用“和AI对话”的方式干活阻力不小。这些坎不会因为模型能力提升自动消失。工具链、权限、规范和信任体系得一起演进。这也是为什么我判断纯“全自动text-to-cad”短期内很难取代传统CAD工作流。6. 我对text-to-cad未来两年的判断与自己的使用心得6.1 短期看最快的落地形态是“AI起草工程师改参数”从我自己跑通流程的感受来说最现实的用法不是“给出最终图纸”而是让AI在十分钟内把特征树先搭出来先有底座、再拉伸、打孔、倒角、阵列。模型生成的代码即使只对一半剩下的手动修改也比重头开始快很多。我目前实际在做的是把过去画过的标准件整理成Prompt模板比如“法兰-四孔-中心通孔-标注壁厚”这类骨架需要变体时只改参数再让模型生成。这套方式已经让我在重复性零件设计上省下了不少时间。6.2 长期看比模型能力更值得关注的是交互范式变化CAD一直被诟病为“学习曲线陡峭的工具”很多有想法的人被拦在了软件操作门外。text-to-cad最深远的影响可能是把建模门槛从“看得懂工具栏”拉低到“说得清需求”。未来两三年的CAD交互大概率会是“自然语言草图批注参数面板”的混合形态而不是纯对话框因为很多形状细节光靠语言根本描述不清楚。6.3 给你几个练手建议从哪些项目开始最划算如果你也想入坑我建议按这个顺序来先玩Zoo的在线Text-to-CAD体验“输入一句话→拿到STEP”的完整流程别管细节感受一下。再把Text2CAD的论文和数据集翻一遍明白学术界是怎么定义和评估这个问题的这能帮你建立对“生成质量”的正确认知。最后本地装一个CadQuery环境自己手写一个简单零件的建模脚本理解特征操作的顺序感。你只有先懂CadQuery才能看懂LLM写出的脚本错在哪。我自己到现在每个周末还会拿几个真实零件来做测试比如“带四孔安装座”“管道支架”“简易外壳”顺手记录下成功率。目前整体成功率大概四成左右复杂零件更低但出错的时候反而是学到最多的时候——你可以清楚地看到AI在理解“约束”和“特征顺序”上还差在哪。如果你也打算试我建议你从手边一个不太复杂的真实零件开始不要上来就生成一个发动机模型。花半天时间把一个简单支架从Prompt到STEP到加工件完整走一遍那个过程的价值比网上那些炫酷的演示视频大得多。等你亲手把AI生成的模型导入到CAD里、完成修改、看着它变成实物的时候你对这个方向的技术边界会有一个非常准确的判断。