简介视觉语言动作模型VLA的轻量代码包面向自动驾驶、机器人及多模态 AI 方向的学习者帮助快速理解 VLA 如何把视觉编码、语义理解和动作决策连成一体。包内共 3 个文件、大小仅 7KB包含 HTML 页面、Git 忽略规则配置和 inscode 工程文件虽小巧但覆盖了从页面展示到云端运行入口的基本链路。目前已有 378 人学习。对照 index.html 与 .inscode 配置可识别视觉编码器、语言模型与策略模块三层结构并结合 RT-2、Nvidia GR00T N1、FigureAI Helix 等真实项目梳理实现脉络配合 .gitignore 的版本管理习惯后续可在本地或 inscode 环境继续调试快速切入具身智能与自动驾驶的应用实践。1. 视觉语言动作模型VLA到底是什么先弄懂它在解决什么问题你给机械臂一句“把那颗红色方块抓到蓝色盒子里”再给它一帧摄像头画面它能不能直接把手伸过去传统做法是先跑物体检测、抓取位姿估计、轨迹规划中间任何一个模型出错最后的动作就废了。视觉语言动作模型VLA想做的事很简单把“看、听、做”揉成一个模型输入图像和语言指令直接输出动作。它不承诺比传统方案更准但省掉了大量手工串联的接口也更容易从人机交互的数据里学到新行为。我见过不少人对VLA有误解觉得它就是一个多模态大模型加一个回归头把动作当作下一个 token 输出来。真正动手跑过才知道数据怎么包装、动作空间怎么定义、部署时推理频率够不够这些才是决定项目能不能落地的命门。这篇文章会带你从最小示例开始把模型选型、动作空间、部署接口和踩坑点一路讲完适合准备做机器人操作、仿真验证或者想评估VLA方案能不能引入到自家系统的开发者看。别急着搭大模型先把数据格式和闭环验证想清楚钱和精力就都不会白花。2. 跑通一个VLA最小示例从数据、模型到训练推理2.1 数据把“看、听、做”打包成一条样本VLA训练数据的基本单位是三元组一张图像、一句指令、一组动作。实际操作中最常见的数据载体是 HDF5 文件一帧存一个 key。一个机械臂抓取任务的数据集里我一般会这样组织# 保存 VLA 训练样本的 HDF5 结构示例 import h5py import numpy as np with h5py.File(episode_001.h5, w) as f: # 图像形状 (H, W, 3) 或 (T, H, W, 3)T 为当前这一步的历史帧数 f.create_dataset(image, datanp.zeros((3, 224, 224, 3), dtypenp.uint8)) # 指令一条自然语言字符串 f.create_dataset(instruction, data把那颗红色方块抓到蓝色盒子里) # 动作机械臂末端位姿的 6 维向量位置3维 欧拉角3维 f.create_dataset(action, datanp.zeros((3, 6), dtypenp.float32)) # 可选的掩码哪些动作维度在当前步有效 f.create_dataset(action_mask, datanp.ones((3, 6), dtypenp.uint8))这里的image为什么留了三帧因为单张静态图很难表达“物体正在被夹爪推动”这类动态信息。常见做法是连续采 3 到 5 帧让模型从帧间变化里感知运动趋势。action是每一步要执行的动作如果是增量控制存的是“这一步相对上一步的位移”如果是绝对控制存的是“当前目标位姿”。我在项目里更推荐存增量因为真实示教数据里的绝对位置容易受初始摆位影响模型学了也泛化不动。保存时顺手加上action_mask对末端夹爪开合这类离散维度特别有用。数据量上单任务想要做闭环验证最少也要几百条示教轨迹如果想看到它在新摆位下还能成功几千条才够看。很多人忽略的是数据清洗指令和动作长度不匹配、图像模糊、指令写错字都会直接拉低微调效果。我一般先写脚本统计每条轨迹的长度分布把明显异常的样本过滤掉再导入训练。2.2 模型别从零搭建站在开源基座上微调VLA 的完整结构通常是三块视觉编码器把图像变成视觉 token语言模型把指令和视觉 token 融合成上下文动作头把最后隐藏状态映射成动作向量或离散动作 token。自己从零训练等于同时解决视觉理解、语言对齐和动作生成三个问题需要的数据和算力远超团队预期。所以我的建议是找一个开源 VLA 基座用 LoRA 微调自己的任务数据。# 加载开源 VLA 基座并添加 LoRA 适配示意接口 from transformers import AutoProcessor, AutoModelForVisionLanguageAction # 权重路径可以是本地下载好的目录避免每次都从远端拉 model_dir ./models/vla_base_v1 processor AutoProcessor.from_pretrained(model_dir) model AutoModelForVisionLanguageAction.from_pretrained(model_dir) # 给语言塔和动作塔分别挂 LoRA视觉塔默认冻结 from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, # LoRA 秩任务数据多可以加大到 32 lora_alpha32, # 缩放系数一般取 r 的 2 倍 target_modules[q_proj, v_proj, action_head], lora_dropout0.1, ) model get_peft_model(model, lora_config)注意我用了AutoModelForVisionLanguageAction这种示意类名不同项目的接口不完全一样但思路是通用的视觉塔承担底层特征提取预训练知识已经很丰富微调它性价比低真正需要拟合的是“指令→动作”的任务语义所以重点微调语言塔的注意力层和动作头。LoRA 的 r 值数据量几百条时 16 就够数据多了再提到 32r 设太大会过拟合设太小又学不到任务差异。视觉塔冻结除非你的图像域和预训练差异巨大比如红外图。语言塔LoRA 微调目标是学会对指令里的关键动作词敏感。动作头全量微调或者 LoRA 都行但分类头如果输出的是离散动作 token学习率要比语言塔低一个数量级否则动作抖动很明显。2.3 训练用 LoRA 把微调成本压到单卡能跑加载好模型之后训练循环本身并不复杂反而容易因为超参没调好而白跑。下面是我常用的训练脚本核心段from torch.utils.data import DataLoader from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR # 自定义 Dataset 负责读取 hdf5 并做预处理 dataset VLAEpisodeDataset(./data/episodes_*.h5) dataloader DataLoader(dataset, batch_size4, shuffleTrue, num_workers4) optimizer AdamW(model.parameters(), lr5e-4, weight_decay0.05) # 只训练 LoRA 参数节省显存 trainable_params [p for p in model.parameters() if p.requires_grad] optimizer AdamW(trainable_params, lr5e-4) scheduler CosineAnnealingLR(optimizer, T_max3000) for step, batch in enumerate(dataloader): pixel_values batch[pixel_values].cuda() instruction batch[instruction] actions batch[actions].cuda() masks batch[action_mask].cuda() # 前向模型根据图像指令预测动作分布 outputs model(pixel_valuespixel_values, input_textinstruction, labelsactions) # 对动作 token 做交叉熵对连续动作做 L1 损失 loss outputs.loss loss.backward() # 梯度裁剪动作头容易爆炸 torch.nn.utils.clip_grad_norm_(trainable_params, 1.0) optimizer.step() scheduler.step() optimizer.zero_grad() if step % 200 0: print(fstep {step}, loss {loss.item():.4f})两个细节值得说。第一优化器只接收requires_gradTrue的参数这样 LoRA 之外的大块权重不会被更新显存和训练时间都能省一半以上。第二梯度裁剪阈值 1.0 是我调出来比较稳的值动作分类头的 logit 动辄几十上百不裁剪一个 batch 就能让 loss 冲到 NaN。CosineAnnealingLR配合 3000 步基本够用如果你的数据量小也可以换linear衰减。训练时我习惯每 500 步存一次 checkpoint并且同时存 LoRA 权重和 processor 配置文件。因为一旦训练中途报错不用从头再来。练完后输出的是一个 LoRA 适配器完整模型权重还留在基座目录里部署时只需要合并一次权重很方便。2.4 推理给模型一张图、一句话拿到动作训练完的模型在推理阶段要做两件事用 processor 把原始图像和指令变成模型输入再把模型输出变成机器人能执行的动作。这一步别想当然图像缩放、归一化、指令 token 长度都要和训练时保持一致。from PIL import Image import numpy as np def predict_action(model, processor, image_path, instruction, devicecuda): # 读图并预处理尺寸和训练时一致 image Image.open(image_path).convert(RGB) inputs processor( imagesimage, textinstruction, return_tensorspt, paddingTrue, truncationTrue, ).to(device) # 推理时关掉随机采样动作输出才稳定 with torch.inference_mode(): outputs model(**inputs) # 连续动作直接取均值离散动作取 argmax 后反查 token 表 if hasattr(outputs, action_logits): action torch.argmax(outputs.action_logits, dim-1).cpu().numpy() else: action outputs.pred_actions.squeeze(0).cpu().numpy() return action # 一个典型的调用 action predict_action(model, processor, camera_frame_0001.jpg, 把那颗红色方块抓到蓝色盒子里) print(f预测动作{action})这里processor是预训练配套的它内部会做 resize 和归一化。如果换成自己写的预处理像素范围从[0,1]变成[-1,1]模型输出立刻偏掉。动作部分连续向量可以直接作为速度或者位置增量发送给机械臂控制器离散 token 则需要一张“token id → 动作标签”的映射表这个表在训练数据里就要定好推理时从配置加载。另外推理速度很关键一个 7B 规模的语言塔在单卡上可能只有 5-10 Hz而真机控制通常要 20 Hz 以上这个话题后面展开谈。3. VLA应用的三个关键选择模型基座、动作空间和视觉编码器3.1 模型基座端到端和分层怎么选VLA 的架构路线大致分两类端到端单模型和“大模型低层控制器”的分层方案。端到端的意思是模型直接输出关节角速度或者末端位姿增量分层的做法则是让 VLA 先输出一个短期的运动意图比如“向前移动 5 厘米向左偏 10 度”再由底层的运动规划器把意图变成平滑轨迹。我在一个模拟项目X里对比过两种路线的训练成本。端到端模型需要的数据量大得多因为动作空间里包含大量机器人动力学细节但它的好处是行为更统一换场景只要更新模型。分层方案对视觉语言模型的要求更低即使中间产物不精确底层控制器也能纠正数据量几百条就能看到效果缺点是多了一层接口报错时很难判断是“看错了”还是“走歪了”。如果你有可靠的开源控制栈优先选分层如果团队能稳定采集几千条高质量示教数据再考虑端到端。3.2 动作空间关节角、末端位姿还是“下一步像素”动作空间的选择直接决定了模型要学什么。三种常见定义各有适用场景动作表示维度优点缺点适用场景关节角度6-7直接控制真实机械臂训练稳定不同机器人结构不通用跨平台要重训固定型号真实机械臂末端位姿增量6机器人通用性强采样时便宜长距离移动容易累积漂移机械臂抓取、移动操作二维屏幕坐标2-3适合桌面操作与仿真丢失深度信息复杂场景难用仿真环境快速验证我自己做机械臂抓取默认用末端位姿增量因为大部分示教数据都能从遥操作手柄直接拿到模型输出的 6 维向量包含位置和姿态。但要注意增量输出往往需要每步执行后重新观测等于一个闭环策略。如果你用关节角度务必在同一型号机器人的仿真器里验证否则换一台机械臂就等于换一个任务。把动作表示做成离散 token 输出也能训练但动作 token 的数量和粒度要实验token 太少动作不平滑太多模型容易记不住。3.3 视觉编码器为什么说MobileNetV2这类轻量编码器也能用很多入门者以为 VLA 的视觉部分越大越强于是直接上 ViT-Large结果 7B 语言模型还没怎么动显存先满了。实际项目里视觉编码器选择要优先考虑“预训练分布是否接近你的任务图像”。如果只是桌面摄像头拍的 RGB 图MobileNetV2 这类轻量编码器完全够用它的主干网络输出特征图后再接一层线性投射成视觉 token 即可。# 视觉编码器替换示例用轻量 CNN 代替大 ViT import torch.nn as nn from torchvision.models import mobilenet_v2 class VLACNNEncoder(nn.Module): def __init__(self, embed_dim768): super().__init__() # 去掉 mobilenet_v2 的全局池化和分类层 self.backbone mobilenet_v2(pretrainedTrue).features # 最后一层输出通道数是 1280降到语言模型的隐藏维度 self.proj nn.Conv2d(1280, embed_dim, kernel_size1) def forward(self, x): feat self.backbone(x) # (B, 1280, H, W) tokens self.proj(feat) # (B, 768, H, W) # 展平成 token 序列B, num_tokens, 768 tokens tokens.flatten(2).transpose(1, 2) return tokens这里的关键参数是embed_dim它必须与语言塔的隐藏层大小一致否则后面融合时维度对不上。MobileNetV2 的输出分辨率一般是输入尺寸的 1/32所以如果输入是 224×224特征图就是 7×7展平后有 49 个 token对大语言模型来说负担很小。如果你的任务里物体很小比如抓取螺丝钉建议把输入分辨率提高到 336 或 448同时保持预训练归一化参数不变。替换视觉塔之后原来的加载代码也要相应调整通常需要重新生成 processor 的image_processor部分否则图像缩放逻辑还会按照老编码器来。直接看 MobileNetV2 的官方示例代码可以帮你快速确认最后一层输出通道数我提到这个是想说视觉塔不要盲目求大匹配任务分布才是第一位。4. 从训练到部署把VLA接到真机或仿真环境的接口设计4.1 部署架构模型服务、相机流、机器人控制三件事训练时模型跑在一个独立的训练脚本里部署时则需要把三套流程串起来相机持续推帧、模型服务接收指令并输出动作、控制端把动作转成电机指令。很多人把模型服务和控制端写在一个进程里调试时互相阻塞我吃过这个亏。常见做法是拆成两个 Python 进程模型进程常驻内存控制进程通过本地 socket 或者共享内存通信。# 部署启动脚本示意模型服务 控制端分开跑 python run_vla_server.py --port 50051 --checkpoint ./lora_adapter python run_robot_bridge.py --robot_config ./ur_robot.yaml --server_addr localhost:50051 run_vla_server.py负责加载模型、接收图像和文本、返回动作run_robot_bridge.py负责读相机流、拼装请求、发动作到机器人驱动。分开跑的好处是模型推理偶尔变慢时控制端不会直接卡死还能通过环形缓冲剔除过期的图片帧。通信格式我用 protobuf 或者 JSON 都可以注意包含时间戳否则动作和图像对不上真机表现会“神志不清”。4.2 推理频率与动作平滑把低频动作变成连续运动VLA 模型推理一次可能要 100 到 300 毫秒而机械臂底层控制频率通常是 50Hz 以上。如果每来一帧图像就发一个动作机器人就会一顿一顿。这里有两个常用技巧高频插值和动作缓存。# 动作平滑示例指数滑动平均 class ActionSmoother: def __init__(self, alpha0.4): self.alpha alpha self.smoothed None def __call__(self, new_action): if self.smoothed is None: self.smoothed new_action else: # 平滑系数越大越跟手越小越稳定 self.smoothed self.alpha * new_action (1 - self.alpha) * self.smoothed return self.smoothed smoother ActionSmoother(alpha0.5) while robot_running: target_action predict_action(...) for _ in range(5): smoothed smoother(target_action) robot.set_target(smoothed) time.sleep(0.02) # 50Hz 控制这里的alpha是平滑系数0.5 表示新动作和旧动作各占一半。如果调太高动作会僵硬甚至震荡调太低动作反应慢半拍。实际工程里我还会加一个置信度判断当模型连续两帧输出差距过大时认为可能发生异常暂停执行而不是强推。推理频率方面可以用 TensorRT 或 ONNX 导出语言塔但我通常先不折腾把输入分辨率降到 224 并关闭 batch单卡跑 7B 模型也能勉强到 8-10Hz配合插值就够用了。4.3 用git管理实验代码和权重避免“模型跑通但代码丢了”部署阶段最容易忽视的是版本管理。VLA 项目里一个微调实验可能跑几天最后真正有价值的不是模型权重而是生成这个权重的那份数据配置、训练参数和预处理代码。我习惯在每次训练前用 git 记录一次 clean 状态并把超参写到配置文件里模型权重用 Git LFS 单独管理。# 训练前提交代码训练后提交实验配置 git add train_vla.py data_config.yaml preprocess.py git commit -m feat: 新增红色方块抓取任务训练配置 # 训练后打一个 tag绑定模型输出目录 git tag v0.3-blue-grasp # 推送到远程代码托管平台避免本地磁盘损坏导致历史丢失 git push origin v0.3-blue-grasp很多同学在项目里重命名文件、改函数、调参数跑了十几个版本后想回退到某个效果好的 checkpoint结果代码已经改得面目全非只能重新调参。用 tag 把“哪个配置配哪个权重”对应起来后续复现或者写技术报告会省很多时间。这也是我一直坚持的习惯模型文件可以不进 git但能产生模型的代码和配置一定要进。使用代码补全工具辅助写脚本没问题但它不会替你记录数据来源和实验意图版本信息还是得自己写清楚。5. VLA落地的5条避坑指南现象、原因、解决5.1 数据分布不匹配模型“嘴硬手软”现象是训练 loss 一直下降验证指标也不错一上真机就乱抓好像模型根本没听懂指令。原因往往是训练数据里夹爪与物体的相对位置过于集中比如示教时物体总是在工作台正中央模型学会的是“朝中央伸手”而不是“按颜色找物体”。解决方法是采集数据时随机化物体的初始位置或者对已有的图像做平移、亮度抖动增强。更进一步我可以对每条轨迹采样额外的“负样本”例如故意让夹爪偏到物体旁边再在指令里写“不要抓错”让模型看到失败的情况。5.2 动作输出抖动真机像帕金森现象是模型输出的动作序列相邻两帧变化很大机械臂在高频控制下不停颤动。原因可能是动作头学习率过高或者训练数据里示教动作本身不平滑。解决方法是先调低动作头学习率设置为语言塔的十分之一再对训练数据做低通滤波。如果还是抖就在部署层加指数滑动平均我在上一章写到的ActionSmoother就能解决。注意平滑系数不要超过 0.6否则动作会明显滞后抓取快速度运动物体时反而失败。5.3 语言指令过拟合换个说法就翻车现象是训练时只用了“把那颗红色方块抓到蓝色盒子里”换一句“把红方块放进蓝盒”模型就懵了。原因是指令文本过于单一模型没有学会语义泛化而是记住了固定句式。解决方法是离线增强指令用同义词替换、改变语序、加入干扰词。我一般会在数据加载时随机从模板库里抽一句同义指令比如“红色方块放到蓝色盒子”“蓝盒子里放进红方块”。这样模型学到的是“物体和容器的对应关系”而不是句子表面顺序。验证的时候一定要准备一组没见过的指令变体单独测模型是否真的理解语义。5.4 图像预处理不一致训练和推理两个世界现象是训练时用resize224推理时换了另一个加载库默认resize256同样的指令结果完全不对。原因很隐蔽torchvision 的 Resize 和亲自用 PIL 做 resize 虽然结果相近但插值方式可能不同更常见的是归一化参数写错mean和std用的是 ImageNet 还是自研数据集直接决定了特征分布。解决方法是把预处理逻辑统一封装成一个函数训练和推理都调用同一个入口。我在项目里的做法是把 image_processor 序列化成 JSON部署时直接加载绝不手写一遍缩放代码。5.5 显存溢出和训练崩溃现象是 batch_size4 都放不下或者训练跑到一半 loss 变成 NaN。原因是 VLA 模型本身占用很大图像 token 和文本 token 在一起推高了激活内存NaN 则多半是学习率过高或梯度爆炸。解决方法是同时用混合精度训练和梯度累积from torch.cuda.amp import autocast, GradScaler scaler GradScaler() gradient_accumulation_steps 4 for step, batch in enumerate(dataloader): with autocast(): loss model(**batch).loss loss loss / gradient_accumulation_steps scaler.scale(loss).backward() if (step 1) % gradient_accumulation_steps 0: scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(trainable_params, 1.0) scaler.step(optimizer) scaler.update() optimizer.zero_grad()混合精度能让显存占用降低 30% 到 40%但动作头对精度敏感如果发现输出动作出现 NaN就把动作头部分的前向计算切回 FP32。梯度累积可以等效扩大 batch但要注意 LayerNorm 这类归一化在累积时可能不稳定所以我把学习率稍微调低一点比如从 5e-4 降到 3e-4训练过程会稳很多。6. 一个值得复用的技巧在仿真环境里给VLA做闭环验证6.1 用固定指令集做回归测试VLA 项目最怕的是“训练完看 loss 很低上了真机才发现行为完全不对”。所以我强烈建议先搭一个仿真闭环用固定指令集做回归测试。把同一批测试场景固定下来例如五个物体、三种容器、二十条指令每次微调后跑一遍记录成功率。这样能快速发现某一次改动是否引入了回归。# 仿真闭环验证的伪代码思路 test_cases [ {instruction: 把那颗红色方块抓到蓝色盒子里, object: red_block, target: blue_box}, {instruction: 把黄色圆柱放到绿色盘子中, object: yellow_cylinder, target: green_plate}, ] def run_eval(model, simulator, test_cases): success_count 0 for case in test_cases: image simulator.reset_and_get_image() action predict_action(model, processor, image, case[instruction]) success simulator.step(action) if success: success_count 1 return success_count / len(test_cases)这个脚本不需要很复杂但必须保证每次测试环境初始摆位都相同否则成功率波动太大没法比较。我通常把随机种子固定下来并约定好相机角度和灯光。6.2 用随机化场景测泛化固定场景只能保底决定模型能不能落地的指标是泛化。我会额外做一组随机化测试物体位置、颜色、尺寸、背景桌面纹理都随机变化指令也从模板库里随机生成。模型的成功率从固定场景的 80% 掉到随机场景的 30%并不代表模型不行关键是看它能不能从失败里学到改进方向。如果所有颜色混淆就要回补数据如果只在高处随机时失败就要检查训练数据里有没有覆盖高处的示教。6.3 从仿真到真机的最后一米仿真验证永远不可能完全替代真机但它能帮你过滤掉七成以上的低级 bug。仿真环境下模型过拟合、动作抖动、指令理解错误这些大问题和真机表现高度一致。等仿真成功率稳定超过 80% 之后再上真机你会轻松很多。上真机时先跑慢速、小范围动作确认安全后再放开速度。我在几个项目里都吃过亏仿真跑得好好的上了真机才发现相机内参标定错了画面边缘畸变导致模型完全看不清。所以真机测试的第一步永远是拿一张标定板拍一帧对比模型实际看到的图像和仿真里的差异。这套流程让我养成了一个习惯任何模型改动都必须先跑回归测试脚本绝不直接上真机。你可能会觉得麻烦但它能省下大把调参和排查接口的时间希望帮到你。本文还有配套的精品资源点击获取