【实战】SenseNova U1.5 bbox 控制合成 YOLO 训练数据红框编辑 质量过滤 批量自动化全流程摘要目标检测数据集的标注成本高昂是工业界长期痛点。本文基于商汤开源的 SenseNova U1.58B-MoTApache 2.0的 bbox 红框编辑能力给出一条「程序化布局采样 → 红框标注 → it2i 编辑生成 → 检测器质量过滤 → YOLO 标签落盘」的数据合成流水线。文中包含免费在线体验 6 步操作、3 组实测对照分析红框移除与背景保持验证、核心代码布局采样 / 标签写出 / 批量推理调用、硬件门槛参考以及自研批量自动化工具 YOLO-Synth U1.5 的设计思路。关键词YOLO数据合成bbox 控制SenseNova U1.5扩散模型目标检测自动标注**获取工具链接**https://mp.weixin.qq.com/s/rKfKyRSEVQEAMgk0uegv9g目录1. 背景与痛点2. U1.5 的 bbox 控制机制3. 零成本上手免费在线体验 6 步走4. 本地部署的硬件门槛5. 实测验证3 组红框合成对照6. 流水线设计与核心代码7. 质量过滤成败的关键闸门8. 训练与实验设计9. 自研工具 YOLO-Synth U1.510. 避坑清单11. 总结参考文献1. 背景与痛点在目标检测任务落地中数据准备通常占据整个项目周期的 50% 以上其中标注成本是主要构成贵一张密集场景图几百个框外包标注单张成本从几毛到数元不等慢千张级数据集人工标注往往以周计会改标注规范变更、漏标错标返工是标注项目的常态。传统数据增强Mosaic、Mixup、Copy-Paste只能对已有样本做几何/色彩扰动或简单贴图无法产生新类别、新布局、新场景。基于扩散模型的数据合成如 GLIGEN、ODGEN、FLORA可以生成带边界框条件的新样本但普遍需要额外控制模块或 LoRA 微调工程门槛不低。2026 年 8 月商汤开源的 SenseNova U1.5 提供了一个更轻的入口免训练、用红框 提示词即可控制生成区域。本文验证这条路线在 YOLO 数据合成上的可行性。2. U1.5 的 bbox 控制机制需要澄清一个常见误解U1.5并没有提供[x1, y1, x2, y2]坐标输入 API官方仓库与 ComfyUI 节点包均无此接口。它的空间控制是通过图像编辑范式实现的在原图上绘制一个红色矩形框prompt 中声明「在红框内生成 {目标描述}完全位于红框内不要超出红框边界」末尾追加「生成完成后移除红框」「保持画面其余部分完全不变」。官方称之为四段式指令结构定位 → 生成 → 约束 → 移除。这个机制对数据合成的关键意义在于红框由我们的程序绘制坐标完全已知因此标注在生成之前就已经确定无需任何事后标注。四段式 Prompt 模板可直接复用在红框内生成{物体描述}。{细节约束}。 物体必须完全位于红框内部不要超出红框边界。 生成完成后移除红框。保持红框以外的画面内容、光照、色调和构图完全不变。3. 零成本上手免费在线体验 6 步走本地部署需要较高显存见第 4 节。方法验证阶段推荐使用免费在线体验unify.light-ai.top无需 GPU。操作步骤步骤操作说明Step 1打开网站进入 SenseNova U1 在线体验页Step 2选择模型切换到 U1.5 编辑it2i模式Step 3上传原图作为编辑基底的真实场景图Step 4上传红框布局图预先用画图工具/PIL 画好红框的版本Step 5输入四段式提示词按第 2 节模板填写目标描述Step 6点击生成等待出图并下载结果【图 1在线体验前 3 步操作界面打开网站 → 选择模型 → 上传原图】【图 2步骤 4、5 操作界面上传红框布局图 → 输入四段式提示词】【图 3步骤 6 生成结果界面】4. 本地部署的硬件门槛在线体验适合验证方法但批量合成、跑消融实验、构建数据管线必须本地部署。U1.5 是 8B 参数 Mixture-of-Transformers 多模态模型推理资源参考如下场景显存建议参考显卡单张耗时1024²参考值50 步标准推理≥ 24 GBRTX 4090 / A100 40G30–60 s8-step LoRA 加速≥ 12 GBRTX 4070 Ti / RTX 30905–10 s推理 YOLO 复核同卡≥ 24 GBRTX 409060–90 sCPU 推理仅调试≥ 64 GB 内存—数分钟不推荐官方支持--vram_mode fast显存优化与 8-step LoRA 加速--num_steps 8 --cfg_scale 1.024 GB 显卡可支撑千张规模的生产任务。5. 实测验证3 组红框合成对照实验设置同一张真实公园场景图为基底草地 石板步道分别在三个不同位置绘制红框提示词生成不同犬只。每组给出「布局图 → 合成目标图」对照。5.1 实验组 1左侧草地小红框布局图中央偏左的矩形红框落于草地Prompt一只小型宠物犬站立姿势柔褐色长颈圈毛色自然写实摄影风格结果红框正确移除草地生成一只米色小型犬场景整体保持问题犬只位置整体偏左、略溢出预设框【图 4实验组 1 布局图左侧草地红框】【图 5实验组 1 合成目标图草地上的米色小型犬】5.2 实验组 2右侧步道细长红框布局右侧步道上的细长红框Prompt一只中型犬站立姿势戴牵引绳写实摄影风格结果步道生成一只带牵引绳的米色中型犬牵引绳自然落于石板构图协调问题物体越框、牵引绳超界【图 6实验组 2 布局图右侧步道细长红框】【图 7实验组 2 合成目标图步道上带牵引绳的中型犬】5.3 实验组 3横跨草地与步道的红框布局横向跨越草地/步道交界Prompt一只小型犬站立姿势戴项圈写实摄影风格结果交界处生成一只戴项圈的小型犬红框完全清除画面其余部分像素级未变Editing Preservation 特性【图 8实验组 3 布局图横跨草地与步道的红框】【图 9实验组 3 合成目标图交界处戴项圈的小型犬】5.4 结论维度表现对数据合成的含义控制力物体出现在指定区域附近3/3 稳定可用红框移除3/3 干净可用背景保持3/3 像素级可用保证域一致性贴框精度物体严格在框内3/3 均有偏差必须加质量过滤核心结论U1.5 红框编辑的控制力稳定但贴框精度存在系统性偏差——预设框不能直接当标签使用必须经过 IoU 复核。6. 流水线设计与核心代码6.1 整体流水线真实背景图或 U1.5 t2i 生成背景 │ ▼ ① 布局采样器随机采样 N 个不重叠 bbox坐标与类别 未来标签 ▼ ② PIL 画红框#FF0000线宽 ~4px ▼ ③ it2i 编辑生成四段式 prompt ▼ ④ 质量过滤检测器复核「框内有该类目标且 IoU 阈值」 ▼ ⑤ 标签落盘images/xxx.jpg labels/xxx.txtYOLO 归一化格式 ▼ ⑥ 数据混合 → ultralytics 训练 → 与纯真实基线对比 mAP6.2 布局采样 画红框importrandomfromPILimportImage,ImageDrawdefsample_layout(w,h,classes,n_min1,n_max4,min_size0.08,max_size0.35,max_overlap0.1):# 随机采样不重叠的归一化 bbox 布局boxes[]nrandom.randint(n_min,n_max)for_inrange(n):for_tryinrange(50):bwrandom.uniform(min_size,max_size)bhrandom.uniform(min_size,max_size)x1random.uniform(0,1-bw)y1random.uniform(0,1-bh)okTruefor(bx1,by1,bx2,by2,_)inboxes:ixmax(0,min(x1bw,bx2)-max(x1,bx1))iymax(0,min(y1bh,by2)-max(y1,by1))ifix*iymax_overlap*min(bw*bh,(bx2-bx1)*(by2-by1)):okFalse;breakifok:boxes.append((x1,y1,x1bw,y1bh,random.choice(classes)))breakreturnboxesdefdraw_boxes(bg_path,boxes,out_path):imgImage.open(bg_path).convert(RGB)W,Himg.size dImageDraw.Draw(img)for(x1,y1,x2,y2,_)inboxes:d.rectangle([x1*W,y1*H,x2*W,y2*H],outline(255,0,0),widthmax(3,W//500))img.save(out_path)6.3 YOLO 标签写出零人工标注defwrite_yolo_label(boxes,cls2id,label_path):withopen(label_path,w)asf:for(x1,y1,x2,y2,c)inboxes:f.write(f{cls2id[c]}{(x1x2)/2:.6f}f{(y1y2)/2:.6f}{x2-x1:.6f}{y2-y1:.6f}\n)注意一个反直觉的事实标签坐标精度取决于质量过滤通过的预设框而非模型实际输出位置。两种策略① 信赖模型将物体画进框直接用预设框作标签② 用开放词汇检测器YOLO-World重新检测以实测框作为伪标签。第 5 节实测表明策略 ② 更稳妥。6.4 批量调用本地 U1.5官方推理脚本原生支持 JSONL 批处理python examples/editing/inference.py\--model_pathsensenova/SenseNova-U1.5-8B-MoT\--jsonlmy_synthetic/samples.jsonl\--output_diroutputs/synthetic/\--cfg_scale4.0--img_cfg_scale1.0--cfg_normnone\--timestep_shift3.0--num_steps50\--vram_modefast--profile--comparesamples.jsonl每行格式{prompt:在红框内生成一只戴着项圈的宠物猫正在趴着休息。猫必须完全位于红框内部不得超出红框边界。生成完成后移除红框。保持红框以外的背景、光照和构图完全不变。,image:my_synthetic/marked/0001.png,seed:42}7. 质量过滤成败的关键闸门第 5 节实测已证明预设框 ≠ 模型真把物体画进框。物体溢出、漏画、错类的情况下直接复制的标签全是噪声混入训练集反而伤害 mAP。过滤框架开放词汇检测器复核fromultralyticsimportYOLO verifyYOLO(yolov8x-worldv2.pt)verify.set_classes([cat,dog,...])# 业务类别词表defkeep(detection_results,preset_boxes,iou_thr0.5,conf_thr0.35):# 对每张合成图# 1. 检测框与对应预设框 IoU iou_thr 且类别一致 → 保留# 2. 否则丢弃宁缺毋滥...学术依据FLORAarXiv:2508.21712的实验表明500 张高质量合成图优于 5000 张粗糙合成图——过滤不是可选项而是这条路线成立的先决条件。8. 训练与实验设计pipinstallultralytics yolo detect traindatadata.yamlmodelyolo11n.ptepochs100imgsz640data.yaml中train指向真实训练集 合成训练集验证/测试集必须是纯真实图片。建议的实验矩阵对标 FLORA 设定组训练数据目的基线200 张真实低数据起点主实验200 真实 500 合成过滤后对标 FLORA 的 500 张设定剂量曲线100 / 500 / 2000 合成找边际收益拐点消融 A过滤前 vs 过滤后证明 IoU 过滤的价值消融 B逐框渐进 vs 多框一次成生成策略对比参照组200 真实 500 传统增广证明合成 传统增广评价指标mAP0.5、mAP0.5:0.95。9. 自研工具 YOLO-Synth U1.5将上述流程整合为本地一键工具YOLO-Synth U1.5当前开发中核心设计┌─ ① 配置面板背景目录 / 合成张数 / 随机种子 / bbox 尺寸范围 / 类别 JSON ├─ ② 布局生成 调用本地 U1.5 官方 inference.py参数透传 ├─ ③ 回收输出 质量过滤IoU/Conf 阈值可调 红框残留检测 ├─ ④ 组装 YOLO 数据集images/ labels/ data.yaml 自动生成 └─ ⑤ 自测与日志无 GPU 可跑配置/IO 自检【图 10YOLO-Synth U1.5 工具主界面——配置面板与布局生成、本地 U1.5 调用】【图 11YOLO-Synth U1.5 工具——回收、质量过滤、数据集组装与实时日志】设计原则配置 JSON 化可版本管理、可复用、可分享参数透传cfg_scale/timestep_shift/num_steps/vram_mode等全部开放不绑死默认值与官方仓库解耦subprocess 调用SenseNova-U1仓库的inference.py模型与工具分离升级互不影响。工具开源整理中发布后将在本文更新仓库地址也可评论区留言催更。10. 避坑清单结合 3 组实测与官方 Ongoing Improvements 文档红框残留prompt 必须显式写移除红框过滤环节可检测输出图纯红像素占比做二次校验物体越框实测 3 组均有此问题 →iou_thr提高到 0.6或预设框内缩 5% 后再作标签多区域编辑漂移官方明示多轮/多参考编辑会漂移多框策略建议单图 ≤ 3 框小目标不稳定小脸、手、细粒度结构可能不稳定bbox 建议 ≥ 图宽 8%生成速度24 GB 卡 50 步 2048² 约几十秒/张8-step LoRA 可降约 6 倍成本域差距合成图光照/纹理分布与真实测试集存在 gap——背景尽量用真实业务场景图只让模型负责种物体。11. 总结SenseNova U1.5 的红框编辑提供了免训练的 bbox 级空间控制「画红框即标注」把数据合成的标注成本压缩到零实测表明其控制力、红框移除、背景保持三项均稳定但贴框精度存在系统偏差质量过滤是必选项而非可选项完整流水线 30 行布局采样 四段式 prompt JSONL 批量推理 IoU 复核全部组件开箱可用后续将发布批量自动化工具 YOLO-Synth U1.5 并开源。如果本文对你有帮助欢迎点赞、收藏、评论交流。参考文献SenseNova-U1 官方仓库https://github.com/OpenSenseNova/SenseNova-U1SenseNova-U1.5-8B-MoT 模型权重https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT在线体验https://unify.light-ai.top/FLORA: “Few-shot Layout-guided Generative Data Augmentation for Object Detection”, arXiv:2508.21712ultralytics YOLO 文档https://docs.ultralytics.com/YOLO 中的数据增强Mixup、Copy-paste、Mosaichttps://juejin.cn/post/7303423871709708323版权声明本文为原创技术实战笔记转载请注明出处CSDN 博客链接。