【免费下载链接】TC-AE项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/TC-AE点击查看免费下载TC-AE 是由蚂蚁集团 Inclusion AI 团队开源的 ViT 深度图像压缩视觉 Tokenizer通过自监督语义增强与分阶段 Token 压缩解决高压缩比下 Latent 表示坍塌问题产出更适配视觉生成的语义表示。问题背景高压缩比为何导致生成能力下降传统深度压缩自编码器Autoencoder在追求高压缩比时通常采用增大通道维度的策略来维持重建质量。然而这种做法会引发一个隐蔽但致命的问题表示坍塌Representation Collapse——Latent 空间中不同语义信息被压缩到高度重叠的区域导致 Latent 表示虽然能重建图像却丧失了用于视觉生成的语义区分度。简单来说模型记得住像素但忘了内容。这对下游生成任务如图像编辑、风格迁移是致命的。TC-AE的核心思路优化Token空间TC-AE 跳出增大通道的传统思路从Token 空间Token Space这一像素到 Latent 表示的关键桥梁入手提出三大核心机制机制核心作用Token 空间优化首次通过优化 Token 数量与语义结构解决表示坍塌分阶段 Token 压缩Staged Token Compression将 Token 到 Latent 的映射拆分为两阶段减少瓶颈处的结构信息损失自监督语义增强Semantic Enhancement引入自监督学习信号产出对生成任务更友好的 Latent 表示分阶段 Token 压缩拆解映射减少信息瓶颈传统的 Token 到 Latent 映射是一步完成的在瓶颈处容易丢失结构性信息。TC-AE 将其分解为两个阶段第一阶段负责 Token 间的语义聚合与结构保留第二阶段完成最终的压缩编码输出紧凑的 Latent 张量这种分步设计类似于先理解再压缩让模型在压缩过程中不会一次性丢失关键结构信息。自监督语义增强让 Latent 更懂语义这是 TC-AE 最核心的创新。传统压缩自编码器的训练目标只有重建损失Reconstruction Loss只关心还原得像不像完全不关心 Latent 表示的语义结构。TC-AE 在重建目标之上额外引入自监督学习信号迫使编码器产出的 Latent 表示保留高层语义信息如物体形状、场景布局在 Latent 空间中形成合理的语义聚类结构对下游生成任务扩散模型、图像编辑产生更自然的输入分布这就像训练一个既擅长压缩、又擅长理解内容的编码器而非只是一个像素复印机。快速上手TC-AE 重建 Demo 运行指南环境准备conda create -n tcae python3.9 conda activate tcae pip install -r requirements.txt依赖清单详见 requirements.txt图像重建推理使用预训练权重 tcae.pt 运行重建 Demopython tcae/script/demo_recon.py \ --img_folder /path/to/your/images \ --output_folder /path/to/output \ --ckpt_path results/tcae.pt \ --config configs/TC-AE-SL.yaml \ --rank 0关键参数说明--img_folder输入图片目录支持批量处理--config模型配置使用TC-AE-SL.yaml启用语义增强SL Semantic Learning--rank分布式推理中的设备编号单卡设为0ImageNet 验证集评估在 ImageNet 验证集上量化评估重建质量python tcae/script/eval_recon.py \ --ckpt_path results/tcae.pt \ --dataset_root /path/to/imagenet_val \ --config configs/TC-AE-SL.yaml \ --rank 0相关脚本位于 tcae/script/demo_recon.py 和 tcae/script/eval_recon.py模型配置文件参考 configs/TC-AE-SL.yaml。项目结构与关键文件文件/目录说明README.md项目主文档含完整使用说明tcae.pt预训练模型权重assets/pipeline.png整体 Pipeline 架构图tcae/script/推理与评估脚本configs/模型 YAML 配置文件完整项目说明请查阅 README.md其中包含环境配置、推理命令与评估流程的详细文档。总结为什么语义增强对视觉生成至关重要TC-AE 的核心贡献可以用一句话概括在 Token 空间做文章用自监督信号让 Latent 表示从像素还原器升级为语义理解器。对于关注视觉生成的研究者TC-AE 提供了一个重要的思路——压缩模型的 Latent 空间质量不仅取决于压缩率更取决于训练过程中是否显式优化了语义结构。这对于后续接入扩散模型、图像编辑等生成任务具有直接的实用价值。TC-AE 采用 MIT 开源协议可自由用于研究与商业场景。赞分享【免费下载链接】TC-AE项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/TC-AE点击查看免费下载相关推荐CANN AscendC SIMD乘法指令asc_mull 产品支持情况 | 产品 | 是否支持 | | : | : :| | Ascend 950PR/Ascend 950DT | √ | 功能说明人工智能深度学习算子库CANNAscend探索未来视觉 SOLIDER —— 拥抱语义控制的自监督学习框架探索未来视觉 SOLIDER —— 拥抱语义控制的自监督学习框架 在人工智能领域中人类行为理解和识别任务一直是研究的热点。今天我们向您隆重推荐一个开源项目【亲测免费】 SimCLR: 自监督视觉表示学习的简单框架SimCLR: 自监督视觉表示学习的简单框架 1. 项目基础介绍和主要编程语言 SimCLRSimple Framework for Contrastive深度学习计算机视觉预训练机器学习上一篇Android自动打卡实战指南一部备用手机搞定钉钉、企业微信、飞书下一篇Vuesax 面包屑导航组件vs-breadcrumb完整指南从配置到源码原理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考