1. 从两个不按套路出牌的模型说起如果你已经翻过卷积神经网络、循环神经网络、注意力机制这几座大山第一次翻开GAN和强化学习的资料大概率会有一种这跟前面学的完全不是一回事的感觉。我当初也是这个体验。监督学习那套东西——喂数据、算损失、反向传播、调参——逻辑链条非常清晰你大概知道模型在学什么、为什么能学会。但GAN和强化学习RL这两块一个像是两个骗子在互相博弈中共同进步另一个像是让一个婴儿在试错中学会走路思路完全不同。这篇整理面向的是已经掌握深度学习基础反向传播、梯度下降、CNN/RNN基本结构的读者目标是把GAN和强化学习这两块的核心知识点串成一条线让你不仅知道是什么还能理解为什么这么设计以及实际用的时候会踩哪些坑。我会尽量用大白话把数学直觉讲清楚同时保留必要的公式和伪代码方便你直接对照复现。GAN解决的核心问题是如何让模型学会生成逼真的数据。传统生成模型如变分自编码器生成的图像往往模糊因为它们的损失函数基于像素级误差而GAN换了个思路——不直接比较像素而是让一个判别器来判断这张图看起来真不真。强化学习解决的核心问题是智能体如何在与环境交互中学会做决策使得长期累积回报最大化。它和监督学习最大的区别在于没有标准答案告诉你每一步该怎么做只有一个延迟的、稀疏的奖励信号。这两块内容在面试和实际项目中出现的频率越来越高。GAN用于图像生成、数据增强、风格迁移强化学习用于推荐系统、机器人控制、游戏AI、资源调度。理解它们的原理和实操细节基本是深度学习进阶的必修课。2. GAN的核心设计思路与关键细节2.1 生成器与判别器的博弈逻辑GAN的核心架构就两个网络生成器G和判别器D。G接收一个随机噪声向量z通常从标准正态分布采样输出一张假数据G(z)。D接收一张数据真的或假的输出一个标量表示它认为这张数据是真的概率。训练过程是一个极小极大博弈$$\min_G \max_D V(D,G) \mathbb{E}{x \sim p{data}}[\log D(x)] \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$用人话说就是D想最大化自己分辨真假的能力G想最小化D分辨出假数据的能力。理想情况下最终G生成的分布和真实数据分布完全重合D的输出恒为0.5也就是完全分不出来。为什么这个设计比直接算像素误差好因为像素级损失假设每个像素独立但图像的真实感来自像素之间的联合分布。GAN的对抗损失隐式地建模了这种高维联合分布所以生成的图像在纹理、边缘等细节上更自然。这也是GAN能生成逼真人脸的根本原因。但这里有个关键细节很多人一开始会忽略在实际训练中G的损失函数通常不直接用$\log(1-D(G(z)))$而是改成最大化$\log D(G(z))$。原因是在训练初期D很容易把G生成的假数据判为假此时$D(G(z)) \approx 0$$\log(1-D(G(z)))$的梯度接近于零G学不动。改成$\log D(G(z))$后梯度信号更强训练更稳定。这个技巧在原始GAN论文里就提到了但很多教程一笔带过实际写代码时如果忘了这一点你会发现G的loss几乎不下降。2.2 训练不稳定性的根源与应对GAN最让人头疼的就是训练不稳定。你可能会遇到D的loss迅速降到0G的loss飙升生成的图像全是噪声或者D和G的loss都在震荡生成的图像质量时好时坏。根源在于GAN的优化目标是一个博弈问题不是简单的凸优化。两个网络同时在更新参数一方的改进会改变另一方的优化 landscape。更具体地说如果D太强G的梯度会消失如果D太弱G又没有足够的信号去改进。实操中常用的稳定技巧有这么几个调整D和G的更新频率比如每更新D一次更新G两次或者反过来。具体哪个好取决于任务需要实验。使用Wasserstein GANWGAN的损失WGAN用Earth Mover距离替代JS散度即使两个分布不重叠也能提供有意义的梯度。WGAN要求D的输出不经过sigmoid叫critic更合适并且需要对D的权重做裁剪或使用梯度惩罚WGAN-GP。谱归一化Spectral Normalization对D的每一层权重做谱范数归一化限制D的Lipschitz常数防止D过强。这个在SAGAN、BigGAN里是标配。标签平滑把真实样本的标签从1改成0.9防止D过于自信。添加噪声给D的输入加少量高斯噪声增强鲁棒性。注意WGAN的权重裁剪有一个常见坑——裁剪阈值设不好会导致梯度消失或爆炸。如果裁剪范围太小如0.01D的参数会被压到极端值太大如0.1又起不到限制作用。WGAN-GP用梯度惩罚替代裁剪效果更稳但计算量更大。2.3 从DCGAN到StyleGAN的架构演进原始GAN用的是全连接网络生成图像质量很差。DCGANDeep Convolutional GAN是第一个把CNN引入GAN并取得稳定效果的架构它的设计原则至今仍有参考价值G用转置卷积反卷积上采样D用步长卷积下采样不用池化层。G和D都使用Batch NormalizationG的输出层和D的输入层除外。G的激活函数输出层用tanh其他层用ReLU。D的激活函数所有层用LeakyReLU斜率0.2。后来StyleGAN把生成器拆成了风格映射网络和合成网络通过AdaIN自适应实例归一化把风格向量注入每一层实现了对生成图像不同层级特征粗粒度如姿态、细粒度如发丝的解耦控制。StyleGAN2进一步解决了AdaIN带来的水滴伪影问题并引入了路径长度正则化。这些架构细节如果展开讲能写一整篇这里你只需要记住一个核心思想GAN的生成器架构设计本质上是在解决如何把低维噪声映射到高维数据分布这个问题不同的架构是在不同的数据模态图像、音频、文本上做针对性优化。2.4 条件GAN与图像到图像翻译无条件GAN只能随机生成你没法控制它生成什么。条件GANcGAN在G和D的输入中都加入条件信息y如类别标签、另一张图像使得生成过程可控。cGAN的经典应用是Pix2Pix输入一张草图输出一张真实感图像输入一张黑白图输出彩色图。Pix2Pix的损失函数除了对抗损失还加了L1重建损失保证输出和输入在像素级对齐。这里有个经验L1损失比L2损失生成的图像更清晰因为L2倾向于产生模糊的平均结果。CycleGAN则解决了无配对数据的图像翻译问题。比如把马变成斑马不需要成对的马和斑马图片。CycleGAN的核心是循环一致性损失把马变成斑马后再变回马应该和原来的马一样。这个思路很巧妙但训练时容易出现模式崩溃——生成器把所有马都变成同一只斑马。应对方法是加入身份损失identity loss让生成器在输入已经是目标域图像时尽量保持不变。3. 强化学习的核心框架与算法拆解3.1 马尔可夫决策过程把问题形式化强化学习的问题通常用马尔可夫决策过程MDP来描述一个MDP由五元组$(S, A, P, R, \gamma)$组成$S$状态空间所有可能的状态。$A$动作空间智能体可以采取的所有动作。$P(s|s,a)$状态转移概率在状态s采取动作a后转移到s的概率。$R(s,a)$奖励函数在状态s采取动作a后获得的即时奖励。$\gamma$折扣因子通常取0.9到0.99表示未来奖励的衰减。智能体的目标是找到一个策略$\pi(a|s)$使得从任意状态出发的期望累积折扣回报最大化$$J(\pi) \mathbb{E}{\tau \sim \pi}\left[\sum{t0}^{\infty} \gamma^t R(s_t, a_t)\right]$$这里$\tau (s_0, a_0, s_1, a_1, ...)$是一条轨迹。折扣因子$\gamma$的作用是让近期奖励比远期奖励更重要同时保证无穷级数收敛。如果$\gamma1$且任务没有终止状态回报可能发散。MDP的核心假设是马尔可夫性下一个状态只取决于当前状态和动作与更早的历史无关。这个假设在实际问题中往往不严格成立比如扑克游戏中对手的风格历史会影响当前决策但通过把历史信息编码进状态可以近似满足。3.2 值函数与贝尔曼方程动态规划的基石在MDP中我们定义两个值函数状态值函数$V^\pi(s)$从状态s出发按照策略$\pi$行动能获得的期望回报。动作值函数$Q^\pi(s,a)$从状态s出发先采取动作a然后按照策略$\pi$行动能获得的期望回报。它们满足贝尔曼方程$$V^\pi(s) \sum_a \pi(a|s) \sum_{s} P(s|s,a)[R(s,a) \gamma V^\pi(s)]$$$$Q^\pi(s,a) \sum_{s} P(s|s,a)[R(s,a) \gamma \sum_{a} \pi(a|s) Q^\pi(s,a)]$$贝尔曼方程的意义在于它把一个无穷步的优化问题转化成了递归形式。如果我们知道$P$和$R$可以用动态规划策略迭代或值迭代精确求解。但实际问题中$P$和$R$通常未知而且状态空间可能巨大所以需要采样和函数逼近。最优值函数$V^*(s) \max_\pi V^\pi(s)$满足贝尔曼最优方程$$V^(s) \max_a \sum_{s} P(s|s,a)[R(s,a) \gamma V^(s)]$$对应的最优策略是$\pi^(s) \arg\max_a Q^(s,a)$。这个式子告诉我们如果知道了最优Q函数策略就是确定性的——在每个状态选Q值最大的动作。3.3 无模型方法Q-Learning与策略梯度当$P$和$R$未知时我们只能通过与环境交互来学习。无模型方法分两大流派基于值的方法Q-Learning是最经典的。它用一张表或一个神经网络存储$Q(s,a)$每次交互后用TD误差更新$$Q(s,a) \leftarrow Q(s,a) \alpha[r \gamma \max_{a} Q(s,a) - Q(s,a)]$$Q-Learning是off-policy的因为它更新时用的是$\max_{a} Q(s,a)$而不是当前策略实际采取的动作。这意味着它可以从旧数据中学习配合经验回放Experience Replay能大幅提高样本效率。DQNDeep Q-Network就是把Q-Learning和深度神经网络结合并用目标网络Target Network和经验回放来稳定训练。基于策略的方法直接参数化策略$\pi_\theta(a|s)$用梯度上升最大化$J(\theta)$。策略梯度定理给出$$\nabla_\theta J(\theta) \mathbb{E}{\pi\theta}\left[\nabla_\theta \log \pi_\theta(a|s) \cdot G_t\right]$$其中$G_t$是从时刻t开始的累积回报。直观理解如果某个动作带来的回报高就增加它被选中的概率反之则降低。REINFORCE算法就是最基础的策略梯度方法。但REINFORCE的方差很大因为$G_t$的随机性很强。改进方法包括引入基线Baseline用$G_t - b(s)$替代$G_t$$b(s)$通常取$V(s)$。这不改变梯度的期望但能显著降低方差。Actor-Critic用一个Critic网络估计$V(s)$或$Q(s,a)$Actor根据Critic的评价更新策略。A2C、A3C、PPO都属于这一类。GAE广义优势估计在偏差和方差之间做权衡通过参数$\lambda$控制。$\lambda0$时退化为TD误差低方差高偏差$\lambda1$时退化为蒙特卡洛回报高方差低偏差。3.4 从PPO到RLHF强化学习的现代应用PPOProximal Policy Optimization是目前最常用的策略梯度算法之一。它的核心思想是每次更新策略时不要偏离旧策略太远。具体做法是优化一个裁剪的目标函数$$L^{CLIP}(\theta) \mathbb{E}\left[\min\left(r_t(\theta) A_t, \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon) A_t\right)\right]$$其中$r_t(\theta) \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$是重要性采样比率$A_t$是优势函数$\epsilon$通常取0.1或0.2。裁剪的作用是当新策略和旧策略的比率超出$[1-\epsilon, 1\epsilon]$时梯度被截断防止策略更新过猛。PPO在RLHF基于人类反馈的强化学习中扮演了关键角色。RLHF的流程是先训练一个奖励模型来模拟人类偏好然后用PPO优化语言模型使得生成的回复获得更高的奖励分数。这里有个实操细节PPO在RLHF中通常需要加一个KL惩罚项防止语言模型偏离原始预训练模型太远导致生成质量下降或出现模式崩溃。注意PPO对超参数非常敏感尤其是学习率、裁剪系数$\epsilon$和GAE的$\lambda$。我试过在同一个任务上学习率从3e-4改成1e-4训练曲线就从震荡变成平滑。建议先用小规模实验做超参搜索再放大到完整训练。4. 实操中的关键环节与参数选择4.1 GAN训练流程的代码级拆解下面是一个DCGAN在图像数据集上的训练循环伪代码我标注了每个步骤的意图和常见坑# 初始化 G Generator(latent_dim100) D Discriminator() optimizer_G Adam(G.parameters(), lr2e-4, betas(0.5, 0.999)) optimizer_D Adam(D.parameters(), lr2e-4, betas(0.5, 0.999)) for epoch in range(num_epochs): for real_imgs, _ in dataloader: batch_size real_imgs.size(0) # --- 训练判别器 --- z torch.randn(batch_size, latent_dim) fake_imgs G(z).detach() # detach防止梯度传到G real_labels torch.ones(batch_size, 1) * 0.9 # 标签平滑 fake_labels torch.zeros(batch_size, 1) real_loss criterion(D(real_imgs), real_labels) fake_loss criterion(D(fake_imgs), fake_labels) d_loss (real_loss fake_loss) / 2 optimizer_D.zero_grad() d_loss.backward() optimizer_D.step() # --- 训练生成器 --- z torch.randn(batch_size, latent_dim) fake_imgs G(z) # 注意这里用real_labels即希望D把假图判为真 g_loss criterion(D(fake_imgs), real_labels) optimizer_G.zero_grad() g_loss.backward() optimizer_G.step()几个关键点Adam的betas设为(0.5, 0.999)而不是默认的(0.9, 0.999)这是DCGAN论文的建议能减少训练初期的震荡。训练D时对fake_imgs做detach否则梯度会传到G导致G被意外更新。标签平滑把真实标签从1改成0.9防止D输出饱和。如果使用WGAN-GPD的损失函数改为d_loss -torch.mean(D(real_imgs)) torch.mean(D(fake_imgs)) lambda_gp * gradient_penalty且D的输出不加sigmoid。4.2 强化学习环境搭建与训练调参以OpenAI Gym现在叫Gymnasium为例一个标准的训练循环如下import gymnasium as gym import torch import torch.nn as nn import torch.optim as optim env gym.make(CartPole-v1) state_dim env.observation_space.shape[0] action_dim env.action_space.n class PolicyNet(nn.Module): def __init__(self): super().__init__() self.fc nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, action_dim), nn.Softmax(dim-1) ) def forward(self, x): return self.fc(x) policy PolicyNet() optimizer optim.Adam(policy.parameters(), lr1e-3) for episode in range(1000): state, _ env.reset() log_probs [] rewards [] while True: state_tensor torch.FloatTensor(state) probs policy(state_tensor) dist torch.distributions.Categorical(probs) action dist.sample() log_probs.append(dist.log_prob(action)) state, reward, terminated, truncated, _ env.step(action.item()) rewards.append(reward) if terminated or truncated: break # 计算折扣回报 returns [] G 0 for r in reversed(rewards): G r 0.99 * G returns.insert(0, G) returns torch.FloatTensor(returns) returns (returns - returns.mean()) / (returns.std() 1e-8) # 归一化 # 策略梯度更新 loss 0 for log_prob, G in zip(log_probs, returns): loss - log_prob * G # 梯度上升等价于最小化负的 optimizer.zero_grad() loss.backward() optimizer.step()这个REINFORCE实现有几个实操细节回报归一化减均值除标准差能显著降低方差加速收敛。折扣因子0.99适合CartPole这种回合长度适中的任务。如果任务回合很长如1000步以上可以降到0.95。学习率1e-3在CartPole上通常能work但如果是更复杂的环境如Atari可能需要降到1e-4。如果训练过程中策略突然崩溃所有动作概率趋同检查一下回报归一化是否生效以及学习率是否过大。4.3 超参数选择的经验法则GAN和强化学习的超参数选择有一些共通的经验超参数GAN推荐值RL推荐值说明学习率1e-4 ~ 2e-41e-4 ~ 3e-4GAN用AdamRL常用Adam或RMSpropBatch Size32 ~ 12864 ~ 256RL的batch size指每次更新的样本数折扣因子不适用0.95 ~ 0.99任务回合越长折扣因子越小网络层数4 ~ 6层2 ~ 3层RL的网络通常比GAN浅激活函数LeakyReLU(0.2)ReLU/TanhGAN的D用LeakyReLU防止梯度消失提示GAN的生成器最后一层用tanh输出范围[-1,1]所以训练数据也要归一化到[-1,1]。如果忘了这一步生成图像的颜色会偏灰或偏亮。5. 常见问题与排查技巧实录5.1 GAN模式崩溃的识别与解决模式崩溃Mode Collapse是GAN最经典的问题生成器只生成少数几种样本甚至所有噪声都映射到同一张图。识别方法是固定几个不同的噪声向量观察生成的图像是否高度相似或者计算生成样本的多样性指标如Inception Score的方差。解决思路Mini-batch Discrimination让D同时看一批样本判断这批样本的多样性。如果G生成的样本太单一D很容易识别出来。Unrolled GAN在更新G时模拟D未来几步的更新防止G针对当前D过拟合。Experience Replay把历史生成的样本存起来D训练时混合新旧样本防止G遗忘之前学过的模式。增加噪声在D的输入或G的中间层加噪声增加生成多样性。我试过在MNIST上训练DCGAN如果不加任何技巧大约50个epoch后G就开始只生成数字1。加入mini-batch discrimination后生成多样性明显改善但训练时间增加了约30%。5.2 强化学习奖励稀疏与探索不足在奖励稀疏的环境中如迷宫任务只有到达终点才有奖励智能体很难通过随机探索获得正奖励导致学习停滞。常见应对方法奖励塑形Reward Shaping设计中间奖励引导智能体。比如在迷宫中每靠近终点一步给一个小奖励。但奖励塑形需要小心设计不当会导致智能体学会刷奖励而不完成真正任务。好奇心驱动探索ICM用一个网络预测动作后的状态变化预测误差作为内在奖励。智能体对意想不到的状态更感兴趣从而主动探索。Hindsight Experience ReplayHER把失败的经验重新标记为达成了某个目标。比如智能体想把方块推到位置A结果推到了位置BHER会把这条经验标记为成功把方块推到了B从而学到有用的技能。课程学习Curriculum Learning从简单任务开始逐步增加难度。比如先让智能体在5x5迷宫中学习再迁移到10x10迷宫。5.3 训练不收敛的排查清单遇到GAN或RL训练不收敛时可以按以下顺序排查排查项GANRL数据归一化检查是否归一化到[-1,1]检查状态是否标准化学习率尝试降低到1e-5尝试降低到1e-4网络初始化用正态分布初始化std0.02用正交初始化损失函数检查是否用了正确的GAN损失变体检查优势函数是否计算正确梯度检查是否有梯度消失/爆炸检查梯度裁剪是否生效随机种子固定种子复现问题固定种子复现问题注意GAN的D loss降到0并不一定是好事可能意味着D过强G学不到东西。理想情况下D的loss应该在0.5到1.0之间波动。如果D loss持续低于0.1考虑降低D的学习率或增加G的更新频率。5.4 从仿真到现实的迁移问题强化学习在仿真环境中训练好的策略直接部署到现实世界往往表现很差。原因包括仿真和现实的物理参数不一致如摩擦力、延迟、传感器噪声、环境动态变化。解决方法域随机化Domain Randomization在仿真中随机化物理参数质量、摩擦系数、光照等让策略对参数变化鲁棒。系统辨识System Identification用真实数据估计仿真参数缩小仿真与现实的差距。在线微调在真实环境中用少量数据微调策略但要注意安全避免损坏硬件。我在一个机械臂抓取项目中试过域随机化把物体的质量、摩擦系数、初始位置都加上随机扰动训练出的策略在真实机械臂上的成功率从30%提升到了75%。但域随机化的范围需要仔细调范围太小起不到作用太大又会导致策略过于保守。6. 两个领域的交叉与扩展方向GAN和强化学习并不是孤立的。实际上这两个领域有很多交叉点而且近年来出现了一些很有意思的结合方式。一个典型方向是用GAN做基于模型的强化学习中的环境建模。在基于模型的RL中智能体先学一个环境模型预测下一个状态和奖励然后用这个模型做规划。但学到的环境模型往往有偏差导致规划结果不可靠。有研究者用GAN来训练环境模型让生成的轨迹在判别器看来和真实轨迹无法区分从而提高模型的保真度。这个思路在机器人控制任务中取得了不错的效果。另一个方向是用强化学习来优化GAN的训练过程。比如把GAN的训练看作一个MDP生成器的参数更新作为动作判别器的反馈作为奖励用策略梯度方法来自适应地调整生成器的学习率或架构。这类方法目前还比较实验性但思路很有意思。还有一个值得关注的方向是扩散模型与GAN的结合。扩散模型在生成质量上已经超过了GAN但采样速度慢。有工作尝试用GAN的对抗训练来加速扩散模型的采样过程或者用GAN的判别器来指导扩散模型的训练。这个方向目前是生成模型领域的热点。对于想深入这两个领域的读者我的建议是先把一个方向做深再考虑交叉。GAN和RL各自都有大量的细节和坑同时学容易两头都不扎实。如果你偏向生成模型先把DCGAN、WGAN、StyleGAN这条线走通如果你偏向决策优化先把DQN、PPO、SAC这条线走通。有了一个扎实的基础后再看交叉方向的研究会顺畅很多。最后分享一个我自己的学习习惯每学完一个算法我都会用一个小数据集或小环境从头实现一遍不调库不抄代码。这个过程很痛苦但能暴露很多看论文时忽略的细节。比如实现PPO时我一开始忘了对优势函数做归一化训练一直不稳定后来加上归一化后立刻就好了。这种细节只有自己动手才会真正记住。