简介面向机器学习与迁移学习研究者的联合分布适配JDA算法代码包用于解决源域与目标域分布不一致时的跨域分类问题。代码基于Matlab实现涵盖核心算法、运行脚本与核函数模块配套17个.mat数据集样本覆盖图像识别、数字分类等典型迁移场景并附RTF与TXT格式说明文档便于快速理解算法流程与参数设置。压缩包共28个文件约53.52MB内部按code、data、result分目录组织结构清晰可按需取用。已有1945人学习下载适合正在研究域适应、迁移学习或复现Long等于2013年提出的经典工作的学生与工程师。通过调试代码和切换不同数据集可直观观察协方差对齐与类内紧凑性约束对分类准确率的影响也可作为进一步改进JDA算法、开展对比实验的实用基础。1. 联合分布适配JDA域适应任务里绕不开的迁移学习代码做机器迁移或者说迁移学习的人迟早会翻到联合分布适配JDA。它解决的问题很直接源域和目标域的特征分布不同直接把源域模型搬到目标域上分类精度经常掉到没法看。JDA的思路是把边缘分布和条件分布一起拉近在降维空间里得到一个公共表示再在这个表示上训练分类器。它适合两类人一类是刚接触域适应、想用一份能跑通的代码验证想法的开发者另一类是已经有了深度特征、但过不了分布差异这道坎的工程人员。JDA不是银弹但作为基线非常能打。2. JDA原理拆解边缘分布与条件分布的双对齐数学框架2.1 从MMD到JDA分布距离度量怎么从边缘扩展到条件分布JDA的底层度量是最大均值差异MMD。MMD把两个分布映射到再生核希尔伯特空间然后比较均值向量在核空间里的距离。这里不展开泛函分析的细节直接看工程实现。MMD平方项可以写成矩阵迹的形式tr(K L)其中K是核矩阵L是由源域和目标域样本对关系构成的系数矩阵。# L矩阵构造源域内部为正、目标域内部为正、跨域为负 # n ns ntns是源域样本数nt是目标域样本数 L np.zeros((n, n)) L[:ns, :ns] 1.0 / (ns * ns) L[ns:, ns:] 1.0 / (nt * nt) L[:ns, ns:] -1.0 / (ns * nt) L[ns:, :ns] -1.0 / (ns * nt)这段代码的含义是当源域和目标域服从同一分布时MMD值趋近于零分布差异越大MMD的值越大。K矩阵一般用RBF核核宽度sigma通常取所有样本对距离的中位数这是TCA和JDA相关实现里的常见做法能有效减少调参工作量。JDA比TCA多走了一步。TCA只对齐边缘分布P(Xs)和P(Xt)但分类器真正依赖的是条件分布P(Y|X)。JDA的思路是对每一类分别构造MMD项然后把所有类别的MMD分量累加进总矩阵形成条件分布对齐项Mc。这样不仅全局形状被拉近每一类内部的局部结构也被拉近这对后续分类器的泛化能力影响很大。2.2 广义特征值问题特征变换矩阵W的求解流程有了MMD矩阵M之后JDA的核心变成求解一个广义特征值问题。标准流程是先算中心化矩阵H再组合边缘MMD矩阵M0和条件MMD矩阵Mc然后求解特征方程。完整代码import numpy as np def rbf_kernel(X, gamma): 计算RBF核矩阵 pairwise_sq np.sum(X**2, axis1).reshape(-1, 1) \ np.sum(X**2, axis1).reshape(1, -1) \ - 2 * X.dot(X.T) return np.exp(-gamma * pairwise_sq) # 中心化矩阵H作用是消除均值偏移 n X.shape[0] H np.eye(n) - 1.0 / n * np.ones((n, n)) # M M0 Mc这里M0是全局边缘项Mc是条件项之和 M M0 Mc # 核矩阵 K rbf_kernel(X, gamma1.0 / (2 * sigma**2)) # 广义特征值问题K M K^T W lambda (K H K^T reg) W A K.dot(M).dot(K.T) B K.dot(H).dot(K.T) lambda_reg * np.eye(n) eigvals, eigvecs np.linalg.eig(np.linalg.solve(B, A)) idx np.argsort(eigvals)[::-1] W eigvecs[:, idx[:d]].real # 投影后的公共特征表示 Z W.T.dot(K)说明一下每一步的作用。H矩阵让数据在核空间里被中心化把均值偏移这个因素从优化目标里剔除。M矩阵是整个JDA的灵魂同时编码了全局分布差异和每类内部的条件分布差异。B矩阵加lambda_reg是防止核矩阵KHK^T奇异导致无法求逆这在样本数少、存在重复样本或类别不平衡时尤其常见。特征向量W的求解等价于在低维空间同时最小化分布差异并保留数据本身的判別结构。参数d决定子空间维度信息保留量和去噪能力在此权衡。d太小会把可分性也压掉d太大则噪声被完整保留常见范围是20到80。lambda_reg控制在0.1到1之间太小数值不稳定太大则分布对齐力度被稀释。注意特征值和特征向量是复数域求解实际投影时取实部即可。条件MMD矩阵Mc需要迭代构造这是JDA工程实现里最常见被误解的地方。初始时没有目标域标签只用M0求解一次得到投影后直接用1NN在源域投影数据上训练对目标域预测出伪标签。然后按伪标签统计每一类的目标域下标与源域同类样本一起构造Mc。伪标签质量直接决定条件对齐的效果所以很多实现默认迭代十次以内就要停。3. JDA代码实操从数据准备到分类精度的完整验证3.1 数据组织与预处理源域和目标域怎么喂给算法先明确输入格式。源域需要有特征和标签目标域只需要特征。JDA本身不修改标签空间所以源域和目标域的类别集合必须一致否则Mc那一项的构造会直接报维度错误。import numpy as np from sklearn.preprocessing import StandardScaler # 模拟Xs是源域特征Ys是源域标签Xt是目标域特征 # 关键一步标准化只能fit在源域上 scaler StandardScaler() Xs_std scaler.fit_transform(Xs) Xt_std scaler.transform(Xt) # 复用源域的mean和std # 拼接成完整数据矩阵 X np.vstack([Xs_std, Xt_std]) ns Xs_std.shape[0] nt Xt_std.shape[0] n ns nt这里有一个容易翻车的地方如果对整个X一起fit StandardScaler目标域的均值和方差会泄漏到源域标准化过程中相当于把目标域的分布信息提前告诉了算法。严格做法是只对源域fit然后用同一套参数去transform目标域。标准化完成后检查类别数。伪标签迭代需要知道类别数量C这个直接从源域标签里取unique长度。如果源域和目标域的类别数量对不上Mc构造时找不到目标域中对应类别的样本运行时会静默产生一个全零块导致条件对齐项形同虚设。我的习惯是在拼接数据前就断言类别集合完全一致。3.2 核心参数详解d、lambda_reg、kernel和迭代次数参数选择直接决定JDA跑出来的特征是能分类还是纯噪声。用一个表格列出关键参数的范围和建议初始值参数含义常见范围建议初始值d投影子空间维度20-8030lambda_reg广义特征值正则项0.1-1.00.5kernel核函数类型rbfrbfsigmaRBF核宽度样本距离中位数自动计算max_iter伪标签迭代轮数1-1010d的选择与特征原始维度有关。如果原始特征已经是深度网络提取的512维或1024维d取30到60就能覆盖绝大多数判別方向如果特征是手写统计特征维度本身只有几十d就设成接近原始维度。有一个经验法则先跑一次d30把投影特征可视化一下如果类别分团明显说明d够用如果还是一片混沌再往大调。lambda_reg的作用主要体现在矩阵求逆这一步。调参时如果你看到类似矩阵奇异或条件数爆炸的警告优先把lambda_reg往上加。但lambda_reg也不是越大越好太大会让M矩阵的分布对齐信号被淹没投影结果接近普通PCA失去JDA的意义。kernel和sigma一般沿用RBF加中位数距离的配置。RBF核在大多数中等规模数据集上表现稳定线性核适合特征已经很好分离的情况。sigma取样本对距离中位数的做法在TCA、JDA、BDA等经典实现里几乎成了默认值它能自适应数据尺度不用额外调。只有当数据量特别大时计算全部样本对距离的代价才需要优化后面避坑章节会讲。3.3 完整训练流程从特征变换到分类器评估把上面的片段拼成一个可执行的训练循环。下面这段是完整的JDA训练函数包含初始化、伪标签迭代和最终的分类器训练from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score def jda_train(Xs, Xt, Ys, d30, lambda_reg0.5, max_iter10): # 标准化 scaler StandardScaler() Xs_s scaler.fit_transform(Xs) Xt_s scaler.transform(Xt) X np.vstack([Xs_s, Xt_s]) ns, nt Xs_s.shape[0], Xt_s.shape[0] n ns nt # 中心化矩阵 H np.eye(n) - 1.0 / n * np.ones((n, n)) # 全局边缘MMD矩阵M0 M0 np.zeros((n, n)) M0[:ns, :ns] 1.0 / (ns * ns) M0[ns:, ns:] 1.0 / (nt * nt) M0[:ns, ns:] -1.0 / (ns * nt) M0[ns:, :ns] -1.0 / (ns * nt) # RBF核和sigma pairwise_sq np.sum(X**2, axis1).reshape(-1, 1) \ np.sum(X**2, axis1).reshape(1, -1) \ - 2 * X.dot(X.T) sigma np.sqrt(np.median(pairwise_sq)) K np.exp(-pairwise_sq / (2 * sigma**2)) # 初始只用M0求解一次拿伪标签 M M0.copy() A K.dot(M).dot(K.T) B K.dot(H).dot(K.T) lambda_reg * np.eye(n) eigvals, eigvecs np.linalg.eig(np.linalg.solve(B, A)) idx np.argsort(eigvals)[::-1] W eigvecs[:, idx[:d]].real Z W.T.dot(K) Zs Z[:ns] Zt Z[ns:] clf KNeighborsClassifier(n_neighbors1) clf.fit(Zs, Ys) pseudo_Yt clf.predict(Zt) # 迭代更新构造条件MMD矩阵Mc classes np.unique(Ys) C len(classes) for it in range(max_iter): Mc np.zeros((n, n)) for c in classes: idx_s np.where(Ys c)[0] idx_t np.where(pseudo_Yt c)[0] ns_c len(idx_s) nt_c len(idx_t) # 当前类没有目标域伪标签时跳过 if ns_c 0 or nt_c 0: continue # 构造当前类的MMD系数矩阵 Mc[np.ix_(idx_s, idx_s)] 1.0 / (ns_c * ns_c) Mc[np.ix_(idx_t, idx_t)] 1.0 / (nt_c * nt_c) Mc[np.ix_(idx_s, idx_t)] - 1.0 / (ns_c * nt_c) Mc[np.ix_(idx_t, idx_s)] - 1.0 / (ns_c * nt_c) M M0 Mc A K.dot(M).dot(K.T) eigvals, eigvecs np.linalg.eig(np.linalg.solve(B, A)) idx_sorted np.argsort(eigvals)[::-1] W eigvecs[:, idx_sorted[:d]].real Z W.T.dot(K) clf.fit(Z[:ns], Ys) pseudo_Yt clf.predict(Z[ns:]) return Z[:ns], Z[ns:], clf这段代码有几个细节需要特别说明。第一sigma在循环外一次性算好核矩阵K固定不变迭代只更新M矩阵。这是因为核矩阵只依赖原始输入X伪标签变化只影响Mc的系数结构。第二Mc的累加用np.ix_做外积索引避免for循环逐元素填充效率差距在样本数上千时非常明显。第三处理目标域某个类伪标签为空的情况直接跳过该类避免除零错误。分类器选择1NN在JDA经典论文里是默认配置因为JDA的目标是让同类样本在投影空间里聚在一起1NN对这种局部密度结构最敏感。如果你有自己训练好的分类器也可以把clf替换掉但初次验证建议先跑1NN方便和论文基线对比。评估时用目标域真实标签计算accuracy但由于伪标签迭代过程中目标域标签永远不会参与训练所以这个评估是诚实的。4. JDA代码避坑指南五个高频翻车点与排查方案4.1 现象d设到100甚至更高目标域精度反而下降这是最常遇到的迷之现象。明明投影维度越高信息保留越全结果d从30调到100精度掉了五个点还多。原因在于JDA的优化目标里分布对齐项MMD在高维子空间里会把噪声方向也保留下来尤其是样本量少时高维特征矩阵协方差估计极其不稳定。解决方法是把d控制在样本量的一个小比例范围内。我一般按下界来取d不超过特征维度的三分之二同时不超过源域样本数的五分之一。如果特征是自己提取的统计特征且原始维度只有几十那d就在20到40之间试。另外一个排查方向是看投影后类别分团是否清晰直接对投影后的Z用t-SNE降维到二维可视化如果能看到清晰的类别结构说明d选得合理。4.2 现象样本数过万程序直接内存溢出JDA的核矩阵K是n乘n的密集矩阵n10000时K就占了800MB内存还没算上M、A、B三个同尺寸矩阵。有些人的数据本身是图像Patch一展开就好几万样本跑K.dot(M).dot(K.T)时MemoryError直接砸脸。解决思路有几个方向。一是用Nyström近似随机选k个锚点样本构造低秩核近似把核矩阵维度从n降到k乘nk取500左右就能保留大部分结构。二是分块计算核矩阵避免一次性实例化整个K。三是干脆降采样跑一次看趋势确认有效后再用全部数据尝试。最常见做法是先用Nyström做低秩近似既保留分布对齐能力又让内存占用变成线性。4.3 现象lambda_reg设成0广义特征值求解直接报奇异矩阵错误这个翻车点几乎是必然的。核矩阵K本身是半正定的中心化后的KHK^T在样本存在冗余或者类别不平衡时经常不满秩直接求逆会提示Singular matrix。有些人在GitHub上瞎传的代码为了省事不处理正则跑小型数据集侥幸没报错换到真实数据集就崩掉。解决方法是给B矩阵加一个小的对角扰动lambda_reg设为0.1到0.5之间就足够。注意加扰动的位置是KHK^T而不是A矩阵因为A矩阵不需要求逆。如果加了正则还是奇异检查一下是否有重复样本导致核矩阵完全相同的行先做过去重再跑。4.4 现象伪标签迭代轮数很多精度不升反降JDA的迭代公式看起来是越迭代对齐越精细但实际上max_iter超过10之后伪标签的错误会自我放大。第一次迭代使用1NN预测伪标签准确率假设有80%第二次迭代Mc里混入20%的错误对应关系MMD会被这些错误样本带偏第三次迭代错误率可能涨到30%。排查方法是先固定max_iter1只用一步伪标签更新看基线精度然后逐步往上加。如果第二步精度明显下降说明初始伪标签质量太差这时候需要换更强的基分类器比如SVM或者随机森林来生成初始伪标签而不是继续叠迭代轮数。我自己的习惯是max_iter设成5超过5之后检查每轮的目标域精度曲线如果第二轮开始下跌就果断回退。4.5 现象特征没标准化时RBF核距离计算完全失真有一个常见误解是RBF核自带尺度适应性不需要标准化。RBF核的计算依赖欧氏距离的平方如果某个特征维度量级是1000而另一个维度量级是0.01那么在欧氏距离里大数值维度直接主导整个核矩阵JDA的MMD对齐等价于只对齐了那一个维度的分布。解决方法是标准化这一步绝对不能省。StandardScaler只fit源域然后transform目标域这在之前已经强调过。如果特征本身是深度网络输出的logits量纲可能不稳定建议再做一次MinMax归一化把范围压到0到1之间。排查手段很简单算出源域和目标域在原始空间归一化前后的MMD值对比会发现标准化后MMD显著下降而这一点正是JDA希望看到的。5. JDA进阶用法把联合分布适配嵌进真实迁移学习管线5.1 迭代伪标签的质量决定上限先跑基线再开迭代JDA进阶方向的第一个结论是迭代是锦上添花不是雪中送炭。我在实际项目里一贯的做法是先把max_iter设成0即只用M0对齐边缘分布得到一个精度基线。然后开一轮伪标签迭代对比精度变化。如果一轮迭代精度就上涨明显说明条件分布对齐有效继续迭代。如果第一轮就下降说明初始伪标签错误率太高先换基分类器或者先做类别重平衡再迭代。还有一个经验伪标签迭代过程中保存每一轮的投影特征Z把第一轮和第二轮的Z做对比看目标域样本移动的距离是否合理。如果多数样本在投影空间的位置漂移超过一个尺度大概率是过拟合到了错误的伪标签上。5.2 JDA与深度特征提取的组合策略另一种常见用法是把JDA当作深度特征的下游适配器。用预训练网络抽取源域和目标域的深度特征特征维度通常是512或1024然后在这类高维特征上跑JDA。深度特征本身已经有较强的语义信息但分布偏移依然存在JDA在深度特征上能把跨域精度再提升几个点。这个组合里的关键调整是把d设得比原始特征维度低一到两个量级例如原始特征1024维d设成64到128。lambda_reg可以适当调大因为深度特征对噪声的容忍度更低。另一个细节是深度特征通常带有batch norm统计量如果源域和目标域来自不同的数据采集环境建议先用一个小的校准集把目标域特征的均值和方差粗略对齐到源域再进JDA。整个管线是源域特征和目标域特征分别经过标准化然后JDA做分布对齐和降维最后在投影空间里训练分类器。这份代码里最有价值的不是某个数学技巧而是它把分布对齐降维和分类器训练封装成了清晰的三个步骤方便你替换任一层。从那以后我每次跑域适应实验都强制走一遍先标准化再跑M0基线确认精度合理后再开伪标签迭代。JDA不是银弹但它是一面镜子能照出你对分布差异的理解有多深。希望帮到你。本文还有配套的精品资源点击获取