我在做某次航天器末端交会策略仿真时发现了一件很尴尬的事情把对手的最大推力参数偏离标称值5%之前解出来的“最优拦截策略”性能就开始急剧退化。追逃博弈真正难的地方不在动力学建模也不在数值优化而在对手特征一开始就是不完全信息。后来我复现了一篇期刊工作它用EKF在线估计对手参数在每一拍上求解Epsilon纳什均衡形成一个自适应博弈闭环整个过程用Matlab跑通。这篇文章就是那次复现的完整记录。如果你正准备复现这类不完全信息追逃博弈论文或者正在把EKF估计器和博弈决策器接在一起调试这篇内容应该能帮你省下不少弯路。我会把整个链路拆开讲先说明末端追逃问题为什么天然就是不完全信息博弈再谈Epsilon纳什均衡为什么是“妥协但合理”的解然后重点展开EKF参数估计的设计最后落到Matlab代码结构和实际调试中遇到的坑。1. 追逃博弈走近末端不完全信息才是常态1.1 末端交会的“猫鼠游戏”为什么难算航天器末端追逃本质上是一个动态博弈问题追逐方希望终端脱靶量越小越好逃逸方则希望把它拉大。所谓“末端”一般指相对距离已经压缩到几十公里以内甚至几百米的阶段此时影响相对运动的主要因素不再是轨道摄动细节而是双方各自的机动能力和决策策略。近些年在轨服务、空间碎片清除、接近操作这类任务里很多场景都可以抽象成“追”与“逃”的对抗一方试图接近并锁定目标另一方试图保持距离或者摆脱接近态势。这类问题真正难的地方是博弈参与者的信息结构。传统完全信息博弈解法假设你清楚知道对方的动力学参数、目标函数、甚至策略集然后直接求解最优机动。但实际系统中你手里的信息往往只有相对导航传感器输出的相对位置和视线角。对手的推力上限是多少燃料还剩多少它当前更在乎节省燃料还是更在乎拉开脱靶量这些都是未知数。唯一的办法是在博弈过程中不断用观测数据去反推这些参数再根据反推结果调整自己的决策。这种“边猜边打”的模式和经典微分博弈教科书里的设定差别很大。后者追求的是一个全局最优解而前者更像一个滚动时域的自适应控制问题每个周期都基于当前认知做出一个“看起来足够好”的决策然后等待新的观测更新认知再重新决策。这也是这篇期刊工作选择“EKF参数估计近似均衡求解”组合的根本原因。1.2 估计器与博弈求解器串行闭环的总体框架整套策略按功能可以拆成四个层次感知与测量层本方相对导航系统输出相对位置、视线角等量测信息。复现时可以用一个模拟测量函数给真实状态叠加高斯噪声。在线估计层EKF的核心作用。通过状态扩维把对手的未知参数当作增广状态与相对运动状态一起递推估计。产出不只是参数点估计还有协方差矩阵这两个东西后面都会用到。博弈决策层接收当前状态估计和参数估计把追逃问题构建成带终端脱靶量惩罚和控制代价的微分博弈求解一个epsilon纳什均衡策略得到本周期加速度指令。执行与推进层把策略映射成控制指令积分动力学推进到下一时刻回到感知层继续下一循环。这个“估计-决策-执行”的思路并不复杂真正复杂的是各层之间怎么衔接。参数估计的误差如何传导给博弈求解器而不至于让策略剧烈震荡估计协方差如何参与均衡求解的松弛量设计这些细节在论文里往往只有一两句话复现时却要花大量时间验证。我最初的做法是直接把EKF给出的参数均值丢进博弈求解器结果控制曲线抖得没法看。后来才意识到估计结果本身的置信度信息同样重要——这一点在第四章会展开讲。有一点值得先说明这个串行结构并不是唯一的方案。也有些人会尝试把估计问题和博弈问题写成联合优化同时求解状态估计和均衡策略。但联合优化的计算量在末端实时场景下很难接受而且估计误差和策略误差耦合在一起调试起来更加麻烦。这篇期刊工作选择串行闭环本质上是用“每一步都近似最优”换取“整个系统可计算、可实现”。2. Epsilon纳什均衡不完全信息下的妥协解2.1 从严格纳什到Epsilon纳什松弛一个“epsilon”的实际意义标准的纳什均衡要求每个参与者都在给定对方策略下选择最优响应任何单方面偏离都不可能改善自己的收益。在完全信息、连续策略空间、凸收益函数的情况下理论上可以解出鞍点或均衡。但到了末端追逃这种场景问题立刻变得不好办第一策略空间本身是高维的。控制量、机动方向、切换时刻都在里面精确求解极耗计算。第二对方参数只是估计值收益函数本身不精确追求“严格最优”没有任何实际意义——你为一个不精确的模型付出了昂贵的计算成本得到的却是一个在真实状态下并不最优的解。第三数值求解器总是有容差的工程上能接受的性能损失往往是一个范围而不是一个点。Epsilon纳什均衡就是为此引入的松弛版本。对一个策略对如果任意一方的单方面偏离带来的收益改进都不超过ε就称这个策略对是ε-纳什均衡。写成直观的说法在ε的容忍度内谁都不太想主动偏离当前策略。ε-均衡在博弈论里是个被研究很久的概念最近几年在机器人对抗、多智能体协作、飞行器博弈这些工程场景里重新被用起来因为它和“参数估计有误差”这件事天然契合。从复现角度我要强调一个事情ε不能拍脑袋定。我最初把ε设成固定值0.1结果在脱靶量几十米的大尺度场景下显得太苛刻求解器频繁找不到解在脱靶量几米的小尺度场景下又显得太宽松策略看起来毫无纪律性。后来改成把ε设成当前收益幅值的一定比例比如1%到5%仿真才稳定下来。这个比例本身也要结合任务来标定建议用几组不同初值跑一遍看策略曲线是否出现明显抖动来选择。2.2 收益函数与策略空间的具体构造追逃博弈的收益函数绝大多数论文用的是“终端脱靶量控制能量”的组合形式大致是J miss_distance_terminal λ ∫||u||² dt追逐者最小化J逃逸者最大化J。在零和设定下J的符号对所有参与者一致只是“最小化”和“最大化”的区别。复现这篇期刊工作时还需要根据具体模型决定是否加上末端相对速度惩罚——如果末端相对速度过大即使脱靶量很小也不算成功拦截那么J里就要再加一个末端速度项的加权。策略空间的构造是另一个容易忽视的点。实际求解中不可能优化无限维的控制轨迹一般做法是参数化假设每个决策周期内双方控制量保持恒定或者假设双方选用一组有限的候选机动方向/加速度大小然后在这些候选上寻找均衡。这个简化在期刊仿真里是普遍成立的因为末端博弈时间本身不长控制量分段恒定已经能表达主要机动模式。我把本方的候选控制集设成8个方向的等间隔扇区加中心减速档和加速档一共10到15个候选加速度向量。对方候选集理论上也一样但在不完全信息下候选集的范围要用EKF估计出的推力上限动态更新——这个动态范围更新本身就是“自适应”的体现之一。2.3 均衡求解的数值化实现思路具体求解可以走两种路线我复现时两种都写过。第一种是收益矩阵枚举。把本方候选控制A_p和对手候选控制A_e做笛卡尔积逐对计算从当前状态外推一个小时间窗口后的收益形成一个二维收益矩阵。然后在矩阵上搜索满足ε-纳什条件的策略对对每一对索引检查本方单方面改用其他候选控制能否让收益降低超过ε再检查对手单方面改用其他候选控制能否让收益增加超过ε。都满足就是ε-均衡。这种方法的优点是实现简单、结果可复现缺点是外推窗口不能太长否则收益矩阵计算量爆炸。第二种是交替梯度迭代。固定对手策略本方沿收益梯度方向优化然后固定本方策略对手反向优化反复交替直到策略变化量小于阈值。这种方法更适合连续策略空间但容易卡在局部解而且在对方参数不确定时更容易震荡。我主要用第一种第二种作为对照实验验证两个求解方法给出的均衡结果是否一致。这里有一个很关键的实操细节收益矩阵里的每个元素其实不是“终端真实脱靶量”而是基于当前状态估计和当前参数估计的外推结果。所以整个均衡求解是逐周期更新的。这也解释了标题里“自适应博弈”几个字落在实地上——每一拍博弈模型都在随估计结果变化。严格来说这不是一个全局均衡而是一个“当前信念下的局部均衡”但它恰恰在不完全信息场景下最实用。3. 基于EKF的对手参数在线估计状态扩维与滤波设计3.1 把未知参数扩进状态向量思路与原理EKF在这里承担的任务很朴素对手参数不可直接测量但它们会影响相对运动的演化所以可以从可测的测量量中把参数“反推”出来。标准的参数估计方法很多之所以用EKF是因为它能把状态估计和参数估计放在同一个非线性递推框架里不需要打断仿真单独跑离线辨识。状态扩维是典型做法。假设我们关心的未知参数有对手最大推力T_emax、对手机动响应延迟τ_e、对手收益函数中的控制权重λ_e。真实状态向量就是六维相对运动状态加三维未知参数一共九维x [r_x, r_y, v_x, v_y, T_emax, τ_e, λ_e]ᵀ相对运动状态用相对位置和相对速度表达参数部分假设它们在单个决策周期内近似恒定即参数导数为零随机游走。这样一个扩维状态方程写出来EKF就能同时输出相对状态估计和参数估计而且它们之间的联动关系会通过协方差矩阵体现出来。这正是“在线辨识”和“离线辨识”最大的区别EKF天然知道参数估计和状态估计是耦合的不会出现参数估计值变得离谱而状态估计还一切正常的情况。3.2 预测-更新两步走非线性模型线性化EKF本质上是把标准卡尔曼滤波的线性假设换成了“局部线性化”。每一个周期开始时预测步骤用状态方程把状态和协方差从上一时刻推到当前时刻协方差的传递需要计算状态转移的雅可比矩阵F更新步骤用观测方程h(x)的雅可比矩阵H计算卡尔曼增益然后用实际测量残差修正预测状态。具体公式在Matlab里写起来并不长% 预测 F jacobian_state(x_est); % 状态转移雅可比 x_pred f_state(x_est, dt); % 非线性状态外推 P_pred F * P_est * F Q; % 更新 H jacobian_measure(x_pred); % 测量雅可比 S H * P_pred * H R; K P_pred * H / S; innovation z - h_measure(x_pred); x_est_new x_pred K * innovation; P_new P_pred - K * H * P_pred;需要说明的是状态转移雅可比F和测量雅可比H可以手工推导也可以用Matlab Symbolic工具箱自动生成。我强烈建议在初期先用symbolic自动生成一遍自己手推容易在偏导数里漏项尤其是带参数部分的雅可比稍不注意就会出现维度不匹配。参数部分的状态转移是恒等所以F矩阵对应参数行是单位阵这部分看起来简单但Q矩阵中参数对应位置的噪声方差设成多少是个真正的调参问题设成状态噪声的千分之一到万分之一让滤波器相信“参数基本恒定但可能缓慢漂移”。测量雅可比这里要特别提醒观测是相对距离r和视线角θ对位置速度求偏导是常规操作但对参数维度求偏导都是零。构造H矩阵时正确做法是H zeros(2, length(x_est))然后只填位置和速度对应的偏导项。如果直接把参数列省略矩阵维度就会错误运行时报错还不太好查。3.3 滤波器调参细节Q、R与可观测性问题调EKF说到底是调三个矩阵Q、R和P0。R比较好办直接对应相对导航传感器的误差特性。我复现时设置相对距离测量噪声标准差为1米视线角噪声标准差为0.01弧度R矩阵就是这两个方差组成的对角阵。Q分成两块。相对状态部分的Q_state控制模型误差吸收能力设太小则滤波过信设太大则状态抖动。参数部分的Q_param尤其关键它的物理含义是“参数随时间漂移的速度”。我复现时把Q_param设成1e-8量级目的是让EKF能跟踪参数的缓慢演化又不会因为一两帧异常测量就大幅跳变。如果参数本身可能发生策略级切换比如对手从省燃料模式切到全力逃逸模式Q_param就应该适当调大否则滤波器追不上参数变化。P0初值也很重要。如果你对对手参数估计完全没底P0对应参数的位置就不要吝啬比如推力估计初始值取标准值2倍左右的方差是合理的。P0设太小会让滤波器一开始就压住参数更新后面很难纠偏。我踩过一次这个坑初值方差设成标准值的十分之一结果前端好几秒内参数估计纹丝不动直到我把它改大才恢复正常。可观测性是这套方案最容易被忽略的软肋。举个例子如果逃逸器在末端一直沿着固定方向匀速直线逃逸你拿到的测量只能反推它的位置和速度根本无助于估计它的最大推力——因为推力根本没有被激励出来。EKF给出的推力估计会一直停在初始值附近协方差也不收缩。此时正确做法不是继续调滤波器而是接受“该参数当前不可观测”的事实把这一份不确定性转嫁给博弈求解器的ε。4. 自适应博弈闭环估计结果如何驱动策略更新4.1 滚动时域下的“估计-求解-执行”主循环自成体系地讲一遍我会从主循环说起。仿真开始后真实系统按高精度动力学推进感知层每隔一定周期输出带噪声的相对导航测量EKF在测量到达时做一次完整的预测-更新博弈求解器拿到最新状态估计和参数估计后在当前策略候选集上解ε-纳什均衡本方取均衡解中追逐者一侧的控制量作为实际指令推进一个小的积分步长然后进入下一个周期。我把决策周期设为0.5秒动力学积分步长0.01秒。决策周期太长参数估计跟不上快速机动的变化太短又会让每次EKF只有极少的新测量输入参数收敛变慢。0.5秒在文中算例的尺度下是一个比较均衡的选择——每周期内双方机动不会有太大突变EKF也有足够的测量样本。这个结构的本质是滚动时域。要特别提一句不要被“均衡”这个词骗了。这里的均衡不是全局意义上的均衡而是当前参数估计下的局部最优解。它之所以有效正是因为它跟随估计不断更新而不是一次性求解到底。如果你试图一次性解一个全局均衡等于又回到了完全信息的假设那恰恰是本篇论文要避开的问题。4.2 估计不确定度如何让均衡解更稳健参数估计有均值也有协方差。很多人复现时会只取EKF输出参数均值去重建博弈模型这样其实浪费了滤波器最宝贵的输出——不确定度。我在博弈决策层实际做了两件事。第一把参数估计的标准差映射进ε。如果当前对对方最大推力的估计标准差很大说明我们“不太确定对方有多大能力”此时把ε放大一些均衡求解器就会更宽容不会为一个不存在的微小优势猛烈调整策略。代码里我用的映射是ε max(ε_0, k * trace(C_param))k需要标定试下来取0.02左右比较稳。这个做法和ε-均衡框架天然契合你对对手的认知越模糊你对“最优”的追求就越应该粗糙一些。第二对参数做区间化处理。估计值±2σ形成一个参数区间在区间内分别求解收益然后按保守原则确定策略。对追逐者来说就是假设对方推力取区间上界、反应延迟取下界把对方当成一个更难缠的对手来解博弈。这个方法计算量大约翻倍但在末端关键阶段非常值得——不确定度大时宁可保守一点也不要因为估计偏差做出轻敌的机动。把不确定度显式引入均衡求解才是“自适应博弈”比较完整的含义不只是“参数变了所以策略变了”而是“参数没变但确定度下降了策略也要跟着变”。这个认知层面的差异直接决定了你的策略曲线是平滑自适应还是毛躁乱跳。4.3 策略切换时的控制平滑与约束处理滚动时域决策最直观的问题就是控制指令逐拍跳变。上一拍求解器可能选择了向右的机动下一拍EKF更新后参数变化导致求解器切换成向左你直接把控制指令切换过去整个轨迹会画成锯齿形燃料消耗还高。我的处理分三层加策略变化惩罚在收益函数中加入一项λ_switch * ||u_p - u_p_prev||²让求解器在选择新策略时同时考虑切换成本。这个改动对均衡位置影响不大但能显著减少高频切换。限幅与速率限制对加速度指令做限幅对指令变化率限速。比如加速度变化率限制在0.05 m/s³以下这个值在实际飞行器上是合理的在仿真里也能消除抖动。移动平均过渡如果不希望在收益函数里加惩罚项也可以用前两个周期的控制量和当前建议值做一次加权平均相当于一阶数字滤波。代价是响应会滞后所以平滑时间常数不要超过0.2秒。这些处理不会改变均衡解的理论性质但会让结果曲线和实际工程行为更加一致。期刊论文里画的图往往是理想化的复现时如果不做平滑你会看到自己在参数估计收敛前经历一段惨不忍睹的振荡。5. Matlab代码实现工程结构、关键函数与运行效果5.1 代码文件划分与仿真时序期刊复现这类项目代码结构建议按功能拆成单文件函数不要把所有逻辑堆在Script里。我复现时的目录结构如下main_TSG_Game.m 主入口配置参数、运行仿真、汇总结果dynamics_update.m 相对运动动力学递推真实模型sensor_measure.m 传感器模拟从真实状态生成带噪声量测ekf_estimate.m EKF预测与更新game_equilibrium.m ε-纳什均衡求解返回双方控制指令plot_results.m 输出轨迹、参数估计收敛、收益时间曲线主入口的仿真时序可以用一段核心循环概括% 初始化 x_true init_true_state(); x_est init_est_state(); P_est init_covariance(); u_p zeros(2,1); u_e zeros(2,1); u_p_prev zeros(2,1); for k 1:N t k * dt; % 每到一个决策周期测量 - EKF - 均衡求解 - 更新策略 if mod(t, dt_decision) dt z sensor_measure(x_true); [x_est, P_est] ekf_estimate(x_est, P_est, z, dt_decision); [u_p, u_e] game_equilibrium(x_est, P_est, u_p_prev); u_p_prev u_p; end % 真实动力学按小步长推进 x_true dynamics_update(x_true, u_p, u_e, dt); if norm(x_true(1:2)) r_terminal, break; end end这里有一个我认为很关键的建模选择真实仿真中“对手”的控制量u_e是从哪来的复现时有两种方式。一种是用一个真实的假想控制器来生成u_e比如对方采用比例制导另一种是让对手也使用独立的博弈求解器。我测试下来如果对手也走同一个game_equilibrium函数仿真结果最“漂亮”但会和“不完全信息估计”产生耦合风险——双方参数都在被估计双方估计都在变整个闭环特别容易振荡。期刊原始仿真通常假设对手使用某个固定策略这样EKF要估计的就是“对手策略中的未知参数”逻辑更干净。建议先按这种方式跑通再扩展成双方都用自适应博弈的对比实验。5.2 核心代码段逐块解析EKF函数我在第三章给了主体框架这里补充两个容易出错的具体实现点。第一个是收益函数计算。外推时我用的是简化两点运动学假设控制恒定从当前状态积分一个小时间段看终点脱靶距离和控制能量。这个简化在几个决策周期内精度足够而且计算量可以接受function J payoff(x_est, param_est, u_self, u_opp, T_horizon) % 简化外推假设控制恒定从当前状态推进T_horizon x_future propagate(x_est, u_self, u_opp, T_horizon); miss norm(x_future(1:2)); control_energy T_horizon * (norm(u_self)^2 norm(u_opp)^2); J miss param_est.lambda * control_energy; end第二个是候选控制集合生成。这个函数里要重点体现“自适应”对手候选集的范围不是固定的而是根据EKF的推力估计动态调整% 本方可选加速度8个方向扇区 中心加减速 angles linspace(0, 2*pi - 2*pi/8, 8); a_dir [cos(angles); sin(angles)] * a_max * 0.8; a_p [zeros(2,1), a_dir]; % 对手候选集根据EKF的推力估计动态扩展 if param_est.T_emax threshold a_e [zeros(2,1), [cos(angles); sin(angles)] * param_est.T_emax * 0.9]; else a_e [zeros(2,1), [cos(angles); sin(angles)] * param_est.T_emax * 0.5]; end这样写的好处是当EKF估计出对手推力变大时博弈求解器自动把对手有可能用的大机动选项放进候选集估计值偏小时候选集也随之缩小。整个过程不需要额外逻辑参数估计的结果自然传导到博弈决策层。5.3 仿真参数配置与典型运行结果我复现时的基准参数如下表供参考参数数值说明初始相对距离8 km被追逐者在原点附近初始相对速度150 m/s追逐方朝向目标方向接近dt0.01 s动力学积分步长dt_decision0.5 s估计与博弈决策周期观测噪声距离1m视线角0.01rad模拟相对导航精度Q状态部分1e-6相对运动模型误差Q参数部分1e-8参数慢变假设R矩阵diag(1, 1e-4)对应以上噪声方差ε基准收益幅值1%动态缩放追逐方最大加速度0.5 m/s²推进能力约束跑完主程序后plot_results会画三张核心图真实轨迹与估计轨迹对照、EKF对对手推力参数的估计曲线及真实值参考线、每周期收益矩阵上的均衡点位置变化。我复现时设定的目标是能看到推力估计在几次明显机动后逐步收敛到真实值附近同时控制轨迹没有出现高频锯齿。如果参数估计在仿真后期还在剧烈漂移或者控制曲线在某个阶段出现周期性的来回切换八成是Q_param或者ε的映射系数没调好。6. 复现中真正踩过的坑发散、不可观测与数值抖动6.1 EKF发散的典型场景与对策我在第一次跑通集成系统时EKF在末端阶段经常发散表现是参数估计突然跳到物理不合理范围推力变负或者十几倍于真实值。定位过程花了两天最后发现三个原因叠加。第一个原因是预测步长和动力学剧烈变化的矛盾。0.5秒的决策周期对于末端高速接近场景来说确实偏长线性化假设在一大步外推后失效。解决办法是让EKF内部用多个小子步做预测而不是一次性外推0.5秒。这个改动对收敛性提升非常明显推荐所有复现者优先做这个修改。第二个原因是异常测量。传感器模拟中偶尔出现远离真实值的野值EKF直接把它当有效信息用参数就被带偏。解决方式是在更新前算innovation如果innovation范数超过3倍标准差的预测残差就跳过这一次更新保留预测值。这个防御逻辑很小但能避免绝大多数因为单点异常导致的滤波器崩溃。第三个原因是参数约束缺失。EKF更新后要把参数裁到合理物理范围否则估计协方差被带坏后很难恢复。推力必须为正、不能超过物理上限这个约束看起来简单但在模型比较复杂时特别容易遗漏。务必在EKF更新函数里加参数边界保护再做下一步处理。6.2 参数不可观测时别硬调滤波器激励设计才是关键这个坑或许是最有代表性的。仿真中对手如果长时间匀速直线飞行推力参数估计值不会变化协方差也不收缩。一开始我以为是滤波器bug尝试调大Q、调小R、改初值全部无效。后来才意识到是问题本身的可观测性不足你观察不到推力因为推力没有被激发。处理分两个层面。第一个层面是认知层面如果估计协方差长时间不降说明该参数在当前轨迹下不可观测你就不该把它当精确值用。我代码里加了一个检测器当参数协方差连续多个周期不下降时会在博弈求解器里把该参数对应的不确定度直接放大让ε相应增大。这个检测在六个章节里算是操作上最简单但收益最大的一个改进。第二个层面是行为层面追逐方可以主动设计小幅探测机动迫使对手做出反应从而暴露更多动态特征。这个过程本质上是用控制换信息机动要足够小不能牺牲太多性能。我在一次调试里用了接近零的探测幅度效果就很好。6.3 求解器数值抖动和控制跳变的工程化处理最后一个坑是均衡求解的数值抖动。离散候选集搜索会导致这样的问题两个相邻候选控制作用下的收益差可能只有0.1%但因为收益矩阵量化求解器在两次决策之间切换选择产生不连续的控制量跳变。解决思路在第四章已经提过这里补一个通用心得收益矩阵的搜索不需要“越精确越好”。当两个候选控制对应的收益差小于当前ε的1/10时可以认为它们在工程上就是等价的没必要强行区分。我在代码里加入了这个判定逻辑相当于给收益矩阵做了个“模糊化”显著减少了无意义的策略切换。如果你用的是交替梯度迭代而不是离散搜索还有一个更隐蔽的坑双方策略交替优化时收益函数梯度在鞍点附近可能非常平缓算法会陷入无限摇摆。我的建议是给策略更新加一个衰减步长每次迭代的步长乘0.95保证有限步数内收敛。这类数值细节在论文里不会写但复现者迟早会遇到。还有一个我在后期才意识到的经验不要在一个决策周期内反复求解同一个均衡。如果本周期内EKF没有收到新测量参数估计没有变化那么重复求解只会得到一模一样的结果白白消耗计算资源。代码里加一个“参数估计变化量低于阈值则沿用上一拍策略”的判断能让仿真时间缩短不少尤其在末端几百米阶段收益矩阵维度变大之后。这个优化对长时域蒙特卡洛实验特别有价值我后面做参数敏感性分析时全靠这个判断撑住了计算开销。