简介一份面向卫星网络与强化学习初学者的MATLAB仿真资源聚焦Q学习算法在动态拓扑和星地链路约束下的资源调度难题如通信资源分配、路由选择与功率控制等。压缩包仅含2个.m脚本包体大小2KB体量精炼但要素完整涵盖卫星网络状态与动作空间的构建、Q表初始化与迭代更新、ε-greedy动作选择策略、奖励函数设计以及学习率α和折扣因子γ等超参数设置。两个脚本分工明确一个负责定义环境并驱动主训练循环另一个实现Q值更新与策略选择逻辑便于分段阅读和局部修改。已有146人浏览学习适合需要快速动手实践Q学习、并将强化学习引入网络仿真的研究生或工程师。运行这套脚本可直观观察Q表随训练轮次逐渐收敛的过程理解不同α、γ取值对算法速度和稳定性的影响在此基础上还可结合卫星网络的链路时变特性扩展出路由选择、频谱分配等更贴近实际场景的研究实验也能直接作为课程设计或毕业设计的基础框架。1. 卫星网络Q学习Matlab仿真先想清楚它到底训练了什么决策低轨卫星划过用户头顶的可见时间通常只有几分钟到十几分钟终端必须在“继续用当前卫星”和“切到另一颗星”之间做出又快又准的决策。切晚了链路质量急剧恶化切早了又会白白增加切换开销。这套“卫星网络 Q学习 Matlab 仿真”要做的就是用Q学习在Matlab里模拟这个决策过程把可见卫星集合、当前服务卫星作为状态选择目标卫星作为动作用信噪比增益减切换惩罚构造奖励经过几百回合训练出一条明显降低切换次数、同时保证信号质量的策略。它适合刚开始接触强化学习、想验证低轨星座切换算法的开发者也适合拿来做课程设计和毕业设计的场景演示。整套训练不需要深度学习框架一张Q表加几十行循环就能跑通。2. 系统架构与目录结构从星座生成到Q表更新的完整链路如果你把这套仿真当成一个普通脚本一上来就打开主函数从头读到尾大概率会被星座几何、状态编码和学习更新混在一起的代码劝退。我拆文件结构时一般会刻意把“场景几何”和“学习算法”分开整个工程的数据流是场景生成→可见性计算→状态抽象→学习更新→统计绘图。下面按这条链路介绍文件怎么组织以及每个模块为什么要独立存在。2.1 目录结构与文件职责拆包后文件命名可能略有出入但职责基本可以对应到下面这份清单文件职责依赖main_leo_qlearning.m主入口组织训练流程和结果输出config_params, train_qlearningconfig_params.m集中配置星座、终端、Q学习超参数无gen_leo_constellation.m生成Walker星座卫星ECEF坐标config_paramsgen_user_terminals.m生成地面终端位置与移动轨迹config_paramscal_visibility.m计算各时隙可见卫星、仰角、信噪比星座/终端坐标build_state_idx.m将可见集合等特征映射为状态行号visibility结果choose_action.mε-greedy动作选择Q表、epsiloncal_reward.m计算信号增益与切换惩罚visibility结果step_sim.m推进仿真时隙并更新场景visibility结果train_qlearning.m训练主循环调用前面所有函数上述模块plot_convergence.m绘制奖励/切换次数曲线训练结果main_leo_qlearning.m 是唯一需要手动触发的入口运行时先读 config_params.m 生成的参数结构体再调用 train_qlearning.m。train_qlearning 内部按“回合-时隙”两层循环推进每走一个时隙才触发一次可见性计算、状态映射、动作选择和奖励计算。把 cal_visibility.m 单独抽出来的原因很实际训练一个回合要跑上千个时隙如果每次都在训练循环里重算星座轨道那改动星座构型就得跟着改学习代码抽出来以后换轨道高度、换倾角、换用户轨迹都不需要碰Q学习那一层。这也是这套仿真值得保留的组织方式后续扩展时能省下大量改代码的时间。2.2 卫星星座与终端建模方式低轨星座的默认构型常用Walker-δ需要指定轨道高度、倾角、轨道面数、每面卫星数和相位因子。这套仿真里可以设置的初始场景是高度780公里、6个轨道面、每面8颗卫星最小可见仰角10度。最小仰角这个参数比看起来更重要它决定一个时隙里用户能看到几颗星也直接决定后面的状态组合数量。仰角设成5度可见星会明显增多状态空间也跟着膨胀设成15度某些覆盖边缘时隙可能一颗星都看不见状态键就会变成空集。终端部分常见做法是支持静止点和匀速轨迹两种模式。静止点适合观察单次过境匀速轨迹适合模拟车辆或移动用户。两种模式的输出都统一成终端经纬度和海拔避免可见性计算出现两种分支。这个纯几何过程在 cal_visibility.m 中完成计算仰角和距离再把高于门限的卫星编号写入当前时隙的可见集合。function cfg config_params() % 星座参数 cfg.orbit_height_km 780; % 轨道高度单位km cfg.orbit_planes 6; % 轨道面数量 cfg.sat_per_plane 8; % 每个轨道面卫星数 cfg.phase_factor 1; % Walker相位因子 cfg.min_elevation_deg 10; % 最小可见仰角门限 % Q学习超参数 cfg.alpha 0.5; % 学习率Q值更新步长 cfg.gamma 0.9; % 折扣因子远期奖励权重 cfg.epsilon_init 0.9; % 初始探索率 cfg.epsilon_decay 0.995; % 每回合探索率衰减系数 cfg.epsilon_min 0.05; % 探索率下限 cfg.n_episodes 200; % 训练总回合数 end用函数返回结构体而不是全局变量是为了让每个模块只接收自己需要的字段调试时能看到完整参数快照。轨道高度和仰角门限影响的是几何层epsilon 系列影响的是探索策略这两组参数在调优时互不干扰分开写在同一个结构体里并不会增加理解成本。2.3 状态空间、动作空间与奖励设计Q学习的第一步是把连续几何观测变成离散状态。最常见的设计是“当前可见卫星编号集合 当前服务卫星编号”编码成二进制掩码后作为状态特征。为了避免状态爆炸不要直接把卫星的ECEF坐标放进状态因为同一颗星在头顶经过时坐标每时每刻都在变状态数量会失去上界。动作设计上我一般会在动作列表里增加一个“保持当前卫星”的选项。很多第一次写切换策略的开发者只枚举“切到星A/星B/星C”没有“不动”这个选项结果训练出来的策略在信号质量足够好的时候也频繁切换。Q学习既然是优化长期收益就要让模型自己学会“忍一忍”是有价值的。动作列表设计成编号0表示保持当前星1到N表示切换到可见列表里的第几颗星列数固定为最大可见卫星数加1。奖励函数则是整张Q表学习方向的来源设计项具体做法需要注意状态可见集掩码 服务星编号不要塞入连续星历坐标动作目标卫星编号额外保留“保持”选项列数固定为最大可见星数1奖励切换后信噪比增益减切换惩罚切换惩罚建议量级0.5到2这样设计后不同时刻看见同一组可见卫星会被归为同一个状态几何细节被丢弃。这看起来有些粗糙但在足够多的回合里Q学习学到的是这个状态下平均意义下的最优动作实际表现通常已经够用。如果后期想提升策略精度再往状态里加入“当前服务卫星剩余可见时间”这类特征也不迟。3. 核心算法实现Q学习从初始化到收敛的五个关键步骤训练核心不是复杂网络而是五件事初始化Q表、编号状态、选动作、算奖励、更新Q值。状态空间在千级别、动作空间在个位数时一张二维表比神经网络更稳也更好调试。下面按这五个步骤拆开看。3.1 Q表初始化先算清行数和列数Q表是二维矩阵行数等于最大可用状态数列数等于最大动作数。列数要提前固定不能在执行到一半突然给矩阵加列。常见做法是取“最大可见卫星数加1”多出来的那一列表示保持当前卫星不切换。% 初始化Q表 max_visible_sats 8; % 单时隙最多可见卫星数 n_actions max_visible_sats 1; % 1代表“保持当前服务卫星” n_states config_params().state_count; % 训练前先统计好的状态总数 Q zeros(n_states, n_actions);这里用 zeros 初始化成全0实际使用中我不会给Q表加初始偏置因为Q学习对未访问状态的收敛依赖中性估计。如果初始值设置过高前期探索会被不存在的收益误导如果设置过低又会让首次访问该状态的动作被错误扣分。全0是最省心的起点。3.2 状态编号从可见集合到行号状态编号是这套仿真最容易出错的环节。最可靠的方法是用 containers.Map 做动态映射第一次遇到某个特征组合时就分配一个新行号避免手工计算组合数出错。实际工程里 state_map 通常作为结构体字段传入训练函数这里为了可读性省略了传参过程。state_map containers.Map(KeyType, char, ValueType, int32); function idx map_state(visible_mask, current_sat) key sprintf(%s_%d, visible_mask, current_sat); if isKey(state_map, key) idx state_map(key); else idx state_map.Count 1; state_map(key) idx; end endvisible_mask 是长度为总卫星数的字符掩码例如“101001”表示第1、3、6颗星当前可见current_sat 是当前服务卫星编号。这个方案有一个隐蔽坑如果某个组合第一次出现在训练中段state_map 会继续增长。因此训练前要先跑一遍静态可见性统计把所有可能出现的状态组合枚举出来Q表行数按这个统计结果预留。3.3 动作选择ε-greedy 与探索率退火训练过程中既要利用已有经验也要保留探索空间。ε-greedy 是这里最常用的策略以概率 ε 随机选动作以概率 1-ε 选当前Q值最大的动作。function action choose_action(Q, state_idx, epsilon, n_actions) if rand epsilon action randi(n_actions); % 探索随机选一个动作 else [~, action] max(Q(state_idx, :)); % 利用选Q值最大的动作 end endrand 产生一个0到1之间的均匀随机数小于 epsilon 就进入探索分支。epsilon 初始值建议设成0.9让前几十个回合充分尝试各种切换目标随后每个回合乘以 epsilon_decay比如0.995训练到200回合时探索率会降到0.05左右策略基本稳定。3.4 奖励计算与Q值更新奖励函数决定策略倾向。切换后信号变好奖励为正切换动作本身要付出代价所以扣掉一个固定惩罚。惩罚系数需要和信噪比增益处于同一量级否则模型学不到正确的权衡。function r cal_reward(snr_current, snr_target, is_switch) delta_snr snr_target - snr_current; % 切换后的信噪比变化 penalty 1.0 * is_switch; % 切换一次扣1 r delta_snr - penalty; end如果实际仿真中信噪比增益正常波动范围是0到3惩罚系数设成1是合理起点。设成10会让策略死守旧星设成0.01则会疯狂切换。这个参数是后面调优时最先要校准的量。3.5 训练主循环把五步串起来整个训练过程按“回合-时隙”两层循环推进。每个回合开始时重置场景每个时隙里完成选动作、推进仿真、算奖励、更新Q表四件事。for ep 1:cfg.n_episodes reset_scenario(); % 重置卫星坐标和终端位置 total_reward 0; for slot 1:slots_per_episode s build_state_idx(visible_mask, current_sat); a choose_action(Q, s, epsilon, cfg.n_actions); [r, s_next] step_sim(s, a); % 推进一个时隙返回奖励和新状态 Q(s, a) Q(s, a) cfg.alpha * (r cfg.gamma * max(Q(s_next, :)) - Q(s, a)); s s_next; total_reward total_reward r; end epsilon max(cfg.epsilon_decay * epsilon, cfg.epsilon_min); reward_curve(ep) total_reward; % 记录整回合累计奖励 end更新公式里 max(Q(s_next, :)) 表示新状态下的最优未来收益这是Q学习属于离策略算法的原因。如果想验证更保守的算法把这行改成按实际选择动作取值的 SARSA 更新整个工程只需要动这一行。alpha 控制新信息覆盖旧经验的程度0.5 表示新旧各占一半训练前期能较快跟上环境变化。4. 仿真运行与参数调优先跑通场景再让奖励曲线稳定打开工程直接点运行不是不行但第一次跑之前最好先做两件小事确认文件执行顺序做一次可见性统计。这两个步骤能让后面所有调参工作都建立在确定的状态空间上。4.1 运行前的可见性统计状态数量不是拍脑袋定出来的而是由星座几何和仰角门限共同决定。我一般会在训练前写一个短脚本把所有时隙的可见卫星组合遍历一遍统计去重后的组合数量。cfg config_params(); [sats, users] gen_leo_constellation(cfg); stats precompute_visibility(sats, users, cfg); disp([状态总数: , num2str(stats.state_count)]);这个 precompute_visibility 函数会遍历所有时隙收集出现的可见卫星掩码最终给出状态总数。看到这个数字后再回去检查 Q 表初始化代码里的 state_count 是否一致。如果这里不一致训练时访问 Q 表行号就会越界而且报错位置往往不在状态映射函数里排查起来非常痛苦。4.2 训练运行方式与环境检查常见做法是打开 MATLAB 后逐句执行 config_params.m、main_leo_qlearning.m、plot_convergence.m这样能在工作区看到每一步的中间变量适合第一次跑通。如果要在服务器上批量跑参数对比可以用批处理模式跑完自动退出不会在服务器上残留桌面界面。matlab -batch config_params; main_leo_qlearning; plot_convergence需要说明的是-batch 模式要求较新的 MATLAB 版本旧版本可以用传统方式启动matlab -nosplash -nodesktop -r config_params; main_leo_qlearning; plot_convergence逐句执行时重点观察 workspace 里 Q 表的规模是否和 precompute 统计出的状态总数一致以及每个回合结束时 epsilon 是否在按预期衰减。如果 epsilon 衰减太快后几十个回合会完全没有探索行为曲线表现为突然陷入平台期。4.3 收敛判断的标准判断训练是否收敛不要只看 Q 表数值要看整回合累计奖励和切换次数两条曲线。单回合抖动很大是正常的先做滑动平均再观察趋势。window 20; smooth_curve movmean(reward_curve, window); plot(smooth_curve); grid on; xlabel(Episode); ylabel(Smooth Total Reward);movmean 会把相邻20个回合的均值画出来滤掉单回合噪声。正常曲线是前期快速上升、中期缓慢波动、后期在某个平台震荡。连续50个回合的平滑值不再创新高基本可以认为收敛。此时可以把探索率降到0再做一次纯利用测试验证训练出来的策略在真实场景下的表现。4.4 参数调整的优先级与建议顺序调参不是上来就调学习率。我的习惯是“先校准奖励量级再调探索率最后动学习率”。切换惩罚和信噪比增益如果不在同一量级后面所有参数都白调。参数参考值调高带来的影响切换惩罚 penalty0.5~2调高切换次数下降但可能死守旧星epsilon_decay0.99~0.999衰减快探索少、收敛快但容易早熟alpha0.1~0.5调大单步更新幅度大曲线波动明显gamma0.9~0.99调大更看重远期收益收敛变慢建议先跑一组 penalty 0、0.5、1、2 的对照实验把每条训练曲线的切换次数列出来确认惩罚量级合适后再调 epsilon_decay。alpha 保持0.5起步只有当曲线出现明显震荡时才降到0.2以下。每次只改一个参数否则出了新问题根本定位不到是哪个改动引起的。5. 避坑与常见问题排查Q学习仿真最容易翻车的四个地方这些坑不是看文档能看出来的基本都是跑训练时肉眼可见的异常。下面按“现象、原因、处理”整理成四条前两条最容易让人误判成算法问题实际都是工程问题。5.1 训练很久Q表却大部分是零现象训练200回合后Q表里大量行还是初始的0只有少数行被更新过。原因通常出在状态编号上。如果用 containers.Map 动态分配状态编号而训练前没有做可见性统计那么状态组合会在训练过程中不断增长很多状态只出现过一两次根本来不及稳定更新。处理方法是训练前先跑一遍 precompute_visibility把所有可能出现的状态组合固定下来让 Q 表行数等于实际状态总数。另一种补救是适当提高最小可见仰角门限从10度提到12度或15度可见卫星组合数量会明显下降状态空间缩到原来的几分之一。5.2 奖励曲线剧烈震荡像在抽风现象总奖励曲线上下跳动幅度极大滑动平均后仍然不平稳。原因多数是瞬时奖励的量级没对齐。个别时隙里信噪比增益突然很大或很小导致 Q 值被单个样本拉偏后续几个回合都处在恢复期。与之相伴的往往是某个方向上的 Q 值远远大于其他方向但策略表现却很糟糕。处理方法是把瞬时奖励归一化到统一量级比如把 delta_snr 除以正常运行时的最大波动值让奖励范围落在-1到1之间。归一化之后再看平滑曲线如果仍然震荡再检查 epsilon 是否一直维持在高位没有衰减。5.3 切换次数居高不下现象训练后期累计奖励在涨但终端切换次数依然很高甚至比随机策略还频繁。原因几乎都是切换惩罚设置得太轻。信噪比增益略微提升就能覆盖切换惩罚时策略会倾向于“一有新星就切”积累起来的切换开销反而拖累服务质量。处理办法是把惩罚提到与信噪比增益同量级。比如正常增益波动是0到3惩罚从0.5逐步提到2观察切换次数曲线是否开始下降。切换次数和累计奖励是两个互相制约的指标只盯奖励曲线很容易漏掉这个问题。5.4 报错“矩阵维度必须一致”或“下标索引超出范围”现象训练跑到中途突然报错停在一个看起来和问题无关的函数里。原因多半是某个时隙可见卫星集合为空build_state_idx 生成了一个空的状态键或者状态编号超过 Q 表行数。这在一开始仰角门限设置偏高时特别容易发生尤其是星座覆盖边缘区域。处理方法是给空可见集合安排一个固定的“无服务”状态放在 Q 表最后一行。同时训练前在 build_state_idx 里加一行断言检查生成的状态编号是否小于 state_count。这个坑在实测中出现频率很高值得第一次跑之前就预防。6. 二次开发把固定切换场景换成你自己的低轨星座方案这套仿真真正值得改的地方集中在三处星座拓扑、奖励函数、算法更新公式。每一处都有明确的替换接口不需要大规模重构。6.1 替换星座生成器gen_leo_constellation.m 的输出约定是 N×3 的 ECEF 坐标矩阵只要保持这个输出格式内部可以换成任意轨道构型。常见做法是把 Walker 生成参数改成直接读入轨道根数列表或者从 TLE 数据解析出坐标。重点是坐标参考系必须统一成 ECEF否则可见性计算里仰角和距离全都会错掉。6.2 修改奖励函数cal_reward.m 里可以自由增加业务指标比如把时延和负载均衡做成附加惩罚项r delta_snr - penalty * is_switch - congestion_cost;增加新指标后要重新检查各分量量级。congestion_cost 如果远大于 delta_snr策略会优先避开拥堵星这一般是期望效果但如果它小到可以忽略就相当于没有加白改代码。6.3 算法扩展与验证把更新公式里的 max(Q(s_next, :)) 改成当前策略实际选择的动作价值就是 SARSA维护两张 Q 表交替更新就是 Double Q Learning。这类扩展都只动 train_qlearning.m 里的一行非常适合做算法对比实验。验证时固定一个场景比如让某一颗卫星信号人为劣化观察训练后的切换策略是否会主动绕开它再对比切换次数与累计奖励曲线。有一次我改完奖励函数忘了归一化跑了一整晚训练第二天看曲线才发现前期已经被单个异常样本带偏整批数据直接作废。从那以后我每次改完场景都强制先跑一个3回合的快速演示打印状态键样本和奖励量级确认没有异常再跑完整训练。希望帮到你。本文还有配套的精品资源点击获取