简介这份资源面向学习强化学习与卫星通信网络仿真的读者聚焦用Q学习优化卫星网络中的路由选择、频谱分配与功率控制等问题适合具备一定MATLAB基础、希望把强化学习算法落到通信场景中的学习者。压缩包共2个文件均为.m脚本整体约2KB体量轻便便于直接阅读与运行。已有147人学习下载可作为入门级仿真实例参考。代码围绕Q表初始化、动作选择、奖励获取与Q值迭代更新展开并涉及卫星位置、链路质量、用户分布等网络模型参数的定义读者可据此理解状态与动作的设定、奖励函数设计以及学习率、折扣因子的取值思路并通过统计平均延迟、吞吐量、成功率等指标评估算法表现进而掌握Q学习在复杂通信网络中的建模与验证方法。1. 卫星网络路由仿真一份能直接跑起来的 Q-Learning Matlab 工程低轨卫星星座的拓扑每几分钟就变一次地面网那套静态路由表搬上去基本失效而强化学习恰好擅长在动态环境里自己找策略。这份 Matlab 仿真工程把卫星网络建模、Q-Learning 训练循环和性能对比曲线打包在一起打开就能跑跑完能看到收敛过程。适合两类人做卫星组网、星间链路方向研究、需要一份可复现仿真基线的人以及想学强化学习但不想啃 Python 框架、希望用 Matlab 把算法逻辑一行行看清楚的人。它不追求工程级性能胜在结构透明、参数集中、改起来不费劲。2. 工程结构与技术选型为什么用 Matlab 做强化学习仿真2.1 目录骨架与文件职责拿到压缩包解压后常见的组织方式是按「入口脚本 环境模型 算法实现 工具函数 结果输出」分层。下面这个结构是我拆这类仿真工程时最常遇到的形态也是这份工程能跑通的最小闭环satellite_qlearning/ ├── main.m # 总入口参数配置、训练、绘图一条龙 ├── config_params.m # 全局参数集中定义卫星数、轨道、学习率等 ├── env/ │ ├── init_constellation.m # 生成卫星星座与初始拓扑 │ ├── update_topology.m # 按时间步更新星间链路可见性 │ └── get_reward.m # 奖励函数时延/丢包/跳数加权 ├── agent/ │ ├── qlearning_init.m # Q 表初始化 │ ├── qlearning_select.m # epsilon-greedy 动作选择 │ └── qlearning_update.m # Bellman 更新 ├── utils/ │ ├── build_adjacency.m # 邻接矩阵构建 │ └── plot_results.m # 收敛曲线与路径可视化 └── results/ # 训练日志与图片输出目录这个分层不是摆设。env/里只放「世界怎么变」agent/里只放「智能体怎么学」两者通过邻接矩阵和奖励值解耦。想换奖励函数只动get_reward.m想换动作选择策略只动qlearning_select.m互不牵连。新手最容易犯的错是把所有逻辑塞进main.m跑是能跑但改一个参数要翻三百行血泪经验。2.2 为什么选 Matlab 而不是 Python这不是技术优劣问题是使用场景问题。Matlab 在矩阵运算上的写法极短邻接矩阵、状态转移、Q 表更新几乎都是整矩阵操作一行顶 Python 好几行而且plot出图不用配环境训练完直接看曲线。代价是生态不如 Python深度强化学习库基本没有所以这份工程只做表格型 Q-Learning——状态空间离散化、动作空间有限正好落在 Matlab 的舒适区。常见做法是把状态定义为「当前卫星编号 × 目的卫星编号」的离散对动作定义为「下一跳选哪个邻居」。卫星数一多Q 表会膨胀所以工程里通常限制在十几颗到几十颗卫星的规模够验证算法逻辑不适合直接上真实星座。2.3 参数集中管理的好处config_params.m把所有可调项收在一处这是这类仿真工程能不能被二次开发的关键。典型参数包括参数名含义典型取值调整影响N_sat卫星数量1224增大则 Q 表与邻接矩阵同步膨胀alpha学习率0.10.5过大震荡过小收敛慢gamma折扣因子0.80.95越大越看重长远时延epsilon探索率初值0.9配合衰减策略使用epsilon_decay探索衰减0.995决定探索到利用的切换速度episodes训练轮数5002000太少不收敛太多浪费时间T_steps每轮时间步50200对应拓扑变化次数参数表看着简单但每一项都直接决定训练能不能收敛。我见过把alpha设成 0.9 的Q 值来回跳曲线像心电图最后结论是「算法不行」——其实是参数没调对。3. 核心模块拆解从星座建模到 Q 表更新3.1 星座初始化与邻接矩阵构建环境的第一步是把「卫星网络」变成矩阵。每颗卫星是一个节点星间链路是否可见决定邻接矩阵的元素是 1 还是 0。简化模型里常用距离阈值或固定拓扑如 Walker 星座的规则连接来判断可见性function adj build_adjacency(positions, max_range) % positions: N_sat x 3 的三维坐标矩阵 % max_range: 星间链路最大可见距离归一化单位 N size(positions, 1); adj zeros(N, N); for i 1:N for j i1:N d norm(positions(i,:) - positions(j,:)); if d max_range adj(i,j) 1; adj(j,i) 1; % 星间链路视为双向 end end end end这段的逻辑很直白两星距离小于阈值就连边。positions是三维坐标max_range控制链路密度——调大它网络更连通但不符合物理调小则可能出现孤立节点导致路由无解。实际工程里还会叠加仰角、地球遮挡等约束这里用距离阈值做简化够跑通算法验证。注意邻接矩阵必须对称赋值只写adj(i,j)会让有向图和无向图混在一起后面最短路计算会出错。3.2 Q-Learning 的动作选择与 Bellman 更新智能体的核心就两个函数选动作、更新 Q 值。epsilon-greedy 是标配探索和利用的平衡全靠它function action qlearning_select(Q, state, neighbors, epsilon) % neighbors: 当前状态可选的下一跳集合 if rand() epsilon action neighbors(randi(numel(neighbors))); % 随机探索 else q_vals Q(state, neighbors); [~, idx] max(q_vals); action neighbors(idx); % 贪心利用 end endQ是二维表行是状态、列是动作下一跳卫星编号。neighbors从邻接矩阵里取保证不会选到不可达的节点。epsilon由外层训练循环逐步衰减前期多探索、后期多利用。这里有个细节Q(state, neighbors)用向量索引一次性取出所有候选动作的 Q 值比循环快得多也是 Matlab 写法的典型优势。更新环节是标准 Bellman 方程function Q qlearning_update(Q, s, a, r, s_next, alpha, gamma, neighbors_next) % s/a/r: 当前状态、动作、即时奖励 % s_next: 下一状态neighbors_next: 下一状态的可选动作 max_q_next max(Q(s_next, neighbors_next)); td_target r gamma * max_q_next; Q(s, a) Q(s, a) alpha * (td_target - Q(s, a)); endtd_target是时序差分目标alpha控制新信息覆盖旧值的比例gamma决定未来奖励的折算。neighbors_next必须传下一状态的真实可选动作不能直接对整个 Q 表取max否则会把不可达动作的 Q 值算进来训练出来的策略在部署时直接翻车。3.3 奖励函数设计时延、跳数与丢包的权衡奖励函数是整个仿真里最「玄学」的部分因为它直接定义了什么算「好路径」。常见做法是负的端到端时延加上跳数惩罚function r get_reward(path_delay, hop_count, w1, w2) % path_delay: 当前路径累计时延 % hop_count: 已走跳数 % w1/w2: 时延与跳数的权重 r -w1 * path_delay - w2 * hop_count; end权重w1、w2的配比决定策略偏好w1大则倾向低时延路径w2大则倾向少跳数。两者本质上有相关性但不完全等价因为单跳时延可能差异很大。工程里还会加入丢包惩罚项形式类似多一个负项即可。调参时建议先固定w2扫w1观察收敛路径的变化比同时调两个参数容易看出规律。3.4 训练主循环与收敛判定主循环把上面几块串起来每轮重置状态、走固定步数、更新 Q 表、记录累计奖励for ep 1:episodes state randi(N_sat); % 随机起点 total_reward 0; for t 1:T_steps neighbors find(adj(state,:) 1); action qlearning_select(Q, state, neighbors, epsilon); [next_state, r] step_environment(state, action); next_neighbors find(adj(next_state,:) 1); Q qlearning_update(Q, state, action, r, next_state, ... alpha, gamma, next_neighbors); state next_state; total_reward total_reward r; end reward_history(ep) total_reward; epsilon max(epsilon * epsilon_decay, 0.01); % 衰减下限 endstep_environment是环境推进函数负责按拓扑变化返回下一状态和奖励。epsilon衰减设了下限 0.01防止后期完全不探索导致陷入局部最优。reward_history用来画收敛曲线判断训练是否有效的标准是曲线后段趋于平稳而不是单轮奖励高——单轮高可能只是运气好抽到短路径。4. 跑通与验证从解压到看到收敛曲线4.1 运行环境与启动步骤Matlab 版本建议 R2018b 及以上工程只用到基础矩阵运算和绘图函数不需要额外工具箱。启动流程解压后把工程根目录设为 Matlab 当前工作路径cd到含main.m的目录。打开config_params.m确认N_sat、episodes等参数在合理范围首次运行建议用小规模如N_sat12、episodes500快速验证。命令行执行main观察命令窗口输出的每轮累计奖励。训练结束后results/下会生成收敛曲线图检查曲线是否趋于平稳。首次跑不建议直接上大参数一是耗时长二是出问题不好定位。先用小规模确认整条链路通再逐步放大这是排查仿真工程的基本节奏。4.2 结果怎么读收敛曲线与路径对比收敛曲线横轴是训练轮数纵轴是累计奖励负值越接近 0 越好。健康的曲线前期快速上升、中期震荡、后期平稳。如果曲线一直不涨优先查奖励函数符号是否写反、gamma是否过大导致目标值发散。如果曲线剧烈震荡多半是alpha太大或epsilon衰减太慢。路径对比通常是把训练后的贪心策略跑一遍和最短时延路径、最少跳数路径放在一起画。看的是 Q-Learning 学出来的路径在时延和跳数上是否接近理论最优差太多说明状态空间离散化粒度不够或训练轮数不足。4.3 复现性控制随机种子与结果一致性强化学习仿真最烦的是「同样的代码两次结果不一样」。Matlab 里在main.m开头固定随机种子即可rng(42); % 固定种子保证每次运行拓扑与探索序列一致rng影响randi、rand等所有随机调用固定后同一份参数跑出来的曲线基本重合方便对比不同参数的效果。做消融实验时这一步是必须的否则你分不清性能差异是参数带来的还是随机性带来的。5. 避坑与常见问题仿真跑不通时先查这几处5.1 现象训练几轮后 Q 值变成 NaN原因通常是奖励函数里出现了除零或无穷大比如时延归一化时分母为 0或者gamma接近 1 且奖励量级过大导致数值溢出。解决方式是检查get_reward.m里所有除法分母加一个极小值保护如max(denom, 1e-6)同时把奖励缩放到 [-1, 1] 量级别用毫秒级原始时延直接当奖励。5.2 现象智能体总在原地打转或来回跳原因是动作空间里包含了「回到上一跳」的选项而奖励函数没有对往返行为加惩罚。解决方式是在qlearning_select里过滤掉上一跳节点或者在奖励里对重复访问同一节点扣分。这个坑很隐蔽因为 Q 表本身不会报错只是学出来的策略没法用。5.3 现象邻接矩阵出现孤立节点路由无解max_range设得太小或者星座初始化时卫星分布不均导致某些节点没有任何邻居。解决方式是初始化后检查sum(adj, 2)是否有零行有就调大max_range或重新生成星座。工程里可以加一句断言assert(all(sum(adj,2) 0), 存在孤立卫星节点)早失败早定位。5.4 现象换了卫星数量后代码报维度错误Q 表、邻接矩阵、状态编号都是按N_sat动态生成的但有些硬编码的索引比如Q(1, 2)这种写死的状态对不会跟着变。解决方式是把所有涉及卫星编号的地方改成基于N_sat的变量改完用N_sat12和N_sat24各跑一遍验证。这类维度错误在 Matlab 里报错信息往往指向不明显养成「改规模先全局搜数字」的习惯能省很多时间。5.5 现象收敛曲线看着好实际路径很差这是典型的过拟合到训练分布。训练时起点随机、拓扑按固定规律变化如果测试时拓扑变化模式不同策略就失效。解决方式是在训练中引入更多样的拓扑扰动或者留一部分轮次做验证别只看训练曲线。仿真工程的结论要谨慎训练集上的漂亮曲线不等于策略鲁棒。6. 二次开发把仿真改成你自己的实验平台这份工程的价值不在它本身多完善而在它提供了一个干净的骨架你可以按自己的研究问题往里填。改造方向大致三类按改动量从小到大排。第一类是换奖励函数。这是性价比最高的改动因为路由问题的核心就是「什么算好路径」。把get_reward.m改成多目标加权时延 丢包 负载均衡或者引入链路切换代价就能验证不同优化目标下策略的差异。改完记得同步调整奖励量级别让某一项主导整个信号。第二类是换环境模型。现在的拓扑更新是简化版你可以接入更真实的星历数据、加入链路中断概率、模拟星上缓存限制。改动集中在env/目录agent/不用动这正是分层设计的好处。我一般会先把新环境单独写一个测试脚本确认邻接矩阵和奖励输出合理再替换进主循环。第三类是换算法。Q-Learning 是表格型方法状态空间一大就撑不住。想上 DQN 或策略梯度Matlab 里没有现成库得自己搭网络和反向传播工作量大但可行更现实的做法是把环境模型导出成数据拿到 Python 侧训练再回灌策略做对比。工程里env/和agent/解耦导出环境接口不难。验证改造是否有效我习惯用固定种子跑三组对比基线、改奖励、改环境每组至少三个种子取平均看曲线和最终路径指标的差异是否稳定。单次运行的结果不可信这是做仿真最容易忽略的一点。有个教训值得说早期我改完奖励函数直接看训练曲线涨了就下结论后来发现是奖励量级整体放大导致的假象实际路径指标没变。从那以后我每次改奖励都强制走一遍「量级检查 固定种子对比 路径可视化」三步再下判断。希望这份拆解能帮你少走几步弯路把这份仿真工程真正用成自己的实验台。本文还有配套的精品资源点击获取