光电工程

算法：MDSR算法训练流程
1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；
2. 初始化主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $和目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $；
3. 初始化经验回放池M, 训练轮次$ epochs $, 训练步数$ steps $, 经验回放采样步　数$ \tau $,主Q网络更新步数$ \kappa $；
4. for $ epoch $ in range $ (1,epochs) $：
5. 　for $ step $ in range $ (1,steps) $：
6. 　　for $ {G}_{t} $ in G：
7. 　　　for j in range $ (1,J) $：
8. 　　　　for $ {s}_{m} $ in N：
9. 　　　　　利用公式 (26)得到所有相邻卫星对$ {s}_{m} $生成的消息；
10.　　　　　利用公式 (28)得到聚合后$ {s}_{m} $的消息；
11.　　　　　利用公式 (29)更新$ {s}_{m} $的隐藏状态；
12. 　　　　end for
13. 　　　end for
14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征$ {\hat{h}}_{{{G}_{t}}} $；
15. 　　end for
16. 　　从所有$ {\hat{h}}_{{{G}_{t}}} $中抽取状态$ {\psi }_{t} $，输入到全连接神经网络中计算各个动作　的Q值；
17. 　　根据$ \varepsilon -{\mathrm{greedy}} $策略选择动作$ {a}_{t} $；
18. 　　将动作$ {a}_{t} $输入到环境中执行；
19. 　　环境返回即时奖励$ {r}_{t} $和下一时刻状态$ {\psi }_{t+1} $;
20. 　　将样本$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $储存入经验回放池M中;
21. 　　if $ step \gt \tau $:
22. 　　从经验回放池M中随机取出批次样本进行训练;
23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $;
24. 　　if $ step\mathrm{\% }\kappa ==0 $:
25. 　　采用公式 (36)将主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $复制给目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $;
26. 　end for
27. end for

算法：MDSR算法训练流程

1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；

2. 初始化主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

和目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

；

3. 初始化经验回放池M, 训练轮次

$ epochs $

, 训练步数

$ steps $

, 经验回放采样步　数

$ \tau $

,主Q网络更新步数

$ \kappa $

；

4. for

$ epoch $

in range

$ (1,epochs) $

：

5. 　for

$ step $

in range

$ (1,steps) $

：

6. 　　for

$ {G}_{t} $

in G：

7. 　　　for j in range

$ (1,J) $

：

8. 　　　　for

$ {s}_{m} $

in N：

9. 　　　　　利用公式 (26)得到所有相邻卫星对

$ {s}_{m} $

生成的消息；

10.　　　　　利用公式 (28)得到聚合后

$ {s}_{m} $

的消息；

11.　　　　　利用公式 (29)更新

$ {s}_{m} $

的隐藏状态；

12. 　　　　end for

13. 　　　end for

14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征

$ {\hat{h}}_{{{G}_{t}}} $

；

15. 　　end for

16. 　　从所有

$ {\hat{h}}_{{{G}_{t}}} $

中抽取状态

$ {\psi }_{t} $

，输入到全连接神经网络中计算各个动作　的Q值；

17. 　　根据

$ \varepsilon -{\mathrm{greedy}} $

策略选择动作

$ {a}_{t} $

；

18. 　　将动作

$ {a}_{t} $

输入到环境中执行；

19. 　　环境返回即时奖励

$ {r}_{t} $

和下一时刻状态

$ {\psi }_{t+1} $

;

20. 　　将样本

$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $

储存入经验回放池M中;

21. 　　if

$ step \gt \tau $

22. 　　从经验回放池M中随机取出批次样本进行训练;

23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

;

24. 　　if

$ step\mathrm{\% }\kappa ==0 $

25. 　　采用公式 (36)将主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

复制给目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

;

26. 　end for

27. end for

算法：MDSR算法训练流程
1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；
2. 初始化主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $和目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $；
3. 初始化经验回放池M, 训练轮次$ epochs $, 训练步数$ steps $, 经验回放采样步　数$ \tau $,主Q网络更新步数$ \kappa $；
4. for $ epoch $ in range $ (1,epochs) $：
5. 　for $ step $ in range $ (1,steps) $：
6. 　　for $ {G}_{t} $ in G：
7. 　　　for j in range $ (1,J) $：
8. 　　　　for $ {s}_{m} $ in N：
9. 　　　　　利用公式 (26)得到所有相邻卫星对$ {s}_{m} $生成的消息；
10.　　　　　利用公式 (28)得到聚合后$ {s}_{m} $的消息；
11.　　　　　利用公式 (29)更新$ {s}_{m} $的隐藏状态；
12. 　　　　end for
13. 　　　end for
14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征$ {\hat{h}}_{{{G}_{t}}} $；
15. 　　end for
16. 　　从所有$ {\hat{h}}_{{{G}_{t}}} $中抽取状态$ {\psi }_{t} $，输入到全连接神经网络中计算各个动作　的Q值；
17. 　　根据$ \varepsilon -{\mathrm{greedy}} $策略选择动作$ {a}_{t} $；
18. 　　将动作$ {a}_{t} $输入到环境中执行；
19. 　　环境返回即时奖励$ {r}_{t} $和下一时刻状态$ {\psi }_{t+1} $;
20. 　　将样本$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $储存入经验回放池M中;
21. 　　if $ step \gt \tau $:
22. 　　从经验回放池M中随机取出批次样本进行训练;
23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $;
24. 　　if $ step\mathrm{\% }\kappa ==0 $:
25. 　　采用公式 (36)将主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $复制给目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $;
26. 　end for
27. end for

算法：MDSR算法训练流程

1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；

2. 初始化主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

和目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

；

3. 初始化经验回放池M, 训练轮次

$ epochs $

, 训练步数

$ steps $

, 经验回放采样步　数

$ \tau $

,主Q网络更新步数

$ \kappa $

；

4. for

$ epoch $

in range

$ (1,epochs) $

：

5. 　for

$ step $

in range

$ (1,steps) $

：

6. 　　for

$ {G}_{t} $

in G：

7. 　　　for j in range

$ (1,J) $

：

8. 　　　　for

$ {s}_{m} $

in N：

9. 　　　　　利用公式 (26)得到所有相邻卫星对

$ {s}_{m} $

生成的消息；

10.　　　　　利用公式 (28)得到聚合后

$ {s}_{m} $

的消息；

11.　　　　　利用公式 (29)更新

$ {s}_{m} $

的隐藏状态；

12. 　　　　end for

13. 　　　end for

14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征

$ {\hat{h}}_{{{G}_{t}}} $

；

15. 　　end for

16. 　　从所有

$ {\hat{h}}_{{{G}_{t}}} $

中抽取状态

$ {\psi }_{t} $

，输入到全连接神经网络中计算各个动作　的Q值；

17. 　　根据

$ \varepsilon -{\mathrm{greedy}} $

策略选择动作

$ {a}_{t} $

；

18. 　　将动作

$ {a}_{t} $

输入到环境中执行；

19. 　　环境返回即时奖励

$ {r}_{t} $

和下一时刻状态

$ {\psi }_{t+1} $

;

20. 　　将样本

$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $

储存入经验回放池M中;

21. 　　if

$ step \gt \tau $

22. 　　从经验回放池M中随机取出批次样本进行训练;

23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

;

24. 　　if

$ step\mathrm{\% }\kappa ==0 $

25. 　　采用公式 (36)将主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

复制给目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

;

26. 　end for

27. end for

仿真参数	参数解释	参数设置
$ {P}_{{\mathrm{rx}}} $	卫星天线发射功率	10 W
D	天线直径	0.5 m
$ \eta $	天线效率	0.65
$ \lambda $	载波波长	0.013 m
$ {d}_{\text{proc}}^{{i}} $	处理时延	1 ms
$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $	链路带宽范围	10~100 MB
$ {N}_{{p}} $	发送数据包数目	1000
$ {{p}}_{\text{size}} $	数据包大小	0.5 MB
$ {{co}}_{{{s}_{{m}}}} $	卫星队列长度范围	0~1000
$ {{en}}_{{{s}_{{m}}}} $	卫星能量范围	40~100 J
$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $	端到端时延阈值	150 ms
$ B_{\mathrm{th}}^{\mathrm{r}} $	剩余带宽阈值	10 MB
K	Ksp计算候选路由路径数	3

仿真参数

参数解释

参数设置

$ {P}_{{\mathrm{rx}}} $

卫星天线发射功率

10 W

天线直径

0.5 m

$ \eta $

天线效率

0.65

$ \lambda $

载波波长

0.013 m

$ {d}_{\text{proc}}^{{i}} $

处理时延

1 ms

$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $

链路带宽范围

10~100 MB

$ {N}_{{p}} $

发送数据包数目

1000

$ {{p}}_{\text{size}} $

数据包大小

0.5 MB

$ {{co}}_{{{s}_{{m}}}} $

卫星队列长度范围

0~1000

$ {{en}}_{{{s}_{{m}}}} $

卫星能量范围

40~100 J

$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $

端到端时延阈值

150 ms

$ B_{\mathrm{th}}^{\mathrm{r}} $

剩余带宽阈值

10 MB

Ksp计算候选路由路径数

仿真参数	参数解释	参数设置
$ {P}_{{\mathrm{rx}}} $	卫星天线发射功率	10 W
D	天线直径	0.5 m
$ \eta $	天线效率	0.65
$ \lambda $	载波波长	0.013 m
$ {d}_{\text{proc}}^{{i}} $	处理时延	1 ms
$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $	链路带宽范围	10~100 MB
$ {N}_{{p}} $	发送数据包数目	1000
$ {{p}}_{\text{size}} $	数据包大小	0.5 MB
$ {{co}}_{{{s}_{{m}}}} $	卫星队列长度范围	0~1000
$ {{en}}_{{{s}_{{m}}}} $	卫星能量范围	40~100 J
$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $	端到端时延阈值	150 ms
$ B_{\mathrm{th}}^{\mathrm{r}} $	剩余带宽阈值	10 MB
K	Ksp计算候选路由路径数	3

仿真参数

参数解释

参数设置

$ {P}_{{\mathrm{rx}}} $

卫星天线发射功率

10 W

天线直径

0.5 m

$ \eta $

天线效率

0.65

$ \lambda $

载波波长

0.013 m

$ {d}_{\text{proc}}^{{i}} $

处理时延

1 ms

$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $

链路带宽范围

10~100 MB

$ {N}_{{p}} $

发送数据包数目

1000

$ {{p}}_{\text{size}} $

数据包大小

0.5 MB

$ {{co}}_{{{s}_{{m}}}} $

卫星队列长度范围

0~1000

$ {{en}}_{{{s}_{{m}}}} $

卫星能量范围

40~100 J

$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $

端到端时延阈值

150 ms

$ B_{\mathrm{th}}^{\mathrm{r}} $

剩余带宽阈值

10 MB

Ksp计算候选路由路径数

仿真参数	参数设置
x, y, z	0.1, 0.3, 0.6
$ \alpha $, $ \beta $, $ \gamma $	0.5
MPNN层数	2
全连接层数	4
隐藏层维度	32
激活函数	ReLU
优化器	Adam
损失函数	MSE
批次大小	4
仿真轮数	300
$ \xi $	0.99
$ \varepsilon -\max $	1
$ \varepsilon -\min $	0.05
学习率	0.001
经验回放池容量	10000

仿真参数

参数设置

x, y, z

0.1, 0.3, 0.6

$ \alpha $

$ \beta $

$ \gamma $

0.5

MPNN层数

全连接层数

隐藏层维度

激活函数

ReLU

优化器

Adam

损失函数

MSE

批次大小

仿真轮数

300

$ \xi $

0.99

$ \varepsilon -\max $

$ \varepsilon -\min $

0.05

学习率

0.001

经验回放池容量

10000

仿真参数	参数设置
x, y, z	0.1, 0.3, 0.6
$ \alpha $, $ \beta $, $ \gamma $	0.5
MPNN层数	2
全连接层数	4
隐藏层维度	32
激活函数	ReLU
优化器	Adam
损失函数	MSE
批次大小	4
仿真轮数	300
$ \xi $	0.99
$ \varepsilon -\max $	1
$ \varepsilon -\min $	0.05
学习率	0.001
经验回放池容量	10000

仿真参数

参数设置

x, y, z

0.1, 0.3, 0.6

$ \alpha $

$ \beta $

$ \gamma $

0.5

MPNN层数

全连接层数

隐藏层维度

激活函数

ReLU

优化器

Adam

损失函数

MSE

批次大小

仿真轮数

300

$ \xi $

0.99

$ \varepsilon -\max $

$ \varepsilon -\min $

0.05

学习率

0.001

经验回放池容量

10000

面向大规模LEO卫星网络的深度图强化学习路由算法

PDF下载

黄思博 ^*^,^* , 杨明川 , 张祯昊

光电工程 | 科研论文 2026,53(6): 250386-1

收起

光电工程 |科研论文 2026 , 53 (6) : 250386 -1

面向大规模LEO卫星网络的深度图强化学习路由算法

全屏

[Author(id=1319955141629948685, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=zerohsb2001@163.com, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1319955141852246799, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955141629948685, language=EN, stringName=Sibo Huang, firstName=Sibo, middleName=null, lastName=Huang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1319955141936132880, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955141629948685, language=CN, stringName=黄思博, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=^*^,^*, address=哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001, bio={"img":"zrL28ldkCi0vfvKUNTVWZg==","content":"

黄思博 (2001-)，男，硕士研究生，主要研究方向为深度强化学习和卫星网络路由算法。E-mail：zerohsb2001@163.com zerohsb2001@163.com

"}, bioImg=zrL28ldkCi0vfvKUNTVWZg==, bioContent=

黄思博 (2001-)，男，硕士研究生，主要研究方向为深度强化学习和卫星网络路由算法。E-mail：zerohsb2001@163.com zerohsb2001@163.com

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1319955139918672649, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, xref=null, ext=[AuthorCompanyExt(id=1319955139927061258, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, companyId=1319955139918672649, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China), AuthorCompanyExt(id=1319955139935449867, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, companyId=1319955139918672649, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001)])]), Author(id=1319955142028407570, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=mcyang@hit.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1319955142133265172, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955142028407570, language=EN, stringName=Mingchuan Yang, firstName=Mingchuan, middleName=null, lastName=Yang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1319955142208762645, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955142028407570, language=CN, stringName=杨明川, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001, bio={"img":"qQLB994HaGH3gkcD4aE4pw==","content":"

杨明川 (1977-)，男，博士，教授，主要研究方向为卫星通信新技术、空间信息网络、星地一体化网络高效传输技术和复杂环境下信号快速识别技术。E-mail：mcyang@hit.edu.cn mcyang@hit.edu.cn

"}, bioImg=qQLB994HaGH3gkcD4aE4pw==, bioContent=

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1319955139918672649, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, xref=null, ext=[AuthorCompanyExt(id=1319955139927061258, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, companyId=1319955139918672649, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China), AuthorCompanyExt(id=1319955139935449867, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, companyId=1319955139918672649, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001)])]), Author(id=1319955142284260119, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=zhzhang2022@163.com, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1319955142363951897, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955142284260119, language=EN, stringName=Zhenhao Zhang, firstName=Zhenhao, middleName=null, lastName=Zhang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1319955142435255066, tenantId=1146029695717560320, journalId=1278651732997652489, articleId=1319955069047517375, authorId=1319955142284260119, language=CN, stringName=张祯昊, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001, bio={"img":"e0gxom5Vyhh07CrqL4rBbg==","content":"

张祯昊 (2001-)，男，硕士研究生，主要研究方向为卫星通信波束资源调度算法、深度强化学习。E-mail：zhzhang2022@163.com zhzhang2022@163.com

"}, bioImg=e0gxom5Vyhh07CrqL4rBbg==, bioContent=

张祯昊 (2001-)，男，硕士研究生，主要研究方向为卫星通信波束资源调度算法、深度强化学习。E-mail：zhzhang2022@163.com zhzhang2022@163.com

黄思博^*^,^*, 杨明川, 张祯昊

作者信息

哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001

通讯作者:

黄思博，zerohsb2001@163.com

作者简介:

作者贡献

黄思博：算法的设计、实验仿真与分析，论文写作；杨明川：指导论文选题、论文修改；张祯昊：资料收集和部分仿真结果分析。

黄思博 (2001-)，男，硕士研究生，主要研究方向为深度强化学习和卫星网络路由算法。E-mail：zerohsb2001@163.com zerohsb2001@163.com

张祯昊 (2001-)，男，硕士研究生，主要研究方向为卫星通信波束资源调度算法、深度强化学习。E-mail：zhzhang2022@163.com zhzhang2022@163.com

Deep graph reinforcement learning routing algorithm for large-scale LEO satellite networks

Sibo Huang, Mingchuan Yang, Zhenhao Zhang

Affiliations

School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin, Heilongjiang 150001 China

Corresponding Author:

zerohsb2001@163.com

出版时间: 2026-06-25 doi: 10.12086/oee.2026.250386

文章导航

摘要

收起

大规模低地球轨道 (LEO)卫星网络路由技术面临着网络拓扑动态变化导致的路由传输性能不佳、算法模型可扩展性不足等关键挑战。为此，利用改进的消息传递神经网络(MPNN)和深度Q网络 (DQN)，本文提出了一种基于MPNN和DQN的大规模LEO卫星网络路由算法 (MDSR)。其中，改进的MPNN模块提取网络中卫星和星间链路的状态特征，DQN模块基于这些特征实现路由决策。MDSR算法在极轨道大规模LEO卫星网络上训练并测试。结果表明，训练时MDSR模型的收敛速度和初始奖励均优于未改进MPNN模型。测试时MDSR的平均丢包率比其他强化学习算法降低约48%，比Dijkstra最短路径 (DSP)算法降低约35%；平均端到端时延比DSP、Q学习 (Q-learning)、DQN和深度确定性策略性梯度 (DDPG)算法分别降低了约20.5%、7.9%、2.7%和5.4%；平均吞吐量比DSP、Q-learning、DQN和DDPG分别提升了约21.7%、7.6%、5%和1.2%。同时，MDSR无需额外训练即可适应不同星座网络构型，具备较强的拓扑泛化能力。

关键词

大规模低地球轨道卫星网络 / 路由算法 / 消息传递神经网络 / 深度Q网络

Abstract

收起

Objective

Large-scale low earth orbit (LEO) satellite networks can provide strong coverage, high data transmission rates and low latency. This makes them an important part of future 6G communication systems. Routing technology is a critical component of large-scale LEO satellite networks, providing high-quality and low-latency services for network communications through packet transmission mechanisms. However, routing technology for large-scale LEO satellite networks faces critical challenges, including poor routing transmission performance due to dynamic changes in network topology and insufficient scalability of algorithmic models. In recent years, the development of artificial intelligence (AI) has provided new avenues for addressing these challenges. To address these challenges, this study utilizes AI technology, combining graph neural networks (GNNs) and deep reinforcement learning (DRL) to propose a routing algorithm that enhances transmission performance across diverse network topologies while demonstrating robust topological generalization capabilities.

Methods

This study utilized message passing neural networks (MPNNs) from GNN models and deep Q-networks (DQNs) from DRL models, and proposed a large-scale LEO satellite network routing algorithm based on MPNN and DQN (MDSR). Firstly, the MDSR algorithm employed a virtual topology approach to partition large-scale LEO satellite networks into fixed time intervals and construct them as graph-structured data for input into MDSR. Secondly, we designed the MDSR framework. The MDSR framework included two parts: an improved MPNN module and a DQN module. The improved MPNN module included a message processing stage and a readout stage. The message processing stage consisted of a message processing function (MPF), an information aggregation function (IAF), and a hidden state update function (HSUF). The readout stage consisted of a readout function (RF). Specifically, we improved the HSUF by replacing the original recurrent neural networks (RNNs) with long short-term memory (LSTM) networks. This aimed to enhance the model's ability to learn long-range dependencies and mitigate vanishing and exploding gradients. The improved MPNN module extracted the satellites and inter satellite links state features and their interconnections from the networks. The DQN module then used these features to make routing decisions. Finally, in order to compare the routing and transmission performance of different algorithms in different satellite network configurations, this study selected the HSUF as the RNN for the MPNN + DQN (HSUF-RNN) based algorithms, the Dijkstra shortest path (DSP) algorithm, the DQN based algorithm, the Q-learning-based algorithm, and the deep deterministic policy gradient (DDPG)-based algorithm for comparison with MDSR. MDSR was trained alongside other reinforcement learning algorithms used for comparison in a routing scenario involving a large-scale LEO satellite network in a polar orbit with a routing update interval of 30 s. Simultaneously, MDSR and other comparison algorithms underwent routing transmission performance testing under 10 s, 30 s, 60 s and 300 s routing update intervals for large-scale LEO satellite networks in polar and inclined orbits. The experimental environment included the Windows 11 operating system, an NVIDIA GeForce RTX 4050 GPU, the PyTorch 1.13.1 + CUDA 11.6 deep learning framework, and the Python 3.9 programming language.

Results and Discussions

The results demonstrate that, during training, MDSR achieved faster convergence and a higher initial reward than HSUF-RNN. During testing, in polar large-scale LEO satellite networks, MDSR achieved an average packet loss rate approximately 48% lower than those of the other RL algorithms and 35% lower than that of DSP. The average end-to-end delay of MDSR was approximately 20.5%, 7.9%, 2.7%, and 5.4% lower than that of DSP, Q-learning, DQN, and DDPG, respectively. The average throughput of MDSR was approximately 21.7%, 7.6%, 5%, and 1.2% higher than that of DSP, Q-learning, DQN, and DDPG, respectively. In inclined large-scale LEO satellite networks, MDSR adapted to different constellation network configurations without requiring additional training, demonstrating strong topological generalization capabilities. MDSR significantly outperformed static routing algorithms like DSP in terms of routing transmission performance. Compared to routing algorithms based on non-GNN+DRL paradigms, MDSR can accurately perceive the global network state to make routing decisions, thereby improving key routing metrics such as end-to-end delay, throughput, and packet loss rates. Therefore, in our experiments, MDSR enhanced routing and transmission performance. Without additional training, the MDSR algorithm demonstrated stable routing performance across different constellation network configurations, exhibiting strong topological generalization capabilities.

Conclusions

This study proposes the MDSR algorithm, which has been developed to address the issues of degraded transmission performance and insufficient topological generalization capability in routing algorithms. MDSR utilizes the improved MPNN module to extract network state features, and the DQN module learns the best routing strategies through these features. MDSR is subjected to experimental evaluation in both polar and inclined orbit large-scale LEO satellite networks. It is also compared with the HSUF-RNN, DSP, DQN, Q-learning and DDPG algorithms. The results show that, during training, MDSR exhibits faster convergence and higher initial rewards compared to the HSUF-RNN model. During testing, MDSR outperforms other comparison algorithms in both routing transmission performance metrics and topological generalization capabilities. In future research, we will explore optimization schemes such as random link connections and traffic partitioning to further enhance the robustness of MDSR while also achieving more balanced network load distribution.

Key words

large-scale low earth orbit satellite networks / routing algorithm / message passing neural networks / deep Q networks

引用本文

黄思博, 杨明川, 张祯昊. 面向大规模LEO卫星网络的深度图强化学习路由算法. 光电工程, 2026 , 53 (6) : 250386 -1 . DOI: 10.12086/oee.2026.250386

Sibo Huang, Mingchuan Yang, Zhenhao Zhang. Deep graph reinforcement learning routing algorithm for large-scale LEO satellite networks[J]. Opto-Electronic Engineering, 2026 , 53 (6) : 250386 -1 . DOI: 10.12086/oee.2026.250386

正文

收起

1　引　言

收起

随着6G标准的演进和天地一体化信息网络的发展，卫星网络因其覆盖能力强、部署方式灵活和成本低廉等优点^[1]，被视为未来6G通信网络架构中的关键技术之一。近年来，卫星网络用户数量激增，卫星业务数据日趋多样复杂，对网络的规模和服务类型提出了更高要求。在此背景下，随着卫星造价和发射成本的降低，大规模低地球轨道 (low earth orbit, LEO)卫星网络成为关键解决方案。大规模LEO卫星网络拥有500颗以上的网络节点和数以千计的通信链路资源，具有网络规模大、网络拓扑结构动态复杂、传输速率高、多业务共存等特点，能为用户提供高速率、低时延、高可靠性的通信服务^[2]。其中，路由技术是支撑高质量通信服务的重要基石^[3]。通过多跳路由选择机制，该技术不仅能实现用户间的长距离通信，还能优化网络资源分配，从而显著提升数据传输的可靠性。

大规模LEO卫星网络的动态拓扑为路由算法设计带来严峻挑战。为应对这一挑战，路由算法需要具备实时感知网络状态变化、动态适配网络架构特征、智能调配网络资源与传输约束以实现最优路由决策，并能灵活部署于不同星座配置这四大核心能力^[4]。然而，现有算法大多仅基于小型LEO卫星网络展开设计，难以满足大规模网络业务需求，且其在多种构型网络场景中的适配性也未得到验证。因此，开发符合大规模LEO卫星网络特性的新型路由算法已成为当务之急。

近年来，人工智能 (artificial intelligence, AI)技术蓬勃发展，以强化学习 (reinforcement learning, RL)、深度学习 (deep learning, DL)为代表的技术被广泛运用于卫星网络，在路由技术、多维资源优化、波束成形等关键领域发挥重要作用^[5]。其中，RL通过智能体与网络环境的交互来获取信息并制定路由选择策略；DL则通过强化神经网络对状态特征的认知，更有效地利用LEO卫星网络的资源。由此，二者结合而成的深度强化学习 (deep reinforcement learning, DRL)兼具感知与决策功能，能够实时感知LEO卫星网络拓扑变化、负载变动以及服务质量，并据此做出最优决策，为提升卫星网络性能提供了可靠的方案。

与此同时，LEO卫星网络的规模扩大、数据业务激增和网络拓扑动态变化导致路由表频繁更新，对基于DRL的路由算法设计提出了更加严格的要求^[6]。现有DRL路由算法通常采用反向传播神经网络进行策略选择。这类算法虽能在一定程度上根据网络状态特征拟合学习路由决策，但其策略通常只能收集邻域卫星与链路信息，缺少全局视角；同时，此类算法难以准确地捕获网络状态在时序上的隐含关联，导致对网络状态的感知不够精准。图神经网络 (Graph neural networks, GNN)的出现为上述问题提供了潜在解决方案^[7]。图神经网络以节点、边和权重的方式储存网络信息。由于大规模LEO卫星网络可被建模为包括节点、边与权重的图结构，利用GNN能够更加精准地捕获网络的全局状态特征。进而，DRL可基于GNN所感知的网络状态特征进行路由决策，输出最优路径。因此，采用GNN与DRL相结合的方法来设计大规模LEO卫星网络路由算法，具有重要的意义和价值。

本文对消息传递神经网络 (message process neural networks, MPNN)进行改进，并将其与深度Q网络 (deep Q networks, DQN) 结合，提出了一种基于MPNN和DQN的大规模LEO卫星网络路由算法 (MPNN and DQN based large-scale LEO satellite networks routing algorithm, MDSR)。MDSR旨在提升大规模LEO卫星网络路由的传输性能，并能够在不需额外训练成本的条件下，适配不同星座网络构型。本文主要贡献如下：

1) 本文设计了MDSR算法的基本框架。MDSR算法框架包括改进的MPNN模块和DQN模块，分别对大规模LEO卫星网络精确感知和策略选择。同时，设计了MDSR智能体所需的状态空间、动作空间和奖励函数。

2) 本文改进了MPNN层。更新函数采用长短期记忆 (long short term memory, LSTM)网络替代了初始MPNN模型中的循环神经网络 (recurrent neural networks, RNN)更新节点隐藏状态，使其能够更好地处理时序拓扑图之间的隐含关联，有效缓解梯度消失与梯度爆炸问题。

3) MDSR算法在不同大规模LEO卫星网络构型中进行测试，仿真结果表明在未经额外训练的情况下，MDSR算法在多项路由传输性能指标上仍优于对比算法，展现了良好的拓扑泛化能力。

2　相关工作

收起

2.1　早期LEO卫星网络路由算法

早期LEO卫星网络路由算法设计侧重于规避网络拓扑的动态性，保证算法性能的稳定。常见方法包括虚拟拓扑^[8]和虚拟节点方案^[9]。进入21世纪，算法设计从拓扑结构转为网络性能指标的优化，包括负载均衡^[10-11]、拥塞控制^[12]和服务质量 (quality of service, QoS)保障^[13-15]等方面。然而，这些算法难以有效解决拓扑结构变化导致的链路不稳定问题和数据业务激增导致的网络拥塞引发传输超时与丢包问题。因此，这些路由算法难以适应如今的大规模LEO卫星网络的业务需求。近年来，随着DRL、软件定义网络^[16]、数字孪生^[17]等新兴技术的发展，大规模LEO卫星网络领域开始结合这些技术，为解决路由问题提供了新的思路。

2.2　基于AI技术的大规模LEO卫星网络路由算法

AI技术目前已经被广泛应用于解决大规模LEO卫星网络路由问题。由于卫星网络拓扑具有周期性动态变化的特点，网络状态随时间发生转移。因此，路由决策过程可以被建模为MDP过程。此时，DRL成为处理此类路由问题的一种理想方案。通过对端到端时延、吞吐量、丢包率和其他优化目标设置约束，DRL不仅可以监控相邻卫星和链路的实时状态，还能动态调整路由策略，以寻求更优解决方案。许多学者已将DRL运用在卫星路由算法的设计中，在增强抗拥塞能力^[18]、提供QoS保障^[19-20]和设计安全路由协议^[21]等方面取得进展。然而，目前基于DRL的路由算法存在感知范围有限的问题，智能体只能够检测邻近卫星和链路状态，无法感知全局网络状态，这极易导致在路由选择的过程中陷入局部最优。同时部分模型与卫星规模高度耦合，可扩展性较弱，在其他星座网络构型下的测试效果往往显著下降。

为应对上述问题，近年来部分学者开始关注GNN。GNN通过分析图结构数据来捕捉元素之间的连通关系。其核心机制为节点通过获取相邻节点和边的特征信息，更新自身的隐藏状态，从而学习相关特征之间的关联^[22]。同时，经过训练后的GNN模型可以迁移到不同的拓扑结构中，具有很强的泛化能力。因此，GNN在流量预测、结构分类等任务中得到了广泛的运用^[23-24]。近年来，GNN与DRL的结合被应用于通信网络领域中的路径规划、流量预测，在光网络和地面通信网络中得到普及^[25-26]。GNN与DRL结合，能够更精准地捕捉网络的状态特征变化，实现网络感知和路由决策，提升模型的性能和可扩展性。在大规模LEO卫星网络中，GNN和DRL的结合不仅能实现对全球网络状况的精确感知，还能基于所学习到的网络特性制定路由策略^[27-29]。该方法在优化卫星网络资源利用率的同时，极大地改善了端到端时延和丢包率等关键路由传输性能指标。此外，它还提高了算法在不同星座构型下的泛化能力^[30-33]。

现有研究大多将GNN与DRL相结合的方法应用于小规模LEO卫星网络路由场景中，针对大规模LEO卫星网络场景的应用有限。在不同星座网络构型中，路由算法的泛化性能缺乏充分验证。本文聚焦于此，旨在通过在不同星座构型下对路由传输性能指标进行测试，验证所提算法在大规模LEO卫星网络中的有效性与泛化能力。

3　本文方法

收起

3.1　大规模LEO卫星网络路由模型

3.1.1　大规模LEO卫星网络路由场景

本文首先采用虚拟拓扑的方法，将大规模LEO卫星网络划分为等间隔的时间片，每个时间片代表一段时间内的网络拓扑图。网络拓扑图集合G可以表示为

$ G=\{{G}_{0},{G}_{1},\cdots ,{G}_{t},\cdots ,{G}_{k-1}\} $

，k为网络拓扑图的总数。其中

$ {G}_{{t}}= (N,L) $

，N为卫星集合，L为星间链路 (inter satellite link, ISL)集合。

$ {N}_{\text{sum}} $

为网络中卫星的总数，

$ {L}_{\text{sum}} $

为网络中ISL的总数。大规模LEO卫星网络路由场景如图1所示，每颗卫星最多拥有4条ISL，包括2条同轨道ISL和2条异轨道ISL。在大型LEO卫星网络中，数据在发送卫星中被分割打包，以数据包的形式在ISL中传输。数据包经过中继卫星的转发，到达目的卫星。其所经过的卫星集合构成一条传输路径。这就是路由在网络中的传输过程。

假设网络中存在一个数据包p，从源卫星

$ {{s}}_{0} $

向目的卫星

$ {{s}}_{l} $

发送。从

$ {{s}}_{0} $

到

$ {{s}}_{l} $

可以构成一组路径集合

$ {\text{path}}_{t} $

。集合中的第i条路径

$ {path}_{{t}}^{i} $

可以表示为

$ path_{t}^{i}=\{ \lt {s}_{0},{s}_{1} \gt ,\cdots , \lt {s}_{m},{s}_{n} \gt ,\cdots , \lt {s}_{l-1},{s}_{l} \gt \} \;,$

(1)

其中

$ {{s}}_{{m}} $

和

$ {{s}}_{{n}} $

均为中继卫星。

$ \lt {s}_{m},{s}_{n} \gt $

代表

$ {{s}}_{{m}} $

和

$ {{s}}_{{n}} $

之间的ISL。

在数据包传输过程中对路由选择影响最大的指标就是端到端时延

$ {d}_{\text{ete}}^{{i}} $

。

$ {d}_{\text{ete}}^{{i}} $

为传输时延

$ {d}_{\text{trans}}^{{i}} $

、传播时延

$ {d}_{\text{prop}}^{{i}} $

、处理时延

$ {d}_{\text{proc}}^{{i}} $

和排队时延

$ {d}_{\rm{q}}^{{i}} $

之和^[34]。

因此，

$ {d}_{\text{ete}}^{{i}} $

可以表示为

$ d_{{\mathrm{ete}}}^{i}=\sum\limits_{i=0}^{l-1} (d_{{\mathrm{trans}}}^{i}+d_{{\mathrm{prop}}}^{i}+d_{{\mathrm{q}}}^{i}+d_{{\mathrm{proc}}}^{i})\;, $

(2)

$ {d}_{\text{trans}}^{{i}} $

为卫星发送数据包所需要的时间。由数据包大小

$ {{p}}_{\text{size}} $

和ISL的传输速率

$ R_{{{s}}_{{m}},{s}_{n}}^{i} $

决定。因此

$ {d}_{\text{trans}}^{{i}} $

可以表示为

$ d_{{\mathrm{trans}}}^{i}=\dfrac{{p}_{{\text{size}}}}{R_{{s}_{m},{s}_{n}}^{i}} \;.$

(3)

根据香农定理，

$ R_{{{s}}_{{m}},{s}_{n}}^{i} $

可以表示为

$ R_{{{s}}_{m},{s}_{n}}^{{i}}=B_{{{s}}_{m},{s}_{n}}^{{i}}\log \left (1+\frac{{P}_{\rm{rx}}}{{N}_{0}}\right)\;, $

(4)

其中，

$ B_{{{s}}_{{m}},{s}_{n}}^{i} $

表示为

$ \lt {s}_{m},{s}_{n} \gt $

的带宽，

$ {P}_{\rm{rx}} $

为天线接收功率，

$ {N}_{0} $

为噪声功率。在卫星通信网络中，信号以电磁波的形式传播，仅在真空中经历自由空间损耗。因此，基于自由空间传播损耗模型，

$ {P}_{\rm{rx}} $

可以表示为

$ {P}_{\rm{rx}}={P}_{\rm{tx}}\cdot {G}_{\rm{tx}}\cdot {G}_{\rm{rx}}\cdot {\left (\frac{\lambda }{4{\text{π}} {e}_{{{s}_{m}},{{s}_{n}}}}\right)}^{2} \;,$

(5)

其中：

$ {{P}}_{\rm{tx}} $

为发射功率，

$ \lambda $

为载波波长，

$ {{e}}_{{{s}_{m}},{{s}_{n}}} $

为

$ \lt {s}_{m},{s}_{n} \gt $

的长度，

$ {G}_{\rm{tx}} $

为发射天线增益，

$ {G}_{\rm{rx}} $

为接收天线增益。

$ {G}_{\rm{tx}} $

和

$ {G}_{\rm{rx}} $

均与卫星天线的参数有关，分别表示为

$ {G}_{\rm{tx}}={\left (\frac{2{\text{π}} D}{\lambda }\right)}^{2}\;, $

(6)

$ {G}_{\rm{rx}}=\eta {\left (\frac{{\text{π}} D}{\lambda }\right)}^{2}\;, $

(7)

其中：D为卫星天线的直径，

$ \eta $

为接收卫星天线效率。

$ {d}_{\text{prop}}^{{i}} $

为数据包在ISL中传播的时间。它只与ISL的长度有关。因此

$ {d}_{\text{prop}}^{{i}} $

可以表示为

$ d_{{\mathrm{prop}}}^{i}=\dfrac{{e}_{{{s}_{m}},{{s}_{n}}}}{c}\;, $

(8)

其中：c为信号在电磁波传输的速度，

$ c=3\times {10}^{8}\;{\mathrm{m/s }}$

。

$ {d}_{\text{proc}}^{{i}} $

为卫星处理数据包的时间，包括对数据打包处理，查询路由表等。在本文中假设

$ {d}_{\text{proc}}^{{i}} $

为固定值。

$ {d}_{\rm{q}}^{{i}} $

指数据包在节点队列中等候的时间。在网络负载较低时，

$ {d}_{\rm{q}}^{{i}} $

可以忽略不计，但当网络负载严重，业务请求较多时，节点队列中数据包数量较多，会产生较大的

$ {d}_{\rm{q}}^{{i}} $

。p进入到某一个中继卫星节点的队列中，p之前有x个数据包等待发送，这时

$ {d}_{\rm{q}}^{{i}} $

可以表示为

$ d_{\rm{q}}^i=\sum\limits_{x=1}^xd_{\mathrm{tran}s_x}^i\; , $

(9)

其中，

$ d_{\mathrm{tran}s_x}^i $

表示排在前面的第

$ x $

个数据包发送所需要的传输时延。

假设

$ {{s}}_{0} $

到

$ {{s}}_{l} $

总共发送了

$ {N}_{{p}} $

个数据包，且这些数据包均沿路径

$ {path}_{{t}}^{i} $

传输，t表示当前网络拓扑图的编号。则

${path}_{{t}}^{i} $

下的总端到端时延

$ d_{{\mathrm{ete}}}^{t} $

可以表示为

$ d_{{\mathrm{ete}}}^{t}=\sum\limits_{i=1}^{{N}_{p}}d_{{\mathrm{ete}}}^{i}\;. $

(10)

路由模型选择路由策略不仅需要考虑端到端时延，需要考虑ISL的带宽使用情况。选择剩余带宽较大的ISL时，会更好地避免ISL中数据包的拥堵，降低网络拥塞发生的概率。假设

$ \lt {s}_{m},{s}_{n} \gt $

上有

$ \varphi $

个数据包在传输，每个数据包的大小相等。此时

$ \lt {s}_{m},{s}_{n} \gt $

的剩余带宽

$ B_{{{s}}_{m},{s}_{n}}^{{r}_{i}} $

可以表示为

$ B_{{s}_{m},{s}_{n}}^{{r}_{i}}=B_{{s}_{m},{s}_{n}}^{i}-\varphi \cdot {p}_{{\text{size}}} \;.$

(11)

通过对大规模LEO卫星网络路由场景的描述，由此将复杂的网络路由问题转化为求解

$ {{s}}_{0} $

到

$ {{s}}_{l} $

的最短路径问题。

3.1.2　问题描述与优化目标

假设大规模LEO卫星网络运行周期为T，按照之前的虚拟拓扑方法划分时间片，构造网络拓扑图集合G。此时大规模LEO卫星网络时间划分间隔为

$ \delta $

，其作为网络的路由更新间隔。假设在t时刻，卫星的网络拓扑图刚好更新为

$ {G}_{{t}} $

。此时

$ {{s}}_{0} $

向

$ {{s}}_{l} $

沿着路径集合

$ {\text{path}}_{t} $

中的某条路径

$ {path}_{{t}}^{i} $

发送数据包。则在

$ [t\cdot \delta , (t+1)\cdot \delta ] $

的时间范围内，数据包沿着路径

$ path_{t}^{i} $

传输。因此，本文的优化变量为在当前时刻的网络拓扑图结构

$ G_t $

中，为每个数据包

$ {p} $

选择集合

$ {\text{path}}_{t} $

中具体的传输路径

$ path_{t}^{i} $

。

本文中，

$ path_{t}^{i} $

需要在一定约束条件下，尽可能地满足最小化端到端时延、最大化利用剩余带宽以及最小化丢包率。因此，复杂的网络路由选择问题被转化为求解满足某个效用函数最优解的数学问题。当数据包

$ {p} $

沿着路径

$ path_{t}^{i} $

传输时，设计效用函数为

$ \begin{split} F (p,path_{t}^{i})=&-x\cdot {U}_{\alpha } (1-{\mu }_{p})-y\cdot {U}_{\beta }\left (d_{p,path_{t}^{i}}^{{\mathrm{ete}}}\right) \\&+{\textit{z}}\cdot {U}_{\gamma }\left (B_{p,path_{t}^{i}}^{r}\right)\;,\end{split} $

(12)

其中

$ {U}_{\alpha } ({x}) $

为归一化函数，根据文献[27]中对

$ {U}_{\alpha } ({x}) $

的描述，

$ {U}_{\alpha } ({x}) $

表示方法如下：

$ {U}_{\alpha } (x)=\dfrac{{x}^{1-\alpha }}{1-\alpha } \;,$

(13)

其中，

$ {\mu }_{{p}} $

代表是否发生丢包，当

$ {\mu }_{{p}}=0 $

时代表数据包传输成功，

$ {\mu }_{{p}}=1 $

则代表数据包发生丢失。

$ \alpha $

、

$ \beta $

、

$ \gamma $

、

$ {x} $

、

$ {y} $

、

$ {\textit{z}}$

分为

$ [0,1) $

范围内的常数。为了统一归一化函数参数避免干扰，

$ \alpha $

、

$ \beta $

、

$ \gamma $

一般设置为一样的数值。

$ {x} $

、

$ {y} $

、

${\textit{z}}$

分别代表丢包率、时延和剩余链路带宽的权重，衡量三种约束指标的重要程度。

$ {d}_{p,path_{t}^{i}}^{\rm{ete}} $

代表数据包

${p} $

沿着路径

$ path_{t}^{i} $

传输时产生的端到端时延。

$ B_{p,path_t^i}^{\mathrm{r}} $

为路径的最大剩余带宽。同时，

$ {d}_{p,path_{t}^{i}}^{\rm{ete}} $

需要小于网络所容许的端到端时延阈值

$ d_{\rm{th}}^{\rm{ete}} $

，

$ B_{p,path_t^i}^{\mathrm{r}} $

需要大于路径链路中设置的最小剩余带宽阈值

$ B_{\rm{th}}^{\mathrm{r}} $

。因此，效用函数还需满足以下约束条件：

$ d_{p,path_{t}^{i}}^{\rm{ete}}\leqslant d_{\rm{th}}^{\rm{ete}}\;, $

(14)

$ B_{p,path_{t}^{{{i}}}}^{{\mathrm{r}}}\geqslant B_{\rm{th}}^{{\mathrm{r}}} \;.$

(15)

整个卫星周期内所有数据包的效用函数表示如下：

$ \max \sum\limits_{{t}=0}^{k-1}\sum\limits_{{\textit{z}}=0}^{{N}_{p}-1}F ({p}_{{\textit{z}}},path_{t}^{i})\;, $

(16)

其中，

$ path_{t}^{i}\in pat{h}_{t} $

，为每个数据包

$ {p}_{{\textit{z}}} $

在t时刻选择的传输路径。通过所有数据包不同传输路径的选择来最大化效用函数。

因此，本文的优化目标为在式 (14)、 (15)的约束条件下，最大化一个卫星周期T内的所有数据包效用函数之和。其对平均端到端时延、剩余带宽和丢包率的综合指标进行联合求解，来实现路由优化。

3.2　MDSR算法设计

3.2.1　MDSR算法架构

基于所构建的大规模LEO卫星网络路由模型与优化目标，结合MPNN与DQN，本文提出了MDSR算法。MDSR算法框架如图2所示。MDSR框架首先采用虚拟拓扑的方法，将大规模LEO卫星星座网络的一个周期，以相等的路由更新间隔进行切片，并将切片的网络拓扑建模为时间序列图模型。MDSR智能体以图模型作为输入，利用MPNN模型学习网络状态特征，随后将这些特征输入DQN的全连接层中处理，输出路由决策。通过训练，MDSR智能体可以不断地与大规模LEO卫星网络进行交互，学习到最优的路由策略。在测试阶段，训练好的模型可以输出选择的路由策略，并能够输出路由的传输性能指标，便于算法分析。

3.2.2　状态空间，动作空间和奖励函数设计

状态空间即卫星在时间片中所处环境状态的集合。在大规模LEO卫星网络模型中，状态空间包括卫星节点状态和星间链路状态。因此大规模LEO卫星网络状态集合S可以表示为

$ S=\{{s}_{{{G}_{0}}},{s}_{{{G}_{1}}},\cdots ,{s}_{{{G}_{t}}},\cdots {s}_{{{G}_{k-1}}}\} \;,$

(17)

其中网络拓扑图

$ G_{{t}} $

的状态

$ {s}_{{{G}_{t}}} $

可以表示为

$ {s}_{{{G}_{t}}}=\{{\boldsymbol{X}}_{N}^{t},{\boldsymbol{X}}_{L}^{t}\} $

，其中

$ {\boldsymbol{X}}_{N}^{t} $

为卫星状态特征矩阵，

$ {\boldsymbol{X}}_{L}^{t} $

为星间链路状态特征矩阵。卫星状态特征主要包括卫星的编号、卫星的队列拥塞程度和卫星此时剩余的能量。具体来讲，LEO卫星

$ {{s}}_{{m}} $

的节点特征状态

$ {\boldsymbol{X}}_{{{s}}_{m}}^{t} $

可以表示为

$ {\boldsymbol{X}}_{{s}_{m}}^{t}={[id{}_{{s}_{m}},co{}_{{s}_{m}},en{}_{{s}_{m}}]}_{1\times 3} \;,$

(18)

其中：

$ {{id}}_{{{s}_{m}}} $

为

$ {{s}}_{{m}} $

的编号；

$ {{co}}_{{{s}_{{m}}}} $

为

$ {{s}}_{{m}} $

的队列拥塞程度，在大规模LEO卫星网络中每个卫星内部存储一个数据包队列，负责存储、发送和接收数据包；

$ {{en}}_{{{s}_{{m}}}} $

为

$ {{s}}_{{m}} $

的剩余能量。因此，网络中所有卫星节点的状态矩阵集合可以表示为

$ {\boldsymbol{X}}_{N}^{t}=\{{\boldsymbol{X}}_{{s}_{0}}^{t},{\boldsymbol{X}}_{{s}_{1}}^{t},\cdots ,{\boldsymbol{X}}_{{s}_{m}}^{t},\cdots ,{\boldsymbol{X}}_{{s}_{{{N}_{{\mathrm{sum}}}}-1}}^{t}\} \;,$

(19)

星间链路状态特征主要包括星间链路的长度，星间链路的带宽和星间链路的传输速率。具体来讲，假设卫星

$ {{s}}_{{m}} $

和

$ {{s}}_{{n}} $

之间存在一条ISL

$ \lt {s}_{m},{s}_{n} \gt $

，为了方便表示，将其编号为

$ {l}_{i} $

，则

$ \lt {s}_{m},{s}_{n} \gt $

的星间链路状态矩阵

$ {\boldsymbol{X}}_{{l}_{i}}^{t} $

可以表示为

$ {\boldsymbol{X}}_{{l}_{i}}^{t}={[{{B}_{{{s}_{m}},{{s}_{n}}}},{{e}_{{{s}_{m}},{{s}_{n}}}},{{R}_{{{{s}}_{m}},{{s}_{n}}}}]}_{1\times 3}\;, $

(20)

其中：

$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $

代表

$ \lt {s}_{m},{s}_{n} \gt $

的带宽；

$ {\text{e}}_{{{{s}}_{{m}}},{{s}_{\text{n}}}} $

代表

$ \lt {s}_{m},{s}_{n} \gt $

的长度，

$ {R}_{{{{s}}_{{m}}},{{s}_{n}}} $

代表

$ \lt {s}_{m},{s}_{n} \gt $

的传输速率。此时网络中所有ISL的星间链路特征集合可以表示为

$ {\boldsymbol{X}}_{L}^{t}=\{{\boldsymbol{X}}_{{l}_{0}}^{t},{\boldsymbol{X}}_{{l}_{1}}^{t},\cdots ,{\boldsymbol{X}}_{{l}_{i}}^{t},\cdots ,{\boldsymbol{X}}_{{l}_{{{L}_{{\mathrm{sum}}}}-1}}^{t}\} \;.$

(21)

动作空间为一个周期T发送卫星

$ {s}_{0} $

到目的卫星

$ {{s}}_{l} $

发送数据包时所选择的路径集合。在本文中，动作空间路径的初始选择以传播时延作为约束，采用K最短路径算法 ( K-shortest path, KSP)计算

$ {s}_{0} $

到

$ {{s}}_{l} $

之间的K条路径。假设当前时刻网络拓扑图为

$ {G}_{{t}} $

时，采用KSP算法计算出的K条路径集合可以表示为

$ pat{h}_{t}=\{path_{t}^{0},path_{t}^{1},\cdots ,path_{t}^{K-1}\}\;. $

(22)

整个周期T的

$ {s}_{0} $

到

$ {{s}}_{l} $

的全部路径选择集合

$ Path $

可以表示为

$ Path=\{pat{h}_{{{G}_{0}}},pat{h}_{{{G}_{1}}},\cdots ,pat{h}_{{{G}_{t}}},\cdots ,pat{h}_{{{G}_{k-1}}}\} \;,$

(23)

$ Path $

即为动作选择集合。

奖励指环境根据MDSR智能体在当前状态下所选动作而给予的反馈^[35]。本文的奖励函数的设计综合考虑数据包在路径传输时的状态，包括数据包到达目的卫星，数据包到达中继卫星和数据包丢弃这三种状态。当卫星节点队列的数据包达到队列的存储上限或星间链路的剩余带宽小于最低数据包传输带宽时，数据包则发生丢弃。假设当前时刻为t且在拓扑图

$ {G}_{{t}} $

中，数据包

$ {p} $

沿着路径

$ path_{t}^{i} $

传输，则下一时刻的奖励值可以表示为

$ {r}_{t+1}=\begin{cases} 100+F (p,path_{t}^{i})\;{\mathrm{arrived}}\;{s}_{l}\\10+F (p,path_{t}^{i})\;{\mathrm{arrived}}\;{s}_{m},{s}_{n}\\-10+F (p,path_{t}^{i})\;{\mathrm{dropped}}\end{cases}\;. $

(24)

在DRL中奖励主要统计累计奖励，因此累计奖励的计算根据文献[36]可以表示为

$ R={r}_{t}+\xi {r}_{t+1}+{\xi }^{2}{r}_{t+2}+\cdot \cdot \cdot +\sum\limits_{k=0}^{\mathrm{\infty }}{\xi }^{k}{r}_{t+1+k} \;,$

(25)

其中：

$ \xi $

为折扣因子，且

$ \xi \in [0,1] $

。

3.2.3　改进MPNN层设计

本文采用MPNN模型作为GNN模型来获取大规模LEO卫星网络状态。为了使MPNN更加适应大规模LEO卫星网络拓扑图结构输入，本文对MPNN模型进行了改进，改进后的MPNN模块架构如图3所示。

改进的MPNN层包含消息传递阶段和读出阶段^[37]。其中消息传递阶段由消息传递函数 (message process function, MPF)、信息聚合函数 (information aggregation function, IAF)和隐藏状态更新函数 (hidden state update function, HSUF)三部分构成。经过消息传递阶段的网络阶段状态，由读出阶段的读出函数 (readout function, RF)读出网络的状态特征。

MPF用于生成邻居卫星节点和ISL的消息。MPF以当前卫星节点

$ {{s}}_{{m}} $

，相邻卫星节点

$ {{s}}_{{n}} $

和ISL

$ \lt {s}_{m},{s}_{n} \gt $

的隐藏状态作为输入，利用

$ \text{ReLU} $

函数作为激活函数提供非线性变化，加快模型收敛。在本文中，MPF采用全连接层进行拟合，因此MPF可以表示为

$ m_{{s}_{m},{s}_{n}}^{j}={ReLU} (w_{r}^{j} (h_{{s}_{m}}^{j-1}||h_{{s}_{n}}^{j-1}||h_{ \lt {s}_{m},{s}_{n} \gt }^{j-1})) \;,$

(26)

其中，

$ h_{{s}_{m}}^{j-1} $

、

$ h_{{s}_{n}}^{j-1} $

和

$ h_{ \lt {s}_{m},{s}_{n} \gt }^{j-1} $

分别代表输入到第j层MPNN网络上的

$ {{s}}_{{m}} $

、

$ {{s}}_{{n}} $

和

$ \lt {s}_{m},{s}_{n} \gt $

的隐藏状态，

$ || $

代表拼接操作，将节点隐藏状态与ISL隐藏状态进行拼接处理；

$ w_{r}^{j} $

为第j层MPNN网络中大的全连接层参数权重，且

$ w_{r}^{j}\in \mathbb{R}^{{C_{r}^{j}}\times (2{C_{s}^{j-1}}+{C_{e}^{j-1}})} $

，其中

$ C_{r}^{j} $

为生成消息

$ m_{{s}_{m},{s}_{n}}^{j} $

的维度，根据状态空间的设计，可以得到：

$ h_{{s}_{0}}^{0}={{\boldsymbol{X}}}_{{{s}_{0}}},h_{{e}_{0}}^{0}={{\boldsymbol{X}}}_{{{e}_{0}}},C_{s}^{0}=3,C_{e}^{0}=3\;. $

(27)

IAF表征对所有邻居卫星节点的消息进行聚合，其输入是MPF的输出。IAF不关注邻居卫星节点的顺序，即使获取邻居卫星节点消息的顺序不同，也不影响IAF输出的结果。本文中IAF采用均值聚合函数进行拟合，可以表示为

$ m_{{s}_{m}}^{j}={E}_{{{s}_{n}}\in N ({{s}_{m}})} (m_{{s}_{m},{s}_{n}}^{j}) \;.$

(28)

HSUF用于更新卫星节点的隐藏状态，其输入为IAF聚合后的隐藏状态和当前节点的隐藏状态。由于二者相互关联，因此可以将更新过程视为时间序列输入问题。原版MPNN使用了RNN来拟合更新函数，处理时间序列问题，但因RNN无法应对长序列依赖，且在训练时会发生梯度消失和梯度爆炸。为了克服这些限制，本文的HSUF选用LSTM进行拟合。LSTM通过加入输入门、遗忘门和输出门等门控单位，更好地捕捉序列中的依赖关系，减缓训练时梯度累积造成的梯度消失和爆炸^[36]。因此HSUF可以表示为

$ h_{{s}_{m}}^{j}=LS T M (h_{{{s}}_{{m}}}^{j-1},m_{{s}_{m}}^{j}) \;.$

(29)

在一层MPNN网络中，所有的卫星节点均经历消息传递过程，因此经过J层MPNN网络后，可以得到

$ {G}_{{t}} $

中的全部卫星节点的隐藏状态矩阵

$ {\boldsymbol{H}}_{s}^{J} $

和全部ISL的隐藏状态矩阵

$ {\boldsymbol{H}}_{e}^{J} $

。

RF作用于读出阶段，获取

$ {G}_{{t}} $

的大规模LEO卫星网络的特征。RF函数可以分为读出卫星节点特征

$ {\hat{h}}_{s} $

和ISL特征

$ {\hat{h}}_{e} $

，

$ {\hat{h}}_{s} $

和

$ {\hat{h}}_{e} $

分别表示如下：

$ {\hat{h}}_{{s}}=RF ({\boldsymbol{H}}_{s}^{J}) \;,$

(30)

$ {\hat{h}}_{e}=RF ({\boldsymbol{H}}_{e}^{J}) \;.$

(31)

将

$ {\hat{h}}_{s} $

和

$ {\hat{h}}_{e} $

进行拼接，即可得到拓扑图

$ {G}_{{t}} $

的全部特征

$ {\hat{h}}_{{{G}_{t}}} $

：

$ {\hat{h}}_{{{G}_{t}}}= ({\hat{h}}_{s}||{\hat{h}}_{e})\;. $

(32)

3.2.4　DQN模块

本文采用DQN方法对所获得的网络状态特征进行路由策略学习。如图4所示，DQN模块采用神经网络来拟合Q值，通过获取的全局卫星网络状态特征

$ {\hat{h}}_{{{G}_{t}}} $

来选择动作并不断学习来更新网络参数、学习最优的路由选择决策。在本文中，Q值根据贝尔曼方程计算^[38]，同时MPNN读出的特征

$ {\hat{h}}_{{{G}_{t}}} $

作为输入DQN模块的状态

$ {\psi }_{t} $

，Q值的更新可以表示为

$ Q ({\psi }_{t},{a}_{t};{\theta }_{0},{\omega }_{0})={r}_{t+1}+\xi {\max }_{{{a}_{t+1}}\in A}Q ({\psi }_{t+1},{a}_{t+1};{\theta }_{1},{\omega }_{1}) \;,$

(33)

其中：

$ {\theta }_{0} $

和

$ {\omega }_{0} $

为主Q网络中MPNN层和全连接层的网络参数，

$ {\theta }_{1} $

和

$ {\omega }_{1} $

为目标Q网络中MPNN层和全连接层的网络参数。

DQN通过损失函数来计算主Q网络和目标Q网络之间的误差，主要采用均方误差函数 (mean square error, MSE)来计算。在本文中，损失函数

$ L ({\theta }_{0},{\omega }_{0};{\theta }_{1},{\omega }_{1}) $

的计算方式表示为

$ \begin{split} L\left(\theta_0, \omega_0 ; \theta_1, \omega_1\right)=&E\left[\left(r_{t+1}+\xi \max _{a_{t+1}} Q\left(\psi_{t+1}, a_{t+1} ; \theta_1, \omega_1\right)\right.\right. \\&- \left.\left.Q\left(\psi_t, a_t ; \theta_0, \omega_0\right)\right)^2\right] \;.\end{split}$

(34)

主Q网络参数采用梯度下降法更新，目标Q网络在经过一段时间后将主Q网络的网络参数复制到目标Q网络中。主Q网络参数更新和目标Q网络参数更新过程分别如下：

$ \begin{aligned} \nabla_{\theta_0, \omega_0} L\left(\theta_0, \omega_0\right)=&E\big[\big(r_{t+1}+\xi \max _{a_{t+1}} Q\left(\psi_{t+1}, a_{t+1} ; \theta_1, \omega_1\right) \\& \left.-Q\left(\psi_t, a_t ; \theta_0, \omega_0\right)\right) \nabla_{\theta_0, \omega_0} Q\left(\psi, a ; \theta_0, \omega_0\right)\big] \;,\end{aligned}$

(35)

$ \left(\theta_1,\omega_1\right)=\left(\theta_0,\omega_0\; \right). $

(36)

经过一段时间后，利用经验回放池的经验回放机制，将小批次样本送入网络中训练，来加快模型的收敛。

3.3　MDSR算法训练流程

根据MDSR算法状态空间、动作空间、奖励函数和改进MPNN模块和DQN模块，对MDSR算法框架进行了设计。MDSR算法包括训练阶段和测试阶段。训练阶段，算法模型根据大规模LEO卫星网络的动态变化的网络拓扑学习卫星网络特征，在MDSR智能体与大规模LEO卫星网络环境不断交互过程中学习最优的路由策略，其中，MDSR算法训练流程如表1所示。在测试阶段，训练好的模型能够根据实时的大规模LEO卫星网络状态信息而输出最佳的路由策略。

4　仿真结果与分析

收起

4.1　仿真参数设置

本文采用Python3.9对大规模LEO卫星网络路由场景进行仿真，采用PyTorch1.13.1对神经网络模型进行构建，并调用RTX 4050加速模型训练。为了评估MDSR算法在不同大规模LEO卫星网络构型中的路由传输性能，本文设置了两种卫星星座：极轨道大规模LEO卫星星座和倾斜轨道大规模LEO卫星星座。极轨道大规模LEO卫星星座由720颗卫星组成，共有18个轨道，每个轨道上有40颗卫星。轨道高度为720 km，轨道倾角为 86.4°。纬度大于70°的地区设置为极区。大多数卫星配备4条ISL，分别为2条轨道内ISL和2条轨道间ISL；在极区内的卫星只有2条轨道内ISL。极轨道星座存在反向缝，反向缝两侧的卫星有2条轨道内ISL和1条轨道间ISL。倾斜轨道大规模LEO卫星星座由1584颗卫星组成，共有72个轨道，每个轨道有22颗卫星。轨道高度为550 km，轨道倾角为53°，所有卫星均配备4条ISL。此外，为了判断不同路由更新间隔是否对MDSR算法性能产生影响，本文设置了10 s、30 s、60 s和300 s的不同路由更新间隔，来测试MDSR算法在不同路由更新间隔下是否稳定。

大规模 LEO卫星网络的仿真参数如表2所示。MDSR算法模型选择极轨道大规模LEO卫星网络路由场景进行训练，路由更新间隔为30 s。每个卫星节点的队列的最大存储容量为1000个数据包。每条ISL的最大带宽为100 MB，为了模拟卫星网络的链路带宽的拥塞情况，在初始设置的时候每条ISL的带宽随机设置为

$ [10,100] $

MB。同时，卫星的最大能量为100 J，在初始设置的时候也随机对每颗卫星的能量随机设置为

$ [40,100] $

J。

MDSR智能体神经网络相关参数如表3所示。其中设置丢包率权重、端到端时延权重、剩余带宽权重分别为0.1、0.6和0.3；令效用函数中的归一化参数相等，设置为0.5。改进的MPNN模块采用两层消息传递网络进行拟合；全连接层采用4层全连接网络对Q值进行拟合，利用ReLU激活函数提供非线性计算；模型优化器选择Adam优化器，同时损失函数采用了MSE函数；设置经验回放池大小为10000，每一次进行计算的批次大小为4，并随着训练次数的增加减少探索和权衡的比值。模型总共进行300轮训练，通过学习卫星网络场景的状态特征来进行路由决策。

4.2　仿真对比算法设置

为了更好地评估MDSR算法的路由传输性能，本文选取以下几种算法进行对比。

1) Dijkstra最短路径 (Dijkstra shortest path, DSP)算法^[39]：作为路由问题中最常用的路由算法，DSP已被证明在大部分网络中能达到普遍最优解^[40]。本章中，DSP以端到端时延为约束，计算发射卫星与目的卫星的最短路径。

2) 基于Q-learning的大规模LEO卫星网络路由算法^[21^]：该算法采用Q表来代替传统路由表更新，将源-目的卫星节点对作为状态来降低Q表开销，并利用Q学习进行路由决策。

3) 基于DQN的大规模LEO卫星网络路由算法^[41]：该算法未采用图神经网络进行泛化能力的表征，直接根据卫星网络状态输出路由决策，以该算法为对照说明加入图神经网络后的作用。

4) 基于确定性深度策略梯度 (deep deterministic policy gradient, DDPG)网络的大规模LEO卫星网络路由算法^[42]：该算法是以基于策略的DRL算法，其以演说家-批评家框架为学习核心，能够拟合连续动作空间。该算法训练模型的输入维度与卫星数量规模高度相关，因此其不能够适配其他构型的星座网络。

5) 采用RNN拟合HSUF函数的MDSR算法：该算法为MPNN模块中HSUF函数采用RNN拟合的MPNN模型，为了方便表示，将其命名为HSUF-RNN，用于说明采用LSTM代替RNN拟合HSUF在算法训练和测试时所带来的影响。

4.3　仿真结果分析

4.3.1　MDSR模型训练结果

根据MDSR算法仿真设置的大规模LEO卫星网络仿真参数和MDSR智能体仿真参数，对MDSR算法进行训练。训练轮次设置为300轮，每隔5轮记录一次累计奖励和模型的MSE损失。同时，为了验证改进的MPNN模块中用LSTM代替RNN拟合HSUF时对算法训练的影响，训练阶段采用了HSUF-RNN模型来进行对比。MDSR模型和HSUF-RNN模型的奖励和损失随训练轮次变化曲线如图5和图6所示。

仿真结果表明，MDSR模型和HSUF-RNN模型训练过程中的奖励值均快速增加，损失值均快速下降，在50轮左右达到逐渐平和，在150轮左右基本收敛。其中，MDSR模型所获得的初始奖励要高于HSUF-RNN模型，且初始损失也远小于HSUF-RNN模型。可以看出，在收敛速度方面，MDSR模型要快于HSUF-RNN模型，这是因为二者的结构不同，MDSR模型中通过LSTM来拟合HSUF，通过多种门控单元使模型记住路由历史上下文信息，选择性遗忘噪声信息，长期记忆提升了路由选择策略质量，增加了模型获得的初始奖励，降低了初始损失。因此，通过对两者模型训练证明了采用LSTM拟合HSUF的MDSR模型在收敛速度和初始奖励方面要优于HSUF-RNN模型。

4.3.2　MDSR算法在极轨道大规模LEO卫星网络中测试结果及分析

为了验证MDSR算法在极轨道大规模LEO卫星网络下的路由传输性能，本文在10 s、30 s、60 s和300 s路由更新间隔下进行了测试。测试时选择的数据发送卫星节点为S_09_02，目的卫星节点S_11_32，即第9个轨道2颗卫星到第11个轨道第32颗卫星。仿真时间设置为6600 s，为极轨道大规模LEO卫星网络的一个运行周期。为排除其他干扰影响，对比算法中的HSUF-RNN、DQN、Q-learning和DDPG等强化学习模型训练场景与MDSR算法模型的训练环境相同。

图7展示了在极轨道大规模LEO卫星网络下六种算法的端到端时延随仿真时间变化曲线。图7(a-d)分别展示了在10 s、30 s、60 s和300 s的路由更新间隔下端到端时延的变化。结果表明， MDSR 算法和对比算法的端到端时延均随仿真时间的运行发生周期性变化。其中，DSP算法的变化范围为40~50 ms，而MDSR、HSUF-RNN、Q-learning、DQN、DDPG算法的波动范围在30~40 ms。在10 s、30 s、60 s和300 s的路由更新间隔下，不同算法的变化趋势不大，这也证明了算法在该仿真场景下的稳定性。对比来看，MDSR算法的端到端时延曲线变化趋势与HSUF-RNN、Q-learning、DQN和DDPG相差不大，且均优于DSP算法。

图8展示了在极轨道大规模LEO卫星网络下六种算法吞吐量随仿真时间变化曲线。图8(a-d)分别展示了在10 s、30 s、60 s和300 s路由更新间隔下的吞吐量变化。仿真结果表明，MDSR算法和对比算法的吞吐量均随仿真时间变化而发生规律周期性变化。MDSR算法与HSUF-RNN的性能表现几乎一致，优于其他对比算法，吞吐量保持在0.4 Mbit/s以上。相对而言，强化学习策略的算法的吞吐量均在0.4 Mbit/s附近波动，低于MDSR。

DSP算法的吞吐量保持在约0.3 Mbit/s，低于其他算法。所有算法在整个仿真过程中都具备稳定性。

图9展示了在极轨道大规模LEO卫星网络下六种算法的丢包率随仿真时间变化曲线。图9(a-d)分别展示了在10 s、30 s、60 s和300 s路由更新间隔下的丢包率变化。仿真结果表明，MDSR算法和对比算法的丢包率曲线趋势变化稳定，不受路由更新间隔的影响。MDSR算法和HSUF-RNN的丢包率最低，约为12 %，而DSP的丢包率约为20 %。DQN、Q-learning和DDPG算法丢包率性能表现相似，均在25 %左右。因此在极轨道大规模LEO卫星网络路由仿真场景中，MDSR明显在丢包率指标上优于DQN等未采用图神经网络方式的对比算法。

为了更直观地描述MDSR与几种对比算法的路由传输性能指标的影响，本文对不同路由更新间隔下不同算法的端到端时延、吞吐量和丢包率进行平均计算，做成柱状图进行对比，以便更精确直观地判断几种算法路由传输性能指标的差异。

图10展示了极轨道大规模LEO卫星网络下几种算法在不同路由更新间隔下的路由传输性能指标对比。图10(a-c)分别展示了平均端到端时延、平均吞吐量和平均丢包率三种路由传输性能指标对比。仿真结果表明，MDSR算法在平均丢包率指标下优势明显，比DSP丢包率降低了约35 %，比DQN、Q-learning和DDPG算法的丢包率降低了约48 %。在平均端到端时延和平均吞吐量上，MDSR算法要明显优于DSP，虽然与DQN、Q-learning和DDPG等RL算法较为相近，但也占据一定的优势。其中，在平均端到端时延上，MDSR相比于DSP、Q-learning、DQN和DDPG分别降低了约20.5 %、7.9 %、2.7 %和5.4 %；在平均吞吐量上，MDSR相比于DSP、Q-learning、DQN和DDPG分别提升了约21.7 %、7.6 %、5 %和1.2 %。这是由于MDSR算法选择了图神经网络来表征大规模LEO卫星网络的网络状态，同时改进的LSTM能够使MPNN更好处理时序长序列依赖，精准适配了大规模LEO卫星网络的拓扑动态周期变化特性，能够更精准地令强化学习神经网络选择路径决策基于全图网络状态，降低了误选质量低链路的概率。因此能够优先选择质量稳定、带宽充足的链路，同时弥补DSP仅依靠传播时延进行决策和基于DRL算法感知精度不足的问题。在路由传输性能指标，尤其是丢包率上MDSR具有较大优势。与HSUF-RNN相比，MDSR在路由传输性能上基本相似，这是由于两者的模型均为GNN+DRL的框架范式，训练后学习到了相似的路由选择策略，都可以利用MPNN进行网络状态特征决策，所以在测试结果上，路由传输性能表现相似。综上所述，综合对比下MDSR算法在路由传输性能指标上要优于其他RL对比算法和DSP算法。

4.3.3　MDSR算法在倾斜轨道大规模LEO卫星网络中测试结果及分析

为了测试MDSR算法是否在不同的星座构型上仍然具备优势，以及在不需要额外的训练情况下的路由传输性能，验证其可扩展性，本文采用了倾斜轨道大规模LEO卫星网络，在路由更新间隔为10 s，30 s，60 s和300 s条件下进行测试。测试时选择的数据发送卫星为S_09_12，目的卫星为S_11_21，即数据发送卫星为第9轨道第12颗卫星，目的卫星为第11轨道第21颗卫星。在倾斜轨道大规模LEO卫星网络中，对比算法选择分别为HSUF-RNN、基于DSP、Q-learning和DQN的大规模LEO卫星网络路由算法进行对比。由于基于DDPG的大规模LEO卫星网络路由算法模型的输入纬度与卫星网络规模高度耦合，其可扩展性有限，因此不将DDPG算法在倾斜轨道网络中对比。仿真时间设置为6000 s，为倾斜轨道大规模LEO卫星网络的运行周期。

图11展示了在倾斜轨道大规模LEO卫星网络下五种算法端到端时延随仿真时间变化曲线。图11(a-d)分别展示了在10 s、30 s、60 s和300 s路由更新间隔下的端到端时延变化。仿真结果表明，在倾斜轨道大规模LEO卫星网络下，各种算法的端到端时延均随着仿真时间而发生周期性变化。同时在不同路由间更新间隔下，所有算法的端到端时延均没有明显的变化，这说明不同时间更新间隔对于算法的稳定性的影响不显著。其中，DSP算法的端到端时延在30~40 ms内波动。MDSR、HSUF-RNN、DQN、Q-learning算法的平均端到端时延在25~35 ms内波动。可以看出，MDSR算法在端到端时延指标上要明显优于DSP算法，与HSUF-RNN、DQN、Q-learning这些基于RL范式的路由算法性能差距不大。但MDSR和HSUF-RNN相比于基于RL的路由算法仍然具有一定的优势。

图12展示了在倾斜轨道大规模LEO卫星网络下五种算法吞吐量随仿真时间变化曲线。图12(a-d)分别展示了在10 s、30 s、60 s和300 s路由更新间隔下的吞吐量变化。仿真结果表明，各算法的吞吐量均随着仿真时间而发生周期性变化。同时在不同路由更新间隔下，所有算法的吞吐量均没有明显的变化，这也说明不同时间更新间隔对于算法的稳定性并无太多影响。其中，DSP算法的吞吐量最低，在0.3 Mbit/s上下浮动，MDSR、HSUF-RNN、DQN和Q-learning算法均在0.3~0.4 Mbit/s之间浮动，可以看出MDSR算法在吞吐量指标上要明显优于DSP算法，虽然与HSUF-RNN、DQN、Q-learning等强化学习算法的吞吐量值趋近，但MDSR算法要比另外两种对比算法在吞吐量上有轻微的优势。

图13展示了在倾斜轨道大规模LEO卫星网络下五种算法丢包率随仿真时间变化曲线。图13(a-d)分别展示了在10 s、30 s、60 s和300 s路由更新间隔下的丢包率变化。仿真结果表明，在倾斜轨道大规模LEO卫星网络下，各种算法的丢包率与极轨道大规模LEO卫星网络的丢包率基本趋于一致，更换了星座构型网络后，基本对丢包率影响不大。MDSR算法的丢包率要明显优于所有对比算法。同时可以看出，不同路由更新间隔对算法的丢包率没有明显的影响，这也侧面证明了算法的稳定性。

同样，与极轨道大规模LEO卫星网络相同，为了更加直观地展示MDSR算法与其他对比算法在倾斜轨道上的路由传输性能指标对比，这里也对端到端时延、吞吐量和丢包率进行了平均值计算，来更直观和精确地对路由传输性能指标进行对比分析。

图14展示了倾斜轨道大规模LEO卫星网络下几种算法在不同路由更新间隔下的路由传输性能指标对比。图14(a-c)分别展示了平均端到端时延。平均吞吐量和平均丢包率三种路由传输性能指标对比。仿真结果表明，MDSR算法路由传输性能指标表现上要优于其他对比算法。其中平均丢包率指标上要远远优于未采用图神经网络范式的三种对比算法。同时，MDSR与HSUF-RNN在测试时候路由传输性能指标仍然相近，由于二者本身都采用了GNN+DRL的范式优化路由选择，均能够利用MPNN感知网络的全局状态来进行路由决策，可以获得更好的路由传输性能。这也侧面证明，即使在倾斜轨道大规模LEO卫星网络上，采用极轨道训练的模型仍具备较强的传输性能。MDSR算法无需额外训练即可适应不同轨道构型，展现了出色的拓扑泛化能力、可扩展性与迁移能力，有效降低了训练成本。

综上所述，本章所提出的MDSR算法不仅在训练的极轨道星座网络的路由传输性能上要优于对比算法，并且不受路由更新间隔的影响。同时在倾斜轨道这种其他构型的大规模LEO卫星网络上仍然具有较好的路由传输性能指标，侧面证明了所提算法具备一定的拓扑泛化能力和迁移能力，具备良好的可扩展性。因此MDSR算法在大规模LEO卫星网络的路由问题中得到了验证，具有一定的优势。

5　结　论

收起

本文主要针对大规模LEO卫星网络因动态拓扑变化而导致的传输性能下降和路由算法拓扑泛化能力不足的问题，提出了 MDSR 算法。MDSR 采用虚拟拓扑方法将大规模LEO卫星网络按照等时间间隔进行划分，构建图结构数据作为MDSR算法的输入。利用改进的 MPNN 网络来感知网络状态特征，并通过 DQN 算法学习最佳路由策略。本文在极轨道和倾斜轨道两种大规模LEO卫星网络中验证了MDSR的性能，并与DSP、基于RL的大规模LEO卫星网络算法进行对比。仿真结果表明，MDSR算法在训练时的收敛速度和初始奖励要高于HSUF-RNN模型，且在传输性能指标和拓扑泛化能力方面均优于其他对比算法。其中，在极轨道大规模LEO卫星网络中，MDSR的平均丢包率比其他RL算法降低约48%，比DSP降低约35%；平均端到端时延比DSP、Q-learning、DQN和DDPG分别降低了约20.5%、7.9%、2.7%和5.4%；平均吞吐量比DSP、Q-learning、DQN和DDPG分别提升了约21.7%、7.6%、5%和1.2%。此外，MDSR 在不同的星座网络中表现出强大的泛化能力，无需额外训练即可保持较高性能，具备一定的可扩展性。未来，研究将继续探索随机链路连接和流量分区等优化方案，以进一步增强 MDSR 的鲁棒性，实现更均衡的网络负载分配。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Zhu X M, Jiang C X. Integrated satellite-terrestrial networks toward 6G: architectures, applications, and challenges[J]. IEEE Internet Things J, 2022, 9 (1): 437−461.

Liu Z Y, Wang S, Zhang R, et al. Routing in hierarchical hybrid satellite networks: a survey[J]. IEEE Trans Netw Sci Eng, 2026, 13: 4883−4911.

Wang H, Wang J X, Qi W, et al. Survey on dynamic routing networking methods in integrated satellite-terrestrial network[C]//Proceedings of 2023 IEEE/CIC International Conference on Communications in China, Dalian, 2023: 1–5. https://doi.org/10.1109/ICCCWorkshops57813.2023.10233772.

张佳鑫, 常朝阳, 张易隆, 等. 巨型星座路由技术综述[J]. 天地一体化信息网络, 2024, 5 (1): 2−13.

Zhang J X, Chang Z Y, Zhang Y L, et al. Survey on routing technology of mega constellation[J]. Space-Integr-Ground Inf Netw, 2024, 5 (1): 2−13.

Bhattacharyya A, Nambiar S M, Ojha R, et al. Machine learning and deep learning powered satellite communications: enabling technologies, applications, open challenges, and future research directions[J]. Int J Satell Commun Network, 2023, 41 (6): 539−588.

Lee K L ,Lin P F,Chen C, et al. A survey on constellation routing methods in 6G non-terrestrial networks[C]// Proceedings of 2024 International Computer Symposium (ICS). IEEE,2024,5(4):57-74. https://doi.org/10.1109/ICS64339.2024.00027

Moorthy S K, Jagannath J. Survey of graph neural network for internet of things and NextG networks[J]. IEEE Commun Surv Tutorials, 2026, 28: 1803−1844.

Werner M. A dynamic routing concept for ATM-based satellite personal communication networks[J]. IEEE J Sel Areas Commun, 1997, 15 (8): 1636−1648.

Ekici E, Akyildiz I F, Bender M D. A distributed routing algorithm for datagram traffic in LEO satellite networks[J]. IEEE/ACM Trans Network, 2001, 9 (2): 137−147.

Li X, Tang F L, Chen L, et al. A state-aware and load-balanced routing model for LEO satellite networks[C]//Proceedings of 2017 IEEE Global Communications Conference, Singapore, 2017: 1–6. https://doi.org/10.1109/GLOCOM.2017.8254443.

Liu Z L, Li J S, Wang Y R, et al. HGL: a hybrid global-local load balancing routing scheme for the internet of things through satellite networks[J]. Int J Distrib Sens Netw, 2017, 13 (3): 1–16. https://doi.org/10.1177/1550147717692586.

Dai S Y, Rui L L, Chen S Y, et al. A distributed congestion control routing protocol based on traffic classification in LEO satellite networks[C]//Proceedings of 2021 IFIP/IEEE International Symposium on Integrated Network Management, Bordeaux, 2021: 523–529.

Zhang T, Li H Y, Zhang S, et al. STAG-based QoS support routing strategy for multiple missions over the satellite networks[J]. IEEE Trans Commun, 2019, 67 (10): 6912−6924.

Kumar P, Bhushan S, Halder D, et al. fybrrLink: efficient QoS-aware routing in SDN enabled future satellite networks[J]. IEEE Trans Netw Serv Manage, 2022, 19 (3): 2107−2118.

Xie X, Huang L Y, Tang C W, et al. Multi-objective routing algorithms for low-earth orbit satellite network[J]. Int J Satell Commun Network, 2023, 41 (5): 427−440.

Zhang G Y, Wang K, Lai C Q, et al. Deep reinforcement learning-based routing optimization for software-defined satellite networks[C]//Proceedings of 2024 International Conference on Ubiquitous Computing and Communication, Chengdu, 2024: 436–441. https://doi.org/10.1109/IUCC65928.2024.00082.

Jiang X Y, Zhang T, Liu L. Research on satellite QoS routing algorithm based on digital twin[C]//Proceedings of 2023 11th International Conference on Intelligent Computing and Wireless Optical Communications, Chongqing, 2023: 118–122. https://doi.org/10.1109/ICWOC57905.2023.10200404.

Liu X Y, Ma T, Qin X H, et al. A DRL empowered multipath cooperative routing for ultra-dense LEO satellite networks[C]//Proceedings of 2023 IEEE Global Communications Conference, Kuala Lumpur, 2023: 5961–5966. https://doi.org/10.1109/GLOBECOM54140.2023.10436959.

Wang C, Wang H W, Wang W D. A two-hops state-aware routing strategy based on deep reinforcement learning for LEO satellite networks[J]. Electronics, 2019, 8 (9): 920.

Song J X, Ju Y, Liu L, et al. Trustworthy and load-balancing routing scheme for satellite services with multi-agent DRL[C]//Proceedings of the IEEE INFOCM 2023 - IEEE Conference on Computer Communications Workshops, Hoboken, 2023: 1–6. https://doi.org/10.1109/INFOCOMWKSHPS57453.2023.10226127.

Huang Y X, Wu S F, Kang Z Y, et al. Reinforcement learning based dynamic distributed routing scheme for mega LEO satellite networks[J]. Chinese Journal of Aeronautics, 2023, 36 (2): 284−291.

Nie M S, Chen D M, Wang D Q. Reinforcement learning on graphs: a survey[J]. IEEE Trans Emerg Top Comput Intell, 2023, 7 (4): 1065−1082.

薛丽霞, 尹凯建, 汪荣贵, 等. 基于交互实例推荐网络的人-物交互检测方法研究[J]. 光电工程, 2022, 49 (7): 210429.

Xue L X, Yin K J, Wang R G, et al. Interactive instance proposal network for HOI detection[J]. Opto-Electron Eng, 2022, 49 (7): 210429.

叶世杰, 王永雄. 基于图神经网络的WSI癌症生存预测方法[J]. 光电工程, 2024, 51(4): 240011.

Ye S J, Wang Y X. Graph neural network-based WSI cancer survival prediction method[J]. Opto-Electron Eng, 2024, 51(4): 240011.

Almasan P, Suárez-Varela J, Rusek K, et al. Deep reinforcement learning meets graph neural networks: exploring a routing optimization use case[J]. Comput Commun, 2022, 196: 184−194.

孙文洁, 李宗民, 孙浩淼. 基于图神经网络的多智能体强化学习值函数分解方法[J]. 计算机工程, 2024, 50 (5): 62−70.

Sun W H, Li Z M, Sun H M. Multi-agent reinforcement learning value function factorization approach based on graph neural network[J]. Comput Eng, 2024, 50 (5): 62−70.

汪昊, 冉泳屹, 赵雷, 等. 基于深度图强化学习的低轨卫星网络动态路由算法[J]. 重庆邮电大学学报 (自然科学版), 2023, 35 (4): 596−605.

Wang H, Ran Y Y, Zhao L, et al. Dynamic routing algorithm for LEO satellite networks based on deep graph reinforcement learning[J]. J Chongqing Univ Posts Telecommun (Nat Sci Ed), 2023, 35 (4): 596−605.

Huang Y X, Yang D, Feng B H, et al. A GNN-enabled multipath routing algorithm for spatial-temporal varying LEO satellite networks[J]. IEEE Trans Veh Technol, 2024, 73 (4): 5454−5468.

Xu P, Feng M J, Zhou J X, et al. Inter-satellite routing for LEO satellite networks: a GNN and DRL integrated approach[C]//Proceedings of 2024 IEEE/CIC International Conference on Communications in China, Hangzhou, 2024: 1346–1351. https://doi.org/10.1109/ICCC62479.2024.10681995.

Gao Y, Huang K H, Wang K, et al. Intelligent hierarchical routing strategy based on regional division for large-scale LEO satellite constellations[C]//Proceedings of 2025 IEEE/CIC International Conference on Communications in China, Shanghai, 2025: 1–6. https://doi.org/10.1109/ICCCWorkshops67136.2025.11148142.

Yu G, Kwak M, Park S, et al. GNN-aided efficient multipath routing in satellite constellation networks[C]//Proceedings of 2025 International Conference on Mobile, Military, Maritime IT Convergence, Cebu, 2025: 55–58. https://doi.org/10.1109/ICMIC66299.2025.11257771.

Zhang S B, Liu A J, Han C, et al. GRLR: routing with graph neural network and reinforcement learning for mega LEO satellite constellations[J]. IEEE Trans Veh Technol, 2025, 74 (2): 3225−3237.

Ran Y Y, Ding Y J, Chen S W, et al. Fully-distributed dynamic packet routing for LEO satellite networks: a GNN-enhanced multi-agent reinforcement learning approach[J]. IEEE Trans Veh Technol, 2025, 74 (3): 5229−5234.

Deng X, Chang L, Zeng S Y, et al. Distance-based back-pressure routing for load-balancing LEO satellite networks[J]. IEEE Trans Veh Technol, 2023, 72 (1): 1240−1253.

Hsu Y H, Lee J I, Xu F M. A deep reinforcement learning based routing scheme for LEO satellite networks in 6G[C]//Proceedings of 2023 IEEE Wireless Communications and Networking Conference, Glasgow, 2023: 1–6. https://doi.org/10.1109/WCNC55385.2023.10118680.

Hamrouni A, Ghazzai H, Setti G, et al. LSTM-based dynamic routing with non-ISL LEO satellite constellations for remote IoT connectivity[C]//Proceedings of 2024 IEEE Global Communications Conference, Cape Town, 2024: 1473–1478. https://doi.org/10.1109/GLOBECOM52923.2024.10901596.

Gilmer J, Schoenholz S S, Riley P F, et al. Neural message passing for quantum chemistry[C]//Proceedings of the 34th International Conference on Machine Learning, Sydney, 2017: 1263–1272.

Wang X, Wang S, Liang X X, et al. Deep reinforcement learning: a survey[J]. IEEE Trans Neural Netw Learn Syst, 2024, 35 (4): 5064−5078.

Zhang X, Yang Y, Xu M W, et al. ASER: scalable distributed routing protocol for LEO satellite networks[C]//Proceedings of 2021 IEEE 46th Conference on Local Computer Networks, Edmonton, 2021: 65–72. https://doi.org/10.1109/LCN52139.2021.9524989.

Haeupler B, Hladík R, Rozhoň V, et al. Universal optimality of Dijkstra via beyond-worst-case heaps[C]//Proceedings of the 2024 IEEE 65th Annual Symposium on Foundations of Computer Science, Chicago, 2024. https://doi.org/10.1109/FOCS61266.2024.00125.

Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518 (7540): 529−533.

Tan H N. Reinforcement learning with deep deterministic policy gradient[C]//Proceedings of 2021 International Conference on Artificial Intelligence, Big Data and Algorithms, Xi’an, 2021: 82–85. https://doi.org/10.1109/CAIBDA53561.2021.00025.

2026年第53卷第6期

PDF下载

160

引用本文

BibTeX

文章信息

doi: 10.12086/oee.2026.250386

接收时间：2025-12-12
首发时间：2026-10-22
出版时间：2026-06-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-12-12
修回日期：2026-03-02
录用日期：2026-03-12

基金

作者信息

哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001

通讯作者:

黄思博，zerohsb2001@163.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/oee/CN/10.12086/oee.2026.250386

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法：MDSR算法训练流程
1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；
2. 初始化主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $和目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $；
3. 初始化经验回放池M, 训练轮次$ epochs $, 训练步数$ steps $, 经验回放采样步　数$ \tau $,主Q网络更新步数$ \kappa $；
4. for $ epoch $ in range $ (1,epochs) $：
5. 　for $ step $ in range $ (1,steps) $：
6. 　　for $ {G}_{t} $ in G：
7. 　　　for j in range $ (1,J) $：
8. 　　　　for $ {s}_{m} $ in N：
9. 　　　　　利用公式 (26)得到所有相邻卫星对$ {s}_{m} $生成的消息；
10.　　　　　利用公式 (28)得到聚合后$ {s}_{m} $的消息；
11.　　　　　利用公式 (29)更新$ {s}_{m} $的隐藏状态；
12. 　　　　end for
13. 　　　end for
14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征$ {\hat{h}}_{{{G}_{t}}} $；
15. 　　end for
16. 　　从所有$ {\hat{h}}_{{{G}_{t}}} $中抽取状态$ {\psi }_{t} $，输入到全连接神经网络中计算各个动作　的Q值；
17. 　　根据$ \varepsilon -{\mathrm{greedy}} $策略选择动作$ {a}_{t} $；
18. 　　将动作$ {a}_{t} $输入到环境中执行；
19. 　　环境返回即时奖励$ {r}_{t} $和下一时刻状态$ {\psi }_{t+1} $;
20. 　　将样本$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $储存入经验回放池M中;
21. 　　if $ step \gt \tau $:
22. 　　从经验回放池M中随机取出批次样本进行训练;
23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $;
24. 　　if $ step\mathrm{\% }\kappa ==0 $:
25. 　　采用公式 (36)将主Q网络参数$ {\theta }_{0} $,$ {\omega }_{0} $复制给目标Q网络参数$ {\theta }_{1} $,$ {\omega }_{1} $;
26. 　end for
27. end for

算法：MDSR算法训练流程

1. 初始化大规模LEO卫星网络路由场景，得到图结构数据集G；

2. 初始化主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

和目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

；

3. 初始化经验回放池M, 训练轮次

$ epochs $

, 训练步数

$ steps $

, 经验回放采样步　数

$ \tau $

,主Q网络更新步数

$ \kappa $

；

4. for

$ epoch $

in range

$ (1,epochs) $

：

5. 　for

$ step $

in range

$ (1,steps) $

：

6. 　　for

$ {G}_{t} $

in G：

7. 　　　for j in range

$ (1,J) $

：

8. 　　　　for

$ {s}_{m} $

in N：

9. 　　　　　利用公式 (26)得到所有相邻卫星对

$ {s}_{m} $

生成的消息；

10.　　　　　利用公式 (28)得到聚合后

$ {s}_{m} $

的消息；

11.　　　　　利用公式 (29)更新

$ {s}_{m} $

的隐藏状态；

12. 　　　　end for

13. 　　　end for

14. 　　　　利用公式 (32)读出大规模LEO卫星网络状态特征

$ {\hat{h}}_{{{G}_{t}}} $

；

15. 　　end for

16. 　　从所有

$ {\hat{h}}_{{{G}_{t}}} $

中抽取状态

$ {\psi }_{t} $

，输入到全连接神经网络中计算各个动作　的Q值；

17. 　　根据

$ \varepsilon -{\mathrm{greedy}} $

策略选择动作

$ {a}_{t} $

；

18. 　　将动作

$ {a}_{t} $

输入到环境中执行；

19. 　　环境返回即时奖励

$ {r}_{t} $

和下一时刻状态

$ {\psi }_{t+1} $

;

20. 　　将样本

$ ({\psi }_{t},{a}_{t},{\psi }_{t+1},{r}_{t}) $

储存入经验回放池M中;

21. 　　if

$ step \gt \tau $

22. 　　从经验回放池M中随机取出批次样本进行训练;

23. 　　利用公式(34)计算损失函数, 利用公式(35)更新主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

;

24. 　　if

$ step\mathrm{\% }\kappa ==0 $

25. 　　采用公式 (36)将主Q网络参数

$ {\theta }_{0} $

$ {\omega }_{0} $

复制给目标Q网络参数

$ {\theta }_{1} $

$ {\omega }_{1} $

;

26. 　end for

27. end for

仿真参数	参数解释	参数设置
$ {P}_{{\mathrm{rx}}} $	卫星天线发射功率	10 W
D	天线直径	0.5 m
$ \eta $	天线效率	0.65
$ \lambda $	载波波长	0.013 m
$ {d}_{\text{proc}}^{{i}} $	处理时延	1 ms
$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $	链路带宽范围	10~100 MB
$ {N}_{{p}} $	发送数据包数目	1000
$ {{p}}_{\text{size}} $	数据包大小	0.5 MB
$ {{co}}_{{{s}_{{m}}}} $	卫星队列长度范围	0~1000
$ {{en}}_{{{s}_{{m}}}} $	卫星能量范围	40~100 J
$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $	端到端时延阈值	150 ms
$ B_{\mathrm{th}}^{\mathrm{r}} $	剩余带宽阈值	10 MB
K	Ksp计算候选路由路径数	3

仿真参数

参数解释

参数设置

$ {P}_{{\mathrm{rx}}} $

卫星天线发射功率

10 W

天线直径

0.5 m

$ \eta $

天线效率

0.65

$ \lambda $

载波波长

0.013 m

$ {d}_{\text{proc}}^{{i}} $

处理时延

1 ms

$ {B}_{{{{s}}_{{m}}},{{s}_{n}}} $

链路带宽范围

10~100 MB

$ {N}_{{p}} $

发送数据包数目

1000

$ {{p}}_{\text{size}} $

数据包大小

0.5 MB

$ {{co}}_{{{s}_{{m}}}} $

卫星队列长度范围

0~1000

$ {{en}}_{{{s}_{{m}}}} $

卫星能量范围

40~100 J

$ d_{{\mathrm{th}}}^{{\mathrm{ete}}} $

端到端时延阈值

150 ms

$ B_{\mathrm{th}}^{\mathrm{r}} $

剩余带宽阈值

10 MB

Ksp计算候选路由路径数

仿真参数	参数设置
x, y, z	0.1, 0.3, 0.6
$ \alpha $, $ \beta $, $ \gamma $	0.5
MPNN层数	2
全连接层数	4
隐藏层维度	32
激活函数	ReLU
优化器	Adam
损失函数	MSE
批次大小	4
仿真轮数	300
$ \xi $	0.99
$ \varepsilon -\max $	1
$ \varepsilon -\min $	0.05
学习率	0.001
经验回放池容量	10000

仿真参数

参数设置

x, y, z

0.1, 0.3, 0.6

$ \alpha $

$ \beta $

$ \gamma $

0.5

MPNN层数

全连接层数

隐藏层维度

激活函数

ReLU

优化器

Adam

损失函数

MSE

批次大小

仿真轮数

300

$ \xi $

0.99

$ \varepsilon -\max $

$ \varepsilon -\min $

0.05

学习率

0.001

经验回放池容量

10000