无线电通信技术


输入：用权重θ₁和θ₂初始化Main Q Network和；用权重和初始化Target Q Network（s_t，a_t）和（s_t，a_t）；用权重ω初始化Policy Networkπ_ω（a_t\|s_t）；初始化经验回放缓冲区Γ
输出:θ_i、ω、θ_i^*
1. for each epoch do
2.　收集初始观测状态s₀，done=0
3.　 fordone≠1 do
4.　　智能体接收来自IoT设备的数据采集请求，并收集环境状态信息s_t
5.　　智能体根据状态信息和策略生成动作a_t
6.　　智能体引导UAV的飞行轨迹和数据采集时间并计算即时奖励R（t）并估计下一个状态s_t+₁
7.　　将样本（s_t，a_t，R（t），s_t+₁）存储在Γ中
8.　　通过计算式（9）中定义的J_Q（θ）的梯度来更新θ_i，即，i=1，2
9.　　通过计算式（10）中定义的J_π（ω）的梯度来更新策略参数ω，即
10.　　通过，i=1，2，更新Target Q Network的参数
11.　　若数据收集任务完成，则done=1，否则done=0
12.　 end for
13. end for


输入：用权重θ₁和θ₂初始化Main Q Network和；用权重和初始化Target Q Network（s_t，a_t）和（s_t，a_t）；用权重ω初始化Policy Networkπ_ω（a_t\|s_t）；初始化经验回放缓冲区Γ
输出:θ_i、ω、θ_i^*
1. for each epoch do
2.　收集初始观测状态s₀，done=0
3.　 fordone≠1 do
4.　　智能体接收来自IoT设备的数据采集请求，并收集环境状态信息s_t
5.　　智能体根据状态信息和策略生成动作a_t
6.　　智能体引导UAV的飞行轨迹和数据采集时间并计算即时奖励R（t）并估计下一个状态s_t+₁
7.　　将样本（s_t，a_t，R（t），s_t+₁）存储在Γ中
8.　　通过计算式（9）中定义的J_Q（θ）的梯度来更新θ_i，即，i=1，2
9.　　通过计算式（10）中定义的J_π（ω）的梯度来更新策略参数ω，即
10.　　通过，i=1，2，更新Target Q Network的参数
11.　　若数据收集任务完成，则done=1，否则done=0
12.　 end for
13. end for

参数	参数值
SAC算法优化器	Adam
SAC算法学习率	1×10^-5
SAC算法策略学习率	3×10^-7
SAC算法的discount参数ξ	0.99
SAC算法的缓冲区Γ	3×10⁵
SAC算法中网络的隐藏层数目	2
SAC算法中每层隐藏状态输入维度	128
SAC算法中每层隐藏状态输出维度	64
SAC算法中批量大小	256
SAC算法的激活函数	ReLU
SAC算法中目标平滑系数η	0.005
DepCrossformer优化器	Adam
DepCrossformer损失函数	MSE
DepCrossformer批量大小	32
DepCrossformer初始学习率	1×10^-4
DepCrossformer中DSW的输出维度d^m	256
DepCrossformer中FC层的神经元数量	512
DepCrossformer中多头注意力头数量	4

参数	参数值
SAC算法优化器	Adam
SAC算法学习率	1×10^-5
SAC算法策略学习率	3×10^-7
SAC算法的discount参数ξ	0.99
SAC算法的缓冲区Γ	3×10⁵
SAC算法中网络的隐藏层数目	2
SAC算法中每层隐藏状态输入维度	128
SAC算法中每层隐藏状态输出维度	64
SAC算法中批量大小	256
SAC算法的激活函数	ReLU
SAC算法中目标平滑系数η	0.005
DepCrossformer优化器	Adam
DepCrossformer损失函数	MSE
DepCrossformer批量大小	32
DepCrossformer初始学习率	1×10^-4
DepCrossformer中DSW的输出维度d^m	256
DepCrossformer中FC层的神经元数量	512
DepCrossformer中多头注意力头数量	4

参数	参数值
IoT设备数目	35
IoT设备分布	x、y轴上服从[0，5 000]的均匀分布，z轴上服从[0，200]的均匀分布
路径损耗指数	2
IoT发射功率/mW	2
UAV天线增益/dB	1
每个IoT设备分配到的带宽/Hz	1×10⁶/35
噪声功率谱密度/（dBm/Hz）	1×10^-20.4
自由空间损耗/dB	2
由环境决定的常数项系数δ、γ	10、0.03
路径损耗指数	3
载波频率f_c/Hz	2×10⁹
LOS环境下路径损耗的均值/dB	1
NLOS环境下路径损耗的均值/dB	20
数据收集最小时间/s	5
IoT设备的能量/J	30 000

参数	参数值
IoT设备数目	35
IoT设备分布	x、y轴上服从[0，5 000]的均匀分布，z轴上服从[0，200]的均匀分布
路径损耗指数	2
IoT发射功率/mW	2
UAV天线增益/dB	1
每个IoT设备分配到的带宽/Hz	1×10⁶/35
噪声功率谱密度/（dBm/Hz）	1×10^-20.4
自由空间损耗/dB	2
由环境决定的常数项系数δ、γ	10、0.03
路径损耗指数	3
载波频率f_c/Hz	2×10⁹
LOS环境下路径损耗的均值/dB	1
NLOS环境下路径损耗的均值/dB	20
数据收集最小时间/s	5
IoT设备的能量/J	30 000

算法	总能耗	均值	标准差	最大最小差值
SAC	79 590. 0	2 274. 00	270.67	900. 0
DDPG	81 286.8	2 322.48	327.54	995.8
RD	88 980.0	2 542.29	379.20	1 520.0
CP	85 240.0	2 435.43	326.97	1 270.0

算法	总能耗	均值	标准差	最大最小差值
SAC	79 590. 0	2 274. 00	270.67	900. 0
DDPG	81 286.8	2 322.48	327.54	995.8
RD	88 980.0	2 542.29	379.20	1 520.0
CP	85 240.0	2 435.43	326.97	1 270.0

基于强化学习的无人机辅助高效能数据收集方法

PDF下载

朱佳琳 ¹ , 张鹏浩 ² , 李南希 ¹ , 蒋峥 ¹ , 朱剑驰 ¹

无线电通信技术 | 专题：6G与物联网技术 2025,51(5): 940-950

收起

无线电通信技术 | 专题：6G与物联网技术 2025, 51(5): 940-950

基于强化学习的无人机辅助高效能数据收集方法

全屏

朱佳琳¹, 张鹏浩², 李南希¹, 蒋峥¹, 朱剑驰¹

作者信息

^1.中国电信股份有限公司研究院，北京　102209

^2.北京邮电大学　信息与通信工程学院，北京　100876

朱佳琳　女，（1996—），硕士，工程师。主要研究方向：无人机通信、物联网技术、无线空口信令标准化等。

张鹏浩　男，（2000—），硕士。主要研究方向：语义通信、人工智能技术等。

李南希　男，（1990—），博士，高级工程师。主要研究方向：大规模天线系统、5G物理层技术、智能表面技术等。

蒋峥　男，（1972—），博士，教授级高级工程师。主要研究方向：通感一体化、无线空口信令和无线网络架构标准化等。

朱剑驰　男，（1981—），硕士，教授级高级工程师。主要研究方向：无线通信技术研究和标准化、5G标准化、6G物理层技术等。

High-efficiency UAV-assisted Data Collection Method Leveraging Reinforcement Learning

Jialin ZHU¹, Penghao ZHANG², Nanxi LI¹, Zheng JIANG¹, Jianchi ZHU¹

Affiliations

^1.China Telecom Research Institute, Beijing 102209, China

^2.School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China

出版时间: 2025-09-18 doi: 10.3969/j.issn.1003-3114.2025.05.007

文章导航

摘要

收起

物联网（Internet of Things，IoT）作为6G发展的核心领域之一，在驱动网络架构变革以及支撑核心应用场景中扮演着关键角色，然而，IoT系统存在能量不均衡以及网络生命周期短暂等问题，严重制约了数据收集效率的提升。随着无人机（Unmanned Aerial Vehicle，UAV）技术的兴起，其高度机动性可以有效构建视距（Line of Sight，LOS）通信链路，进而提升通信速率，这在IoT系统的数据收集方面具有很好的应用价值，可以解决IoT网络因生命周期短暂导致的数据收集效率低下的问题。为此，利用UAV对地面IoT设备进行数据收集，构建空地协同的数据采集传输链路，提出了一种基于深度强化学习（Deep Reinforcement Learning，DRL）的智能数据收集方法，设计了一种预测神经网络，通过在基站（Base Station，BS）侧预测网络数据进一步提高数据收集效率，从而实现降低IoT设备能耗、延长网络寿命的目的。仿真结果表明，所提数据收集算法在设备所需能耗、能量均衡性等方面具有较好的性能优势，优于常见的数据收集算法。同时，所提数据收集网络架构在预测数据占比12.5%时可以延长1.2倍的网络寿命。仿真证明了设计的预测神经网络在均方误差（Mean Squared Error，MSE）以及平均绝对误差（Mean Absolute Error，MAE）指标均优于其他对比网络。

关键词

6G / 物联网 / 数据收集 / 无人机 / 强化学习

Abstract

收起

The Internet of Things (IoT), as one core area of 6G development, plays a crucial role in driving network architecture changes and supporting core application scenarios. However, IoT systems suffer from energy imbalances and short network lifecycles, which severely restrict the improvement of data collection efficiency. With the rise of Unmanned Aerial Vehicle (UAV) technology, its high maneuverability can effectively construct Line of Sight (LOS) communication links, thereby improving communication speed. This has great application value in data collection of IoT systems and can solve the problem of low data collection efficiency caused by the short lifecycle of IoT networks. To this end, UAVs are used to collect data from ground IoT devices and build a data collection and transmission link for air-to-ground collaboration. An intelligent data collection method based on Deep Reinforcement Learning (DRL) is proposed. In addition, a predictive neural network is designed to further improve data collection efficiency by predicting network data at the Base Station (BS) side, thereby achieving the goal of reducing IoT device energy consumption and extending network lifespan. Simulation results show that the proposed data collection algorithm has good performance advantages in terms of device energy consumption and energy balance, and is superior to traditional data collection algorithms. At the same time, the proposed data collection network architecture can extend the network lifespan by 1.2 times when the predicted data accounts for 12.5%. In addition, simulations have shown that the designed predictive neural network outperforms other compared networks in terms of Mean Squared Error (MSE) and Mean Absolute Error (MAE) metrics.

Key words

6G / IoT / data collection / UAV / reinforcement learning

引用本文

朱佳琳, 张鹏浩, 李南希, 蒋峥, 朱剑驰. 基于强化学习的无人机辅助高效能数据收集方法. 无线电通信技术, 2025 , 51 (5) : 940 -950 . DOI: 10.3969/j.issn.1003-3114.2025.05.007

Jialin ZHU, Penghao ZHANG, Nanxi LI, Zheng JIANG, Jianchi ZHU. High-efficiency UAV-assisted Data Collection Method Leveraging Reinforcement Learning[J]. Radio Communications Technology, 2025 , 51 (5) : 940 -950 . DOI: 10.3969/j.issn.1003-3114.2025.05.007

正文

收起

0　引言

收起

近年来，IoT因其在智能医疗、智能家居、交通运输和智慧城市等领域的广泛应用而备受关注^[1]。IoT设备在环境监测、工业监控等方面发挥着数据采集和数据处理的基础作用，是IoT实现各种智能化应用的重要支撑。但由于IoT设备储能能力有限且许多设备通常需要在不充电的情况下持续采集和上传数据，当向BS传输数据时会产生大量的能量损耗，致使整个网络的寿命降低^[2]。此外，由于IoT设备向BS传输数据时存在较少的直射路径，导致传输损耗较大进而使得传输失败概率增加^[3]。

为解决上述问题，学术界已开展了一系列研究工作，文献[4-5]提出基于聚类的路由方法进行数据收集，通过有效的路由策略降低IoT设备向BS传输的能量损耗，从而提高IoT网络的寿命。此外，由于UAV具备高机动性和灵活部署等特性，通过与IoT设备建立LOS通信链路^[6]，可有效降低IoT设备的能量损耗、提高通信效率，现已被广泛应用在数据收集场景中。为了实现UAV的高效能数据收集，文献[7]运用深度确定性策略梯度算法设计UAV飞行策略，提高了数据收集效率。文献[8]提出基于Q学习的强化学习算法来优化UAV的飞行轨迹，使得系统吞吐量最大化。

文献[9]创新设计多层聚类与k-means算法结合的框架，借助太阳能UAV实现了IoT设备数据采集量最大化。文献[10]围绕最小化UAV数据收集完成时间展开研究，优化数据采集流程。文献[11]利用迁移学习技术联合优化UAV的飞行速度和能量补给策略以提升数据采集效率。文献[12]则面向UAV群提出一种路径规划算法，实现了地面网络节点间的能量均衡。

尽管上述研究在提升数据收集效率方面取得了一定的进展，但大多数现有的研究工作主要集中在IoT设备端或数据传输阶段，相比之下，对于BS侧进行数据聚合和数据处理的关注相对较少。面向未来6G AI技术的发展需求，有望在BS侧对新业务数据进行智能化处理。为此，本文借助UAV的特性提出一种智能路径规划算法以实现对IoT设备高效能的数据收集，此外，通过在BS侧搭载预测神经网络，对历史数据和实时信息的分析，可以预测未来数据的趋势，从而实现更高效的资源分配。借助本文构建的新型数据收集网络架构，UAV辅助的数据收集流程与BS侧的智能处理环节实现了有机融合。与传统数据收集网络相比，它不仅能够大幅降低网络能耗，还能提高数据处理效率，从而构建更智能、更高效的IoT生态系统。

1　系统模型

收起

1.1　数据收集网络模型

本文设计的数据收集网络模型如图1所示，包含数据收集和数据预测2个部分。利用UAV对地面IoT设备进行数据收集，通过在BS侧搭载预测神经网络模型基于UAV收集到的数据进行预测，从而快速得到IoT网络的全部数据集合。假设IoT设备在三维空间服从均匀分布，且初始化IoT设备的剩余能量是相同的，当其能量耗尽时，则为无效IoT设备。当BS需要UAV进行数据收集时，会为各个IoT设备设定数据收集率α，其中α∈[0，1]。α=0表示IoT设备不向UAV传输信息，α=1表示IoT设备向UAV传输收集到的全部信息，α∈（0，1）表示IoT设备向UAV传输收集到的比例为α的部分信息。在数据收集时，假设UAV在飞行过程中并不开展数据收集工作，待UAV飞行一段时间ϑ_t后，会进入静止状态开始时间为ε_t的数据收集，完成该阶段收集任务后，再次飞行一段时间，随后又静止下来继续进行数据收集，如此循环往复，直至所有IoT设备满足预设的α标准，此时UAV飞往BS，将所收集的数据进行卸载。

1.2　信道模型

假设UAVX与IoT设备S之间通信的平均数据传输速率用R（S，X）表示^[13]:

式中：PL（S，X）为平均信道路径损耗，B为传输带宽，P_T为IoT设备的发射功率，N₀为噪声功率。考虑概率性空地路径损耗模型，UAV X与IoT设备S之间的平均路径损耗可表示为^[14]:

式中：p_LOS（S，X）表示X与S之间LOS的概率。因其受环境因素以及仰角的影响，具体表达式为：

式中：θ为X相对于设备S的仰角，δ和γ为环境参数^[15]。式（2）中的PL_LOS（S，X）和PL_NLOS（S，X）分别为LOS和非视距（Non Line of Sight，NLOS）环境下的平均路径损耗，可表示为^[13]:

式中：

为自由空间路径损耗，ϑ为路径损耗指数，f_c为载波频率，c为光速，‖·‖为模2范数，μ_LOS、μ_NLOS分别为LOS与NLOS环境下的路径损耗的均值。

1.3　数据收集策略衡量指标

衡量数据收集策略优劣的常用指标之一是网络生存时间^[1，16]，其定义为网络中各个设备能量耗尽时的总运行时间。网络生存时间越长，说明数据收集量越大，使用的数据收集策略越好^[17-19]。与传统方法不同，本文中每一轮数据的收集率α不一定为1，因此在相同的轮次下，数据收集量将小于或等于传统方法，该数据收集策略下的网络生存时长也将大于传统方法。值得注意的是，除了数据收集，本文提出在BS侧进行数据预测，将数据收集侧采集到的数据量表示为C，将BS侧预测得到的数据量表示为P，将传统方法收集到的数据量表示为G，且G=C+P。为了将本文方法与传统方法进行比较，设计了代价函数，其表达式为：

式中：ρ为取值为[0，1]的权重因子，用以权衡网络生存时间和数据准确率之间的重要性关系；L_t表示网络的生存时间；

为预测网络预测出的第i个数据；

为IoT设备采集到的真实的第i个数据。C_f越大表明设计的数据收集策略越高效。

2　基于SAC的数据收集策略

收起

为了在UAV完成数据收集过程中最小化IoT设备的总体能耗以最大化网络的生存时间，本文将设计相应的数据收集策略。考虑到UAV每次飞行的坐标位置、数据收集时的无线信道状况以及各个IoT设备的剩余电量等都会随着数据收集工作的推进而持续改变，这是一个不间断的动态变化过程。面对这类高维动作空间的处理问题，SAC（Soft Actor-Critic）算法^[20]展现出更强的鲁棒性和更广泛的适应性。SAC作为一种基于离线策略的最大熵强化学习算法，在决策过程中同步对策略即动作选择方式与价值函数展开学习。通过在奖励机制中融入策略的熵，促使算法对更多可行策略加以探索，从而提升选择的多样性与灵活性。相较于其他基于策略的DRL算法，如深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）^[21]以及A3C（Asynchronous Advantage Actor-Critic）^[22]，SAC展现出更为卓越的效率。为此，本文提出一种基于SAC算法的强化学习方法，并将问题抽象为马尔可夫决策过程，具体给出了数据收集策略算法。

所提出的基于SAC的算法结构如图2所示，主要包含2个部分：Actor和Critic。Actor包含Policy Network，通过观察系统状态给出数据收集决策，同时更新策略。Critic包含Main Q Network和Target Q Network，负责策略评估。此外，使用回放缓冲区来存储数据收集经验，用于训练Actor和Critic中的网络。

在UAV执行每个动作前，UAV上的强化学习智能体收集得到以下环境参数：

X_u（t）表示UAV在t时刻的三维坐标，其x、y、z轴坐标分别表示为

（t）、

（t）。

D（t）表示每个IoT设备在t时刻与UAV的距离，第i个IoT设备与UAV的距离为D_i（t）。

O（t）表示在t时刻所有IoT设备所消耗的总能耗，第i个IoT设备在t时刻的能耗为O_i（t）。

C（t）表示在t时刻所有IoT设备被UAV收集的数据量，第i个IoT设备在t时刻被UAV收集的数据量为C_i（t）。

T表示整个数据收集过程的总时间，假设UAV共做出q个动作最终完成数据收集，则

。

令s表示状态空间，在t时刻的状态向量表示为：

通过观察t时刻的状态，智能体执行一个动作以指示UAV下一个时刻的位置坐标、飞行时长、飞行方向、飞行速度和需要进行数据收集的时长。将智能体在t时刻执行的动作向量表示为：

式中：

表示在t时刻UAV在xy平面的飞行方向夹角，

表示在t时刻UAV在z平面的飞行方向夹角，

、

分别表示t时刻UAV沿x、y、z轴上的飞行速度。

本文算法的伪代码如算法1所示。

在飞行过程中，UAV将目前的状态s_t输入其搭载的训练好的智能体，智能体输出动作a_t，得到一个即时奖励，表示为：

当IoT设备消耗的总能量越少，其奖励值越大，说明数据收集策略越好，反之说明策略越差。

基于SAC的数据收集算法中有3个主要步骤，具体如下。

步骤1：给定动作a_t后，智能体指导UAV从t时刻开始飞行，包括UAV与xy、yz、xz平面的飞行方向夹角、UAV沿x、y、z轴上的飞行速度、时间。当飞行结束后智能体决策出数据收集时间ε_t，同时对所有IoT设备进行ε_t时间的数据收集，智能体根据本次的数据收集时间和数据收集量计算R（t）。

步骤2：智能体得到下一个时刻的状态s_t₊₁，将状态向量存储在经验回放Γ，直到UAV对所有IoT设备完成数据收集且回到BS，该轮次结束，结束标识符done=1，否则done=0。

步骤3：智能体随机从缓冲区Γ中抽取一组数量为B的状态向量。通过计算式（9）和式（10）来更新网络参数^[19]:

式中：J_Q（θ）为网络参数θ的损失函数；

表示对从经验回放缓冲区Γ中采样得到的s_t、a_t求期望；Q_θ（s_t，a_t）为当前参数化的网络对状态s_t下采取动作a_t的估值；

（s_t，a_t）为该状态下采取最优动作的值，通过求解最小化MSE使Q_θ（s_t，a_t）不断逼近

（s_t，a_t）；J_π（ω）为Policy Network的目标函数，通过计算J_π（ω）的梯度，更新策略参数ω；

表示在给定策略π_ω（a_t|s_t）下，对从该策略中采样得到的动作a_t求期望；ln（π_ω（a_t|s_t））用来衡量策略生成动作a_t的概率情况；Q_θ（s_t，a_t）为通过网络参数对状态s_t下采取动作a_t的估值，通过最大化式（10）来更新Policy Network参数ω，使得高价值动作a_t对应的策略概率增加。

3　预测神经网络

收起

由于UAV采集到的数据是多维时间序列，即目标是在给定历史时间序列

的情况下预测未来时间序列

，其中τ、T_p分别为未来和过去的时间步数，D_dim为维度数。为了提高预测准确性，本文将对具有跨维度依赖关系的Crossformer^[23]进行改进，所设计的新网络称为DepCrossformer，其主要分为Encoder和Decoder两大部分。其中，Encoder通过对数据多尺度处理和依赖关系的捕捉，将原始的输入数据转化为不同层次、不同尺度的特征表示，这些特征表示包含了数据在不同粒度下的重要信息，为后续Decoder预测提供了丰富且有层次的信息基础。Decoder基于Encoder输出的不同尺度的特征表示，在各个尺度上对数据进行预测，同时将在各个尺度上的预测结果相加并经过线性变换后得到最终的预测数据，这种方式能够综合考虑不同尺度下的信息，避免只关注单一尺度而忽略其他重要信息的问题。DepCrossformer网络结构如图3所示。

考虑到IoT设备收集的数据具有跨维度的相关性，与维度分段式（Dimension-Segment-Wise，DSW）的思想相契合，因此复用DSW模块对不同尺度的信息进行嵌入处理。利用深度两阶段注意力层（Deep Two-Stage Attention，DTSA）分析不同时间点之间的关联，捕捉时间序列数据中局部和全局的依赖关系。DTSA是本文在Crossformer中两阶段注意力层（Two-Stage Attention，TSA）基础上进行改进的，通过在TSA模块之前引入一个多层的前馈神经网络（Multilayer Feedforward Neural Network，MFFN），能够将每个时间步的嵌入表示映射到更高维的特征空间，通过复杂的非线性变换丰富了输入编码，从而提升了后续注意力机制的效果。具体地，MFFN由全连接层和激活函数组成，其中激活函数采用GELU函数，其平滑地非线性转换能够更好地捕捉语义关系，帮助模型更好地处理语义信息。参数d^m和d^f分别代表DSW的输出维度和全连接（Fully Connected，FC）层的神经元数量。数据经过MFFN后，将其与原始数据相加后进行残差连接操作，通过残差连接，这些重要的原始特征不会在多层变换中丢失。此外，当MFFN学习到的变换接近恒等映射时，模型可以将信息从Encoder几乎无损地传递到Decoder。在Decoder部分，基于Encoder输出的不同尺度的特征表示，在各个尺度上通过DTSA和交叉多头自注意力机制（Multi-Head Self-Attention，MSA）进行预测。

具体地，给定一个二维数组Z∈

作为DTSA的层输入，其中L和D分别为片段和维度的数量，Z为DSW嵌入或更低层DTSA的输出。为了方便，用Z_:，_d表示在维度d上所有时间步数的向量。对每个维度应用MSA，如式（11）所示：

式中：1<d≤D，LayerNorm表示层归一化，MLP表示一个多层前馈网络，MSA^time（Q，K，V）表示多头自注意力层，所有维度共享相同的MSA^time层，Z^M表示MFFN的输出，

和Z^L表示MSA^time和MLP的输出。跨时间阶段的计算复杂度为O（DL²），在此阶段后，同一维度中时间片段之间的依赖关系在Z^L中被捕获，并将Z^L作为跨维度阶段的输入，以捕获跨维度依赖关系。

4　实验结果与分析

收起

4.1　实验设置

本文实验中选用公开数据集ETTh1^[24]作为IoT设备需采集的数据，其中包含了电力相关的7组不同时间序列数据集，共7×14 400条数据。在BS侧，利用此数据集训练本文所提出的预测模型DepCrossformer，以预测未来一段时间内的电力数据，按照3∶1∶1将其划分为训练集、测试集和验证集。

本文提出的SAC算法和DepCrossformer模型实验设置参数如表1所示。对于DepCrossformer模型总训练轮数为20，假设验证损失在3个轮次内没有下降，训练过程将提前终止。对于对比的基线模型，均使用与本文DepCrossformer模型相同的实验设置。本文对于DepCrossformer和基线模型等均使用PyTorch实现，并在配备48 GB内存的单张NVIDIA A6000 GPU上进行训练。

4.2　对比方法

本文基于SAC算法对UAV的数据收集路径进行规划，通过最大化策略的熵来提升策略探索性，从而实现更高效的轨迹决策。为了评估本文算法的性能，将其与DDPG算法进行对比，该算法使用确定性策略梯度结合Actor-Critic架构进行连续动作空间的路径优化。此外，还引入了2种非学习型的启发式路径规划算法：①中心点（Central Point，CP）路径算法，其将目标设为所有未完成数据收集的IoT设备的质心坐标，模拟集中式路径决策；②随机（Random，RD）路径算法，模拟UAV以随机速度和方向飞行，代表无规则的探索式策略。所有算法的仿真环境设置一致，相关环境参数如表2所示。

对于DDPG算法，Actor网络的学习率设置为1×10^-4，Critic网络的学习率设置为1×10^-4，discount参数ξ设置为0.99，Actor、Critic网络的隐藏层数目为2，每层隐藏状态输入维度设置为256，输出维度设置为128，批量大小设置为256，激活函数为ReLU函数，目标平滑系数η设置为0.005。

对于CP算法，在仿真环境相同的情况下，UAV每次动作的飞行目的地为所有未完成数据收集的IoT设备的坐标均值点，飞行速度为5 m/s，飞行方向为当前UAV坐标相对于目的地的方向，飞行时间为60 s，数据收集时间为5 s。

对于RD算法，在仿真环境相同的情况下，UAV每次的飞行速度、方向、时间以及数据收集时间均为随机数。

4.3　实验结果

为了将本文所提数据收集网络架构与传统非预测数据网络的效率进行比较，利用式（5）给出的代价函数进行评判，根据算法1对强化学习模型展开训练可得到UAV的路径策略P_p，如图4所示，图中“SAC+DepCrossformer-x”表示UAV侧依据P_p策略执行数据收集任务，同时BS侧运用DepCrossformer模型进行数据预测，假设预测数据比例占总数据量的x，本文模型的输入长度统一设为168，当模型预测输出长度为24、48、72、96时，x对应取值分别为0.14、0.29、0.43、0.57。曲线“SAC+traditional”表示UAV侧采用P_p策略完成100%的数据收集工作，BS侧无需进行数据预测。可以看出，当ρ的取值超过一定阈值时，本文所提数据收集网络架构下的效率指标值明显高于传统的数据收集网络。当ρ=1时，即忽略预测网络引入的数据误差的情况下，预测数据占比12.5%时本文所提数据收集网络架构带来的效率指标是传统方法的1.18倍；当预测数据占比57%时，效率可提升至原来的2.38倍。可见在数据收集过程中，引入预测神经网络对于提高网络生命周期非常重要。

图5为本文所提的SAC算法和其对比的DDPG算法的学习训练效果图，可以看出2种算法随着训练回合的增加，奖励值逐渐趋近于收敛。本文分别取2种强化学习算法训练效果最好时对应的数据收集策略进行仿真分析。

在给定的数据收集策略下，每轮数据收集任务第i个IoT设备消耗的能量表示为

，单个IoT设备的总能量表示为s_p，整个数据收集网络的生存轮次为：

式中：n表示IoT设备的数量。

为了验证不同数据收集策略对网络生存状态的影响，数据收集网络的生存轮次如图6所示。其中图例中带有“trad”后缀的曲线代表不与预测神经网络相结合的传统数据收集方法，反之则为预测数据占比12.5%时的仿真结果。

由图6可以看出，无论是否结合预测神经网络架构进行数据收集，本文提出的基于SAC的数据收集策略均具有更良好的网络生存状态。例如，在SAC与预测神经网络相结合的数据收集方法框架下，若要求所有IoT设备都存活，则基于SAC的策略能进行18轮完整的数据收集任务，而CP算法只能进行17轮，RD算法只能进行16轮。此外，随着数据收集轮次的增加，生存IoT设备的数量会逐渐减少，但同一数据收集轮次下，基于SAC策略下的生存IoT数量明显高于其他算法。例如，在完成第19轮数据收集任务时，基于SAC的策略还有89%的设备存活，而DDPG算法下还有71%的设备存活，CP算法下还有66%的设备存活，RD算法下仅有49%的设备存活。当数据收集轮次增大到一定阈值后，考虑到有些算法设计时设备消耗的能量不均匀，生存的IoT数量反而更多，在这种情况下由于设备存活过少影响数据完整性，其生存状态性能优劣可以忽略不计。对比“SAC_trad”曲线，在没有预测神经网络结合的数据收集策略下，IoT设备仅能进行15轮次的数据收集，在等参数条件下本文所提数据收集架构可以带来1.2倍的网络寿命增益。由此可见，本文所提的基于SAC的数据收集策略具有更好的网络生存性能。

为了更直观清晰地说明各个数据收集算法的能耗性能，本文对每轮数据收集过程中IoT设备的能耗进行了分析，结果如表3和图7所示。表3给出了不同算法下数据收集过程中每轮IoT设备所消耗的总能量、所有IoT设备消耗能量的均值、标准差以及最大最小差值。数据表明本文提出的基于SAC的算法总能耗最小，是DDPG算法能耗的97.9%，是RD算法能耗的89.4%，是CP算法能耗的93.4%。此外，基于SAC算法的IoT设备能耗均值、标准差、最大最小差值均为所有方法中最小，说明本文所提算法在每轮数据收集任务中能量消耗最均衡，有利于保障网络的长期运行以及数据收集的完整性。

图7的箱型图呈现了在运用不同算法开展数据收集工作时各个IoT设备能耗的分布情况。可以看出，基于SAC的数据收集算法能够使各个IoT设备的能耗更加均衡，可以降低因IoT设备能耗不均衡带来的网络效率低下以及数据收集不完整等问题。

图8和图9展示了本文提出的DepCrossformer预测神经网络与文献[23]中7种其他网络的性能对比图，为了便于仿真对比，设置输入数据长度为168，输出（预测）数据长度为24以及48。

图8是在ETTh1数据集上测试各个网络输入数据长度为168，输出（预测）数据长度为24时的性能，可以看出本文所给出的DepCrossformer网络在MSE和MAE指标上均优于其他网络。MSE方面，DepCrossformer网络可以达到LSTMa网络的46.62%，最差也能达到Crossformer网络的99.34%。MAE方面，DepCrossformer网络是LSTMa网络的58.17%，是Crossformer网络的98.91%。

图9是在ETTh1数据集上测试各个网络输入数据长度为168，输出（预测）数据长度为48时的性能。MSE方面，DepCrossformer网络是LSTMa网络的47.92%，是Crossformer网络的98.01%。MAE方面，DepCrossformer网络是LSTMa网络的57.33%，是Crossformer网络的98.22%。同样可以看出本文所给出的DepCrossformer网络在MSE和MAE指标上均优于其他方法。综上所述，可以看到在输出的预测数据长度为24和48时，本文所提预测神经网络在MSE和MAE指标上都优于其他对比网络。

5　结束语

收起

本文通过构建UAV空地协同数据采集传输链路，提出了一种基于DRL的智能数据收集方法，设计了一种预测神经网络，通过优化数据收集网络架构可以提升数据收集效率。仿真结果显示，该算法在设备能耗、能量均衡性方面优于DDPG、CP、RD等对比算法。通过仿真统计在不同数据收集轮次下IoT设备的生存数量可以得到在预测数据占比12.5%时所设计的网络架构可以延长1.2倍的网络寿命。此外，本文设计的预测神经网络在MSE、MAE指标上优于其他7种对比网络。本文的研究成果为IoT数据收集提供了更高效的技术方案，同时可为6G时代网络架构优化提供。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

KAUR

, CHANAK

, BHATTACHARYA

. Energy-efficient Intelligent Routing Scheme for IoT-enabled WSNs[J]. IEEE Internet of Things Journal, 2021, 8(14):11440-11449.

[2]

WANG

Z J

, LIU

R K

, LIU

Q R

, et al. Energy-efficient Data Collection and Device Positioning in UAV-assisted IoT[J]. IEEE Internet of Things Journal, 2019, 7(2):1122-1139.

[3]

ZHU

B T

,BEDEER

,NGUYEN

H H

,et al. UAV Trajectory Planning in Wireless Sensor Networks for Energy Consumption Minimization by Deep Reinforcement Learning[J]. IEEE Transactions on Vehicular Technology, 2021,70(9):9540-9554.

[4]

SHARMA

,AGARWAL

,SHAURYA

,et al. Energy-efficient and QoS-aware Data Routing in Node Fault Prediction Based IoT Networks[J]. IEEE Transactions on Network and Service Management,2023,20(4):4585-4599.

[5]

PANDEY

O J

,YUVARAJ

,PAUL

J K

,et al. Improving Energy Efficiency and QoS of LPWANs for IoT Using Q-learning Based Data Routing[J]. IEEE Transactions on Cognitive Communications and Networking,2021,8(1):365-379.

[6]

KHAWAJA

, GUVENC

, MATOLAK

D W

, et al. A Survey of Air-to-Ground Propagation Channel Modeling for Unmanned Aerial Vehicles[J]. IEEE Communications Surveys & Tutorials,2019,21(3):2361-2391.

[7]

TALUKDAR

,RAGHAV

,HAZRA

,et al. A Deep Deterministic Policy Gradient Method for Optimizing Task Completion Time and Energy Efficiency in UAV-assisted IoT Networks[J]. IEEE Internet of Things Journal,2025, 12(15):31907-31917.

[8]

周雯,花敏,许艺瀚,等.能量受限无人机数据采集系统的飞行路线优化[J/OL].无线电通信技术(2025-05-13)[2025-05-23]. https://link.cnki.net/urlid/13.1099.tn.20250527.1613.002.

[9]

ISSA

,EZZEDDINE

,ABBAS

. Energy-efficient Solar-powered UAV-assisted Reliable Data Collection Considering IoT Elevation[C]//2024 Conference on Renewable Energy Technologies and Modern Communications Systems:Future and Challenges. Shaqra:IEEE,2024:1-6.

[10]

,LIU

,WANG

. Completion Time Minimization Considering GNs’ Energy for UAV-assisted Data Collection[J]. IEEE Wireless Communications Letters,2023,12(12):2128-2132.

[11]

CHU

N H

,HOANG

D T

,NGUYEN

D N

,et al. Joint Speed Control and Energy Replenishment Optimization for UAV-assisted IoT Data Collection with Deep Reinforcement Transfer Learning[J]. IEEE Internet of Things Journal, 2023,10(7):5778-5793.

[12]

WAN

L T

, ZHANG

, SUN

, et al. Energy-AOI-aware UAV-assisted Data Collection:A Multi-agent Deep Reinforcement Learning-based Trajectory Optimization[C]//2023 IEEE 23rd International Conference on Communication Technology (ICCT). Wuxi:IEEE,2023:176-180.

[13]

GHORBEL

M B

, RODRIGUEZ-DUARTE

, GHAZZAI

,et al. Joint Position and Travel Path Optimization for Energy Efficient Wireless Data Gathering Using Unmanned Aerial Vehicles[J]. IEEE Transactions on Vehicular Technology,2019,68(3):2165-2175.

[14]

MOZAFFARI

,SAAD

,BENNIS

,et al. Drone Small Cells in the Clouds:Design,Deployment and Performance Analysis[C]//2015 IEEE Global Communications Conference (GLOBECOM). San Diego:IEEE,2015:1-6.

[15]

AL-HOURANI

,KANDEEPAN

,LARDNER

. Optimal LAP Altitude for Maximum Coverage[J]. IEEE Wiretless Communications Letters,2014,3(6):569-572.

[16]

BEHERA

T M

,MOHAPATRA

S K

,SAMAL

U C

,et al. Residual Energy-based Cluster-head Selection in WSNs for IoT Application[J]. IEEE Internet of Things Journal, 2019,6(3):5132-5139.

[17]

KIM

,QIAO

D J

. Energy-efficient Data Collection for IoT Networks via Cooperative Multi-hop UAV Networks[J]. IEEE Transactions on Vehicular Technology, 2020, 69(11):13796-13811.

[18]

H M

,XIONG

,QU

,et al. AoI-minimal Trajectory Planning and Data Collection in UAV-assisted Wireless Powered IoT Networks[J]. IEEE Internet of Things Journal,2020,8(2):1211-1223.

[19]

LIU

,TONG

,WANG

X J

,et al. UAV-aided Data Collection for Information Freshness in Wireless Sensor Networks[J]. IEEE Transactions on Wireless Communications,2020,20(4):2368-2382.

[20]

HAARNOJA

,ZHOU

,HARTIKAINEN

,et al. Soft Actor-critic Algorithms and Applications[EB/OL]. (2018-12-13)[2025-05-23]. https://arXiv.org/abs/1812.05905.

[21]

LILLICRAP

T P

,HUNT

J J

,PRITZEL

,et al. Continuous Control with Deep Reinforcement Learning[EB/OL]. (2015-09-09)[2025-05-23]. https://arXiv.org/abs/1509.02971.

[22]

MNIH

,BADIA

A P

,MIRZA

,et al. Asynchronous Methods for Deep Reinforcement Learning[C]//The 33rd International Conference on Machine Learning. New York:ICML,2016:1928-1937.

[23]

ZHANG

Y H

,YAN

J C

. Crossformer:Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting[C]//The Eleventh International Conference on Learning Representations. Kigali:ICLR,2023:1-21.

[24]

ZHOU

,MA

Z Q

,WEN

Q S

,et al. Fedformer:Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting[C]//International Conference on Machine Learning. Baltimore:PMLR,2022:27268-27286.

2025年第51卷第5期

PDF下载

118

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.1003-3114.2025.05.007

接收时间：2025-05-27
首发时间：2026-04-17
出版时间：2025-09-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-05-27

基金

作者信息

^1.中国电信股份有限公司研究院，北京　102209

^2.北京邮电大学　信息与通信工程学院，北京　100876

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/wxdtxjs/CN/10.3969/j.issn.1003-3114.2025.05.007

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT


输入：用权重θ₁和θ₂初始化Main Q Network和；用权重和初始化Target Q Network（s_t，a_t）和（s_t，a_t）；用权重ω初始化Policy Networkπ_ω（a_t\|s_t）；初始化经验回放缓冲区Γ
输出:θ_i、ω、θ_i^*
1. for each epoch do
2.　收集初始观测状态s₀，done=0
3.　 fordone≠1 do
4.　　智能体接收来自IoT设备的数据采集请求，并收集环境状态信息s_t
5.　　智能体根据状态信息和策略生成动作a_t
6.　　智能体引导UAV的飞行轨迹和数据采集时间并计算即时奖励R（t）并估计下一个状态s_t+₁
7.　　将样本（s_t，a_t，R（t），s_t+₁）存储在Γ中
8.　　通过计算式（9）中定义的J_Q（θ）的梯度来更新θ_i，即，i=1，2
9.　　通过计算式（10）中定义的J_π（ω）的梯度来更新策略参数ω，即
10.　　通过，i=1，2，更新Target Q Network的参数
11.　　若数据收集任务完成，则done=1，否则done=0
12.　 end for
13. end for

输入：用权重θ₁和θ₂初始化Main Q Network

和

；用权重

和

初始化Target Q Network

（s_t，a_t）和

（s_t，a_t）；用权重ω初始化Policy Networkπ_ω（a_t|s_t）；初始化经验回放缓冲区Γ

输出:θ_i、ω、θ_i^*

1. for each epoch do

2.　收集初始观测状态s₀，done=0

3.　 fordone≠1 do

4.　　智能体接收来自IoT设备的数据采集请求，并收集环境状态信息s_t

5.　　智能体根据状态信息和策略生成动作a_t

6.　　智能体引导UAV的飞行轨迹和数据采集时间并计算即时奖励R（t）并估计下一个状态s_t+₁

7.　　将样本（s_t，a_t，R（t），s_t+₁）存储在Γ中

8.　　通过计算式（9）中定义的J_Q（θ）的梯度来更新θ_i，即

，i=1，2

9.　　通过计算式（10）中定义的J_π（ω）的梯度来更新策略参数ω，即

10.　　通过

，i=1，2，更新Target Q Network的参数

11.　　若数据收集任务完成，则done=1，否则done=0

12.　 end for

13. end for

参数	参数值
SAC算法优化器	Adam
SAC算法学习率	1×10^-5
SAC算法策略学习率	3×10^-7
SAC算法的discount参数ξ	0.99
SAC算法的缓冲区Γ	3×10⁵
SAC算法中网络的隐藏层数目	2
SAC算法中每层隐藏状态输入维度	128
SAC算法中每层隐藏状态输出维度	64
SAC算法中批量大小	256
SAC算法的激活函数	ReLU
SAC算法中目标平滑系数η	0.005
DepCrossformer优化器	Adam
DepCrossformer损失函数	MSE
DepCrossformer批量大小	32
DepCrossformer初始学习率	1×10^-4
DepCrossformer中DSW的输出维度d^m	256
DepCrossformer中FC层的神经元数量	512
DepCrossformer中多头注意力头数量	4

参数

参数值

SAC算法优化器

Adam

SAC算法学习率

1×10^-5

SAC算法策略学习率

3×10^-7

SAC算法的discount参数ξ

0.99

SAC算法的缓冲区Γ

3×10⁵

SAC算法中网络的隐藏层数目

SAC算法中每层隐藏状态输入维度

128

SAC算法中每层隐藏状态输出维度

SAC算法中批量大小

256

SAC算法的激活函数

ReLU

SAC算法中目标平滑系数η

0.005

DepCrossformer优化器

Adam

DepCrossformer损失函数

MSE

DepCrossformer批量大小

DepCrossformer初始学习率

1×10^-4

DepCrossformer中DSW的输出维度d^m

256

DepCrossformer中FC层的神经元数量

512

DepCrossformer中多头注意力头数量

参数	参数值
IoT设备数目	35
IoT设备分布	x、y轴上服从[0，5 000]的均匀分布，z轴上服从[0，200]的均匀分布
路径损耗指数	2
IoT发射功率/mW	2
UAV天线增益/dB	1
每个IoT设备分配到的带宽/Hz	1×10⁶/35
噪声功率谱密度/（dBm/Hz）	1×10^-20.4
自由空间损耗/dB	2
由环境决定的常数项系数δ、γ	10、0.03
路径损耗指数	3
载波频率f_c/Hz	2×10⁹
LOS环境下路径损耗的均值/dB	1
NLOS环境下路径损耗的均值/dB	20
数据收集最小时间/s	5
IoT设备的能量/J	30 000

参数

参数值

IoT设备数目

IoT设备分布

x、y轴上服从[0，5 000]的均匀分布，z轴上服从[0，200]的均匀分布

路径损耗指数

IoT发射功率/mW

UAV天线增益/dB

每个IoT设备分配到的带宽/Hz

1×10⁶/35

噪声功率谱密度/（dBm/Hz）

1×10^-20.4

自由空间损耗/dB

由环境决定的常数项系数δ、γ

10、0.03

路径损耗指数

载波频率f_c/Hz

2×10⁹

LOS环境下路径损耗的均值/dB

NLOS环境下路径损耗的均值/dB

数据收集最小时间/s

IoT设备的能量/J

30 000

算法	总能耗	均值	标准差	最大最小差值
SAC	79 590. 0	2 274. 00	270.67	900. 0
DDPG	81 286.8	2 322.48	327.54	995.8
RD	88 980.0	2 542.29	379.20	1 520.0
CP	85 240.0	2 435.43	326.97	1 270.0

算法

总能耗

均值

标准差

最大最小差值

SAC

79 590. 0

2 274. 00

270.67

900. 0

DDPG

81 286.8

2 322.48

327.54

995.8

88 980.0

2 542.29

379.20

1 520.0

85 240.0

2 435.43

326.97

1 270.0