电讯技术

任务卸载策略	描述
无缓存的卸载No-offloading	利用本文提出的基于博弈的多用户实时卸载策略来决定在MEC服务器的无VNF缓存状态下，终端任务的执行策略
有缓存的卸载	MEDSCP	利用本文提出的移动边缘动态服务缓存策略得到MEC服务器的最佳服务缓存策略
MFU-MEC	MEC服务器根据过去时隙的请求信息计算出最高请求次数的VNF进行缓存，当缓存存储已满时，已缓存VNF中被使用次数最少的将被新的VNF替换
FIFO-MEC	基于先进先出的MEC缓存策略，当MEC服务器缓存空间不足时，先缓存的VNF将优先被替换

任务卸载策略	描述
无缓存的卸载No-offloading	利用本文提出的基于博弈的多用户实时卸载策略来决定在MEC服务器的无VNF缓存状态下，终端任务的执行策略
有缓存的卸载	MEDSCP	利用本文提出的移动边缘动态服务缓存策略得到MEC服务器的最佳服务缓存策略
MFU-MEC	MEC服务器根据过去时隙的请求信息计算出最高请求次数的VNF进行缓存，当缓存存储已满时，已缓存VNF中被使用次数最少的将被新的VNF替换
FIFO-MEC	基于先进先出的MEC缓存策略，当MEC服务器缓存空间不足时，先缓存的VNF将优先被替换

参数	含义	取值	单位
K	近海终端数量	10	台
W	任务类型数量	50	种
p_k	近海通信设备传输功率	500	mW
f_k	近海终端k计算能力	1	标准任务块/时隙
f_C	MEC服务器计算能力	20	标准任务块/时隙
D	计算任务数据大小	100～500	标准任务块
V	VNF数据大小	1000～5000	标准任务块
φ	时延权重	0.5	无单位
θ	能耗权重	0.5	无单位
δ	环境参数	0.7	无单位

参数	含义	取值	单位
K	近海终端数量	10	台
W	任务类型数量	50	种
p_k	近海通信设备传输功率	500	mW
f_k	近海终端k计算能力	1	标准任务块/时隙
f_C	MEC服务器计算能力	20	标准任务块/时隙
D	计算任务数据大小	100～500	标准任务块
V	VNF数据大小	1000～5000	标准任务块
φ	时延权重	0.5	无单位
θ	能耗权重	0.5	无单位
δ	环境参数	0.7	无单位

面向近海通信的移动边缘网络动态服务缓存策略

PDF下载

庄颖瑜 , 潘春雨 , 李学华

电讯技术 | 应用基础与前沿技术 2025,65(11): 1754-1765

收起

电讯技术 | 应用基础与前沿技术 2025, 65(11): 1754-1765

面向近海通信的移动边缘网络动态服务缓存策略

全屏

庄颖瑜, 潘春雨, 李学华

作者信息

北京信息科技大学现代测控技术教育部重点实验室，北京 100101

庄颖瑜女，2000年生于广西钦州，2022年获学士学位，现为硕士研究生，主要研究方向为海洋信息环境感知、空天海地一体化、动态资源管理等。

潘春雨女，1989年生于河南新野，2019年获博士学位，现为副教授，主要研究方向为基于人工智能的移动通信网络、计算与资源管理技术、无人机通信技术等。

李学华女，1977年生于湖北荆州，2008年获博士学位，现为教授，主要研究方向为无线通信关键技术、物联网技术、智能边缘技术等。

通讯作者:

潘春雨 Email: chunyupan@bistu.edu.cn

Dynamic Service Caching Strategy for Mobile Edge Computing to Aid Offshore Communications

Yingyu ZHUANG, Chunyu PAN, Xuehua LI

Affiliations

Key Laboratory of Modern Measurement & Control Technology，Ministry of Information Industry，Beijing Information Science and Technology University，Beijing 100101，China

出版时间: 2025-11-28 doi: 10.20079/j.issn.1001-893x.240618004

文章导航

摘要

收起

为了实现低时延低能耗的近海通信，将动态服务缓存更新机制引入复杂神经网络当中，基于近海通信场景对复杂的神经网络结构进行巧妙设计，提出了基于双重深度Q网络（Double Deep Q Network，DDQN）的移动边缘动态服务缓存策略（Mobile Edge Dynamic Service Caching Policy，MEDSCP）。该策略先通过用户终端任务卸载决策博弈得到最佳卸载决策集，然后利用移动边缘计算（Mobile Edge Computing，MEC）和动态服务缓存更新来减少近海通信环境下任务执行的时延能耗成本，旨在提高近海通信的任务处理效率并扩展该行业的发展潜力。仿真实验结果表明，所提的MEDSCP策略与现有工作相比，能在保证训练效果的前提下实现算法的快速收敛，还能有效降低近海通信的时延能耗加权和。

关键词

近海通信 / 深度强化学习 / 移动边缘计算 / 博弈论 / 动态缓存

Abstract

收起

In order to achieve low-latency and low-energy offshore communication, the dynamic service cache update mechanism is introduced into the complex neural network, and the mobile edge dynamic service caching policy (MEDSCP ) based on double deep Q network (DDQN ) is proposed by cleverly designing the complex neural network structure based on offshore communication scenarios. The policy firstly obtains the optimal offloading decision set through the user terminal task offloading decision game, and then utilizes mobile edge computing(MEC) and dynamic service caching update to reduce the delay and energy cost of task execution in the offshore communication environment, aiming to improve the efficiency of task processing in offshore communication and to expand the development potential of this industry. Simulation experimental results show that the proposed MEDSCP strategy can achieve fast convergence of the algorithm while guaranteeing the training effect,and also effectively reduce the delay-energy weighted sum of offshore communications compared with existing work.

Key words

offshore communication / deep reinforcement learning / mobile edge computing / game theory / dynamic cache

引用本文

庄颖瑜, 潘春雨, 李学华. 面向近海通信的移动边缘网络动态服务缓存策略. 电讯技术, 2025 , 65 (11) : 1754 -1765 . DOI: 10.20079/j.issn.1001-893x.240618004

Yingyu ZHUANG, Chunyu PAN, Xuehua LI. Dynamic Service Caching Strategy for Mobile Edge Computing to Aid Offshore Communications[J]. Telecommunication Engineering, 2025 , 65 (11) : 1754 -1765 . DOI: 10.20079/j.issn.1001-893x.240618004

正文

收起

0　引言

收起

随着我国海洋经济的快速发展以及近海活动的不断增多，近海移动数据量呈现爆发式增长^[1]，加之近海智能终端设备的不断迭代升级，用户对数据传输速率和通信质量提出了更高的要求。且相较于内陆稳定的通信环境，近海无线通信会面临移动平台（如船只和浮动平台）的高移动性带来的挑战，这就要求通信系统必须具备动态适应能力，能够快速调整以应对平台的不断变化^[2-3]。尤其在近海港口的航运场景下对计算密集型和时延敏感型的海洋应用和服务的需求更为明显^[4]，当船只在进出港口时，近海用户只能向岸基基站请求并获取信息，请求数量较频繁时会使得岸基基站负载过重，进而引发网络拥塞^[5]。

为了能够处理庞大的移动数据流量，学术界着眼于移动边缘计算（Mobile Edge Computing，MEC）技术，将网络存储功能下沉到网络边缘，就近为用户提供所需的服务，从而缓解网络回程链路的压力，降低网络传输时延，提升系统吞吐量。近年来，已有大量文献研究MEC技术的应用与优化。从用户的角度来看，将计算任务卸载到MEC服务器进行处理不仅能够显著降低用户设备的能耗，同时还能够缩短任务执行的时间，提高计算任务的执行效率^[6-7]，满足近海移动终端设备长续航的需求。

在近海终端执行计算任务时，需要将用户数据输入到相应功能的应用程序数据库中。本文中的近海移动通信系统包含多种应用程序数据，用于处理多种不同的用户数据，这些应用程序被概括为虚拟网络功能（Virtual Network Function，VNF）。现有的关于计算卸载的文献可以分为两种主要情况：一是MEC服务器具有无限的存储空间，可以为用户存储所有需要的VNF^[8-9] ;二是MEC服务器的缓存大小有限，无法缓存所有用户所需的VNF。由于第二种情况更具有实际的应用价值，因此本文考虑第二种情况，让终端按需上传用户数据和匹配的VNF^[10]。

目前，关于任务计算结果缓存^[11-12]或基于任务VNF缓存的MEC^[13-14]工作大多数集中于静态缓存网络边缘的数据。事实上，近海用户对计算任务的需求随时间动态变化。静态缓存策略无法保持缓存数据的高可重用性。因此，设计基于动态学习的方法来预测用户的任务需求并动态调整缓存内存以提高缓存数据的可重用率非常重要。Chen等人^[15]提出了服务动态缓存技术，在MEC服务器上动态更新服务缓存以降低单位时隙内的执行能耗。但是在近海通信场景中，计算任务需要低时延，且移动终端需要长续航。Liu等人^[16]和Gao等人^[17]虽然提出了基于任务分区和卸载的联合设计方案，但未能有效结合动态用户请求预测来优化资源分配，这将导致系统可能无法预见并处理高峰时段的数据请求，从而未能最大限度地降低延迟和能耗。Wang等人^[18]和Singh等人^[19]提出的模型没有充分考虑回程链路的压力，高密度的数据流量可能导致回程链路的瓶颈问题未能得到有效缓解。Chen等人^[20]和Wu等人^[21]虽然提出了缓存优化和卸载决策的方案，但这些方案未能综合考虑动态任务负载和缓存容量的限制，导致在高负载条件下的性能可能不足。

因此，本文提出基于移动边缘计算和深度神经网络训练得到的多用户实时任务卸载和动态服务缓存策略联合优化算法。该算法首先将原问题分解为用户终端任务卸载决策和动态服务缓存更新策略两个子问题，先寻求用户终端任务卸载决策的纳什均衡解，然后利用近海通信任务类型数量庞大且重复出现的特点，重新设计基于马尔可夫模型建立的深度神经网络结构，将同种计算卸载任务类型归类为一个神经元，降低神经网络的训练复杂度，得到最佳的移动边缘动态服务缓存策略。

1　系统模型

收起

本文的系统模型需要依托于近海场景进行描述。相比蜂窝通信的信道传输链路，近海无线通信的通信链路受到以下几个关键因素的影响：①多径传播：近海环境中，水面反射和散射造成多路径传播现象，会导致信号到达接收端的时间延迟和相位变化，增加信号干扰；②环境干扰：海洋环境中的风浪、盐雾、潮汐等自然因素会对信号传播产生影响，导致信号衰减和失真；③移动性：近海通信中，船只和浮动平台的移动性较高，需要考虑多速率和多种移动模式对信道的影响。

蜂窝通信的信道表达式为

式中：α表示信道增益；e^j^ϕ表示信道的相位偏移。

相较于式（1）提到的蜂窝通信，近海通信的信道表达式考虑了更多的影响因素：

式中：N表示路径总量。

1.1　网络模型

本文研究基于MEC技术的多终端近海通信系统，如图1所示。系统配置了一个配有移动边缘计算服务器的基站和若干个进行海上通信的用户，且该服务器能够从云端的软件库获取执行部分特定任务类型的VNF。K个用户设备随机分布其中，用K={1，2，…，K}表示。假设用户能够生成的计算任务有W种，用W={1，2，…，W}表示。假设系统的每个时隙长度都为τ，时隙的序列表示为T={1，2，…，T}。在每个时隙开始时，每个终端设备都会决定是否要生成一个计算任务，这些计算任务属于任务类别库W中的某个任务类别。本文假设无论采用何种任务执行方式，每个计算任务都必须在对应的时隙结束之前被执行完成。为了满足这个要求，可以通过调整每个时隙的长度（即τ的大小）来确保任务能够在规定的时限内完成。另外，每个时隙结束时，MEC服务器会更新服务缓存空间，从云端的软件库主动缓存相应VNF，有效的缓存策略有助于提高任务的执行效率和系统性能。

每个计算任务w∈W被定义为（D_w，V_w，U_w），其中，D_w代表任务类型w的计算任务数据大小，V_w代表任务类型w的VNF数据大小，U_w代表执行任务w所需要的CPU周期。

代表任务类型w的VNF在时隙t的服务器缓存状态，

代表MEC服务器已在此时隙内缓存执行该任务类型的VNF;

代表MEC服务器在此时隙内没有缓存执行该任务类型的VNF。MEC服务器的缓存容量用C来表示。在任意时隙，服务器缓存的数据大小都不应超过MEC的缓存容量C:

在时隙t的动态服务缓存策略可以用B_t =

表示。令

代表t时隙MEC对任务类型w的VNF缓存更新动作，

表示执行任务类型w的VNF将在时隙（t+ 1）被添加到MEC服务器的缓存中；

表示在时隙t+1，MEC服务器缓存中执行任务类型w的VNF缓存状态不变；

表示在时隙t+1时，将执行任务类型w的VNF从MEC服务器中删除。因此，任务类型w在时隙t+1的缓存状态表示为

，其中MEC服务器不能移除未缓存过的VNF，所以应满足

。

将t时隙的近海用户终端请求用

）

表示，令

表示用户k在时隙t的计算任务请求状态，

表示用户k在时隙t不生成计算任务请求，

（w∈ W）表示用户k在时隙t生成执行任务类型w的请求。假设用户在时隙（t+1）的任务请求状态只受到该用户在时隙t的任务请求状态影响。

1.2　通信模型

本文假设用户与基站之间的近海通信采用无线传输方式进行，设该场景下通信系统内的可用带宽为BHz，并平均分配给M个信道使用，每个信道的带宽为B/M。信道序列用M={1，2，…，M}表示，假设每个用户在每个时隙内仅能使用一条信道和基站通信。用α_k，t表示在时隙t时刻，用户k使用的信道序号。用L_t={α_1,_t，α_2,_t，…，α_K，t}表示时隙t的近海用户任务计算决策集。用J={1，2，…，K-1}表示不包含用户k的用户序列集。分别用h_k和p_k表示用户k进行近海通信的信道增益和传输功率。因此，用户k在时隙t进行近海通信的最低上行链路速率可以表示为

式中：σ²表示无线通信信道中存在的加性高斯白噪声的方差。当多个用户同时通过同一个信道上传数据时会受到严重的噪声干扰，这将增加用户进行近海通信的能耗和任务执行时延。因此，在面对这种情况时，部分用户的近海通信将考虑在本地执行计算任务。

近海无线通信的信道模型增益设置为

式中：d_k是终端k和基站之间的距离；n是路径损耗因子；g_k（t）服从参数为1的指数分布，表示t时隙终端k到MEC服务器的小尺度衰落信道功率增益。

对于近海终端k在时隙t的任务请求

到时隙t+1的任务请求

的转移概率如公式（6）所示：

式中：R表示当前时隙存在任意任务请求，而下一时隙没有任何请求的概率；i=0，j∈W时，状态转移概率服从Zipf分布（长尾分布），该分布由参数δ确定；每个计算任务与N个人为设定的计算任务相关联。

如图2所示，环境参数δ对于终端k在时隙t的近海通信任务请求

到时隙t+1的任务请求

转移概率服从Zipf分布，该分布由环境参数δ控制Zipf分布的不均匀程度：δ越大，分布倾斜程度越大，即某些任务类型出现的概率越大；相反，δ越小，所有终端选择不同任务类型的概率越趋近等概率。

1.3　计算模型

在网络模型中，MEC服务器主动从云端的软件库缓存选择的VNF，以降低下一时隙系统执行任务所需的时延能耗成本。每个时隙开始时，近海用户首先向MEC服务器发送任务请求类型，服务器返回是否已缓存执行该任务类型的VNF。如果配置了对应类型的VNF，近海用户终端会选择将计算任务卸载到MEC服务器上执行计算卸载（有缓存的计算卸载模式）。如果没有配置该类型的VNF，用户终端将根据动态服务缓存更新策略决定是通过本地执行计算任务（本地计算模式），还是将任务数据和VNF同时卸载到MEC服务器上进行计算（无缓存的计算卸载模式）。由于请求信息的数据量明显小于计算任务的数据量，因此本模型忽略了终端向MEC服务器发送任务请求和服务器返回是否已缓存相应的VNF两个过程所产生的时延能耗。

本文的时延表示信息从发送端到接收端所需的时间，能耗是指通信过程中消耗的电能量。在信息传输的过程中，降低传输时延将带来能耗的提升，而降低能耗将导致时延的增加。因此，本文综合考虑时延和能耗两个指标，探究时延和能耗的均衡。“时延能耗加权和”是一个综合考量时延和能耗之间权衡关系的物理量，其物理意义可以解释为：时延能耗加权和表示为时延与能耗分别与对应权重系数乘积的加权和，反映在通信系统中，为了在时延和能耗之间达到一个平衡，可以通过施加权重系数进行必要的折中考虑。

1.3.1　本地计算模式

如果用户终端通过动态服务缓存更新策略决定在本地执行计算任务，则本地计算模式的时延可表示为

式中：

表示用户设备k（k∈K）的CPU每秒时钟周期数（即表征CPU的计算能力）;U_w表示执行任务w所需要的CPU周期数。由于每个任务都需在其生成的时隙τ内完成，所以

应满足

。

本文假定近海用户通信设备的工作负载相同，能耗与其执行计算任务的时间成正比，因此本地计算卸载模式的能耗为

式中：p_k表示用户k进行近海通信的传输功率。

本文构建的近海通信模型的能耗和时延权重可根据通信场景的不同进行配置，其中，φ是时延的权重因子，θ是能耗的权重因子，则本地计算卸载模式的整体成本可以记作

1.3.2　有缓存的计算卸载模式

如果用户设备k（k∈K）选择通过卸载来执行任务w，并且该计算任务w的VNF已经被MEC服务器缓存，则近海用户终端k仅需将计算任务的数据卸载到MEC服务器，由MEC服务器执行计算任务，并将结果返回给近海用户终端。该模式的时延可以表示为

式中：f_C表示MEC服务器的计算能力；最低上行链路速率r_k，t由式（4）得到，且时延需满足

。有缓存的计算卸载模式的能耗为

有缓存的计算卸载模式的整体成本可以记作

1.3.3　无缓存的计算卸载模式

如果用户设备k（k∈K）选择通过计算卸载来执行任务w，但是该计算任务w的VNF没有被MEC服务器缓存，则用户终端k需将计算任务数据和相应VNF同时卸载到MEC服务器，由服务器执行计算任务，并将结果返回到近海用户终端。该模式的时延可以表示为

和有缓存的计算卸载模式相同，也需要满足

。该模式的能耗为

无缓存的计算卸载模式的整体成本可以记作

3种计算模型的时延能耗成本对比如表1所示。

2　问题描述

收起

为了应对近海通信场景中终端的低能耗需求和计算任务卸载的低时延需求，本文提出了一种联合优化用户终端卸载决策和MEC服务器动态更新VNF缓存的方法。该方法能够有效减少系统内计算任务卸载的总执行时延和终端总能耗的加权平均值。

本文将终端k在时隙t的时延能耗总成本表示为

式中：Θ（·）表示如果括号内的等式成立，则值为1，否则值为0。因此本文将问题表述为

s. t. C1:

C2:

C3:

C4:

C5:

C6:

C7:

C8:

在问题P中，C1表示在任意时隙内，MEC服务器缓存的VNF总数据大小不能超过服务器缓存容量上限；C2表示执行计算任务w的VNF在时隙t+1的服务器缓存状态取决于时隙t的服务更新动作作用于时隙t的缓存状态；C3表示MEC服务器的缓存状态有且仅有缓存和未缓存两种；C4表示服务器不能将该时隙未缓存的VNF删除；C5表示计算任务执行方式，其中α_k，t =0表示终端k通过本地计算执行任务；C6表示服务器更新动作包括

添加该VNF，

该VNF的缓存状态不变，

将该VNF从缓存中删除；C7表示采用计算卸载方式需要满足任务的时延标准，即在生成任务的时隙内执行完成；C8表示采用本地计算方式需要满足任务的时延标准，即在生成任务的时隙内执行完成。

3　移动边缘动态服务缓存策略MEDSCP

收起

由于在该场景下时延能耗总成本问题P的复杂性使得无法在多项式时间内找到有效算法来实现最优解。解决问题P的困难主要来自近海用户终端计算任务决策和VNF在不同时隙的缓存状态，以及缺乏终端在未来的服务请求信息。为了解决这两大困难，本文将原问题分解为两个子问题，即近海用户终端计算任务决策的博弈问题和MEC服务器动态更新VNF缓存策略问题。首先，通过一种分散式算法得到近海用户终端任务计算决策博弈问题的纳什均衡解。之后，将MEC服务器动态更新VNF缓存策略问题重新定义为马尔可夫决策过程，并与近海通信场景进行结合，训练MEC服务器得到最优的移动边缘动态服务缓存策略（Mobile Edge Dynamic Service Caching Policy，MEDSCP）。

3.1　用户终端任务卸载决策

基于问题P可知对于任意时隙t，近海用户终端的计算决策仅影响当前时隙内的时延能耗加权和而不影响其他时隙，并且计算决策与任意时隙的VNF缓存决策互不影响，所以本文设计了一个有效的算法来实现近海用户终端任务卸载决策，并且可以推广到解决任意时隙的用户终端任务卸载决策。本文将时隙t中的任务卸载问题从问题P中分解出来：

s. t. C2,C3,C7,C8。

首先需要明确问题P1是否满足达到纳什均衡的条件，即对于最优的卸载决策

，在其他用户终端决策L_-k，t给定的情况下，用户终端k无法通过改变自己的卸载决策来进一步减少其时延能耗加权和。具体地，如果用户终端k改变自己的决策为α′_k，t（其中

），则时延能耗加权和的值将不会比最优卸载决策

更小，即

为了证明P1是纳什均衡问题，令L_-_k_,_t ={α_1,_t，…，α_k-_1,_t，α_k+_1,_t，…，α_K，t}表示除了终端k之外的所有其他终端在时隙t的卸载决策集。让终端k选择最优的卸载决策

经过多次求解，得到最终的最优卸载决策集

。对于每个用户终端k，根据以上定义和最优决策的选择条件，若其他用户的决策保持不变，那么

因此，用户终端k无法通过改变自己的卸载决策来进一步优化目标函数，符合纳什均衡的定义。而近海用户终端任务卸载博弈的目标恰恰是找到一个纳什均衡的卸载策略

，对于计算决策

，每个用户终端都无法再通过改变它的卸载决策来降低时延能耗加权值。如图3所示，用户终端任务卸载决策流程可描述为：首先，将所有用户终端的任务卸载决策初始化为0。接下来，每个终端根据约束条件C2、C3、C7和C8计算其可用的任务卸载决策集，并找到其最优的用户终端任务卸载决策

。然后如果

，用户终端k向MEC服务器发送更新卸载状态消息，当MEC服务器收到所有终端的更新请求消息时，它会随机选择一个终端并向其发送更新许可消息。收到更新许可消息的用户终端将保持其计算决策不变。最后，如果MEC服务器没有收到任何终端的更新请求消息，则向所有用户终端发送结束命令。用户终端收到结束命令后，将不再更新其卸载决策，并根据现有的卸载决策来进行计算任务。

3.2　MEC服务器动态更新VNF缓存策略

根据3.1节中介绍的用户终端任务卸载决策的博弈算法，可以得到系统任意状态下的终端计算决策解集

。将

代入问题P得到MEC服务器动态更新VNF缓存策略问题：

s. t. C1,C2,C3,C4,C6。

式（22）中：

由于在面对各种各样的任务类型时，t时隙内很难预测到下一时隙的终端请求状态U_t+₁，P2很难得到解决。根据最低成本广义指派问题（Lowest cost Generalized Assignment Problem，LGAP）^[22]可以证明，本文研究的P2是NP-hard问题。

使用基于双重深度Q网络（Double Deep Q Network，DDQN）的服务器动态更新VNF缓存策略模型来捕捉终端请求计算模型的特征，并预测更好的MEC服务器缓存更新策略。

1）状态S_t：时隙t的终端请求状态，S_t=U_t。

2）动作A_t：服务器为时隙t+1任务更新缓存状态的动作。

3）奖励R：定义所提算法的平均每时隙时延能耗加权和为奖励R。

DDQN的训练过程包含两个相同的深度神经网络（Deep Neural Network，DNN）结构，其中一个是实时更新网络参数的主网络，另一个是定期复制主网络的网络参数的目标网络。通过两种参数不同的网络评估Q值，并选择其中Q值小的结果作为目标Q值，这样可以使目标Q值的计算更加稳定，降低了深度Q网络（Deep Q Network，DQN）中可能出现的过度估计的可能性。

算法公式如下：

如图4所示，为了克服大规模任务中异构数据导致的高维和复杂的缓存动作空间，提高算法收敛效率，本文修改DNN的输入层和输出层神经元连接结构^[22]，然后训练修改后的神经网络得到移动边缘动态服务缓存策略MEDSCP。修改DNN的步骤是：根据近海用户终端数量设定第一层DNN的神经元数量，并根据任务类型设定第二层DNN的神经元数量。使用

表示近海用户终端k在时隙t的请求的任务类型。传统的做法是将U_t作为状态信息输入神经网络，在本文研究的问题中，为了消除近海用户终端的计算决策顺序对神经网络输出的Q值的影响，并提升神经网络的训练速度，本文采用

，k∈K表示神经网络的状态输入。如果w∈W并且

，则代表第一层DNN的第k个神经元仅和第二层DNN的第w个神经元相连。如果w=0并且

，则第一层DNN的神经元和第二层的所有神经元相连。通过这种方式，可以降低神经网络的复杂程度，加快算法的收敛速度。

在DDQN算法中，现有研究中DNN的输出层神经元数量等于所有可能动作的数量，即每个神经元对应一个动作，并输出相应的状态动作值Q（S_t，A_t）。然而，对于问题P2，由于不同类型VNF的数据大小和任务种类的多样性，会导致产生大量可能的缓存动作。因此，为了解决这个问题，本文修改了DNN输出层的结构。设定DNN倒数第二层包含的神经元个数等于系统内任务种类个数，即每个神经元对应一种任务类型。用Y=（y₁，y₂，…，y_W）表示每一个神经元的输出。DNN的最后一层设定为单一神经元，后两层神经元之间的连接用V =（v_1，_L，v_2，_L，…，v_W，L）表示，将这里面的每个值和预测下一时隙的缓存状态相对应，即

，v∈V。所以，DNN输出的状态动作价值为

在本文所提算法中，DNN的训练分为以下几个阶段。在初始训练阶段，由于缺乏足够的学习经验，神经网络的参数具有随机性。因此，采用ε-greedy策略，增加学习的广度。具体地，先将探索系数ε的值设定为较大的值，当生成的随机数小于ε时，采取随机策略，MEC服务器随机缓存VNF;当生成的随机数大于ε时，采取生成最大Q值的动作。在时隙开始时，终端会生成任务请求U_t+₁，然后根据动态服务更新缓存博弈得到的

策略完成请求任务，并得到时延能耗加权的成本。根据设定的奖励函数定义，获取当前动作的奖励值，将（S_t，A_t，R_t，S_t+₁）作为一个数据元组存入经验回放池中。当经验回放池中存储了一定量的数据元组后，算法将采用小批量随机梯度下降方式，从经验回放池中随机抽取一定数量的数据元组并根据公式（24）继续进行训练。这种方式有助于减小训练时的内存压力，提高训练效率，并防止模型陷入局部最优解。当训练进行一段时间，即神经网络已经得到部分有效学习后，降低探索系数ε，让算法在选择动作时更多地根据学习到的策略执行。

根据上面的步骤进行训练，MEDSCP策略在满足近海通信任务类型数量庞大且重复出现的条件时能够更好地发挥算法的优势从而降低计算复杂度，降低近海通信所需的时延能耗。分析MEDSCP的神经网络结构可知，算法的第二层和倒数第二层神经网络代表的都是近海终端计算任务类型，同种计算任务可归类为一个神经元，当计算任务密集且重复出现时，能够同时减少第二层和倒数第二层DNN的神经元数量，从而降低网络复杂度。

假设神经网络层数为L，近海用户终端数量设定为第一层DNN的神经元数量，假设有k个神经元；DNN第二层和倒数第二层（隐藏层）均定义为近海通信的计算任务类型，假设有w个神经元，DNN的最后一层修改为单一神经元，而其余未提及的隐藏层（第3层到第L-2层）的神经元个数均为n个。基于上述假设，考虑满足降低复杂度（w₀个任务类型且w₀＜w）的情形给出时间复杂度分析：基于上述的神经网络结构，计算可得前向传播的时间复杂度表示为O（k×w₀+w₀×n+（L-4）×n²+n×w₀+w₀），化简后可得O（k×w₀+2w₀×n+（L-4）×n²）。同理，可得反向传播的时间复杂度。假设训练过程中采用的批次大小为batch，训练步数为num，则训练的总时间复杂度为O（num×batch×（k×w₀+2w₀×n+（L-4）×n²）），对比常规的DDQN算法复杂度O（num×batch×（k×w+ 2w×n+（L-4）×n²）），当w₀＜w时，能够有效降低网络复杂度。

4　仿真结果与分析

收起

本节通过仿真实验来评估所提算法的性能。如表2所示，将3种不同的MEC有缓存的卸载策略和无缓存的卸载策略No-offloading放到一起对平均每时隙时延能耗加权和进行比较：

1）基于使用频率更新MEC（Most Frequently Used Caching-based MEC，MFU-MEC）的缓存策略^[23] :MEC服务器根据过去时隙的请求信息计算出最高请求次数的VNF进行缓存。当缓存存储已满时，已缓存VNF中被使用次数最少的将被新的VNF替换。

2）基于先进先出的MEC（First In First Out-based MEC，FIFO-MEC）缓存策略^[24]：当MEC服务器缓存空间不足时，先缓存的VNF将优先被替换。

3）无缓存卸载策略No-offloading：利用本文提出的基于纳什均衡博弈的策略来决定在MEC服务器的无VNF缓存状态下，得到的终端任务的执行策略。

本文首先详细描述了仿真环境，并列出该实验设置的仿真参数表，如表3所示。然后，分别从算法层面和策略层面展现了本文所提算法MEDSCP的优越性。最后，从服务缓存容量、任务类型数量以及环境参数三方面出发对平均每时隙时延能耗加权和的影响进行分析。

仿真实验采用Python实现，假设有K个近海终端随机分布在200 m×200 m的近海场景中，且场景的中心放置一个配置有MEC服务器的基站。

在图5中，奖励值的设置为平均每时隙时延能耗加权和的值。可以看出，本文所提算法MEDSCP在训练到600次时，时延能耗加权和可以收敛到37附近；DDQN算法在未修改DNN神经元结构的情况下，经过750次迭代训练后才开始表现出时延能耗加权的收敛特征，并且收敛到的时延能耗加权和在39附近，这表明通过采用所提算法MEDSCP，能够在保证训练效果的前提下实现算法的快速收敛。这是因为MEDSCP修改了DNN的输入层和输出层神经元连接结构，合理地减少DNN神经元间的冗余连接，加快算法收敛速度，这种改进更为贴近近海通信的场景需求，同时也进一步扩展了深度强化学习算法在多维度动作场景中的应用。

在图6中，将所提的MEDSCP算法与文献[25]和[26]中所提的优化技术进行了比较。文献[25]提出了一种空中和地面合作的无人机辅助MEC网络，采用了基于拉格朗日对偶性的联合优化方法；而文献[26]则提出了一种交替算法，在MEC网络中迭代求解两个子问题，实现联合优化。为确保比较的准确性，针对不同的算法采用了相同的网络参数进行训练，然后对系统的平均每时隙时延能耗加权和进行比较。可以看出，所提出的MEDSCP算法比文献[25]降低了约13.51%的成本，比文献[26]降低了约8.11%的成本。这归功于将动态缓存更新机制引入MEC网络，并在DDQN结构的基础上进行更贴近近海通信场景的修改。对比结果验证了所提方案的优越性。

在图7中，有缓存的卸载策略包括本文所提的MEDSCP、根据使用频率更新的MFU-MEC以及FIFO-MEC 3种。如图所示，在训练初期，3种有缓存的卸载策略的平均每时隙时延能耗加权和也随之增加。随着训练次数的增加，本文所提的MEDSCP策略通过DNN的学习能够获得更高的预测准确性，极大地增加有缓存卸载的几率，减少终端传输过程中的数据大小，从而降低系统执行任务的时延能耗加权和，快速收敛在31附近。相较于MFU-MEC收敛在的35.5附近和FIFOMEC收敛在的37.5附近，本文提出的MEDSCP策略能够在同等情况下更为有效地降低平均每时隙时延能耗加权和，满足近海通信低时延和低能耗的需求。

在图8中，除了无缓存的卸载方案，其余方案平均每时隙时延能耗加权和都随着缓存大小的增加而降低。这是因为更大的MEC服务缓存空间可以存储更多的VNF，增加了近海终端选择有缓存的计算卸载模式的概率，从而降低了系统的时延和能耗。当缓存大小为0时，MEC服务器无法缓存任何VNF，所有近海终端只能选择本地计算模式来执行任务。在这种情况下，这些策略之间没有任何区别。当服务缓存容量超过80千标准任务块时，由于MEC服务缓存容量足以容纳大量VNF，降低了预测准确度对算法性能的影响，导致所有有缓存的卸载策略的性能相近。而本文所提出的MEDSCP策略，能够在相同服务缓存容量的情况下最有效地减少系统的时延能耗加权和，提高系统性能。

如图9所示，假设不同任务执行需要的VNF均不相同，其中有缓存的卸载策略的平均每时隙时延能耗加权和随着任务类型数量的增加而增加。然而，随着任务类型数量的增加，近海终端的任务请求范围会更加广泛，这可能会降低MEC服务器缓存策略的预测准确性，从而降低缓存的VNF可重用性，难以降低平均每时隙时延能耗加权和。此外，根据图片可以观察到，通过更准确地预测近海终端任务需求，本文提出的MEDSCP策略在相同任务类型数量的情况下对于平均每时隙时延能耗加权和的减少明显优于其他策略，更能够满足近海无线通信场景的高需求。

图10展示了在不同环境参数下，随着近海终端数量变化，平均每时隙时延能耗加权和的变化情况。不难理解的是，随着近海终端数量的增加，整个通信体系内总的时延能耗加权和也随之增加。而由于环境参数的增加，本文所提策略的平均每时隙时延能耗加权和呈现的是逐渐下降的趋势。因为环境参数δ的增加会导致大多数近海终端的任务请求会集中在少数任务类型上，提高策略对缓存的任务VNF预测的准确性，使缓存任务的VNF有更高的使用率，增加近海终端选择有缓存的计算卸载模式的概率，降低系统的平均每时隙时延能耗加权和。反之，δ越小，所有终端选择不同任务类型的概率越趋近等概率，降低了缓存方案的预测准确性。

5　结束语

收起

本文针对近海通信网络对通信系统的低时延与低能耗需求，搭建了MEC辅助近海通信框架，对服务器任务软件动态缓存的时延能耗加权和进行了仿真研究，提出了基于DDQN的MEDSCP算法。通过与MFU-MEC、FIFO-MEC和无缓存的卸载算法进行对比，证明MEDSCP算法在降低系统时延和能耗方面具有更优秀的性能。这是因为MEDSCP算法通过DNN的学习能够获得更高的预测准确性，增加近海终端选择有缓存的计算卸载的几率，减少传输过程中的数据大小，从而达到降低所执行任务的时延能耗加权和的目的，满足了近海通信低时延容忍度和近海终端长续航的需求。为了解决深度强化学习（Deep Reinforcement Learning，DRL）算法中动作空间复杂的问题，本文通过修改DNN的输入层和输出层神经元连接结构，减少DNN神经元间的冗余连接，加快算法收敛速度，扩展DRL算法应用于多维度动作的场景。但是，在算法设计和神经网络训练中，会存在一些情况导致算法在理论上满足MEDSCP算法复杂度降低的条件，却在实际训练过程中该条件不发挥作用导致算法的复杂度无法降低。比如，学习率等超参数选择不当或未能正确解调，都会导致算法未能利用到复杂度降低的机制，从而理论与实际出现偏差。

综上所述，本文提出的MEDSCP算法为近海通信网络下的系统时延与能耗的优化问题提供了新的思路和方法，并为相关研究提供了有价值的参考，但也带来了新的思考：如何才能尽可能地避免这种理论与实际的偏差，这将是后续需要研究的方向。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

贺硕.移动边缘网络缓存技术研究[D].北京:北京邮电大学, 2020.

[2]

DAI

M H

, WU

, QIAN

L P

, et al. UAV-assisted multi-access computation offloading via hybrid NOMA and FDMA in marine networks[J]. IEEE Transactions on Network Science and Engineering, 2023, 10(1):113-127.

[3]

ALQURASHI

F S

, TRICHILI

, SAEED

, et al. Maritime communications: a survey on enabling technologies, opportunities, and challenges[J]. IEEE Internet of Things Journal, 2023, 10(4):3525-3547.

[4]

, MENG

L L

, HUANG

. Intelligent maritime networking with edge services and computing capability[J]. IEEE Transactions on Vehicular Technology, 2020, 69(11):13606-13620.

[5]

LIU

C X

, FENG

, CHEN

Y F

, et al. Cell-free satellite-UAV networks for 6G wide-area Internet of Things[J]. IEEE Journal on Selected Areas in Communications, 2021, 39(4):1116-1131.

[6]

YANG

, FAGBOHUNGBE

, CAO

X L

, et al. A joint energy and latency framework for transfer learning over 5G industrial edge networks[J]. IEEE Transactions on Industrial Informatics, 2022, 18(1):531-541.

[7]

MACH

, BECVAR

. Mobile edge computing:a survey on architecture and computation offloading[J]. IEEE Communications Surveys & Tutorials, 2017, 19(3):1628-1656.

[8]

TRAN

T X

, POMPILI

. Adaptive bitrate video caching and processing in mobile-edge computing networks[J]. IEEE Transactions on Mobile Computing, 2019, 18(9):1965-1978.

[9]

CHEN

, HAO

Y X

. Task offloading for mobile edge computing in software defined ultra-dense network[J]. IEEE Journal on Selected Areas in Communications, 2018, 36(3):587-597.

[10]

WEN

W L

, CUI

, QUEK

T Q S

, et al. Joint optimal software caching, computation offloading and communications resource allocation for mobile edge computing[J]. IEEE Transactions on Vehicular Technology, 2020, 69(7):7879-7894.

[11]

YANG

X L

, FEI

Z S

, ZHENG

J C

, et al. Joint multi-user computation offloading and data caching for hybrid mobile cloud/edge computing[J]. IEEE Transactions on Vehicular Technology, 2019, 68(11):11018-11030.

[12]

XING

, CUI

J J

, DENG

Y S

, et al. Energy-efficient proactive caching for fog computing with correlated task arrivals[C]//2019 IEEE 20th International Workshop on Signal Processing Advances in Wireless Communications. Cannes:IEEE, 2019:1-5.

[13]

DAI

J M

, ZHANG

Z L

, MAO

S W

, et al. A view synthesis-based 360° VR caching system over MEC-enabled C-RAN[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(10):3843-3855.

[14]

YAN

, BI

S Z

, DUAN

L J

, et al. Pricing-driven service caching and task offloading in mobile edge computing[J]. IEEE Transactions on Wireless Communications, 2021, 20(7):4495-4512.

[15]

CHEN

Z X

, YI

W Q

, ALAM

A S

, et al. Dynamic task software caching-assisted computation offloading for multi-access edge computing[J]. IEEE Transactions on Communications, 2022, 70(10):6950-6965.

[16]

LIU

, YAN

J J

, ZHAO

X H

. Deep reinforcement learning based latency minimization for mobile edge computing with virtualization in maritime UAV communication network[J]. IEEE Transactions on Vehicular Technology, 2022, 71(4):4225-4236.

[17]

GAO

M J

, SHEN

R J

, SHI

, et al. Task partitioning and offloading in DNN-task enabled mobile edge computing networks[J]. IEEE Transactions on Mobile Computing, 2023, 22(4):2435-2445.

[18]

WANG

H H

, WANG

, MA

Y H

, et al. Resource allocation for OFDM-based maritime edge computing networks[C]//2020 13th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics. Chengdu:IEEE, 2020:983-988.

[19]

SINGH

, DHILLON

H S

, ANDREWS

J G

. Offloading in heterogeneous networks: modeling, analysis, and design insights[J]. IEEE Transactions on Wireless Communications, 2013, 12(5):2484-2497.

[20]

CHEN

C L

, BRINTON

C G

, AGGARWAL

. Latency minimization for mobile edge computing networks[J]. IEEE Transactions on Mobile Computing, 2023, 22(4):2233-2247.

[21]

M R

, LI

K X

, QIAN

L P

, et al. Secure computation offloading and service caching in mobile edge computing networks[J]. IEEE Communications Letters, 2024, 28(2):432-436.

[22]

QIU

, LIANG

J B

, LEUNG

V C M

, et al. Online reliability-enhanced virtual network services provisioning in fault-prone mobile edge cloud[J]. IEEE Transactions on Wireless Communications, 2022, 21(9):7299-7313.

[23]

CHEN

Z X

, YI

W Q

, ALAM

A S

, et al. Dynamic task software caching-assisted computation offloading for multi-access edge computing[J]. IEEE Transactions on Communications, 2022, 70(10):6950-6965.

[24]

P Y

, LI

, SHI

, et al. Dynamic content update for wireless edge caching via deep reinforcement learning[J]. IEEE Communications Letters, 2019, 23(10):1773-1777.

[25]

, ZHANG

T K

, LIU

Y W

, et al. UAV-assisted MEC networks with aerial and ground cooperation[J]. IEEE Transactions on Wireless Communications, 2021, 20(12):7712-7727.

[26]

ZHAN

, HU

, SUI

X F

, et al. Completion time and energy optimization in the UAV-enabled mobile-edge computing system[J]. IEEE Internet of Things Journal, 2020, 7(8):7808-7822.

2025年第65卷第11期

PDF下载

117

引用本文

BibTeX

文章信息

doi: 10.20079/j.issn.1001-893x.240618004

接收时间：2024-06-18
首发时间：2026-04-15
出版时间：2025-11-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-06-18
修回日期：2024-11-08

基金

作者信息

北京信息科技大学现代测控技术教育部重点实验室，北京 100101

通讯作者:

潘春雨 Email: chunyupan@bistu.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/dxjs/CN/10.20079/j.issn.1001-893x.240618004

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

计算模式

适用情况

时延T

能耗E

成本Z

本地计算Local

适用于用户设备通过无线传输干扰严重的情形

有缓存的计算卸载Offloading

适用于用户设备选择通过计算卸载来执行任务，且MEC服务器缓存有该任务类型的VNF的情形

无缓存的计算卸载No-Offloading

适用于用户设备选择通过计算卸载来执行任务，但MEC服务器没有缓存该任务类型的VNF的情形

任务卸载策略	描述
无缓存的卸载No-offloading	利用本文提出的基于博弈的多用户实时卸载策略来决定在MEC服务器的无VNF缓存状态下，终端任务的执行策略
有缓存的卸载	MEDSCP	利用本文提出的移动边缘动态服务缓存策略得到MEC服务器的最佳服务缓存策略
MFU-MEC	MEC服务器根据过去时隙的请求信息计算出最高请求次数的VNF进行缓存，当缓存存储已满时，已缓存VNF中被使用次数最少的将被新的VNF替换
FIFO-MEC	基于先进先出的MEC缓存策略，当MEC服务器缓存空间不足时，先缓存的VNF将优先被替换

任务卸载策略

描述

无缓存的卸载No-offloading

利用本文提出的基于博弈的多用户实时卸载策略来决定在MEC服务器的无VNF缓存状态下，终端任务的执行策略

有缓存的卸载

MEDSCP

利用本文提出的移动边缘动态服务缓存策略得到MEC服务器的最佳服务缓存策略

MFU-MEC

MEC服务器根据过去时隙的请求信息计算出最高请求次数的VNF进行缓存，当缓存存储已满时，已缓存VNF中被使用次数最少的将被新的VNF替换

FIFO-MEC

基于先进先出的MEC缓存策略，当MEC服务器缓存空间不足时，先缓存的VNF将优先被替换

参数	含义	取值	单位
K	近海终端数量	10	台
W	任务类型数量	50	种
p_k	近海通信设备传输功率	500	mW
f_k	近海终端k计算能力	1	标准任务块/时隙
f_C	MEC服务器计算能力	20	标准任务块/时隙
D	计算任务数据大小	100～500	标准任务块
V	VNF数据大小	1000～5000	标准任务块
φ	时延权重	0.5	无单位
θ	能耗权重	0.5	无单位
δ	环境参数	0.7	无单位

参数

含义

取值

单位

近海终端数量

台

任务类型数量

种

p_k

近海通信设备传输功率

500

f_k

近海终端k计算能力

标准任务块/时隙

f_C

MEC服务器计算能力

标准任务块/时隙

计算任务数据大小

100～500

标准任务块

VNF数据大小

1000～5000

标准任务块

时延权重

0.5

无单位

能耗权重

0.5

无单位

环境参数

0.7

无单位