Article(id=1329420214787224295, tenantId=1146029695717560320, journalId=1324759914146529478, issueId=1329420206000157303, articleNumber=null, orderNo=null, doi=10.7544/issn1000-1239.202660131, pmid=null, cstr=null, oa=null, hot=null, price=null, onlineType=0, articleFormat=0, articleType=null, articleTypeStr=null, receivedDate=1773244800000, receivedDateStr=2026-03-12, revisedDate=1776614400000, revisedDateStr=2026-04-20, acceptedDate=null, acceptedDateStr=null, onlineDate=1794888078638, onlineDateStr=2026-11-17, pubDate=1785513600000, pubDateStr=2026-08-01, doiRegisterDate=null, doiRegisterDateStr=null, onlineIssueDate=1794888078638, onlineIssueDateStr=2026-11-17, onlineJustAcceptDate=null, onlineJustAcceptDateStr=null, onlineFirstDate=null, onlineFirstDateStr=null, sourceXml=null, magXml=null, createTime=1794888078638, creator=13701087609, updateTime=1794888078638, updator=13701087609, issue=Issue{id=1329420206000157303, tenantId=1146029695717560320, journalId=1324759914146529478, year='2026', volume='63', issue='8', pageStart='1905', pageEnd='2181', issueExtLink='null', onlineDate='null', pubDate='1785513600000', pubDateStr='2026-08-01', beforeIssueId=null, nextIssueId=null, price=null, status=1, issueComplete=1, articleOrder=1, issueType=-1, specialIssue=null, createTime=1794888076542, creator='13701087609', updateTime=1794888076542, updator='13701087609', preIssue=null, nextIssue=null, articleTotal=null, ext=null, issueFiles=null, downloadFileDto=null}, startPage=1988, endPage=2004, ext={EN=ArticleExt(id=1329420215030493929, articleId=1329420214787224295, tenantId=1146029695717560320, journalId=1324759914146529478, language=EN, title=Collaborative MoE Inference System over Edge Computility Networks, columnId=1329420214938219240, journalTitle=Journal of Computer Research and Development, columnName=Special Issue on AI Computility: Systems and Key Applications, runingTitle=null, highlight=null, articleAbstract=

MoE (mixture of expert) architectures have become a widely recognized paradigm for scaling large language models (LLMs), and have been adopted by many frontier models deployed at the network edge. However, deploying MoE-based LLMs on resource-constrained edge devices remains challenging due to their massive parameter sizes, which often exceed the memory capacity of individual platforms. Existing in-situ MoE serving systems adopt expert swapping strategies that offload inactive experts to secondary storage and load them on demand. As LLMs support increasingly longer context windows with correspondingly longer user inputs, the prefilling phase faces a critical bottleneck: long input sequences activate nearly all experts, and the resulting full-scale expert swapping generates substantial I/O traffic, leading to prolonged TTFT (time to first token) latency. Typical edge environments, such as smart homes and smart factories, comprise multiple trusted interconnected devices, including tablets, laptops, and smart home appliances connected via local area networks. These devices collectively form a pervasive edge computility network (ECN), where each node carries underutilize computing power, memory capacity, and I/O bandwidth. This motivates us to harness the aggregated resources of the ECN through coordinated cross-node scheduling. This paper presents Sirius, a collaborative MoE inference system for edge computility networks that pools the collective resources across ECN nodes to accelerate the prefilling phase and reduce TTFT. Specifically, Sirius proposes three key techniques: 1) an interleaved sequence partitioning strategy that resolves workload imbalance in causal attention computation and maximizes communication-computation overlap; 2) an adaptive token scheduling mechanism that jointly considers computation overhead, swap latency, and expert buffer cache states to fully utilize collective I/O bandwidth while achieving load balance; 3) a speculative expert prefetching scheme that exploits the high similarity between adjacent-layer hidden states to overlap expert loading with computation, effectively hiding I/O latency. Experiments on real-world ECN platforming with Mixtral-8x7B and Qwen3-30B-A3B demonstrate that Sirius achieves 1.2–4.0 times inference throughput improvement over state-of-the-art baselines.

, authors=Shengyuan Ye, Han Liang, Xu Chen*, authorsList=Shengyuan Ye, Han Liang, Xu Chen, authorCompany=null, correspAuthors=Xu Chen, authorNote=

born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

born in 1986. Professor. His main research interests include edge computing and large language model systems

, correspAuthorsNote=null, copyrightStatement=Copyright © 2026 Journal of Computer Research and Development. All rights reserved., copyrightOwner=null, extLink=null, articleAbsUrl=null, sourceXml=null, magXml=null, pdfUrl=null, pdf=null, pdfFileSize=null, pdfExtLink=null, richHtmlUrl=null, mobilePdfUrl=null, reviewReport=null, pdfFirstPage=null, abstractGraph=null, abstractGraphContent=null, abstractVideo=null, citation=null, cebUrl=null, magXmlContent=null, mapNumber=null, fund=null), CN=ArticleExt(id=1329420217517716228, articleId=1329420214787224295, tenantId=1146029695717560320, journalId=1324759914146529478, language=CN, title=面向边缘算力网络的混合专家模型协同推理系统, columnId=1329420215122768618, journalTitle=计算机研究与发展, columnName=AI算力网:系统与关键应用专题, runingTitle=null, highlight=null, articleAbstract=

混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻挑战。现有本地MoE服务系统采用专家交换策略,将非活跃专家卸载至二级存储并按需加载。随着LLM支持的上下文窗口不断扩展,用户输入也相应变长,预填充阶段面临关键瓶颈:长输入序列几乎激活所有专家,全量专家交换产生大量I/O流量,导致首词时延(time to first token,TTFT)显著延长。在智能家居、智能工厂等典型边缘场景中,平板电脑、笔记本电脑及各类家庭智能设备等多类可信终端通过局域网彼此互联,共同构成一张泛在的边缘算力网络(edge computility network,ECN)。边缘算力网络中各节点均携带大量闲置的算力、内存容量与I/O带宽资源,为汇聚分布式资源、突破单设备瓶颈提供了重要机遇。Sirius是一种面向边缘算力网络的混合专家模型协同推理系统,通过跨节点的协同调度汇聚资源,加速预填充阶段并降低TTFT。具体而言,设计了3项关键技术:1)基于交错划分的序列并行策略,解决因果注意力计算中的工作负载不均衡问题,最大化通信-计算重叠;2)自适应Token调度机制,联合考虑计算开销、交换时延和专家缓冲区缓存状态,充分利用集体I/O带宽并实现负载均衡;3)推测性专家预取方案,利用相邻层隐藏状态的高相似性提前预测专家激活,将专家加载与计算重叠,有效隐藏I/O时延。在真实边缘算力网络平台上,针对 Mixtral-8x7B 与 Qwen3-30B-A3B 的实验表明,Sirius 相比现有基线方法实现了 1.2~4.0 倍的推理吞吐量提升。

, authors=叶盛源, 梁涵, 陈旭*, authorsList=叶盛源, 梁涵, 陈旭, authorCompany=null, correspAuthors=陈旭, authorNote=

作者贡献声明

叶盛源负责文献调研、方案整体设计和论文撰写;梁涵负责部分算法思路和实验方法;陈旭提出指导意见并修改论文。

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

, correspAuthorsNote=
陈旭()
, copyrightStatement=版权所有 © 2026 计算机研究与发展编辑部, copyrightOwner=null, extLink=null, articleAbsUrl=null, sourceXml=2UQeC2Ezx79/ETHs5azFoQ==, magXml=hABFBs/LbH+gwqX/QAhS7w==, pdfUrl=null, pdf=fuSj3hIZgzs6FTiDabyxSg==, pdfFileSize=1445709, pdfExtLink=null, richHtmlUrl=null, mobilePdfUrl=null, reviewReport=null, pdfFirstPage=null, abstractGraph=Ik8J5mTWPMEZIdxmUz9exw==, abstractGraphContent=null, abstractVideo=null, citation=null, cebUrl=null, magXmlContent=OQrMsx+Hya3Qt6U0HL+uZA==, mapNumber=null, fund=null)}, authors=[Author(id=1329420217836483337, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=yeshy8@mail2.sysu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329420217920369419, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420217836483337, language=EN, stringName=Shengyuan Ye, firstName=Shengyuan, middleName=null, lastName=Ye, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

"}, bioImg=null, bioContent=

born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218000061196, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420217836483337, language=CN, stringName=叶盛源, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=中山大学计算机学院 广州 510006, bio={"img":"xKtgRwfvMrAPzWV/qRmWGQ==","content":"

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

"}, bioImg=xKtgRwfvMrAPzWV/qRmWGQ==, bioContent=

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])]), Author(id=1329420218062975758, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=null, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329420218159444752, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218062975758, language=EN, stringName=Han Liang, firstName=Han, middleName=null, lastName=Liang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

"}, bioImg=null, bioContent=

born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218230747921, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218062975758, language=CN, stringName=梁涵, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=中山大学计算机学院 广州 510006, bio={"img":"hCw/RWfkPOO9Dzx/rq9HnA==","content":"

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

"}, bioImg=hCw/RWfkPOO9Dzx/rq9HnA==, bioContent=

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])]), Author(id=1329420218310439699, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=chenxu35@mail.sysu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1329420218398520085, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218310439699, language=EN, stringName=Xu Chen, firstName=Xu, middleName=null, lastName=Chen, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=*, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 1986. Professor. His main research interests include edge computing and large language model systems

"}, bioImg=null, bioContent=

born in 1986. Professor. His main research interests include edge computing and large language model systems

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218469823254, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218310439699, language=CN, stringName=陈旭, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=*, address=中山大学计算机学院 广州 510006, bio={"img":"gWwNxl1Mq1iNkBmhoSRBpw==","content":"

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

"}, bioImg=gWwNxl1Mq1iNkBmhoSRBpw==, bioContent=

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])])], keywords=[Keyword(id=1329420218625012503, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, orderNo=1, keyword=MoE), Keyword(id=1329420218696315672, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, orderNo=2, keyword=edge computility network), Keyword(id=1329420218771813145, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, orderNo=3, keyword=collaborative inference), Keyword(id=1329420218843116314, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, orderNo=4, keyword=sequence parallelism), Keyword(id=1329420218918613787, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, orderNo=5, keyword=expert swapping), Keyword(id=1329420218985722652, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, orderNo=1, keyword=混合专家模型), Keyword(id=1329420219069608733, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, orderNo=2, keyword=边缘算力网络), Keyword(id=1329420219136717598, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, orderNo=3, keyword=协作推理), Keyword(id=1329420219270935327, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, orderNo=4, keyword=序列并行), Keyword(id=1329420219359015712, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, orderNo=5, keyword=专家交换)], refs=[Reference(id=1329420221548442424, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=1, rfOrder=0, authorNames=null, journalName=null, refType=null, unstructuredReference=Liu Aixin, Feng Bei, Xue Bing, et al. DeepSeek-V3 technical report[R/OL]. arXiv: 2412.19437[2026-02-27]. https://arxiv.org/abs/2412.19437, articleTitle=null, refAbstract=null), Reference(id=1329420221611356985, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=2, rfOrder=1, authorNames=null, journalName=null, refType=null, unstructuredReference=Yang An, Li Anfeng, Yang Baosong, et al. Qwen3 technical report[R/OL]. arXiv: 2505.09388[2026-02-27]. https://arxiv.org/abs/2505.09388, articleTitle=null, refAbstract=null), Reference(id=1329420221678465850, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=3, rfOrder=2, authorNames=null, journalName=null, refType=null, unstructuredReference=Team Kimi, Bai Yifan, Bao Yiping, et al. Kimi K2: Open agentic intelligence[R/OL]. arXiv: 2507.20534[2026-02-27]. https://arxiv.org/abs/2507.20534, articleTitle=null, refAbstract=null), Reference(id=1329420221745574715, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=4, rfOrder=3, authorNames=null, journalName=null, refType=null, unstructuredReference=King Evan, Yu Haoxiang, Lee Sangsu, et al. Sasha: Creative goal-oriented reasoning in smart homes with large language models[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2024, 8(1): 1−38, articleTitle=null, refAbstract=null), Reference(id=1329420221825266492, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=5, rfOrder=4, authorNames=null, journalName=null, refType=null, unstructuredReference=Ye Shengyuan, Ouyang Bei, Du Jiangsu, et al. Resource-efficient collaborative edge Transformer inference with hybrid model parallelism[J]. IEEE Transactions on Mobile Computing, 2025: 10945−10962, articleTitle=null, refAbstract=null), Reference(id=1329420221888181053, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=6, rfOrder=5, authorNames=null, journalName=null, refType=null, unstructuredReference=Li Yuanchun, Wen Hao, Wang Weijun, et al. Personal LLM agents: Insights and survey about the capability, efficiency and security[EB/OL]. arXiv: 2401.05459[2026-02-27]. https://arxiv.org/abs/2401.05459, articleTitle=null, refAbstract=null), Reference(id=1329420221946901310, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=7, rfOrder=6, authorNames=null, journalName=null, refType=null, unstructuredReference=Kong Rui, Li Yuanchun, Wang Weijun, et al. Serving moe models on resource-constrained edge devices via dynamic expert swapping[J]. IEEE Transactions on Computers, 2025, 2799−2811, articleTitle=null, refAbstract=null), Reference(id=1329420222014010175, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=8, rfOrder=7, authorNames=null, journalName=null, refType=null, unstructuredReference=Yi Rongjie, Guo Liwei, Wei Shiyun, et al. EdgeMoE: Empowering sparse large language models on mobile devices[J]. IEEE Transactions on Mobile Computing, 2025, 7059−7073, articleTitle=null, refAbstract=null), Reference(id=1329420222093701952, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=9, rfOrder=8, authorNames=null, journalName=null, refType=null, unstructuredReference=Hwang Ranggi, Wei Jianyu, Cao Shijie, et al. Pre-gated MOE: An algorithm-system co-design for fast and scalable mixture-of-expert inference[C]//Proc of 2024 ACM/IEEE 51st Annual Int Symp on Computer Architecture (ISCA). Piscataway, NJ: IEEE, 2024: 1018−1031, articleTitle=null, refAbstract=null), Reference(id=1329420222219531073, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=10, rfOrder=9, authorNames=null, journalName=null, refType=null, unstructuredReference=Wang Haodong, Zhou Qihua, Hong Zicong, et al. D2MoE: Dual routing and dynamic scheduling for efficient on-device MOE-based LLM serving[C]//Proc of the 31st Annual Int Conf on Mobile Computing and Networking. New York: ACM, 2025: 574−588, articleTitle=null, refAbstract=null), Reference(id=1329420222295028546, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=11, rfOrder=10, authorNames=null, journalName=null, refType=null, unstructuredReference=Jiang A Q, Sablayrolles A, Roux A, et al. Mixtral of experts[EB/OL]. arXiv: 2401.04088[2026-02-27]. https://arxiv.org/abs/2401.04088, articleTitle=null, refAbstract=null), Reference(id=1329420222399886147, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=12, rfOrder=11, authorNames=null, journalName=null, refType=null, unstructuredReference=Eliseev A, Mazur D. Fast inference of mixture-of-experts language models with offloading[EB/OL]. arXiv: 2312.17238[2026-02-27]. https://arxiv.org/abs/2312.17238, articleTitle=null, refAbstract=null), Reference(id=1329420222466995012, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=13, rfOrder=12, authorNames=null, journalName=null, refType=null, unstructuredReference=Qin Ruoyu, Li Zheming, He Weiran, et al. Mooncake: Trading more storage for less computation-a kvcache-centric architecture for serving LLM Chatbot[C]//Proc of the 23rd USENIX Conf on File and Storage Technologies (FAST 25). Berkeley, CA: USENIX Association, 2025: 155−170, articleTitle=null, refAbstract=null), Reference(id=1329420222534103877, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=14, rfOrder=13, authorNames=null, journalName=null, refType=null, unstructuredReference=Lu Xudong, Liu Qi, Xu Yuhui, et al. Not all experts are equal: Efficient expert pruning and skipping for mixture-of-experts large language models[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 6159−6172, articleTitle=null, refAbstract=null), Reference(id=1329420222609601350, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=15, rfOrder=14, authorNames=null, journalName=null, refType=null, unstructuredReference=Song Yixin, Mi Zeyu, Xie Haotong, et al. PowerInfer: Fast large language model serving with a consumer-grade GPU[C]//Proc of the ACM SIGOPS 30th Symp on Operating Systems Principles. New York: ACM, 2024: 590−606, articleTitle=null, refAbstract=null), Reference(id=1329420222693487431, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=16, rfOrder=15, authorNames=null, journalName=null, refType=null, unstructuredReference=Fang Zhiyuan, Hong Zicong, Huang Yuegui, et al. Fate: Fast edge inference of mixture-of-experts models via cross-layer gate[EB/OL]. arXiv: 2502.12224[2026-02-27]. https://arxiv.org/abs/2502.12224, articleTitle=null, refAbstract=null), Reference(id=1329420222789956424, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=17, rfOrder=16, authorNames=null, journalName=null, refType=null, unstructuredReference=Huang Yanping, Cheng Youlong, Bapna Ankur, et al. GPipe: Efficient training of giant neural networks using pipeline parallelism[J]. Advances in Neural Information Processing Systems, 2019, 32: 103−112, articleTitle=null, refAbstract=null), Reference(id=1329420222865453897, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=18, rfOrder=17, authorNames=null, journalName=null, refType=null, unstructuredReference=Narayanan D, Shoeybi M, Casper J, et al. Efficient large-scale language model training on GPU clusters using megatron-LM[C]//Proc of the Int Conf for High Performance Computing, Networking, Storage and Analysis. Piscataway, NJ: IEEE, 2021: 1−15, articleTitle=null, refAbstract=null), Reference(id=1329420222924174154, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=19, rfOrder=18, authorNames=null, journalName=null, refType=null, unstructuredReference=Lepikhin D, Lee H, Xu Yuanzhong, et al. GShard: Scaling giant models with conditional computation and automatic sharding[EB/OL]. arXiv: 2006.16668[2026-02-27]. https://arxiv.org/abs/2006.16668, articleTitle=null, refAbstract=null), Reference(id=1329420222982894411, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=20, rfOrder=19, authorNames=null, journalName=null, refType=null, unstructuredReference=Hwang Changho, Cui Wei, Xiong Yifan, et al. Tutel: Adaptive mixture-of-experts at scale[J]. Proceedings of Machine Learning and Systems, 2023, 5: 269−287, articleTitle=null, refAbstract=null), Reference(id=1329420223045808972, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=21, rfOrder=20, authorNames=null, journalName=null, refType=null, unstructuredReference=Liu Juncai, Wang Jessie Hui, Jiang Yimin. Janus: A unified distributed training framework for sparse mixture-of-experts models[C]//Proc of the ACM SIGCOMM 2023 Conf. New York: ACM, 2023: 486−498, articleTitle=null, refAbstract=null), Reference(id=1329420223104529229, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=22, rfOrder=21, authorNames=null, journalName=null, refType=null, unstructuredReference=Zhai Mingshu, He Jiaao, Ma Zixuan, et al. SmartMoE: Efficiently training sparsely-activated models through combining offline and online parallelization[C]//Proc of 2023 USENIX Annual Technical Conf (USENIX ATC 23). Berkeley, CA: USENIX Association, 2023: 961−975, articleTitle=null, refAbstract=null), Reference(id=1329420223163249486, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=23, rfOrder=22, authorNames=null, journalName=null, refType=null, unstructuredReference=Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 5998−6008, articleTitle=null, refAbstract=null), Reference(id=1329420223226164048, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=24, rfOrder=23, authorNames=null, journalName=null, refType=null, unstructuredReference=Ye Shengyuan, Du Jiangsu, Zeng Liekang, et al. Galaxy: A resource-efficient collaborative edge AI system for in-situ transformer inference[C]//Proc of IEEE INFOCOM 2024-IEEE Conf on Computer Communications. Piscataway, NJ: IEEE, 2024: 1001−1010, articleTitle=null, refAbstract=null), Reference(id=1329420223297467217, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=25, rfOrder=24, authorNames=null, journalName=null, refType=null, unstructuredReference=Ye Shengyuan, Ouyang Bei, Zeng Liekang, et al. Jupiter: Fast and resource-efficient collaborative inference of generative LLMs on edge devices[C]//Proc of IEEE Conf on Computer Communications (IEEE INFOCOM 2025). Piscataway, NJ: IEEE, 2025: 1−10, articleTitle=null, refAbstract=null), Reference(id=1329420223356187474, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=26, rfOrder=25, authorNames=null, journalName=null, refType=null, unstructuredReference=Wei Yuanxin, Ye Shengyuan, Jiang Jiazhi, et al. Communication-efficient model parallelism for distributed in-situ Transformer inference[C]//Proc of 2024 Design, Automation & Test in Europe Conference & Exhibition (DATE). Piscataway, NJ: IEEE, 2024: 1−6, articleTitle=null, refAbstract=null), Reference(id=1329420223431684947, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=27, rfOrder=26, authorNames=null, journalName=null, refType=null, unstructuredReference=Ye Shengyuan, Zeng Liekang, Chu Xiaowen, et al. Asteroid: Resource-efficient hybrid pipeline parallelism for collaborative DNN training on heterogeneous edge devices[C]//Proc of the 30th Annual Int Conf on Mobile Computing and Networking. New York: ACM, 2024: 312−326, articleTitle=null, refAbstract=null), Reference(id=1329420223490405204, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=28, rfOrder=27, authorNames=null, journalName=null, refType=null, unstructuredReference=Zhu Zilin. Ring flash attention[CP/OL]. GitHub repository[2026-02-28]. https://github.com/zhuzilin/ring-flash-attention, articleTitle=null, refAbstract=null), Reference(id=1329420223549125461, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=29, rfOrder=28, authorNames=null, journalName=null, refType=null, unstructuredReference=Brandon W, Nrusimha A, Qian K, et al. Striped attention: Faster ring attention for causal transformers[EB/OL]. arXiv: 2311.09431[2026-02-28]. https://arxiv.org/abs/2311.09431, articleTitle=null, refAbstract=null), Reference(id=1329420223624622934, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=30, rfOrder=29, authorNames=null, journalName=null, refType=null, unstructuredReference=Li Shenggui, Xue Fuzhao, Baranwal C, et al. Sequence parallelism: Long sequence training from system perspective[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2023: 2391−2404, articleTitle=null, refAbstract=null), Reference(id=1329420223704314711, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=31, rfOrder=30, authorNames=null, journalName=null, refType=null, unstructuredReference=Liu Zichang, Wang Jue, Dao T, et al. Deja vu: Contextual sparsity for efficient LLMs at inference time[C]//Proc of Int Conf on Machine Learning. New York: PMLR, 2023: 22137−22176, articleTitle=null, refAbstract=null), Reference(id=1329420223771423576, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=32, rfOrder=31, authorNames=null, journalName=null, refType=null, unstructuredReference=Jacobs S, Tanaka M, Zhang Chengming, et al. Deepspeed ulysses: System optimizations for enabling training of extreme long sequence transformer models[EB/OL]. arXiv: 2309.14509[2026-02-28]. https://arxiv.org/abs/2309.14509, articleTitle=null, refAbstract=null), Reference(id=1329420223851115353, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=33, rfOrder=32, authorNames=null, journalName=null, refType=null, unstructuredReference=NVIDIA. Jetson-Nano[EB/OL]. [2026-02-28]. https://developer.nvidia.com/embedded/jetson-nanodeveloper-kit, articleTitle=null, refAbstract=null), Reference(id=1329420223930807130, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=34, rfOrder=33, authorNames=null, journalName=null, refType=null, unstructuredReference=NVIDIA. Jetson-TX2[EB/OL]. [2026-02-28]. https://developer.nvidia.com/embedded/jetson-tx2, articleTitle=null, refAbstract=null)], funds=null, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])], figs=[ArticleFig(id=1329420219459679009, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 1, caption=Architectural comparative diagram between dense Transformer and sparse MoE model, figureFileSmall=mMgcbYb4L0+hRWpmEruvTA==, figureFileBig=Ik8J5mTWPMEZIdxmUz9exw==, tableContent=null), ArticleFig(id=1329420219535176482, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图1, caption=稠密 Transformer 与稀疏 MoE 模型架构对比图, figureFileSmall=mMgcbYb4L0+hRWpmEruvTA==, figureFileBig=Ik8J5mTWPMEZIdxmUz9exw==, tableContent=null), ArticleFig(id=1329420219778446115, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 2, caption=Storage architecture diagram and execution timeline of swapping-based MoE inference system, figureFileSmall=D/TvZLAx2wjXrDrqmzIWEQ==, figureFileBig=vn2mj3I+3zkc936dK4HOzg==, tableContent=null), ArticleFig(id=1329420219874915108, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图2, caption=基于交换的MoE推理系统存储架构图及执行时间线, figureFileSmall=D/TvZLAx2wjXrDrqmzIWEQ==, figureFileBig=vn2mj3I+3zkc936dK4HOzg==, tableContent=null), ArticleFig(id=1329420219946218278, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 3, caption=System architecture of Sirius, figureFileSmall=JdOUQYsXyXahx73pBTTeZw==, figureFileBig=22fRPktsEWTUCY8J1O2zgA==, tableContent=null), ArticleFig(id=1329420220025910055, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图3, caption=Sirius 系统架构图, figureFileSmall=JdOUQYsXyXahx73pBTTeZw==, figureFileBig=22fRPktsEWTUCY8J1O2zgA==, tableContent=null), ArticleFig(id=1329420220172710696, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 4, caption=Sequence parallelism communication optimization based on interleaved partitioning, figureFileSmall=weJpDaqcc/IKePgceYwthQ==, figureFileBig=Q6Q7M7L8df90hry2oO4mWA==, tableContent=null), ArticleFig(id=1329420220252402473, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图4, caption=基于交错划分的序列并行通信优化, figureFileSmall=weJpDaqcc/IKePgceYwthQ==, figureFileBig=Q6Q7M7L8df90hry2oO4mWA==, tableContent=null), ArticleFig(id=1329420220306928426, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 5, caption=Feasibility analysis of speculative expert prefetching strategy, figureFileSmall=ZEGOJy+OCD0mRoawdyfgjQ==, figureFileBig=vVHbXEi2AK1JAdYBSy918A==, tableContent=null), ArticleFig(id=1329420220369842987, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图5, caption=推测性专家预取策略的可行性分析, figureFileSmall=ZEGOJy+OCD0mRoawdyfgjQ==, figureFileBig=vVHbXEi2AK1JAdYBSy918A==, tableContent=null), ArticleFig(id=1329420220436951852, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 6, caption=Computation-scheduling-I/O parallel execution in speculative expert prefetching strategies, figureFileSmall=LKChuG5TNfH0dXjlR4Q9vQ==, figureFileBig=rFGPASrasIbRRp91/YoyIw==, tableContent=null), ArticleFig(id=1329420220554392365, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图6, caption=推测性专家预取策略中的计算-调度-I/O 并行执行, figureFileSmall=LKChuG5TNfH0dXjlR4Q9vQ==, figureFileBig=rFGPASrasIbRRp91/YoyIw==, tableContent=null), ArticleFig(id=1329420220621501230, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 7, caption=End-to-end performance comparison, figureFileSmall=M4p4zOml7YavCMoMcEWf7A==, figureFileBig=nsR8LNhNPvmtc9IzuqUHOg==, tableContent=null), ArticleFig(id=1329420220692804399, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图7, caption=端到端性能对比, figureFileSmall=M4p4zOml7YavCMoMcEWf7A==, figureFileBig=nsR8LNhNPvmtc9IzuqUHOg==, tableContent=null), ArticleFig(id=1329420220772496176, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 8, caption=Effectiveness analysis of sequence parallelism optimization for attention modules, figureFileSmall=acApQnN1kRvzYJYWelc1Dg==, figureFileBig=4Yt0E43OXbzf9wJGFawS9Q==, tableContent=null), ArticleFig(id=1329420220852187953, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图8, caption=注意力模块序列并行优化效果分析, figureFileSmall=acApQnN1kRvzYJYWelc1Dg==, figureFileBig=4Yt0E43OXbzf9wJGFawS9Q==, tableContent=null), ArticleFig(id=1329420220940268338, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Figure 9, caption=Effectiveness analysis of Token scheduling strategy for MoE layers, figureFileSmall=8M/1ODdypg+vQhYbxRrvww==, figureFileBig=M65MyLANS/T+O7zaDJqViQ==, tableContent=null), ArticleFig(id=1329420221024154419, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=图9, caption=MoE 层Token调度策略效果分析, figureFileSmall=8M/1ODdypg+vQhYbxRrvww==, figureFileBig=M65MyLANS/T+O7zaDJqViQ==, tableContent=null), ArticleFig(id=1329420221112234804, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Table 1, caption=

Hardware Resources and System Environment Configuration of Different Devices

, figureFileSmall=null, figureFileBig=null, tableContent=
硬件参数Jetson NanoJetson TX2
CPUCortex-A57Denver 2 + Cortex-A57
GPU128-core
NVIDIA Maxwell
256-core
NVIDIA Pascal
单精度浮点算力/GFLOPS4721330
显存/GB88
功耗/W1020
), ArticleFig(id=1329420221208703797, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=表1, caption=

不同设备的硬件资源和系统环境配置

, figureFileSmall=null, figureFileBig=null, tableContent=
硬件参数Jetson NanoJetson TX2
CPUCortex-A57Denver 2 + Cortex-A57
GPU128-core
NVIDIA Maxwell
256-core
NVIDIA Pascal
单精度浮点算力/GFLOPS4721330
显存/GB88
功耗/W1020
), ArticleFig(id=1329420221376475958, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=EN, label=Table 2, caption=

Effectiveness of Experts Prefetching

, figureFileSmall=null, figureFileBig=null, tableContent=
平均时延/sMixtral-8x7BQwen3-30B
序列长度
为1000
序列长度
为3000
序列长度
为1000
序列长度
为3000
无预取0.631.340.270.38
LRU算法0.511.180.230.34
本文方案0.351.060.150.26
), ArticleFig(id=1329420221456167735, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, language=CN, label=表2, caption=

专家预取有效性

, figureFileSmall=null, figureFileBig=null, tableContent=
平均时延/sMixtral-8x7BQwen3-30B
序列长度
为1000
序列长度
为3000
序列长度
为1000
序列长度
为3000
无预取0.631.340.270.38
LRU算法0.511.180.230.34
本文方案0.351.060.150.26
)], attaches=null, journal=Journal(id=1324759606947315908, delFlag=0, nameCn=计算机研究与发展, nameEn=Journal of Computer Research and Development, nameHistory1=null, nameHistory2=null, issn=1000-1239, eissn=null, cn=11-1777/TP, coden=null, periodic=0, language=CN, oaType=null, ccby=null, superviseOffice=null, ownerOffice=null, pubOffice=null, editorOffice=null, officeType=null, aims=null, clcCode=null, officeProv=null, officeCity=null, officeAddr=null, officeZip=null, officeEmail=null, officePhone=null, editDirector=null, officeDirector=null, officeDirectorPhone=null, officeStaffNum=null, officeEmpNum=null, coverPicUrl=k2l8zgqwstuxxevFX2qxVA==, journalPrice=null, startedYear=null, abbrevIsoEn=Journal of Computer Research and Development, journalRemark=null, publicationField=null, createdTime=1793776903141, updatedTime=1793850698612, createdBy=18614031015, updatedBy=13701087609, firstLetterCn=J, firstLetterEn=J, subjectCode=Electronic Information, subjectName=null, subjectCodeEn=Electronic Information, subjectNameEn=null, picCn=k2l8zgqwstuxxevFX2qxVA==, picEn=r6k0Ry+RD+c/VXj5QarmDw==, jcr=null, cjcr=null, exts=[JournalExt(id=1325069127710286688, language=CN, name=计算机研究与发展, nameHistory1=null, nameHistory2=null, managedBy=, sponsoredBy=, publishedBy=, editorOffice=, officeProv=null, officeCity=null, officeAddr=, officeZip=, editDirector=, officeDirector=null, officePhone=null, coverPicUrl=null, journalRemark=, submitArticleUrl=null, websiteUrl=, createdTime=1793850698640, updatedTime=1793850698640, createdBy=13701087609, updatedBy=13701087609, submissionGuidelinesUrl=, submissionAuthorUrl=https://crad.ict.ac.cn/journalx/authorLogOn.action, submissionEditorUrl=https://crad.ict.ac.cn/journalx/editorLogOn.action, submissionReviewUrl=https://crad.ict.ac.cn/journalx/expertLogOn.action, submissionCeEditorUrl=https://crad.ict.ac.cn/journalx/editorInChiefLogOn.action, submissionAeEditorUrl=, option={"copyright":""}), JournalExt(id=1325069127777395553, language=EN, name=Journal of Computer Research and Development, nameHistory1=null, nameHistory2=null, managedBy=, sponsoredBy=, publishedBy=, editorOffice=, officeProv=null, officeCity=null, officeAddr=, officeZip=, editDirector=, officeDirector=null, officePhone=null, coverPicUrl=null, journalRemark=, submitArticleUrl=null, websiteUrl=, createdTime=1793850698656, updatedTime=1793850698656, createdBy=13701087609, updatedBy=13701087609, submissionGuidelinesUrl=, submissionAuthorUrl=https://crad.ict.ac.cn/journalx/authorLogOn.action, submissionEditorUrl=https://crad.ict.ac.cn/journalx/editorLogOn.action, submissionReviewUrl=https://crad.ict.ac.cn/journalx/expertLogOn.action, submissionCeEditorUrl=https://crad.ict.ac.cn/journalx/editorInChiefLogOn.action, submissionAeEditorUrl=, option={"copyright":""})], databaseList=null, tenantJournalId=1324759914146529478, websiteList=[Website(id=1325070300139892771, webName=null, webTitle=null, webDomain=null, webCopyrigh=null, webIpcNo=null, seoTitle=null, seoKeywords=null, seoDescription=null, tenantJournalId=null, journalId=1324759914146529478, journalNameCn=null, journalNameEn=null, grayFlag=null, tenantId=1146029695717560320, platformId=null, journalGroupId=null, journalGroupNameCn=null, journalGroupNameEn=null, type=1, domain=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN, language=CN, createTime=1793850978169, createBy=18614031015, updateTime=1793851040259, updateBy=18614031015, name=计算机研究与发展-中文, tplId=1146099689490845704, title=计算机研究与发展, delFlag=0, indexPage=/home, props=[WebsiteProps(id=1325070893751349360, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=articleTextType, value=kx, createTime=1793851119697, updateTime=1793851119697, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893730377837, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=banner, value=null, createTime=1793851119692, updateTime=1793851119692, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893772320883, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=grayFlag, value=0, createTime=1793851119702, updateTime=1793851119702, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893721989228, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=logo, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/file/pic?fileId=U27tDsy717YF7XSPA+Vwdw==, createTime=1793851119690, updateTime=1793851119690, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893784903797, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=minRunFlag, value=0, createTime=1793851119705, updateTime=1793851119705, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893742960751, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=picServerUrl, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/file/pic, createTime=1793851119695, updateTime=1793851119695, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893780709492, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=silenceFlag, value=0, createTime=1793851119704, updateTime=1793851119704, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893738766446, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=staticResourcePath, value=https://castjournals.cast.org.cn/joweb/cast_kjdb_cn_619/, createTime=1793851119694, updateTime=1793851119694, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893755543665, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=themeColor, value=null, createTime=1793851119698, updateTime=1793851119698, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893763932274, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=themeStyle, value=null, createTime=1793851119700, updateTime=1793851119700, creator=18614031015, updator=18614031015)]), Website(id=1325070300580294698, webName=null, webTitle=null, webDomain=null, webCopyrigh=null, webIpcNo=null, seoTitle=null, seoKeywords=null, seoDescription=null, tenantJournalId=null, journalId=1324759914146529478, journalNameCn=null, journalNameEn=null, grayFlag=null, tenantId=1146029695717560320, platformId=null, journalGroupId=null, journalGroupNameCn=null, journalGroupNameEn=null, type=1, domain=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN, language=EN, createTime=1793850978274, createBy=18614031015, updateTime=1793851036638, updateBy=18614031015, name=计算机研究与发展-英文, tplId=1146101810881728533, title=Journal of Computer Research and Development, delFlag=0, indexPage=/home, props=[WebsiteProps(id=1325070925288321148, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=articleTextType, value=kx, createTime=1793851127216, updateTime=1793851127216, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925263155321, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=banner, value=null, createTime=1793851127210, updateTime=1793851127210, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925309292671, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=grayFlag, value=0, createTime=1793851127221, updateTime=1793851127221, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925254766712, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=logo, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/file/pic?fileId=U27tDsy717YF7XSPA+Vwdw==, createTime=1793851127208, updateTime=1793851127208, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925326069889, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=minRunFlag, value=0, createTime=1793851127225, updateTime=1793851127225, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925279932539, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=picServerUrl, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/file/pic, createTime=1793851127214, updateTime=1793851127214, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925317681280, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=silenceFlag, value=0, createTime=1793851127223, updateTime=1793851127223, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925271543930, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=staticResourcePath, value=https://castjournals.cast.org.cn/joweb/cast_kjdb_en_623/, createTime=1793851127212, updateTime=1793851127212, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925292515453, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=themeColor, value=null, createTime=1793851127217, updateTime=1793851127217, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925300904062, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=themeStyle, value=null, createTime=1793851127219, updateTime=1793851127219, creator=18614031015, updator=18614031015)])], journalTitle=计算机研究与发展, weixinUrl=null, journalUrl=https://crad.ict.ac.cn/, iacademicId=null, status=1, seqNo=null, journalTitleEn=Journal of Computer Research and Development, journalPhotoCn=k2l8zgqwstuxxevFX2qxVA==, journalPhotoEn=r6k0Ry+RD+c/VXj5QarmDw==, journalFirstLetter=J, journalRecommend=null, journalNew=null, journalCollection=null, jcrJf=null, cjcrJf=null, jcrJfStr=null, cjcrJfStr=null, submissionFirstDecision=null, sciSubjectClassification=null, casSubjectClassification=null, citeScore=null, totalCitationFrequency=null, icpCode=null, psCode=null, advertisingLicenseCode=null, copyrightInformation=null, country=null, option=, provinceCode=null, provinceName=null, collectFlag=false, interPubPlatform=, interPubPlatformUrl=null), detailUrlCn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/10.7544/issn1000-1239.202660131, detailUrlEn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/10.7544/issn1000-1239.202660131, pdfUrlCn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/PDF/10.7544/issn1000-1239.202660131, pdfUrlEn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/PDF/10.7544/issn1000-1239.202660131, aliStartDate=0, aliEndDate=0, collectionFlag=false, citedCount=null, citedUrl=null, previewStatus=0, delFlag=0, hasFullText=1, orderTime=1785513600000, fullTextJson=null, articleText=null, reference=null)
收藏切换
面向边缘算力网络的混合专家模型协同推理系统
叶盛源 , 梁涵 , 陈旭 *
计算机研究与发展 | AI算力网:系统与关键应用专题 2026,63(8): 1988-2004
收起
收藏切换
计算机研究与发展 |AI算力网:系统与关键应用专题 2026 , 63 (8) : 1988 -2004
面向边缘算力网络的混合专家模型协同推理系统
全屏
[Author(id=1329420217836483337, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=yeshy8@mail2.sysu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329420217920369419, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420217836483337, language=EN, stringName=Shengyuan Ye, firstName=Shengyuan, middleName=null, lastName=Ye, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

"}, bioImg=null, bioContent=

born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218000061196, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420217836483337, language=CN, stringName=叶盛源, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=中山大学计算机学院 广州 510006, bio={"img":"xKtgRwfvMrAPzWV/qRmWGQ==","content":"

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

"}, bioImg=xKtgRwfvMrAPzWV/qRmWGQ==, bioContent=

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])]), Author(id=1329420218062975758, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=null, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329420218159444752, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218062975758, language=EN, stringName=Han Liang, firstName=Han, middleName=null, lastName=Liang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

"}, bioImg=null, bioContent=

born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218230747921, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218062975758, language=CN, stringName=梁涵, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=中山大学计算机学院 广州 510006, bio={"img":"hCw/RWfkPOO9Dzx/rq9HnA==","content":"

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

"}, bioImg=hCw/RWfkPOO9Dzx/rq9HnA==, bioContent=

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])]), Author(id=1329420218310439699, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=chenxu35@mail.sysu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1329420218398520085, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218310439699, language=EN, stringName=Xu Chen, firstName=Xu, middleName=null, lastName=Chen, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=*, address=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, bio={"content":"

born in 1986. Professor. His main research interests include edge computing and large language model systems

"}, bioImg=null, bioContent=

born in 1986. Professor. His main research interests include edge computing and large language model systems

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329420218469823254, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, authorId=1329420218310439699, language=CN, stringName=陈旭, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=*, address=中山大学计算机学院 广州 510006, bio={"img":"gWwNxl1Mq1iNkBmhoSRBpw==","content":"

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

"}, bioImg=gWwNxl1Mq1iNkBmhoSRBpw==, bioContent=

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329420217748402949, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, xref=null, ext=[AuthorCompanyExt(id=1329420217760985862, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006), AuthorCompanyExt(id=1329420217769374471, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329420214787224295, companyId=1329420217748402949, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=中山大学计算机学院 广州 510006)])])]
叶盛源 , 梁涵, 陈旭*
作者信息
  • 中山大学计算机学院 广州 510006
通讯作者:
作者简介:

作者贡献声明

叶盛源负责文献调研、方案整体设计和论文撰写;梁涵负责部分算法思路和实验方法;陈旭提出指导意见并修改论文。

1999年生。博士研究生。主要研究方向为移动边缘计算、分布式机器学习系统、大语言模型

2001年生。博士研究生。主要研究方向为移动边缘计算、分布式训练系统、多模态大语言模型应用

1986年生。教授。主要研究方向为边缘计算、大语言模型系统

Collaborative MoE Inference System over Edge Computility Networks
Shengyuan Ye , Han Liang, Xu Chen*
Affiliations
  • School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006
  • born in 1999. PhD candidate. His main research interests include mobile edge computing, distributed machine learning systems, and large language models

    born in 2001. PhD candidate. His main research interests include edge computing, distributed training systems, and multimodal large language model applications

    born in 1986. Professor. His main research interests include edge computing and large language model systems

出版时间: 2026-08-01 doi: 10.7544/issn1000-1239.202660131
文章导航
收藏切换

混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻挑战。现有本地MoE服务系统采用专家交换策略,将非活跃专家卸载至二级存储并按需加载。随着LLM支持的上下文窗口不断扩展,用户输入也相应变长,预填充阶段面临关键瓶颈:长输入序列几乎激活所有专家,全量专家交换产生大量I/O流量,导致首词时延(time to first token,TTFT)显著延长。在智能家居、智能工厂等典型边缘场景中,平板电脑、笔记本电脑及各类家庭智能设备等多类可信终端通过局域网彼此互联,共同构成一张泛在的边缘算力网络(edge computility network,ECN)。边缘算力网络中各节点均携带大量闲置的算力、内存容量与I/O带宽资源,为汇聚分布式资源、突破单设备瓶颈提供了重要机遇。Sirius是一种面向边缘算力网络的混合专家模型协同推理系统,通过跨节点的协同调度汇聚资源,加速预填充阶段并降低TTFT。具体而言,设计了3项关键技术:1)基于交错划分的序列并行策略,解决因果注意力计算中的工作负载不均衡问题,最大化通信-计算重叠;2)自适应Token调度机制,联合考虑计算开销、交换时延和专家缓冲区缓存状态,充分利用集体I/O带宽并实现负载均衡;3)推测性专家预取方案,利用相邻层隐藏状态的高相似性提前预测专家激活,将专家加载与计算重叠,有效隐藏I/O时延。在真实边缘算力网络平台上,针对 Mixtral-8x7B 与 Qwen3-30B-A3B 的实验表明,Sirius 相比现有基线方法实现了 1.2~4.0 倍的推理吞吐量提升。

混合专家模型  /  边缘算力网络  /  协作推理  /  序列并行  /  专家交换

MoE (mixture of expert) architectures have become a widely recognized paradigm for scaling large language models (LLMs), and have been adopted by many frontier models deployed at the network edge. However, deploying MoE-based LLMs on resource-constrained edge devices remains challenging due to their massive parameter sizes, which often exceed the memory capacity of individual platforms. Existing in-situ MoE serving systems adopt expert swapping strategies that offload inactive experts to secondary storage and load them on demand. As LLMs support increasingly longer context windows with correspondingly longer user inputs, the prefilling phase faces a critical bottleneck: long input sequences activate nearly all experts, and the resulting full-scale expert swapping generates substantial I/O traffic, leading to prolonged TTFT (time to first token) latency. Typical edge environments, such as smart homes and smart factories, comprise multiple trusted interconnected devices, including tablets, laptops, and smart home appliances connected via local area networks. These devices collectively form a pervasive edge computility network (ECN), where each node carries underutilize computing power, memory capacity, and I/O bandwidth. This motivates us to harness the aggregated resources of the ECN through coordinated cross-node scheduling. This paper presents Sirius, a collaborative MoE inference system for edge computility networks that pools the collective resources across ECN nodes to accelerate the prefilling phase and reduce TTFT. Specifically, Sirius proposes three key techniques: 1) an interleaved sequence partitioning strategy that resolves workload imbalance in causal attention computation and maximizes communication-computation overlap; 2) an adaptive token scheduling mechanism that jointly considers computation overhead, swap latency, and expert buffer cache states to fully utilize collective I/O bandwidth while achieving load balance; 3) a speculative expert prefetching scheme that exploits the high similarity between adjacent-layer hidden states to overlap expert loading with computation, effectively hiding I/O latency. Experiments on real-world ECN platforming with Mixtral-8x7B and Qwen3-30B-A3B demonstrate that Sirius achieves 1.2–4.0 times inference throughput improvement over state-of-the-art baselines.

MoE  /  edge computility network  /  collaborative inference  /  sequence parallelism  /  expert swapping
叶盛源, 梁涵, 陈旭. 面向边缘算力网络的混合专家模型协同推理系统. 计算机研究与发展, 2026 , 63 (8) : 1988 -2004 . DOI: 10.7544/issn1000-1239.202660131
Shengyuan Ye, Han Liang, Xu Chen. Collaborative MoE Inference System over Edge Computility Networks[J]. Journal of Computer Research and Development, 2026 , 63 (8) : 1988 -2004 . DOI: 10.7544/issn1000-1239.202660131
凭借动态稀疏激活机制,混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型采用(如 DeepSeek-V3[1]、Qwen3[2]、Kimi-K2[3])。这些基于 MoE 的模型在复杂语言处理、对话应用以及新兴的智能体场景中展现出卓越性能,正在重塑机器智能。
尽管 MoE 架构最初诞生于数据中心,但基于 MoE 的 LLM 已快速下沉至边缘设备,并在网络边缘催生了一系列智能应用,如聊天机器人和智能家居 AI 智能体[4-5]。智能个人助手领域的一项近期调研[6]显示,超过 80% 的专家认为这些应用不应完全依赖云端服务。受访者主要关注3个方面:1)将敏感用户数据传输至商业云基础设施所带来的潜在隐私风险;2)远程 MoE 服务的显著时延,特别是在网络连接受限的边缘环境中;3)使用云端托管 MoE API 服务所产生的可观运营成本。因此,在本地边缘环境中自托管这些基于 MoE 的 LLM 受到越来越多关注,包括个人电脑、智能手机以及边缘计算平台(如 Raspberry Pi 和 NVIDIA Jetson 系列)[7-10]。
然而,由于 MoE 模型的参数量巨大,在单一边缘设备上部署 MoE 模型面临严峻挑战。即使在云数据中心内,前沿的开源 MoE 模型通常也需要多块高端 GPU(如 NVIDIA H100)以支持高效推理。例如,Mixtral-8×7B[11]包含 46.7B 参数。即使采用 INT4 量化,仍需要近 24 GB 内存以容纳模型权重,这一需求超出了大多数边缘平台的内存容量。该约束进一步加剧,因为边缘设备还需运行操作系统和其他移动应用,从而压缩了可用内存预算。
为突破内存墙,近期的端侧 MoE 服务系统采用了一种类似操作系统的内存交换策略[7-10,12],称为专家交换(expert swapping)。这些系统将注意力模块和少量频繁访问的专家保留在主内存中,同时将剩余的冷专家从速度快但容量有限的主内存卸载至二级存储(如磁盘)。在 MoE 推理过程中,由于专家被稀疏激活,系统仅按需将激活的专家从二级存储加载至主内存。该策略在逐Token的自回归解码阶段有效,因为每个解码步骤仅激活少量专家。然而,该策略在预填充(prefilling)阶段效果不佳。随着 LLM 支持更长的上下文窗口(如 DeepSeek-V3[1]最大长度为 128000 Tokens),用户提供的输入也相应变长(如 Mooncake-Trace[13]平均输入长度为 12000 Tokens)。扩展的输入序列导致所有专家被激活,需要将所有专家交换至主内存进行推理,由此产生的 I/O 时延构成显著的性能瓶颈,导致首词时延(time to first token,TTFT)明显延长。
本文观察到,典型的边缘场景(如智能家居、智能工厂)中广泛存在多类可信终端设备,如平板电脑、笔记本电脑及各类家庭智能设备。这些设备通过局域网或近场无线链路彼此互联,在物理上与主推理设备紧密毗邻,共同构成一张广泛分布的边缘算力网络(edge computility network,ECN)。从算力网络视角审视,这张泛在算力网络中的每个节点均携带着未被充分利用的算力、内存容量与 I/O 带宽资源。这使得将多个边缘节点的集体计算能力、内存容量和 I/O 带宽加以汇聚与协同调度成为可能,从而以分布式方式支撑高效的端侧 MoE 推理,有效加速预填充阶段并降低 TTFT。然而,在多边缘设备协作环境中实现高效的 MoE 推理仍面临若干关键挑战:
1)注意力模块的序列并行通信开销。生成式LLM采用因果解码器架构,其单向注意力掩码要求每个输入Token关注所有前置Token。在序列并行推理中,设备间需要交换键值矩阵以确保计算正确性,这引入了额外的通信开销。传统的连续序列划分方式导致严重的负载不均衡——在因果注意力计算中,部分设备的工作负载被掩码完全覆盖而无需计算,而其他设备则需处理完整负载,造成边缘资源利用率低下。
2)MoE 模块的Token分发与 I/O 带宽利用。在多设备协作场景下,Token分发策略直接影响系统性能。一种直观的数据中心(data-centric,DC)范式让每个设备独立处理其本地子序列,但可能导致同一专家被重复换入多个设备,造成冗余的 I/O 带宽消耗。另一种专家中心(expert-centric,EC)范式为每个设备分配固定专家子集,但专家流行度的不均匀分布可能导致严重的负载不均衡,产生拖尾设备。如何在充分利用集体 I/O 带宽的同时实现计算负载均衡,成为降低 MoE 层推理时延的关键挑战。
3)专家交换与计算的串行依赖。在采用专家交换的 MoE 推理中,数据依赖迫使专家计算必须等待专家权重换入完成。与密集模型不同,MoE 模型在每一层根据当前层输出动态选择激活的专家,系统必须等待当前层计算完成以及确定专家选择结果后,才能开始加载下一层所需的专家。这种层间的动态依赖使得传统的预取策略难以直接应用,I/O 时延成为推理系统的潜在瓶颈。
针对上述挑战,本文提出 Sirius,一种面向边缘算力网络的资源高效协作 MoE 推理系统。Sirius 采用序列并行推理架构,将输入序列划分为多个子序列,在多个边缘设备上并行处理,从而加速预填充阶段并降低 TTFT。具体而言,本文设计了3项关键技术:1)基于交错划分的序列并行通信优化,通过创新的序列划分机制解决因果注意力计算中的工作负载不均衡问题,实现通信-计算的高效重叠;2)自适应Token调度策略,通过动态调度Token的设备分配,在充分利用集体 I/O 带宽的同时实现计算负载的均衡分配;3)推测性专家预取机制,利用相邻层隐藏状态的高相似性提前预测专家激活结果,实现计算、调度与 I/O 的并行执行,有效缓解专家交换带来的 I/O 开销。本文的主要贡献总结如下:
1)提出了 Sirius,一种面向边缘算力网络的资源高效协作 MoE 推理系统。Sirius 采用序列并行推理架构,协调边缘算力网络中多个节点的集体计算能力、内存容量和 I/O 带宽,实现高效的分布式 MoE 推理,有效降低预填充阶段的TTFT。
2)采用了基于交错划分的序列并行策略,将输入序列重新组织为交错子序列,确保每个设备在每个计算迭代中处理均匀分布的Token子集,从而实现近似均衡的工作负载分配,最大化通信-计算重叠效率。
3)提出了自适应Token调度策略,在决定Token放置时联合考虑计算开销、交换时延和专家缓冲区的当前缓存状态,通过贪心启发式算法高效求解最小化最大设备时延的优化目标,充分发挥多设备的集体 I/O 带宽优势。
4)设计了推测性专家预取机制,利用 Transformer 架构中相邻层隐藏状态的高相似性,在当前层计算执行期间提前预测下一层的专家激活结果并进行预取,实现计算-调度- I/O 的流水线并行执行,显著缩短关键路径上的等待时间。
5)在真实边缘算力网络平台上,针对 Mixtral-8x7B 与 Qwen3-30B两种模型开展系统评估,实验结果表明 Sirius 相比现有基线方法实现了1.2~4.0 倍的推理吞吐量提升。
凭借稀疏激活特性,MoE 模型在端侧应用中展现出独特优势。与稠密 Transformer 模型不同,MoE 模型在推理过程中并不激活全部参数,而是依据输入Token的特征动态激活少量最相关的专家,显著降低了计算量与内存消耗,使其天然契合资源受限的边缘设备部署需求。然而,边缘部署 MoE 模型面临参数规模与设备资源受限之间的深层矛盾:前沿 MoE 模型的参数量往往达到数十至数百亿规模,即使经过量化压缩也难以完整驻留于单一边缘设备的内存中。此外,如何在多设备协作场景下充分协调集体资源并维持高效推理,亦是一个具有挑战性的研究问题。本节将介绍与上述问题相关的若干代表性工作,主要涵盖端侧 MoE 推理系统(1.1节)与云数据中心 MoE 推理并行架构(1.2节)两个方向。
随着边缘智能应用的快速兴起以及 MoE 架构在效率上的内在优势,如何在单一端侧设备上高效部署 MoE 模型已成为一个备受工业界和学术界关注的研究方向。MoE 模型的运行时内存开销显著,一类工作从模型压缩角度出发,通过量化技术降低内存需求并加速推理。D2MoE[10]提出了 Matryoshka 权重量化(Matryoshka weight quantization,MWQ)方法,以嵌套位宽的方式对专家权重进行渐进式压缩,并引入“热专家优先”(hottest expert bit first)启发式调度策略,在受限内存预算下通过优化 I/O 与计算重叠流水线最大化专家并行度,有效消除 I/O 等待引起的时间气泡。Lu 等人[14]观察到 MoE 模型各专家对推理精度的贡献并不均等,提出了专家级稀疏性(expert level sparsity)机制,在推理运行时动态识别并跳过对精度影响较小的专家,在减少计算量的同时维持推理质量。PowerInfer[15]则从神经网络计算稀疏性出发,识别并保留高频激活的神经元,将低频神经元的计算卸载至 CPU 侧执行,通过设计 GPU-CPU 混合推理引擎,在消费级硬件上实现了加速推理。
然而,对于参数规模更大的 MoE 模型,即便经过量化压缩,单一边缘设备的内存仍难以容纳完整权重。为此,另一类工作采用了专家交换机制,类似操作系统的内存分页策略,将非活跃专家卸载至外部存储,按需换入。EdgeMoE[8]利用存储层次结构,将非专家权重驻留于设备内存,仅在专家被激活时从外部存储动态加载;同时依据各专家对推理精度的重要性评估差异化地选择量化位宽,在降低 I/O 开销的同时减少精度损失。Kong 等人[7]同样发现专家重要性存在显著差异,提出维护工作参数集,将工作参数集之外的专家参数卸载至磁盘,并通过周期性更新工作参数集成员以适应不同输入带来的专家访问模式变化。Fang 等人[16]进一步观察到,慢速存储介质上的 I/O 延迟是基于卸载方案的核心瓶颈,设计了 I/O 与计算的重叠执行机制,通过推测性预加载后续可能激活的专家来有效隐藏 I/O 时延。但是,上述工作均受限于单台设备的算力、内存容量与 I/O 带宽,在处理长输入序列时面临较大的时延压力。若能充分挖掘局域网中邻近边缘设备的集体资源,则可突破单台设备的资源瓶颈。这促使本文利用邻近边缘设备的集体计算能力、内存容量与 I/O 带宽,以分布式方式协调多设备,实现高效的端侧 MoE 推理。
MoE 架构模型在云数据中心的大规模部署催生了多种分布式推理并行方案。为提升吞吐量、降低推理延迟并充分利用 GPU 集群资源,学术界与工业界提出了多类并行架构。Google团队在GPipe[17]中提出流水线并行方案,在 Transformer 模型层间进行划分,将整个模型的计算拆解为多个流水线阶段,各节点仅负责其中1个阶段的计算,节点间仅需传递中间激活值,通信开销可以被各流水线阶段的计算过程重叠掩盖起来。微软团队的 Megatron-LM[18]提出张量并行方案,将单个神经网络层的参数切分至多台机器并行计算,各机器的计算结果不完整,需在每次计算完成后进行一次结果同步;张量并行能显著降低各节点的内存占用,但引入了较高的通信开销,通常应用于具备高速节点内互联的场景。新加坡国立大学团队提出序列并行方案,每台设备维护完整的模型副本,将输入序列切分为多个子序列并行推理,但每个解码层均须执行2次集合通信操作以保证推理结果的正确性。
针对 MoE 架构,Google 团队在 GShard[19]中率先提出专家并行方案,将专家分配至不同设备,通过2次全对全(All-to-All)通信完成Token的分派与聚合。Tutel[20]采用混合并行架构,针对不同规模与结构的 MoE 模型设计了自适应切换机制,可动态选择最优的并行策略组合,在多样化的模型架构与推理负载下均保持较高效率。DeepSeek团队推出了大规模专家并行架构[1],令每张 GPU 仅负责极少量专家的计算,通过极细粒度的专家并行追求低延迟、高吞吐的推理性能。
然而,专家并行方案在实践中面临2个突出挑战。其一是 All-to-All 通信开销过大的问题:传统专家并行采用以专家为中心的范式,将专家固定于各设备,通过 All-to-All 通信在设备间传输中间激活数据以驱动专家计算;由于激活数据体量往往大于专家参数本身,通信开销随并行规模的扩大急剧攀升。对此,Janus[21]提出以数据为中心的新范式,改为将激活数据固定于各设备,转而在 GPU 间迁移专家参数,从而将通信量压缩至专家参数规模,有效降低 All-to-All 通信负载。其二是负载不均衡问题:门控网络的动态路由决策使不同专家在同一批次内接收到的Token数量差异悬殊,导致部分设备长时间空闲等待,严重削弱集群的整体利用率。SmartMoE[22]针对这一问题,构建了基于负载感知的性能建模框架,并结合在线自适应并行化机制,在离线阶段预先构建由若干可相互转换并行策略组成的策略池,在运行时依据当前实际负载分布从策略池中快速选取最优策略,实现并行方案的动态适配。
上述数据中心并行方案依托高速互联网络与充裕的 GPU 内存资源设计,难以直接迁移至带宽受限、设备异构的边缘环境。本文针对边缘场景的特点,在序列并行策略、Token调度机制以及专家预取方案3个层面进行了系统性重新设计,以适应多边缘设备协作推理的约束条件。
1)基于 Transformer 的稠密LLM。当前自然语言处理(natural language processing,NLP)的机器学习应用日益依赖基于 Transformer 的架构[23],该架构由多个堆叠的 Transformer 层组成,因其卓越的准确性而广泛应用。如图1(a)所示,标准密集 Transformer 层的架构。每层主要由多头注意力(multi-head attention,MHA)模块和前馈网络(feed-forward network,FFN)模块组成,通过逐元素操作(包括 Dropout、残差连接和层归一化)相互连接。在 MHA 模块内,初始线性投影为每个注意力头生成查询(Query,Q)、键(Key,K)和值(Value,V)表示。每个头独立执行自注意力,所得输出被拼接并通过最终线性投影形成层输出。FFN 模块应用2次连续的线性变换,首先将隐藏维度扩展至更高的中间尺寸,然后投影回原始维度。
2)基于MoE的稀疏LLM。基于Transformer的密集LLM的成功主要源于通过更深的 Transformer 层堆叠来扩展模型规模。然而,进一步增加模型容量的关键挑战是计算成本的快速增长。为解决该问题,MoE 架构利用结构稀疏性降低 LLM 的计算需求。通过仅为每个Token激活少量参数子集,MoE 在扩展模型规模的同时避免浮点运算(floating point operation,FLOP)的成比例增长。如图1(b)所示,稀疏 MoE 层的架构,通过将图1(a) 中密集层的原始 FFN 模块替换为 MoE 模块而得到。将 FFN 视为一个专家,该模块包含多个稀疏激活的专家,如图1(c)所示。添加可训练的门控网络,动态地将每个Token与所有专家中的Top-K个专家匹配。记$ {G}\left(x\right) $为输入Token $ {x} $的门控网络输出,$ {G}{\left(x\right)}_{i} $为分配给第$ {i} $个专家网络的门控权重,$ {E}_{i}\left(x\right) $为第$ {i} $个专家网络的输出,$ \cal T $为选定的 Top-K 索引集合。输入Token $ {x} $的 MoE 层输出$ {y} $可表示为:
$ y=\sum \limits_{i\in \mathcal{T}}G{(x)}_{i}{E}_{i}(x)\;。 $
1)采用专家交换的 MoE 推理。设备端 MoE 推理并非易事。MoE 模型包含极大量参数,其模型权重内存占用往往超出单一边缘平台的容量,而边缘平台的总内存通常在 2~24 GB,且还需容纳操作系统和其他移动应用。该挑战因需要在解码阶段为键值(key-value,KV)缓存预留额外内存预算而进一步加剧。例如,Mixtral-8×7B 模型包含 46.7B 参数,即使采用 INT4 量化,仍需要近 24 GB 内存以存储权重。在这些参数中,MoE 模块单独贡献约 46.1B,占总量的 98% 以上,而其余组件(包括多头注意力和门控函数)合计仅占约 2%。
为突破内存限制,近期端侧 MoE 推理系统借鉴操作系统虚拟内存机制,将非活跃专家参数卸载至二级存储(如固态硬盘),并根据激活情况按需换入,该方法称为专家交换。图2(a) 展示了采用专家交换的存储层次结构:非 MoE 模块常驻主内存,参数密集的 MoE 模块存储于二级存储,系统在主内存中维护专家缓冲区以保留少量热门专家,从而减少换入开销。图2(b) 为采用专家交换的 MoE 推理的执行时间线。在执行 MoE 模块之前,必须将激活的专家交换至主内存。为降低专家交换入的 I/O 开销,部分近期研究[7]跳过对精度贡献可忽略的专家,从而减少必须加载至主内存的专家数量。然而,识别可跳过专家仍是一个开放挑战。错误选择会显著降低推理精度。文献[9]设计了预取机制,如专家激活路径利用跨层专家选择频率的相关性。通过预取可能激活的专家,这些方法将计算与通信重叠以降低开销。
2)采用专家交换的 MoE 推理的局限性。上述专家交换优化在逐Token自回归解码阶段有效,该阶段每个步骤仅激活少量专家。例如,在包含 128 个专家且采用 Top-2 激活的 MoE 模型中(排除推测采样),每次推理每层最多需要交换2个专家。结合上述 I/O优化技术,仍能维持低时延推理。然而,专家交换策略在预填充阶段效果显著降低。现代 LLM支持极大的上下文窗口(例如,DeepSeek-V3 支持最多128000 Tokens 的序列,Kimi-K2 扩展至256000 Tokens),用户查询也相应变长(如 Mooncake-Trace平均输入长度为 12000 Tokens)。如此长的输入序列几乎激活每层的所有专家,迫使系统将每个专家从二级存储交换至主内存进行推理。这使得无法通过选择性交换激活的专家来利用 MoE 的稀疏激活特性,因为所有专家均被触发。由此产生的全量加载生成大量的I/O 流量,形成显著的性能瓶颈,并大幅增加TTFT。
3)机会与设计目标。面对预填充阶段的 I/O 瓶颈,单一边缘设备受限于有限的内存容量与 I/O 带宽,难以进一步优化。边缘场景的特点为突破该瓶颈提供了新思路:实际部署中往往存在多台物理邻近的可信设备[24-27],这些设备通过局域网互联构成分布式算力网络。本节利用这些邻近设备的闲置资源,将其计算能力、内存容量与 I/O 带宽汇聚协同,通过跨设备并行推理缓解单点资源约束,从而降低预填充阶段的 TTFT。基于上述思路,系统设计遵循以下目标:
①在多个边缘设备间并行化单序列推理,以降低预填充阶段的 TTFT1。 预填充阶段需处理完整输入序列,计算量随序列长度线性增长,构成 TTFT 的主要来源。通过序列并行将输入切分至多台设备协同处理,可有效分摊计算负载。与云端批处理服务不同,边缘场景通常仅服务单个或少量并发请求,系统需针对单请求时延而非批处理吞吐量进行优化。
②支持高效的专家交换,充分利用协作边缘设备的集体内存容量和 I/O 带宽。前沿 MoE 模型参数规模达几十至数百 GB,即使汇聚多台边缘设备的内存仍难以完整容纳,专家交换机制不可或缺。分布式环境下需解决专家在多设备间的分布与调度问题:既要避免同一专家在多个设备重复换入造成 I/O 浪费,又要防止专家访问倾斜导致的负载不均。系统需兼顾 I/O 带宽利用率与计算负载均衡,最大化集群资源效率。
③实现计算与 I/O 重叠的细粒度优化,以最小化开销。分布式推理产生通信开销,专家交换增加交换入成本,这些可能成为性能瓶颈。系统必须在细粒度上协调计算与 I/O,重叠操作并维持低时延推理。
本文提出 Sirius,一种面向边缘算力网络的混合专家模型协同推理系统。如图3所示,Sirius 采用序列并行推理架构,将输入序列划分为多个子序列,在多个边缘设备上并行处理。
1)MHA模块的并行设计。由于本文关注降低长序列预填充阶段的首次Token时延,因此采用序列并行推理架构处理注意力模块。如图3所示,输入序列被划分为 $ {n} $ 个等长的子序列:$ \left({s}_{0},{s}_{1},… {s}_{n-1}\right) $。以双设备为例,设备0处理$ {s}_{0}=\{{t}_{0},… {t}_{i-1}\} $,设备1处理$ {s}_{1}=\{{t}_{i},… {t}_{n-1}\} $,每个设备持有完整的MHA模块权重。生成式LLM通常采用因果解码器和单向注意力掩码,这要求每个输入Token在计算注意力时关注所有前置Token,这在序列并行中引入跨设备数据依赖。以设备 1 为例,计算 $ {s}_{1} $ 的注意力输出时需访问 $ {s}_{0} $ 的键值矩阵,这种数据依赖关系引入了额外的通信开销,迫使设备 1 必须等待设备 0 传输完整键值矩阵后才能开始计算,产生空闲等待气泡。更严重的是,因果掩码导致不同设备的计算量差异悬殊,后序设备的MHA机制计算规模远大于前序设备,形成负载倾斜。针对该问题,本节设计基于矩阵分块的交错划分策略,通过重组序列分配模式与细粒度的通信-计算流水线化,实现负载均衡与延迟隐藏(图3中①),详见3.2节。
2)MoE 模块的并行设计。每个子序列完成 MHA 计算后,每个Token通过门控函数,动态选择 Top-K 个专家进行激活。随后,通过All-to-All集合通信将Token分发到负责其计算的边缘设备。每个设备在本地二级存储中维护完整的专家集合,并根据其分配Token所需的专家,将选中的专家交换到主内存执行,当专家已在专家缓冲区中缓存时跳过传输。Token由分配的专家处理后,结果需要发送回其原始设备,这需要再次进行All-to-All通信。然而,上述工作流中仍存在2个关键问题:
1)Token分发面临关键挑战,因为次优分配可能阻碍计算和 I/O 带宽资源的充分利用。一种直观的数据中心范式将每个边缘设备分配执行其本地子序列的 MoE 模块,从二级存储中将由该子序列激活的专家换入到内存中。该方法在设备间平衡计算负载,但可能导致同一专家被换入到多个设备,造成冗余的 I/O 带宽消耗。另一种专家中心范式为每个设备分配固定、非重叠的专家子集进行推理,通过All-to-All通信将Token分发到负责其指定专家的设备。该范式避免了同一专家在多个设备内被重复换入,但专家流行度的不均匀可能导致负载不均衡:如果边缘设备被分配过多频繁激活的专家,其完成推理的时间可能显著更长,成为落后设备。为解决该问题,本文提出一种自适应Token分发策略,在决定Token放置时联合考虑计算开销、交换时延和专家缓冲区的当前缓存状态,(图3中②)详见3.3节。
2)专家交换可能引入大量 I/O 开销,使 I/O 成为推理系统的潜在瓶颈。如图2(b)所示,数据依赖迫使 MoE 推理等待专家交换。即使多个边缘设备的集合 I/O 带宽得到充分利用,延长的交换时间仍可能显著增加推理时延。本文观察到,在模型推理过程中,从二级存储到主内存的 I/O 路径仍然利用不足,因此引入专家预取(expert prefetching)策略,将计算与专家交换重叠以缓解 I/O 开销(图3中③),详见节3.4。
本文采用了一种基于交错划分(interleaved partitioning)的序列并行策略[28-29],旨在实现多边缘设备协同的注意力模块高效推理。该策略通过创新的序列划分机制,有效解决因果注意力计算中的工作负载不均衡问题,从而最大化通信-计算重叠效率,显著降低预填充阶段的首词时延。
在多设备序列并行推理中,常规方案是将输入序列划分为 $ {n} $ 个连续的子序列 $ {s}_{0},{s}_{1},… ,{s}_{n-1} $(其中 $ n$ 表示参与协作推理的边缘设备数量),每个设备负责处理一个连续子序列。由于注意力机制要求Token间的依赖计算,子序列独立计算无法保证结果正确性,需要在设备间交换键和值矩阵以确保分布式计算与本地计算的一致性,这会产生额外的通信开销。一些前沿的研究工作利用矩阵分块技术[30]、解耦矩阵乘法和键值张量的传输,并利用环形通信技术实现高效的计算-通信重叠优化,具体工作流程如图4(a)所示。然而,生成式LLM采用因果解码器架构,其单向注意力掩码机制导致连续划分在分布式执行中产生严重的负载不均衡。具体而言,在环形通信拓扑的后续迭代中,部分设备的工作负载被因果掩码完全覆盖而无需计算,而其他设备则需处理完整的未掩码负载。在极端情况下(如图4(a)中第4轮),仅设备3处于工作状态,其余3台设备均处于空闲状态。由于系统性能受限于最慢设备的完成时间,这种负载不均衡导致边缘资源利用率低下,严重制约了整体性能。为解决该问题,本文采用了一种交错划分策略,将长度为 $ L $ 的输入序列 $ {\cal T}=\{{t}_{0},{t}_{1},… ,{t}_{L-1}\} $ 重新组织为 $ N $ 个交错子序列 $ {\cal T}_{0},{\cal T}_{1},… ,{\cal T}_{N-1} $,其中每个子序列 $ {\cal T}_{i} $ 包含所有满足 $ {j}\,\text{mod}\,{N}\,=\,{i} $ 的Token $ {t}_{j} $。形式化地,该划分可表示为:
$ {\mathcal{T}}_{i}=\{{t}_{j}\mid j\,{\rm mod}\,N=i,0\leq j \lt L\} \;。 $
相应地,注意力机制中的查询矩阵 $ \boldsymbol Q\in {\mathbb R}^{L\times d} $、键矩阵 $ \boldsymbol K\in {\mathbb R}^{L\times d} $ 和值矩阵 $ \boldsymbol V\in {\mathbb R}^{L\times d} $(其中 $ d $ 表示隐藏层维度)被划分为 $ N $ 个块,每个块的大小为 $ c=\left\lceil L/N\right\rceil $。这种划分方式确保每个设备在每个计算迭代中都处理到在整个原始序列中均匀分布的Token子集,从而实现近似均衡的工作负载分配2。
1)基于交错划分的环形序列并行机制。在完成序列的交错划分后,本文采用环形的序列并行通信拓扑进行分布式注意力计算(环形工作流程与图4(a)一致)。具体而言,系统将 $ N $ 个边缘设备组织为环形结构,每个设备 $ j $ 初始持有其分配的查询块 $ {\boldsymbol Q}_{j} $、键块 $ {\boldsymbol K}_{j} $ 和值块 $ {\boldsymbol V}_{j} $。在推理过程中,查询块 $ {\boldsymbol Q}_{j} $ 在各设备上保持静止,而键值块 $ \left(\boldsymbol K,\boldsymbol V\right) $ 在环形拓扑中按顺序传递。在第 $ i $ 轮通信迭代中,设备 $ j $ 计算其本地查询块 $ {\boldsymbol Q}_{j} $ 与当前接收到的键值块 $ {\boldsymbol K}_{\left(j-i\right){\rm mod}\,N}$和${\boldsymbol V}_{\left(j-i\right){\rm mod}\,N} $之间的注意力交互,同时将键值块异步传递给下一个设备以隐藏通信时延。经过 $ N $ 轮迭代后,每个设备累积得到其最终的注意力输出。在交错划分的序列并行框架下,最终的注意力输出可以通过式(3)计算得到。假设设备 $ j $($ 0\leq j< N $)在第 $ i $ 个通信迭代中处理来自设备 $ k=\left(j-i\right){\rm mod}\,N $ 的键值块,则设备 $ j $ 的最终输出为:
$ {{Out}}_{j} =\sum \limits_{i=0}^{N-1}{Attention}({\boldsymbol Q}_{j}, {\boldsymbol K}_{(j-i)\,{\rm mod}\,N},{\boldsymbol V}_{(j-i)\,{\rm mod}\,N},{\boldsymbol M}_{j,(j-i)\,{\rm mod}\,N})\;,$
其中 $ {\boldsymbol Q}_{j},{\boldsymbol K}_{j},{\boldsymbol V}_{j} $ 分别表示设备 $ j $ 持有的查询、键、值矩阵块,$ {\boldsymbol M}_{j,k} $ 表示设备 $ j $ 处理来自设备 $ k $ 的键值块时的因果掩码矩阵,其定义为:
$ {\boldsymbol M}_{j,k}[p,q]=\left\{\begin{aligned}& 0 ,\quad\;\; \;\text{if} \;original\_{pos}({j},{p})\geq \\&\qquad\;\;{original}\_{pos}({k},{q})\;,\\& -{\infty },\;\; 其他\;。\end{aligned}\right. $
这里 $ original\_ pos\left(d,idx\right) $ 表示设备 $ d $ 上局部索引为 $ idx $ 的Token在原始序列中的全局位置,即$ original\_ pos\left(d,idx\right)=d+idx\times N $ 这种掩码构造确保了因果注意力机制的正确性,同时允许在环形通信拓扑中高效地进行分布式计算。在实际部署中,交错划分通过在模型前向传播开始时对输入序列进行一次性置换来实现。对于使用旋转位置编码(rotary position embedding,RoPE)的模型,相应的位置标识符也需进行同步置换。该置换操作仅在预填充阶段执行1次,不会引入显著的额外开销,却能带来显著的性能收益。
2)交错划分下的负载均衡特性。交错划分策略的核心优势在于实现设备间的工作负载均衡。由于每个设备持有的Token均匀分布在原始序列的不同位置,在因果注意力计算中,每个设备需要处理的有效(未被掩码)注意力交互数量相对接近,如图4(b)所示。具体而言,设备 $ i $ 在处理其查询块与来自设备 $ j $ 的键值块时,无论2设备的索引关系如何,其需要计算的注意力交互数量均大致为完整块交互量的一半,仅在是否包含对角线元素上存在微小差异。
这种均衡的负载分配与传统的连续划分方式形成鲜明对比。在连续划分中,每轮迭代至少存在1个设备需要处理完全未被掩码的注意力块,而其他设备的计算则可能被完全掩码跳过,导致严重的负载不均衡。由于分布式系统的推理时延由最慢设备决定,连续划分方式无法充分利用因果掩码带来的计算节省。而交错划分确保每个设备在每轮迭代中都承担大致相等的计算负载,从而有效缩短了整体推理时延,显著提升了边缘计算资源的利用效率。
在完成注意力模块的序列并行推理后,系统进入 MoE 层的执行阶段。由于边缘设备的内存资源受限,难以将所有专家权重常驻内存,本文采用专家交换机制,将专家参数存储于本地二级存储介质(如固态硬盘或闪存),并按需换入主内存执行。然而,如何在多设备协作推理环境中高效调度Token与专家的映射关系,充分利用集体 I/O 带宽,成为降低 MoE 层推理时延的关键挑战。
在序列并行框架下,注意力模块计算完成后,每个边缘设备持有一个子序列的中间表示。随后,每个设备独立执行门控函数,计算其子序列中各Token的专家分配结果。一种直观的执行方式是令每个设备在本地完成其子序列的 MoE 模块推理:设备从本地二级存储中换入该子序列所激活的全部专家,执行专家计算后输出结果。然而,该方案存在显著的 I/O 效率问题。由于不同子序列可能激活相同的热门专家,多个设备将独立地从各自的二级存储中换入同一专家的权重副本,导致集体 I/O 带宽的冗余消耗。在 MoE 模型的边缘推理中,专家权重从二级存储换入主内存的 I/O 开销占据主导地位,因此充分发挥多设备的集体 I/O 带宽对于降低推理时延至关重要。当热门专家被重复换入多个设备时,系统无法有效利用分布式 I/O 资源,造成严重的带宽浪费。另一种替代方案是采用专家中心的静态分配策略:为每个设备预先分配固定且互不重叠的专家子集,通过All-to-All通信将Token分发至负责其所需专家的设备。该方案避免了同一专家被重复换入多个设备的问题,但专家流行度的不均匀分布可能导致严重的负载不均衡,即持有热门专家的设备将处理远多于其他设备的Token,成为系统的拖尾设备,制约整体推理性能。
为解决上述问题,本文提出自适应Token调度(adaptive Token scheduling)策略,通过动态调度Token的设备分配,在充分利用集体 I/O 带宽的同时实现计算负载的均衡分配。
1)专家缓存区与缓存机制。每个边缘设备在主内存中维护一个专家缓存区,用于缓存近期使用的专家权重。该缓存区的容量在 MoE 模型的各层间均匀分配,采用最近最少使用(least recently used,LRU)策略进行淘汰更新。当某专家已驻留在目标设备的缓存区中时,系统可直接复用缓存的权重而无需执行 I/O 操作,从而显著降低换入时延。
2)门控函数与专家选择。在 MoE 层中,每个Token通过门控网络动态选择其激活的专家子集。记 MoE 层包含 $ M $ 个专家$ \mathcal{E}=\left\{{e}_{0},{e}_{1},… ,{e}_{M-1}\right\}\, $,对于输入Token $ {t}_{i} $,门控网络计算其对所有专家的亲和度分数 $ {\boldsymbol{G}}\left({t}_{i}\right)\in{\mathbb R}^{{M}} $,并选取分数最高的 Top-K 个专家构成激活专家集合 $ {\cal E}_{i}={TopK}\left({\boldsymbol{G}}\left({t}_{i}\right)\right) $。记 $ {E}_{m}\left({t}_{i}\right) $ 为第$ m $个专家对Token $ {t}_{i} $ 的输出,则 MoE 层对该Token的输出 $ {y}_{i} $ 为各激活专家输出的加权和:
$ {y}_{i}=\sum \limits_{m\in {\mathcal{E}}_{i}}G{({{t}_{i}})}_{m}\cdot {E}_{m}({t}_{i})\;, $
其中 $ G{\left({t}_{i}\right)}_{m} $ 为门控网络分配给专家 $ {e}_{m} $ 的归一化权重。该稀疏激活机制使得每个Token仅需 $ K $ 个专家参与计算,而非全部 $ M $ 个专家,从而在扩展模型容量的同时控制计算开销。
3)问题建模。基于上述门控机制,记 $ {\cal D}=\{{d}_{0}, {d}_{1},… ,{d}_{N-1}\} $ 为参与协作推理的 $ N $ 个边缘设备集合。设长度为 $ L $ 的输入序列经各设备独立执行门控函数计算后,产生Token-专家分配集合 $ {\cal A}=\{\left({t}_{i},{\cal E}_{i}\right)\mid i= 0{,} 1,… ,L-1\} $,其中 $ {\cal E}_{i}\subseteq \cal E $ 且 $ \left| {\cal E}_{i}\right| =K $ 表示Token $ {t}_{i} $ 激活的 Top-K 个专家。记 $ {\cal C}_{j}\subseteq \cal E $ 为设备 $ {d}_{j} $ 的专家缓冲区中当前缓存的专家集合。
Token分发的目标是确定映射函数 $ {\phi }\colon \{{t}_{0},{t}_{1},… , {t}_{L-1}\}\rightarrow \cal D $,将每个Token分配至某一边缘设备执行。对于设备 $ {d}_{j} $,记其被分配的Token集合为 $ {T}_{j}=\{{t}_{i}\mid {\phi }\left({t}_{i}\right)={d}_{j}\} $,则该设备需要执行的专家集合为$ \mathcal{E}_{j}^{\text{req}}= \underset{{t}_{i}\in {\mathcal{T}}_{j}}{\bigcup }{\mathcal{E}}_{i} $需要从二级存储换入的专家集合为$ \mathcal{E}_{j}^{\text{swap}}=\mathcal{E}_{j}^{\text{req}}\smallsetminus {\mathcal{C}}_{j} $。设备 $ {d}_{j} $ 完成其分配任务的总时延由专家换入时延和专家计算时延2部分组成:
$ {T}_{j}=T_{j}^{\text{swap}}+T_{j}^{\text{comp}}=\frac{|\mathcal{E}_{j}^{\text{swap}}|\cdot {W}_{\rm e}}{{B}_{j}}+|{\mathcal{T}}_{j}|\cdot K\cdot {\tau }_{\rm e}\;, $
其中 $ {W}_{\rm e} $ 表示单个专家的权重大小,$ {B}_{j} $ 表示设备 $ {d}_{j} $ 的 I/O 带宽,$ {\tau }_{\rm e} $ 表示单个Token经过单个专家的计算时延。由于分布式系统的总体时延由最慢设备决定,优化目标为最小化所有设备中的最大完成时延:
$ {\min }_{\phi }{\max }_{j\in \{0,1,… ,N-1\}}{T}_{j}\;。 $
4)贪心调度算法。上述优化问题涉及组合优化,精确求解的计算复杂度较高。本文提出一种贪心启发式算法进行高效求解。算法的核心思想是逐个遍历待分配的Token,对于每个Token评估将其分配至各候选设备后产生的累积时延增量,选择使当前最大设备时延最小的分配方案。具体而言,算法维护每个设备的当前状态,包括已分配的Token集合 $ {\cal T}_{j} $、已确定需要换入的专家集合$ \mathcal{E}_{j}^{\text{swap}} $ 以及当前累积时延 $ {T}_{j} $。对于待分配的Token $ {t}_{i} $,算法遍历所有设备 $ {d}_{j} $,计算将 $ {t}_{i} $ 分配至 $ {d}_{j} $ 后的时延增量:
$ \Delta {T}_{j}({t}_{i})=\Delta T_{j}^{\text{swap}}({t}_{i})+\Delta T_{j}^{\text{comp}}({t}_{i})\;, $
其中计算时延增量 $ \Delta T_{j}^{\text{comp}}\left({t}_{i}\right)=K\cdot {\tau }_{\rm e} $ 为常数,而换入时延增量取决于Token $ {t}_{i} $ 所需的专家是否已在设备 $ {d}_{j} $ 的缓存或已确定换入集合中:
$ \Delta T_{j}^{\text{swap}}({t}_{i})=\frac{|{\mathcal{E}}_{i}\smallsetminus ({\mathcal{C}}_{j}\bigcup \mathcal{E}_{j}^{\text{swap}})|\cdot {W}_{\rm e}}{{B}_{j}}\;。 $
算法选择使更新后最大设备时延最小的目标设备 $ {d}^{*}=\arg \underset{j}{\min } \,\underset{k}{\max } \left({T}_{k}+{\mathbb 1} [k=j ]\cdot \Delta {T}_{j}\left({t}_{i}\right)\right) $,并更新相应状态。通过该贪心策略,算法在 $ O\left(L\cdot N\right) $ 的时间复杂度内完成全部Token的分配决策。算法 1 给出了该贪心调度算法的伪代码。
算法1. 自适应Token调度的贪心调度算法。
输入:Token-专家分配集合 $ \mathcal{A}=\{\left({t}_{i},{\mathcal{E}}_{\mathit{i}}\right)\mid i= 0,… , L-1\} $,设备集合 $ \mathcal{D}=\{{d}_{0},… ,{d}_{N-1}\} $,各设备缓存状态 $ \{{\mathcal{C}}_{0},… ,{\mathcal{C}}_{{N}-1}\} $;
输出:Token到设备的映射 $ \phi $。
/*初始化各设备状态*/
① for $ j=0 $ to $ N-1 $ do
②  $ {\mathcal{T}}_{\mathit{j}}\leftarrow \mathit{\varnothing },\mathcal{E}_{\mathit{j}}^{\text{swap}}\leftarrow \mathit{\varnothing },{{T}}_{{j}}\leftarrow 0 $;
③ end for
/*逐Token贪心分配*/
④ for $ i=0 $ to $ L-1 $ do
⑤ 计算分配至各设备的时延增量;
⑥ for $ j=0 $ to $ N-1 $ do
⑦   $ {\cal E}_{\rm new}\leftarrow {\cal E}_{i}\smallsetminus \left({\cal C}_{j}\bigcup {\cal E}_{j}^{\rm swap}\right) $;
⑧   $ \Delta T_{j}^{\rm swap}\leftarrow \left| {\cal E}_{\rm new}\right| \cdot {W}_{\rm e}/{B}_{j} $;
⑨   $ \Delta T_{j}^{\text{comp}}\leftarrow K\cdot {\tau }_{\rm e} $;
⑩   $ \Delta {T}_{j}\leftarrow \Delta T_{j}^{\text{swap}}+\Delta T_{j}^{\text{comp}} $;
⑪ end for
⑫  $ {d}^{*}\leftarrow \arg \underset{j}{\min } \;\underset{k}{\max } \left({T}_{k}+{\mathbb 1} [k=j ]\cdot \Delta {T}_{j}\right) $;
⑬  $ {\cal T}_{{{d}^{*}}}\leftarrow {\cal T}_{{{d}^{*}}}\bigcup \{{t}_{i}\} $;
⑭  $ {\cal E}_{{d}^{*}}^{\rm swap}\leftarrow {\cal E}_{{d}^{*}}^{\rm swap}\bigcup \left({\cal E}_{i}\smallsetminus ({\cal C}_{{{d}^{*}}}\bigcup {\cal E}_{{d}^{*}}^{\rm swap} )\right) $;
⑮  $ {T}_{{{d}^{*}}}\leftarrow {T}_{{{d}^{*}}}+\Delta {T}_{{{d}^{*}}} $;
⑯  $ {\phi }\left({t}_{i}\right)\leftarrow {d}^{*} $;
⑰ end for
⑱ return $ \phi $。
5)实际部署时的执行流程。在实际部署中,各设备首先独立执行门控函数计算,获取本地子序列的Token-专家分配结果。随后,各设备将分配结果及其当前专家缓冲区状态汇报至中心调度节点。中心节点执行上述贪心调度算法,生成全局Token分发方案,并将调度结果下发至各设备。最后,各设备通过All-to-All通信交换Token,执行本地专家换入与计算,并将结果返回至Token的原始设备。该调度机制确保了多设备间 I/O 负载的均衡分配,避免了热门专家的重复换入,从而充分发挥了集体 I/O 带宽的优势。
通过自适应Token调度策略,系统可充分利用多台边缘设备的集体 I/O带宽,实现高效的专家换入。然而,该方案在执行流程上存在严格的数据依赖:专家计算必须等待专家权重换入完成,而专家换入又必须等待自适应Token调度算法生成分配方案。这种串行依赖导致关键路径上的计算、I/O 与调度操作无法重叠,使得 GPU 在等待期间处于空闲状态,造成计算资源的浪费并增加推理时延。
计算与I/O重叠执行是一个非常通用且效果显著的优化方案。然而,MoE 模型的专家加载与计算难以直接重叠。这是因为 MoE 模型在每一层根据当前层的输出动态选择激活的专家,系统必须等待当前层计算完成及确定专家选择结果后,才能开始加载下一层所需的专家。这种层间的动态依赖使得传统的预取策略难以直接应用。
1)相邻层激活的高相似性观察。人工智能领域的研究人员观察到,在基于 Transformer 架构的LLM推理过程中,相邻两层的隐藏状态具有极高的相似性[31]。设第 $ l $ 层的输入隐藏状态为 $ {h}^{\left(l\right)} $,第 $ l+1 $ 层的输入隐藏状态为 $ {h}^{\left(l+1\right)} $,则两者之间的余弦相似度通常接近于1。这一现象的根本原因在于 Transformer 架构中广泛采用的残差连接机制:每一层的输出为输入与该层变换结果的加和,即 $ {h}^{\left(l+1\right)}={h}^{\left(l\right)}+{f}^{\left(l\right)}({h}^{\left(l\right)} ) $,其中 $ {f}^{\left(l\right)} $ 表示第 $ l $ 层的变换函数。由于变换结果 $ {f}^{\left(l\right)}({h}^{\left(l\right)} ) $ 的幅度相对于输入 $ {h}^{\left(l\right)} $ 通常较小,相邻层的隐藏状态呈现高度相关性。如图5所示,针对2种典型MoE架构模型的评估结果揭示了相邻Transformer层间门控网络的输入张量具有显著的余弦相似性。这种强烈的层间表征相关性为跨层专家预取机制提供了坚实的启发式依据。
2)推测性预取机制。基于上述观察,本文采用了推测性专家预取(speculative expert prefetching)机制。核心思想是:利用第 $ l $ 层的隐藏状态 $ {\boldsymbol h}^{\left(l\right)} $ 作为第 $ l+1 $ 层门控函数的输入,提前预测第 $ l+1 $ 层的专家激活结果,从而在第 $ l $ 层计算执行期间并行完成第 $ l+1 $ 层的Token调度与专家预取。具体而言,在第 $ l $ 层的 MoE 模块开始执行时,系统同时将当前层输入 $ {\boldsymbol h}^{\left(l\right)} $ 送入第 $ l+1 $ 层的门控函数 $ {G}^{\left(l+1\right)} $,计算预测的专家激活集合$ \hat{\mathcal{E}}_{i}^{(l+1)}={TopK}({G}^{(l+1)}(\boldsymbol{h}_{i}^{(l)})) $。基于该预测结果,中心调度节点提前执行自适应Token调度算法,生成第 $ l+1 $ 层的Token分配方案 $ {\hat{\phi }}^{(l+1)} $,各设备随即开始预取预测所需的专家权重。当第 $ l $ 层计算完成后,系统使用实际的隐藏状态 $ {\boldsymbol h}^{\left(l+1\right)} $ 执行第 $ l+1 $ 层的门控函数,获取真实的专家激活集合 $ {\cal E}_{i}^{\left(l+1\right)} $。若预测结果与真实结果一致,则预取的专家可直接用于计算;若存在偏差,系统对缺失的专家执行补充换入,并相应调整Token分配。由于相邻层激活的高相似性,预测准确率通常较高,补充换入的开销可控。
3)计算-调度- I/O 并行执行。对于同时搭载 CPU 与 GPU 的边缘设备,推测性预取机制可充分发挥异构计算资源的并行优势。具体而言,自适应Token调度算法在 CPU 上执行,模型层的前向计算在 GPU 上执行,专家权重的预取通过 I/O 子系统完成。三者可在时间上重叠并行:当 GPU 执行第 $ l $ 层的专家计算时,CPU 基于预测结果执行第 $ l+1 $ 层的调度算法,I/O 子系统同时预取第 $ l+1 $ 层的专家权重。这种流水线式的并行执行显著缩短了关键路径上的等待时间,有效提升了整体推理速度。图6展示了推测性预取在2种典型场景下的执行流程。其一,在模型层1执行过程中,系统完整地预取了第2层所需的专家,使得第2层完成Token分派进入 MoE 层后可以直接启动专家计算。其二,在模型层2执行过程中,系统预取了大部分第3层所需的专家,因此在第3层执行过程中,系统仅需对这部分缺失专家补充换入即可继续执行。
为了定量衡量预取机制的有效性,我们定义了预取覆盖率$C=N/N_{\rm A} $,其中N为预取且被实际激活的专家数,$N_{\rm A} $为实际被激活的专家总数。
如图5的预取实验结果所示,对于 MoE 架构的 Transformer 模型的中后层,该机制的预取覆盖率普遍超过80%。正是得益于大量所需专家被准确地提前加载,系统有效掩盖了专家换入的 I/O 开销。因此,与图2 (b)中展示的全量等待方案相比,上述2种情形的整体同步阻塞时延均实现了大幅缩短。
3.2、3.3、3.4等3个章节的3项设计以预填充阶段的首词时延优化为核心案例和优化目标,这源于基于专家交换的边缘 MoE 系统在预填充阶段面临的特殊挑战——长输入序列几乎激活所有专家,产生大量 I/O 流量,严重影响 TTFT。值得指出的是,Sirius 的上述系统架构和优化设计原生兼容解码阶段,无需对核心机制进行实质性改动,即可对Token间时延产生显著的优化效果。
在注意力模块方面,预填充阶段完成后,各设备已分别持有不同子序列的键值缓存。在解码阶段,若由各设备将完整历史键值缓存同步至其余设备,通信开销将随序列长度线性增长,在长上下文场景下尤为显著。为此,Sirius 对解码执行路径作出轻量调整:各设备仍然在本地保留其键值缓存,转而将当前解码步骤产生的查询向量广播至所有设备[32]。由于查询向量仅携带单个Token的表示,广播开销可忽略不计。各设备在本地独立计算局部注意力输出,再经聚合通信汇总得到最终结果。该方案充分复用了预填充阶段构建的分布式键值缓存布局,将随序列增长的通信量转化为固定的单Token广播,通信效率在长上下文场景下优势尤为突出。
在 MoE 模块方面,解码阶段每步仍需将激活的 Top-K 个专家从二级存储换入主内存,单设备的串行I/O 构成单步解码时延的重要来源。Sirius 的自适应Token调度策略可直接应用于此:将单个解码Token的各激活专家分配至不同设备,各设备并行完成各自负责的专家换入与计算,随后合并结果,将串行 I/O 转化为多设备并行,充分发挥边缘集群的集体 I/O 带宽。随着解码推进,各设备专家缓冲区的缓存命中率逐步提升,可进一步减少实际换入次数。推测性专家预取机制同样无缝适用:利用当前解码步的隐藏状态提前预测下一步所需专家并触发预取,将相邻步间的专家换入与当前步计算并行执行,消除解码关键路径上的 I/O 等待。这2项机制均无需针对解码场景专项修改,在统一的系统框架下同时服务于预填充与解码2个阶段。
本文选用2种主流混合专家架构LLM Mixtral-8x7B与Qwen3-30B对Sirius 进行评估。为适应边缘环境下内存与I/O 带宽资源受限的部署条件,模型采用 INT8 精度量化。在数据集方面,本文采用 GLUE 基准数据集,并据此构建3组不同长度的子集,各子集平均序列长度分别为 100、1000和3000个Token,用于系统地评估推理系统在不同输入序列长度下的性能表现。
本文采用2种现成的边缘计算设备 Jetson Nano[33]与 Jetson TX2[34]构建仿真边缘环境,以模拟智能家居、智能工厂等典型场景中资源受限的边缘节点。2类设备的硬件参数配置如表1所示,一个由 4 台 Jetson Nano 组成,在存储层面主要依托其板载的 eMMC 闪存;另一个集群由 4 台 Jetson TX2 组成,配备了基于 NVMe 协议的高速固态硬盘,以此构建具备异构 I/O 能力的测试环境。同一边缘算力网络内的各设备通过一台支持网速动态调节的交换机互联,并通过调整设备间(device-to-device,D2D)通信带宽,以模拟真实边缘环境中多样化的网络条件。
目前学界尚缺乏面向边缘算力网络的端到端分布式 MoE 推理系统,本文通过将云数据中心的并行策略与现有端侧专家交换思想相结合,构建以下3种基准方法与 Sirius 进行对比。
1)无专家交换的并行推理。直接在边缘算力网络上部署基于专家并行的分布式推理框架,不引入专家交换机制。各设备仅加载并处理分配给自身的专家,内存压力完全由硬件容量决定。
2)专家中心式并行推理架构。每台设备分配一组固定且互不重叠的专家子集,并通过专家交换机制将暂不使用的专家卸载至二级存储以缓解内存压力。推理过程中,采用 All-to-All 通信将Token分发至负责其对应专家的设备进行计算,该方案与云数据中心中经典的专家并行策略类似。然而,该方案中专家的设备归属在离线阶段静态划分,未考虑运行时专家访问频率的冷热差异,易导致各设备间负载分配不均衡。
3)数据中心式并行推理架构。将输入序列切分为多个子序列并分配至不同设备,每台设备独立处理所分配的子序列,专家层计算无需设备间通信。然而,每台设备须将其子序列所激活的全部专家从二级存储换入内存后方可完成推理,对于较长子序列,可能会导致不同设备重复换入同一批专家,造成 I/O 带宽浪费。
对于注意力模块,上述3种基准方法均统一采用云数据中心中经典的序列并行方案进行并行计算,以确保对比的公平性。
本节评估系统的端到端推理吞吐量。实验分别在 Jetson Nano 集群与 Jetson TX2 集群上,针对Mixtral-8x7B和Qwen3-30B两种模型展开,输入序列长度覆盖 100、1000 和 3000 三种典型工作负载场景,D2D 网络带宽设置为 1 Gbps。本文采用推理吞吐量作为性能评估指标,定义为推理系统吞吐量$T=N/t $,其中N为输入Token总数,t为推理总消耗时间。
无专家交换的并行推理方案因内存溢出(out of memory,OOM)无法完成推理,表明直接将云数据中心并行策略应用于边缘环境在内存层面不具备可行性。对于专家中心式与数据中心式2种基准方法,Sirius 在全部模型与硬件配置下均取得最优系统性能,推理吞吐量提升幅度为1.2~4.0 倍,实验结果如图7所示。
进一步分析可知,系统性能瓶颈随输入序列长度呈现出规律性转变。在序列较短(长度为 100)时,推理瓶颈主要在于专家换入的 I/O 开销。数据中心式方案中,短子序列几乎激活模型的全部专家,导致各设备须独立将所有专家权重换入主内存,集体 I/O 带宽被大量冗余换入所消耗。Sirius 通过自适应Token调度,将Token优先分配至缓存命中率更高的设备,从而有效规避重复换入,相比数据中心式方案实现了最高 4.0 倍的推理吞吐量提升。在序列较长(长度为 3000)时,推理瓶颈转移至专家计算阶段。此场景下,数据中心式方案因各设备独立处理子序列,计算负载分布相对均匀,性能表现尚可;而专家中心式方案由于专家归属在离线阶段静态划分,无法响应运行时专家访问频率的冷热差异,持有热门专家的设备负载显著偏高,成为制约整体吞吐量的拖尾设备。Sirius 的自适应Token调度策略在运行时动态感知各设备负载与缓存状态,有效化解了负载不均衡问题,相比专家中心式方案实现了最高 1.43 倍的系统吞吐量提升。同时 Sirius 所采用的基于交错划分的序列并行通信优化以及推测性专家预取技术,也同样带来了显著的系统吞吐量提升。
本节单独评估基于交错划分的序列并行通信优化对注意力模块推理性能的提升效果。实验在2种模型与2个边缘集群上,针对序列长度 1000 和 3000 两种场景展开。通过调节交换机网速,将 D2D 网络带宽在 50 Mbps~1 Gbps 范围内逐步变化,以考察 Sirius 在不同网络条件下的系统鲁棒性。评估指标为单 MoE 层注意力模块的平均分布式推理时延,对比方案为云数据中心中张量并行[18]与序列并行[30]2种经典注意力并行策略。
实验结果如图8所示,Sirius 在全部实验配置下均取得最优性能。与张量并行相比,Sirius 实现了 1.42~7.03 倍的时延降低。这是因为张量并行在每次前向传播中须执行一次 All-Reduce 集合通信,其通信量随模型隐藏维度线性增长,在边缘环境受限的 D2D 带宽下开销尤为显著。与序列并行相比,Sirius 实现了 1.25~2.24 倍的时延降低,且性能优势随网络带宽的变化呈现出不同的主导因素。在低带宽场景(50 Mbps)下,通信为推理的主要瓶颈,Sirius 通过基于分块的通信-计算重叠机制,将键值矩阵传输与注意力计算并行执行,相比序列并行平均可取得约 1.2 倍的加速。在高带宽场景(1 Gbps)下,瓶颈由通信转移至计算,Sirius 的交错划分策略有效消除了传统连续划分因果掩码所引发的设备间负载不均衡,提升了各设备 GPU 资源的利用效率,平均加速比进一步提升至约 1.6 倍。
本节单独评估自适应Token调度策略对 MoE 层推理性能的提升效果。实验在 Jetson TX2 集群上,针对2种模型与序列长度 1000 和 3000 两种场景展开,对比方案为专家中心式与数据中心式调度。评估指标为单 MoE 层中专家换入时延与专家计算时延的分项开销,以分析不同调度策略对 I/O 效率与计算负载均衡的影响。
实验结果如图9所示,与数据中心式方案相比,Sirius 通过自适应Token调度,将激活相同热门专家的Token集中分配至同一设备,从根本上消除了多设备重复换入同一专家的冗余 I/O,充分发挥了边缘算力网络的集体 I/O 带宽优势,专家换入时延最高降低 4.1 倍。与专家中心式方案相比,Sirius 的贪心调度算法在确定Token到设备的映射时,联合考量各设备当前的换入开销与计算负载,动态响应运行时专家访问的冷热差异,有效规避了静态专家分配所导致的设备间负载不均衡,提升了 GPU 资源利用效率,在专家计算时延上最高取得 1.4 倍的降低。
本节单独验证推测性专家预取策略对系统性能的提升效果。如第3.4节所述,相邻两层隐藏状态之间具有极高的相似性,这为基于当前层隐藏状态预测下一层专家激活结果提供了理论依据。预实验结果如图5所示,上述预测对于 Mixtral-8x7B 与 Qwen3-30B两种模型的预取覆盖率均超过 80%,验证了推测性预取在典型 MoE 架构上的可行性。
本节针对2种 MoE 模型,在序列长度为 1000 和 3000 两种场景下,对比以下3种方案:
1)按需换入。仅在Token需要执行时方才换入其激活的专家,不引入任何缓存或预取机制。
2)LRU 缓冲区缓存。在按需换入的基础上引入总容量为 2 GB 的专家缓冲区,容量在各 MoE 层间均匀分配,并采用最近最少使用(least recently used,LRU)策略进行替换,当所需专家命中缓冲区时可直接复用,无需重复换入。
3)Sirius 推测性预取。在 LRU 缓冲区的基础上,进一步引入推测性专家预取机制,利用第 $ l $ 层的隐藏状态提前预测第 $ l+1 $ 层的专家激活,并与第 $ l $ 层的计算并行完成调度与换入,将计算、调度与 I/O 三者流水线化执行。
本文以平均单 MoE 层执行时延作为评估指标,实验结果如表2 所示。相比按需换入,引入 LRU 缓冲区策略可降低约 10% 的执行时延;在此基础上进一步启用推测性预取后,时延得到显著压缩,Sirius 相比按需换入基线实现了 1.13~1.86 倍的时延降低。
本文针对资源受限的本地边缘环境下高效部署MoE模型这一核心问题,提出了 Sirius——一种面向边缘算力网络的资源高效本地 MoE 推理系统。Sirius 以序列并行推理架构为基础,协调多台边缘设备的集体计算能力、内存容量与 I/O 带宽,显著降低预填充阶段的TTFT。针对多边缘协作推理中的3项关键挑战,本文分别设计了对应的解决机制:基于交错划分的序列并行策略,通过将输入序列重新组织为交错子序列,解决因果注意力机制下设备间工作负载不均衡问题,最大化通信-计算重叠效率;自适应Token调度策略,通过贪心算法联合考量计算开销、专家换入时延与缓冲区缓存状态,充分发挥多设备集体 I/O 带宽优势,同时消除拖尾设备效应;推测性专家预取机制,利用 Transformer 相邻层隐藏状态的高度相似性,在当前层计算期间并行完成下一层的Token调度与专家预取,实现计算-调度-I/O 的流水线并行执行。在真实边缘集群平台上部署多种 MoE 模型的实验结果表明,Sirius 在预填充时延方面取得了显著提升,验证了上述架构设计的有效性。

参考文献 引证文献
排序方式:
1
Liu Aixin, Feng Bei, Xue Bing, et al. DeepSeek-V3 technical report[R/OL]. arXiv: 2412.19437[2026-02-27]. https://arxiv.org/abs/2412.19437
2
Yang An, Li Anfeng, Yang Baosong, et al. Qwen3 technical report[R/OL]. arXiv: 2505.09388[2026-02-27]. https://arxiv.org/abs/2505.09388
3
Team Kimi, Bai Yifan, Bao Yiping, et al. Kimi K2: Open agentic intelligence[R/OL]. arXiv: 2507.20534[2026-02-27]. https://arxiv.org/abs/2507.20534
4
King Evan, Yu Haoxiang, Lee Sangsu, et al. Sasha: Creative goal-oriented reasoning in smart homes with large language models[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2024, 8(1): 1−38
5
Ye Shengyuan, Ouyang Bei, Du Jiangsu, et al. Resource-efficient collaborative edge Transformer inference with hybrid model parallelism[J]. IEEE Transactions on Mobile Computing, 2025: 10945−10962
6
Li Yuanchun, Wen Hao, Wang Weijun, et al. Personal LLM agents: Insights and survey about the capability, efficiency and security[EB/OL]. arXiv: 2401.05459[2026-02-27]. https://arxiv.org/abs/2401.05459
7
Kong Rui, Li Yuanchun, Wang Weijun, et al. Serving moe models on resource-constrained edge devices via dynamic expert swapping[J]. IEEE Transactions on Computers, 2025, 2799−2811
8
Yi Rongjie, Guo Liwei, Wei Shiyun, et al. EdgeMoE: Empowering sparse large language models on mobile devices[J]. IEEE Transactions on Mobile Computing, 2025, 7059−7073
9
Hwang Ranggi, Wei Jianyu, Cao Shijie, et al. Pre-gated MOE: An algorithm-system co-design for fast and scalable mixture-of-expert inference[C]//Proc of 2024 ACM/IEEE 51st Annual Int Symp on Computer Architecture (ISCA). Piscataway, NJ: IEEE, 2024: 1018−1031
10
Wang Haodong, Zhou Qihua, Hong Zicong, et al. D2MoE: Dual routing and dynamic scheduling for efficient on-device MOE-based LLM serving[C]//Proc of the 31st Annual Int Conf on Mobile Computing and Networking. New York: ACM, 2025: 574−588
11
Jiang A Q, Sablayrolles A, Roux A, et al. Mixtral of experts[EB/OL]. arXiv: 2401.04088[2026-02-27]. https://arxiv.org/abs/2401.04088
12
Eliseev A, Mazur D. Fast inference of mixture-of-experts language models with offloading[EB/OL]. arXiv: 2312.17238[2026-02-27]. https://arxiv.org/abs/2312.17238
13
Qin Ruoyu, Li Zheming, He Weiran, et al. Mooncake: Trading more storage for less computation-a kvcache-centric architecture for serving LLM Chatbot[C]//Proc of the 23rd USENIX Conf on File and Storage Technologies (FAST 25). Berkeley, CA: USENIX Association, 2025: 155−170
14
Lu Xudong, Liu Qi, Xu Yuhui, et al. Not all experts are equal: Efficient expert pruning and skipping for mixture-of-experts large language models[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 6159−6172
15
Song Yixin, Mi Zeyu, Xie Haotong, et al. PowerInfer: Fast large language model serving with a consumer-grade GPU[C]//Proc of the ACM SIGOPS 30th Symp on Operating Systems Principles. New York: ACM, 2024: 590−606
16
Fang Zhiyuan, Hong Zicong, Huang Yuegui, et al. Fate: Fast edge inference of mixture-of-experts models via cross-layer gate[EB/OL]. arXiv: 2502.12224[2026-02-27]. https://arxiv.org/abs/2502.12224
17
Huang Yanping, Cheng Youlong, Bapna Ankur, et al. GPipe: Efficient training of giant neural networks using pipeline parallelism[J]. Advances in Neural Information Processing Systems, 2019, 32: 103−112
18
Narayanan D, Shoeybi M, Casper J, et al. Efficient large-scale language model training on GPU clusters using megatron-LM[C]//Proc of the Int Conf for High Performance Computing, Networking, Storage and Analysis. Piscataway, NJ: IEEE, 2021: 1−15
19
Lepikhin D, Lee H, Xu Yuanzhong, et al. GShard: Scaling giant models with conditional computation and automatic sharding[EB/OL]. arXiv: 2006.16668[2026-02-27]. https://arxiv.org/abs/2006.16668
20
Hwang Changho, Cui Wei, Xiong Yifan, et al. Tutel: Adaptive mixture-of-experts at scale[J]. Proceedings of Machine Learning and Systems, 2023, 5: 269−287
21
Liu Juncai, Wang Jessie Hui, Jiang Yimin. Janus: A unified distributed training framework for sparse mixture-of-experts models[C]//Proc of the ACM SIGCOMM 2023 Conf. New York: ACM, 2023: 486−498
22
Zhai Mingshu, He Jiaao, Ma Zixuan, et al. SmartMoE: Efficiently training sparsely-activated models through combining offline and online parallelization[C]//Proc of 2023 USENIX Annual Technical Conf (USENIX ATC 23). Berkeley, CA: USENIX Association, 2023: 961−975
23
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 5998−6008
24
Ye Shengyuan, Du Jiangsu, Zeng Liekang, et al. Galaxy: A resource-efficient collaborative edge AI system for in-situ transformer inference[C]//Proc of IEEE INFOCOM 2024-IEEE Conf on Computer Communications. Piscataway, NJ: IEEE, 2024: 1001−1010
25
Ye Shengyuan, Ouyang Bei, Zeng Liekang, et al. Jupiter: Fast and resource-efficient collaborative inference of generative LLMs on edge devices[C]//Proc of IEEE Conf on Computer Communications (IEEE INFOCOM 2025). Piscataway, NJ: IEEE, 2025: 1−10
26
Wei Yuanxin, Ye Shengyuan, Jiang Jiazhi, et al. Communication-efficient model parallelism for distributed in-situ Transformer inference[C]//Proc of 2024 Design, Automation &amp; Test in Europe Conference &amp; Exhibition (DATE). Piscataway, NJ: IEEE, 2024: 1−6
27
Ye Shengyuan, Zeng Liekang, Chu Xiaowen, et al. Asteroid: Resource-efficient hybrid pipeline parallelism for collaborative DNN training on heterogeneous edge devices[C]//Proc of the 30th Annual Int Conf on Mobile Computing and Networking. New York: ACM, 2024: 312−326
28
Zhu Zilin. Ring flash attention[CP/OL]. GitHub repository[2026-02-28]. https://github.com/zhuzilin/ring-flash-attention
29
Brandon W, Nrusimha A, Qian K, et al. Striped attention: Faster ring attention for causal transformers[EB/OL]. arXiv: 2311.09431[2026-02-28]. https://arxiv.org/abs/2311.09431
30
Li Shenggui, Xue Fuzhao, Baranwal C, et al. Sequence parallelism: Long sequence training from system perspective[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2023: 2391−2404
31
Liu Zichang, Wang Jue, Dao T, et al. Deja vu: Contextual sparsity for efficient LLMs at inference time[C]//Proc of Int Conf on Machine Learning. New York: PMLR, 2023: 22137−22176
32
Jacobs S, Tanaka M, Zhang Chengming, et al. Deepspeed ulysses: System optimizations for enabling training of extreme long sequence transformer models[EB/OL]. arXiv: 2309.14509[2026-02-28]. https://arxiv.org/abs/2309.14509
33
NVIDIA. Jetson-Nano[EB/OL]. [2026-02-28]. https://developer.nvidia.com/embedded/jetson-nanodeveloper-kit
34
NVIDIA. Jetson-TX2[EB/OL]. [2026-02-28]. https://developer.nvidia.com/embedded/jetson-tx2
2026年第63卷第8期
81
35
0
引用本文
BibTeX
文章信息
doi: 10.7544/issn1000-1239.202660131
  • 接收时间:2026-03-12
  • 首发时间:2026-11-17
  • 出版时间:2026-08-01
补充材料
相关文章
文章信息
作者
出版历史
  • 收稿日期:2026-03-12
  • 修回日期:2026-04-20
基金
作者信息
    中山大学计算机学院 广州 510006

通讯作者:

参考文献
分享链接
https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/10.7544/issn1000-1239.202660131
分享至
全文二维码

扫描看全文

引用本文
BibTeX
本文的引用情况
2种不同金属材料的力学参数
科
Family
属数
Number of
genus
种数
Number of
species
占总种数比例
Percentage of
total species (%)
属
Genus
种数
Number of
species
占总种数比例
Percentage of total
species (%)
鹅膏菌科Amanitaceae 2 11 5.26 鹅膏菌属 Amanita 10 4.78
小菇科 Mycenaceae 2 12 5.74 丝盖伞属 Inocybe 5 2.39
多孔菌科 Polyporaceae 8 14 6.70 蜡蘑属 Laccaria 5 2.39
红菇科 Russulaceae 3 23 11.00 小皮伞属 Marasmius 6 2.87
小菇属 Mycena 11 5.26
光柄菇属 Pluteus 5 2.39
红菇属 Russula 17 8.13
栓菌属 Trametes 5 2.39
关闭全屏