过刊目录2012年以来,智能计算增长速度已超越摩尔定律,达到年增1个数量级,对计算机体系结构提出全新挑战。2026年国务院《政府工作报告》提出实施超大规模智算集群等新基建工程。综合考量人类智能“小算力、大网络”特征,光传输交换具备更低功耗等使能技术,技术创新带来新体系新机制等,从集群的体系结构、计算结点、网络技术和技术生态4个方面,对国外超大规模智算集群发展趋势作出10点初步判断,供读者参考。
联盟算力网(computility federation)旨在协调跨域异构计算资源,同时保留各独立提供商的管理自治权。然而,这种自治性也限制了联盟层的全局可观测性,使各域网关在进行路由决策时无法获得实时域内状态,只能依赖粗粒度且存在滞后的性能摘要。在这种弱可观测和状态滞后的条件下,时延敏感型任务的超时风险容易在少数域和少数窗口内发生结构性聚集。即使联盟整体平均负载仍处于合理水平,局部域也可能在偶发过载窗口中承受显著升高的风险暴露。针对这一问题,提出一种域级SLO反馈机制PDSF。该机制是一种低维闭环调节方法,无需修改域内本地调度器,而是利用窗口级统计摘要动态更新时延敏感型任务的路由代价,从而对基于状态快照的自路由过程施加偏置调节。理论分析表明,在路由响应满足弱单调性的条件下,PDSF具有有界性、遗忘性以及延迟反馈下的局部稳定性。基于Google集群工作负载轨迹的多域仿真实验表明,与现有可部署基线相比,PDSF能够显著缓解长尾过载,降低最差域风险暴露,并在保护时延敏感型任务的同时避免尽力而为型任务性能出现明显退化。进一步的敏感性分析表明,快照滞后与路由集中度共同决定了该机制的适用边界,并表明了测量信息陈旧性与路由反应性如何放大系统风险、压缩低维反馈调节的有效空间。
AI算力网通过高速网络整合分布各地的智能算力资源,为大规模智能应用提供高效、弹性的基础设施支撑。多智能体辩论作为一种分布式多专家协同范式,依托算力网络连接多个大语言模型智能体,以差异化角色进行多轮迭代讨论,有效提升了协同推理质量。然而,在面对越狱攻击等针对大语言模型的典型攻击时,多智能体辩论中协同推理模式的安全性仍缺乏探索。为此,在半黑盒威胁模型下提出一种针对多智能体辩论的结构化提示改写模板:通过叙事封装规避安全检测,角色驱动升级制造对抗压力,迭代精化逐步诱导有害细节,修辞混淆掩盖恶意,协同利用辩论交互机制生成有害输出。在4种主流多智能体辩论框架上使用GPT-4o、GPT-4、GPT-3.5-turbo及DeepSeek开展实验,结果表明该方法使生成内容的平均有害性提升28.14%~80.34%,攻击成功率在特定场景下高达80%。在此基础上,进一步围绕输入、生成、传播3个环节开展了初步防御实验,结果初步验证了多环节轻量级防护思路在多智能体辩论系统中的可行性。上述发现揭示了多智能体辩论在本实验设置下的安全脆弱性,验证了在AI算力网下大规模部署多智能体协作系统之前,开发针对性鲁棒防御策略的必要性。
随着深度神经网络参数规模与结构复杂度持续提升,以及云边端协同计算架构的广泛部署,模型在边端侧高效推理面临计算存储受限、推理延迟高及通信开销大等关键技术挑战。模型量化能够有效降低资源开销,但在极低比特(≤4 bit)条件下,基于固定规则或经验启发的传统量化方法在精度保持、训练稳定性以及跨架构与应用场景适配性方面仍存在明显局限。为缓解上述问题,学习驱动量化通过引入可学习机制与多样化监督信号,显著提升了极低比特条件下模型的精度保持能力、优化鲁棒性及异构硬件适配效率。围绕学习驱动量化的核心方法与关键机制,系统梳理并分析了相关代表性研究工作,以后训练量化(post-training quantization,PTQ)与量化感知训练(quantization-aware training,QAT)两类典型范式为主线,总结了可学习参数建模、重构与近似优化、辅助信号监督以及数据和硬件约束下的学习驱动量化的性能增强方法。此外,从量化流程阶段与学习信号作用机制2个角度,对现有技术路径及其内在联系进行了系统整理,分析不同策略在数据条件、模型规模与应用约束下的适用特征。在此基础上,从基于误差解析的量化参数与学习信号优化、学习驱动量化中精度与资源的权衡,以及跨模型架构的学习驱动量化统一框架等方面,对学习驱动量化的未来发展趋势进行了展望。
混合专家模型(mixture of expert,MoE)架构已成为扩展大语言模型(large language model,LLM)的广泛认可范式,并被众多前沿模型所采用。然而,MoE模型参数量巨大,其内存占用往往超出单一边缘平台的容量,在资源受限边缘设备上部署面临严峻挑战。现有本地MoE服务系统采用专家交换策略,将非活跃专家卸载至二级存储并按需加载。随着LLM支持的上下文窗口不断扩展,用户输入也相应变长,预填充阶段面临关键瓶颈:长输入序列几乎激活所有专家,全量专家交换产生大量I/O流量,导致首词时延(time to first token,TTFT)显著延长。在智能家居、智能工厂等典型边缘场景中,平板电脑、笔记本电脑及各类家庭智能设备等多类可信终端通过局域网彼此互联,共同构成一张泛在的边缘算力网络(edge computility network,ECN)。边缘算力网络中各节点均携带大量闲置的算力、内存容量与I/O带宽资源,为汇聚分布式资源、突破单设备瓶颈提供了重要机遇。Sirius是一种面向边缘算力网络的混合专家模型协同推理系统,通过跨节点的协同调度汇聚资源,加速预填充阶段并降低TTFT。具体而言,设计了3项关键技术:1)基于交错划分的序列并行策略,解决因果注意力计算中的工作负载不均衡问题,最大化通信-计算重叠;2)自适应Token调度机制,联合考虑计算开销、交换时延和专家缓冲区缓存状态,充分利用集体I/O带宽并实现负载均衡;3)推测性专家预取方案,利用相邻层隐藏状态的高相似性提前预测专家激活,将专家加载与计算重叠,有效隐藏I/O时延。在真实边缘算力网络平台上,针对 Mixtral-8x7B 与 Qwen3-30B-A3B 的实验表明,Sirius 相比现有基线方法实现了 1.2~4.0 倍的推理吞吐量提升。
随着深度神经网络(DNN)应用日益广泛,基于芯粒(Chiplet)架构的加速器成为了服务器平台上支撑大规模DNN推理服务的关键设施。然而,并行多DNN负载的实时性与动态性特征给调度算法带来了严峻挑战,现有算法在决策开销、服务水平协议(SLA)保障及动态适应性方面存在局限。为此,提出了一种面向多Chiplet加速器的多智能体强化学习多DNN负载在线调度算法(MAOSA),并以最大化整体SLA满足率为目标。该算法将DNN任务划分为DNN块并建模为智能体,利用注意力机制并行生成包含执行顺序与PE级资源分配的调度策略,显著降低了决策开销;设计了考虑时间裕量的协作奖励函数以优化SLA,并引入周期性统一抢占机制来适应负载动态变化。实验结果表明,与当前最先进算法相比,所提出算法的SLA满足率最高可提升18%,STP提升31.9%,尾延迟降低28.7%,调度决策时间降低至约1/11,有效提升了系统性能与服务质量。
在移动与边缘计算环境中部署大语言模型面临端侧算力与存储受限、无线带宽紧张以及云端模型持续演进等挑战。现有基于投机解码的边云协同推理虽可借助边缘草稿模型与云端目标模型的并行协作降低生成时延,但通常要求二者紧密匹配。当云端模型频繁更新时,往往需要反复同步边缘模型,导致额外通信开销、时延增加,并削弱系统可扩展性。为此,提出通信高效边云协同推理框架ECSpec。其核心在于共享骨干设计,使静态边缘草稿模型可适配多个不断演进的云端目标模型,从而避免端侧重复训练与权重反复下载,显著降低通信与维护成本。进一步结合时变信道与设备异构特性,设计信道感知自适应投机机制,依据实时信道状态和能耗预算动态调整草稿长度,在效率与能耗之间实现平衡。实验结果表明,ECSpec在通信受限的边缘环境中可实现更稳定、高效的大语言模型协同推理。
视频异常检测在智能监控、公共安全等领域具有重要应用价值。随着深度学习的发展,传统基于像素的视频异常检测方法逐渐暴露出对噪声敏感、计算代价高的局限性,而基于人体骨架的方法因其鲁棒性和高效性成为了研究热点。详细阐述基于人体骨架的视频异常检测方法的基本概念、学习范式和方法流程,系统地回顾近5年基于人体骨架的视频异常检测代表性工作并把它们划分为基于预测、基于重构、基于重构和预测相结合、基于重构和聚类相结合以及其他方法,并对每种方法的原理和创新点进行深入分析。此外,总结了现有基于人体骨架的视频异常检测基准数据集与评估指标,综合评估了主流方法在基准数据集上的性能表现,并进行对比分析。当前基于人体骨架的视频异常检测方法在骨架特征提取、多人体交互建模与理解等方面仍面临着重大挑战,对此进一步从鲁棒骨架特征提取算法、多模态信息集成与异构数据融合等方面提出科学展望,旨于探索构建鲁棒视频异常检测框架的积极因素,分析该系列方法在适应性、泛化性、实时性等方面存在的问题及其可行研究方向。
作为自动驾驶与环境感知中的核心任务,多模态3D目标检测通过融合激光雷达点云与相机图像等多种传感器数据,来实现对3D空间目标的精准定位与识别。为解决现有方法中普遍存在的目标规模差异与多尺度特征提取不足问题,提出了一种基于动态缩放卷积的多模态3D目标检测方法。该方法设计了一种多模态融合双分支模型,由体素网络和所设计的动态缩放网络组成,能够协同处理激光雷达点云和图像衍生的虚拟点云,实现跨模态特征对齐与自适应融合。动态缩放网络的核心是动态缩放模块,该模块包含适用于多模态数据的3D动态缩放卷积和2D动态缩放卷积,能够在3D与2D分支上自适应地调整采样位置和感受野内有效采样点数量,捕捉多尺度目标的结构与语义差异。在2个数据集上与现有10余种主流方法的对比结果表明,该方法的平均精度(AP)均超过现有方法。具体地,在KITTI测试集汽车、行人和骑行者类别上分别达到86.87%,46.68%,68.39%的3D目标检测平均精度均值(mAP3D),在nuScenes测试集上达到71.8%的平均精度均值(mAP),有效证明了所提方法在多模态3D目标检测任务中的检测与泛化性能。
随着人工智能技术的发展,基于视觉的物品识别作为构建物联网感知层的重要组成部分,与分拣机器人相结合后可应用在各类货物分拣的具体场景中。然而,在混乱摆放物品的复杂场景中,由于目标物品与干扰物品可能存在空间距离差,仅依赖物品识别算法并不能很好地区分目标物品和干扰物品,势必对机器人的正常抓取动作产生负面影响。为了解决该问题,提出了一种轻量化的复杂环境下的物品识别方法——3Deus。该方法将深度学习和3D点云数据处理相结合,利用3D点云对干扰物品所处的平面做整体消除,并基于改进的随机采样一致性算法区分目标物品所处平面与堆叠干扰物;运用平面扩张机制,保证目标物品所处平面点云的完整性;最后,借助物品识别算法获取目标的识别框并构建其与具体点云簇的映射关系。将3Deus部署在边缘计算设备上,并通过构建不同的实验场景验证了3Deus的有效性和鲁棒性。实验结果表明,与传统的随机采样一致性算法相比,3Deus能够有效地对目标物品和干扰物品进行区分,其准确率达到了95%以上,同时3Deus利用平面扩张机制将目标物品的识别准确率提高了30.48个百分点。
随着基于深度学习的语音转换(voice conversion,VC)技术的快速发展,攻击者能够通过篡改源说话人的语音信号来模仿目标说话人的声学特征,这严重威胁自动说话人验证(automatic speaker verification,ASV)系统的安全性。现有反欺骗防御机制主要聚焦于区分真实语音和伪造语音,却未能充分利用伪造语音中隐含的源说话人身份信息,导致其在司法取证、欺诈溯源等实际应用场景中难以满足需求。目前,针对源说话人身份验证与辨别的研究尚不充分,且已有模型泛化性能有限。基于此,构建了一个专门用于源说话人验证的新语音转换伪造数据集(voice conversion spoofing dataset for source speaker verification,VCSD-SSV)。该数据集涵盖Seed-VC,FACodec,DDDM-VC,Diff-HierVC,TriAAN-VC,Free-VC共6种语音转换算法,包含400个说话人,总计327 677条语音样本(其中真实语音46 811条、转换语音280 866条)。在此基础上,设计了一种基于特征泛化增强的源说话人验证(source speaker verification based on feature generalised enhancement,FGE-SSV)模型。该模型通过特征增强模块和级联的实例-批量归一化挤压激励块实现多层次源说话人音色特征的提取。实验结果表明,FGE-SSV在VCSD-SSV数据集全部6种VC模型中域内结果保持稳定的低等错误率(EER)(0.2%~1.0%),在SSTC2024数据集6种VC模型上也保持较低的EER;此外,FGE-SSV在未见过的VC模型上也展现出良好的泛化性能,其EER值均优于对比模型。
提出一种新颖的多类别无监督异常检测模型——DiffAD,以应对复杂工业场景下视觉异常检测所面临的标注匮乏与精度不足等挑战。该模型采用渐进式特征重建策略,其核心在于设计了一个特征重建组件DADE,该组件创新性地将重建过程划分为混沌、预细化和强细化3个阶段,有效提升了重建质量与过程稳定性。DADE的突出创新点在于融合差分卷积注意力与细节增强机制,通过整合差分卷积与多头自注意力机制,并借助残差密集连接,显著增强了对图像细微变化及高频信息的捕捉能力,进而提升了异常定位的精准度。在MVTec-AD,VisA,MVTec-3D,Uni-Medical这4个代表性数据集上的广泛实验表明,DiffAD在图像级和像素级异常检测指标上整体表现显著优于现有主流模型,充分彰显了其在无监督视觉检测领域的实际应用价值与潜力。
面对暴力行为识别中普遍存在的时空特征冗余与模型泛化不足的双重挑战,提出了一种融合稀疏词元选择与混合专家架构的高效识别模型——RDT-MoE。该模型由冗余特征去除模块RDT(redundancy-diminishing token)与参数化混合专家网络(mixture-of-expert,MoE)组成。具体而言,RDT模块基于时空分离注意力机制实现运动特征的解耦,并结合Top-k词元选择策略动态过滤约50%的背景冗余特征,从而显著提升特征表达效率;MoE部分创新性地引入LoRA参数更新策略,采用2阶段训练范式:第1阶段训练RDT模块与编码器以获得LoRA参数,第2阶段以LoRA参数初始化专家网络,并冻结RDT及编码器,仅微调门控与专家组合策略,以增强模型的泛化能力与收敛稳定性。此外,针对现有暴力行为数据集分辨率低、场景单一、样本量不足等问题,构建了一个高分辨率、多视角的暴力行为数据集DVAD(diverse violence action dataset),其数据规模较RWF-2000提升约50%,在场景多样性与应用代表性方面具有显著优势。实验结果表明,RDT-MoE在RWF-2000与DVAD数据集上均优于现有主流方法,在参数量减少约50%的同时,识别准确率分别提升2.00个百分点与2.34个百分点,展现出较高的效率与性能优势。
受大脑启发的脉冲神经网络(spiking neural networks,SNNs)由于其强大的时空编码能力和事件驱动计算等特性展现出巨大的发展潜力。目前,主流的SNNs方法分为将训练完备的人工神经网络(artificial neural networks,ANNs)转换为SNNs以及直接训练SNNs这2类。然而,现有的ANNs转换方法需要较长的时间步减少转换误差,直接训练的SNNs则受限于网络表征能力的不足。针对上述挑战,提出一种基于混合模型转换的高性能脉冲神经网络。所提方法将模型训练与推理解耦:在训练阶段,策略性地将SNNs中部分脉冲神经元替换为ReLU激活函数,增强网络的特征学习能力,从而构建一个同时包含ANNs与SNNs的高性能混合模型;由于混合模型中的ANNs部分无法进行事件驱动计算,进一步引入重参数化技巧,在不损失性能的前提下,将混合模型的推理过程全部转换为事件驱动计算,从而使所提方法兼具高性能和事件驱动计算的优势。实验结果表明:所提方法在CIFAR-10和CIFAR-100数据集上的分类准确率分别为97.31%和83.34%,在ImageNet数据集上的分类准确率为70.89%,在神经静态数据集CIFAR10-DVS的分类准确率为82.71%,均优于现有国内外最先进的方法。
深度学习方法因其具备快速推理和良好泛化能力,在点云补全任务中取得了显著进展。然而,现有方法较少关注点云的局部几何信息,如法线、向量夹角及高阶关系等。为此,提出一种基于超图卷积的几何点云补全网络,以生成细节丰富的完整点云。该框架主要包括2个核心组件:几何特征提取器与基于超图卷积的粗生成模块。具体而言,前者充分提取点云的法线、中心点与采样点之间的差异向量及其夹角,并将其作为位置编码融入Transformer结构中,使编码器更充分地学习点云的几何特性与旋转不变特征。此外,在基于超图卷积的粗生成模块中,通过引入超图建模点之间的高阶相关性,并利用交叉注意力机制探索逐点特征与高阶邻域特征间的交互作用,指导生成更具几何结构合理性的点云。在多个数据集上的大量实验结果验证了该方法具有较为优越的性能。
多模态推荐方法引入了文本、图像等模态特征丰富物品表示,提升了推荐系统的性能。近年来,大语言模型(large language models,LLMs)凭借其强大的世界知识与推理能力,在推荐领域展现出巨大潜力。然而,如何充分结合大语言模型与多模态信息,构建基于大语言模型的多模态推荐系统仍面临诸多挑战。首先,大语言模型的文本输入与多模态信息之间存在显著语义鸿沟,导致多模态特征无法被模型充分理解;其次,不同模态间存在信息不平衡问题,对多模态信息的简单融合可能会造成推荐性能的下降。为此,提出基于大语言模型的多模态自适应融合推荐算法,设计多模态混合提示模板与投影模块,通过指令微调实现非文本模态特征与大语言模型词元空间及推荐任务对齐。针对模态不平衡问题,提出基于门控机制的多模态权重动态分配策略,结合混合专家投影与门控网络自适应调整各模态特征权重。此外,该算法仅训练投影模块和门控网络,无需更新大语言模型,显著降低了训练成本。在多个数据集上的实验验证了该算法的有效性。