过刊目录随着深空探测任务不断向高自主、长时序和复杂环境作业发展,传统依赖地面的遥控遥操任务模式已难以满足月球、火星及更远深空环境下实时、可靠和高效作业的需求。面向这一发展趋势,具身智能逐渐成为深空探测的重要研究方向,其核心在于推动探测系统由单一指令执行向感知、决策与执行一体化自主运行演进,从而提升深空任务中的环境感知能力与自主决策水平。本文系统回顾了深空探测智能化方法的研究进展,围绕深空感知能力受限、自主决策能力不足等关键问题,梳理了深空视觉感知方法与深空具身智能方法的研究现状,并对相关数据集、典型任务及评价方式进行了归纳总结。在此基础上,进一步从感知泛化、可信决策、系统协同与轻量化部署等方面,对深空探测具身智能的发展方向进行了展望,旨在为深空探测自主智能技术的研究与应用提供新的技术路径。
扩散模型已迅速发展成为生成式视觉模型的主要范式。然而,模型所固有的记忆遗忘机制使得模型不自觉地记忆训练数据集中的敏感信息,进而加剧了图像领域的隐私安全和版权问题。尽管记忆与遗忘机制在语言模型领域已有深入研究,但在扩散模型这一视觉生成任务的核心技术中,仍缺乏系统性的综述。本综述旨在填补这一空白,具体从扩散模型的理论建模和模型架构的介绍,到模型记忆在非时序和时序扩散模型上的定义,对于模型记忆在扩散模型上的理解和对模型记忆在模型审计方和恶意攻击方两方面的量化方法,再到模型遗忘统一框架下差分隐私、提示词优化、模型遗忘的模型记忆缓解方法5个方面进行探讨,最后,本文展望了扩散模型中记忆—遗忘机制的未来发展方向,并重点指出了当前面临的关键挑战,包括隐私数据处理流水线和基准测试亟待规范,更符合扩散模型特性的模型记忆定义和模型遗忘算法,新学习场景的模型记忆—遗忘机制和垂直领域落地。
人像重打光技术是计算机视觉领域中的一个重要研究课题,其核心思想是通过调整图像中的光照条件,模拟或改变人物面部的光照效果,从而实现提升图像视觉效果、改善面部特征呈现和增强美学效果的目标。近年来,随着深度学习技术的快速发展,基于深度学习的重打光技术已经成为主流。这类方法能够有效地捕捉光照变化与图像之间的复杂关系,进而输出具有高度真实性和视觉吸引力的重打光效果。本文详细介绍了人像重打光算法的研究背景和应用领域,进一步总结和归纳当前领域内已有的人像数据集和光照数据集。通过对现有基于深度学习的重打光方法进行分类调研与深入分析,本文还综合对比了这些方法的优势与不足,探索其在不同应用场景中的适用性与局限性。最后,结合当前技术发展趋势,本文展望了人像重打光算法在未来研究中的挑战与机遇,提出了可能的研究方向,旨在为进一步提升算法性能、拓宽应用范围以及克服现有技术瓶颈提供参考和思路。
随着生成对抗网络(generative adversarial network,GAN)、自编码器(autoencoder,AE)和扩散模型(diffusion model,DM)等深度伪造技术的快速发展,深度伪造人脸图像广泛用于制作非自愿色情内容、实施电信诈骗及传播政治虚假信息等恶意行为。作为新型数字证据,深度伪造不仅频繁出现在当前犯罪活动中,还可能被用于虚假指控或操控监控记录,严重削弱法庭证据科学中人脸图像分析的可靠性,进而威胁刑事司法的公正性。本文系统梳理了关键数据集的发展脉络与深度伪造人脸图像的技术演进路径,深入剖析其生成机制的核心架构,涵盖主要技术路线、理论基础与功能逻辑;基于Web of Science数据库筛选出的737篇文献,采用VOSviewer进行文献计量分析,识别该领域的研究趋势,并揭示现有检测技术研究与司法实践中证据鉴伪实际需求之间的显著脱节。本研究提出将深度伪造人脸图像检测方法划分为技术原理导向与应用阶段适配两类互补框架,以应对不同阶段的证据鉴定需求。针对深度伪造人脸图像作为新型犯罪载体所带来的证据可信性挑战,本文主张法庭证据鉴定人应推动检测向鉴定的转化,实现检测结果与贝叶斯推理框架的融合,提升其在司法证明中的可采性与说服力。本研究衔接计算机视觉技术发展与法庭证据实践需求,明确了从技术检测到司法鉴定的逻辑路径,为法庭科学研究人员与司法实务工作者提供了具有技术价值的理论参考。
人工智能(artificial intelligence,AI)生成内容技术的爆发增长引发了严重的信任危机,AI生成图像检测已成为多媒体取证领域的核心议题。为破解当前检测技术研究视角碎片化、理论体系割裂的困境,本文提出一种从“学习范式”切入的统一分析框架,对AI生成图像检测技术进行系统性综述。首先,本文构建了包含“证伪”与“存真”两大根本性类别的双学习范式分析体系,并对各类方法的基本思想进行全面阐述。其中,“证伪”范式侧重于挖掘生成过程中残留的频域异常、空间不一致等伪造痕迹;而“存真”范式旨在通过单类分类或物理一致性约束,对真实图像的固有分布进行建模以识别异常。其次,通过梳理理论分析与技术演进路径,本文揭示了检测技术由被动识别特定痕迹的“证伪”向主动建模真实分布的“存真”演进的趋势,并深入剖析了“证伪”范式在跨域泛化能力上的局限性,以及“存真”范式在建模高维复杂分布时的核心挑战。此外,本文构建了包含库内性能、跨模态泛化性、鲁棒性及可解释性等多维度的评估体系,对比了代表性算法的优劣。最后,本文探讨了范式融合、基于基础模型的检测及反取证防御等未来研究方向,为构建高鲁棒、可解释的AI生成图像检测体系提供理论参考。本文将相关开源论文及代码链接汇总至GitHub仓库(https://github.com/qqqqwddw/wesome-image-Detection),并将整理后的数据集与分析数据上传至ScienceDB社区(https://www.scidb.cn/detail?dataSetId=d6427185d9ff4c43bb6b190a117d723b),以供后续研究参考。
多模态实时交互式数字人作为新一代人机交互的核心载体,正随着多模态大模型、AR(augmented reality)/VR (virtual reality),以及5G/6G等技术的快速发展,逐步从传统的单模态输入方式,演进为融合语音、视觉、动作乃至情感信号的多模态自然交互形式。数字人本身也经历了从非交互式虚拟形象到具备语义理解、情感感知与主动响应能力的智能体的转变。本文从发展脉络、关键特征与技术体系3个方面系统梳理了这一进程:首先回顾了数字人由静态展示向多模态交互演进的轨迹,突出其在沉浸感、实时响应与情感共鸣能力上的提升;随后重点剖析了建模、实时驱动与渲染三大核心技术,涵盖3D高斯溅射(3D Gaussian splatting)、神经辐射场(neural radiance field,NeRF)隐式表征、多模态融合驱动及神经渲染等前沿手段,揭示了高保真视觉呈现与低延迟交互之间的技术权衡;进一步提出了多模态数字人的通用系统框架,划分为感知、融合、生成与拓展4个层次,并总结了语言生成、情感语音合成与表情驱动等关键模块间的协同机制。未来,数字人技术的发展将更加注重轻量化部署、跨模态一致性保障与情感共生智能的实现,有望在教育培训、医疗健康、文化娱乐及人机协作等场景中,提供更加自然、可信且富有温度的人机交互体验。
遥感变化检测是获取地表变化信息的核心手段。现有研究多基于双时相影像进行变化识别,难以准确捕捉长期、阶段性及多尺度的地表演化特征。探索多时相变化检测以刻画地表演化过程的动态变化已成为重要发展方向。然而,高分辨率、高质量且涵盖多类型地表变化的多时相遥感变化检测数据集仍然匮乏。针对这一问题,本文构建了一个覆盖中国五大典型区域——长三角、珠三角、京津冀、成渝及西北地区的高分辨率、多时相遥感变化检测数据集HR-MTCD(high-resolution multi-temporal change detection)。
数据集包括时间跨度5年,共1 601组8 005幅分辨率约0.5 m的遥感影像及变化标签,覆盖区域包含平原、丘陵、山地及高原等多样地理环境,重点聚焦建筑物新增与拆除、大面积植被变化等典型地表变化类型,兼顾城市扩张与生态环境演变,为多类型地表变化研究及多时相变化检测算法提供数据支撑。
在多种主流变化检测模型上的实验表明,HR-MTCD数据集可用于验证不同模型在场景复杂性、变化类型多样性与时序跨度方面的性能。同时,在统一实验框架下构建的递进式跨时相扩展实验表明时间维度信息在变化检测中具有重要价值。
该数据集的构建为遥感变化检测从离散双时相变化识别向多时相地表变化过程刻画提供了重要数据基础。数据集可通过以下链接获取:https://doi.org/10.57760/sciencedb.j00240.00110。
针对高分辨率遥感影像中山区道路因地形复杂、形态多样及背景干扰严重而难以准确提取的问题,以及现有道路提取数据集对山区道路适应性不足的现状,构建了首个覆盖亚洲多国典型山区的高分辨率遥感影像山区道路数据集(AsiaMountain-Road),并提出多分辨率自适应双聚合网络(multi-resolution adaptive feature dual aggregation network,MR-AFDANet)以支持山区道路自动提取算法的研究与应用。
数据集从亚洲多国典型山区选取了29个高分辨率遥感影像区域,总覆盖面积达1 836 km²。结合道路稀疏、弯曲以及遮挡等复杂场景特征进行采样与标注,最终形成涵盖多种地貌和道路类型的山区道路影像与精细标注。基于该数据集,对多种主流遥感道路提取算法进行了系统基准评测,并验证了所提MR-AFDANet模型在复杂山区环境下的分割性能。
实验表明,现有主流道路提取方法在AsiaMountain-Road数据集上表现出显著差异,其性能受到山区道路狭窄、弯曲、遮挡及多尺度特征的影响较大。该数据集有效揭示了现有算法在复杂山区环境中的局限性,并为算法鲁棒性提升与结构优化提供了基准支持。
AsiaMountain-Road数据集填补了高分辨率遥感影像山区道路提取领域的基准数据空白,MR-AFDANet模型有效解决了复杂地形下的道路断裂与漏检问题。两者共同为山区遥感影像的智能化解译提供了高质量的数据基础与方法参考。论文相关数据集与代码下载地址:https://cstr.cn/31253.11.sciencedb.j00240.00109和https://github.com/wyl-ucas/AsianMountain-DataSet。
在多媒体取证领域,语音证据的来源识别对于司法实践和信息安全至关重要。然而,现有方法大多仅能识别手机型号,而无法精确区分个体设备,导致语音证据多被视为辅助线索而非直接有效证据。为此,提出一种多尺度特征融合与动态增强的语音来源识别模型(multi-scale feature fusion and dynamic enhancement for voice source identification,VSI)。
首先,通过残差—注意力协同网络,增强模型对不同设备相关特征的捕捉能力,提取语音信号的硬件指纹特征;其次,设计基于表达增强TDNN(time-delay neural network)的整体特征提取模块,能够更好地捕捉丰富的设备特征信息;并设计基于多级残差SE-Res2Net的局部特征提取模块,有效捕捉手机设备个体之间的细微特征差异;然后,设计基于特征重校准与动态全局滤波的特征增强模块,滤除与任务无关的信息,增强与设备个体相关的特征表示;最后,构建细粒度分类模型,实现从型号到个体的跨层级设备识别。
为了验证所提模型的有效性,本文构建了包含14个手机品牌、121个不同个体设备的语音数据集。所提VSI模型的等错误率(equal error rate,EER)、准确率(accuracy,ACC)和最小检测代价函数(minimum detection cost function,minDCF)指标分别为7.50%、89.97%和0.38,相较于文中对比的其他4种方法,EER分别降低了4.75%、4.71%、5.44%和3.46%,ACC分别提升了3.98%、2.20%、4.90%和2.52%,minDCF分别下降了0.04、0.04、0.30和0.03。而且,模型在改变语音时长、采样率、编码格式和幅值环境下具有一定的鲁棒性。
实验表明该模型能够将语音数据作为电子证据,为司法取证、智能终端设备身份认证等领域提供有力技术支持。
显著目标检测(salient object detection,SOD)旨在模拟人类视觉注意力机制,从图像或视频中识别并分割最显著的物体。尽管基于深度学习的2D SOD已取得显著进展,但面向360°全景图像的SOD因球面投影畸变和边界不连续性等问题,面临独特挑战。同时,虽然深度信息在2D RGB-D SOD中被证明能增强几何推理能力,但由于模态对齐困难、噪声敏感性以及缺乏针对ERP(equal rectangular projection)畸变的融合框架,其在360° SOD中的应用仍探索不足。对此,提出一种新颖的非对称双分支U-Net网络用于RGB-D 360° SOD。
该网络包含全景感知感受野模块(panoramic-aware receptive field module,PA-RFM)、注意力引导融合模块(attention-guided fusion module,AFM)和跨模态引导协同解码策略。PA-RFM通过经度—纬度—全局三重注意力机制缓解投影畸变;AFM实现自适应跨模态特征融合,有效利用深度信息;跨模态引导协同解码策略利用高分辨率RGB解码细节提升边界恢复精度。
在两个基准数据集(360-SOD和360-SSOD)上的大量主客观实验表明,本文方法性能优于现有10种代表性RGB-D 2D SOD先进方法和7种代表性RGB 360° SOD先进方法。在360-SOD数据集中,相比于性能第2的模型,MAE(mean absolute error)降低了13.7%,max-F提升4.64%,mean-F提升3.24%,Sm(structure-measure)提升1.96%,同时也在360-SSOD数据集中展示竞争优势。
本文提出的面向360°全景图像显著性检测的RGB-D网络,通过PA-RFM、AFM和跨模态引导协同解码三大模块协同优化,显著提升了检测精度与鲁棒性,同时验证了深度信息在360° SOD中的有效性与潜力。
基于双视角X光图像的违禁品检测技术因其在检测性能和检测成本间的平衡优势,在安检领域获得了广泛关注。现有双视角X光图像的违禁品智能检测技术研究主要聚焦于利用双视角间的特征融合提升检测性能,但模型在物品分布杂乱环境下的检测能力有限,且对不同大小违禁品检测的泛化性能不足。
为此,设计了融合三维几何约束的RT-DETR(real-time detection Transformer)双通道改进网络。在编码器部分,设计了双视角多尺寸特征加权融合模块,通过多尺寸窗口计算交叉注意力融合双视角特征,增强模型对不同尺寸违禁品特征的感知能力;在解码器部分,设计了三维锚框引导定位融合模块,生成三维锚框坐标与包含双视角特征的查询向量,为解码器提供明确的空间位置引导,有效校正定位偏差。在网络训练阶段,设计了双视角一致性数据增强策略,对双视角图像施加一致的几何变换,在保持双视角空间对应关系的前提下提升了网络对物品分布杂乱环境的泛化能力。
在 DvXray 数据集上的对比实验表明,提出的模型在俯视角和侧视角的平均精度均值(mean average precision,mAP)分别达到93.4%和83.9%;双视角联合统计结果中,P-R曲线(precision-recall curve)下面积为84.9%,F1分数最大值为83.5%。相较基线模型平均精度均值分别提高2.1%和6.8%,P-R曲线下面积和F1分数提升5.7%和5.2%。
实验结果表明,所提方法通过多尺寸特征融合与三维几何约束的协同作用,克服了单一视角的局限,提升了复杂安检场景下的违禁品检测精度。
针对大视场监控视频中小目标检测存在的样本稀缺、特征微弱与定位不准等难题,提出一种用于大视场监控视频的小目标检测网络SOD-YOLO(small object detection-you only look once)。
该方法从3个层面系统性地进行改进:1)提出结合SAM2(segment anything model 2 )语义指导与UE虚拟仿真的虚实融合样本生成策略,以低成本获取大量高质量标注数据;2)设计包含视频差分预处理、多尺度特征融合及双层路由注意力的特征增强机制,以提升模型对微小特征的感知与分辨能力;3)采用解耦头结构并创新
在建设工地、高速公路服务区及大学校园3个真实场景数据集上的实验结果表明,SOD-YOLO的综合性能显著优于当前主流模型,在建筑工地场景取得最高AP75(13.5%)与AP50s(53.9%);在高速公路服务区场景获得最优AP(42.6%)与AP75(29.5%);尤其在极具挑战的大学校园场景(小目标像素占比约0.007 5%),其AP、AP75与AP50s相较基准模型YOLOv7分别提升了4.9%、2.5%与5.0%。
本研究为解决低分辨率监控视频下的小目标检测问题提供了一套有效且可靠的技术方案。
解决低光环境下图像噪声、对比度不足及细节退化导致的传统目标检测性能下滑问题,缓解高质量标注低光图像稀缺瓶颈,挖掘大规模自然图像数据集价值以提供高效训练支撑。
提出一种创新的低光目标检测框架,以正常光照图像预训练模型为基础构建核心训练范式。首先,为弥合正常光照与低光图像间的域分布鸿沟,设计光照不变特征对齐模块(illumination-invariant feature alignment,IIFA),通过全局光照特征对齐与光照无关特征提取的协同机制实现跨域特征融合,并嵌入自适应样本优先级处理机制以适配域间分布差异;其次,针对低光场景下小型及远距离目标因细节退化、对比度不足导致的检测难题,提出一种基于两阶段增强策略的局部特征强化注意力模块(two-stage feature enhancement,TSFE),实现对关键目标特征的精准增强。
在低光检测基准ExDark数据集上的实验结果表明,所提模型性能优于直接低光训练、正常光预训练后低光微调等现有方法,尤其在小型目标检测任务中表现突出。具体指标如下:IIFA跨域适应场景下平均精度均值(mean average precision,mAP)达65.74%,帧率(frames per second,FPS)达57.03帧/s;所提模型mAP达66.83%,精确率(precision,P)达83.73%,召回率(recall,R)达54.78%,同时保持48.81帧/s的FPS,综合性能与检测效率优势显著。
本框架有效弥合跨域差异,提升小型及远距离目标检测能力,显著改善低光检测性能,提供了高效解决方案。
针对无人机航拍图像中目标检测面临复杂背景、微小目标和障碍物等挑战,提出了一种多尺度频域自适应网络(multi-scale frequency adaptive you only look once,MSFA-YOLO)。
首先,构建的多尺度边缘特征提取器(multi-scale edge feature extractor,MEF)将图像多尺度边缘特征信息与原始特征跨通道融合增强局部细节的捕捉能力;其次,频域空间自适应模块(frequency spatial adaptive,FSA)结合空间域和频率域的联合表示,进一步丰富小目标特征信息;最后,轻量级特征增强模块(lightweight feature fusion enhancement,LFFE)采用多分支结构和可重参数化卷积技术,在保持特征表示能力的同时显著降低计算复杂度。
在VisDrone2019-DET(vision meets drones 2019 for detection for validation)和UAVDT(unmanned aerial vehicle benchmark: object detection and tracking)公开数据集上的实验结果表明,MSFA-YOLO与基线相比mAP50(mean average precision)分别提高了4.3%和2.1%;与Hpyer-YOLO、Mamba-YOLO等先进算法方法相比,在参数量更低的同时mAP50分别提高了4.4%、1.7%和1.4%、0.6%,进一步验证了所提出模块的有效性和泛化能力。
本文提出的MSFA-YOLO算法能够在复杂背景的无人机航拍小目标检测场景,相较于其他参与对比的模型,取得更加良好的性能。
道路损伤检测是道路基础设施智能养护与交通管理的核心环节。传统检测方法易受环境干扰且泛化能力不足,而当前深度学习方法多聚焦于目标提取能力等单维度优化,忽视损伤目标存在细长拓扑结构、形态不规则性及低对比度等复杂物理特性,无法实现高效检测。为解决上述问题,提出了多阶段空间感知与细节增强道路损伤检测模型。
设计空间感知与细节增强的混合注意力模块,通过全局方向感知与细节强化的协同机制,构建长程空间依赖关系,同时显著提升对弱纹理、边缘模糊损伤的细节表征能力。构建跨尺度特征交叉融合模块,优化网络颈部架构以实现跨尺度特征的异构级联融合,有效平衡局部空间细节与全局语义信息的协同表达。此外,改进的C3K2(CSP three-convolution kernel)模块嵌入坐标感知卷积,通过空间信息增强有效优化高维特征的空间耦合建模效能。
在RDD2022(road damage dataset)基准数据集上的系统实验表明,本文模型有效识别各类道路损伤,在保持142 帧/s实时推理速度的同时,mAP@0.5(mean average precision)、mAP@0.5:0.95和F1-Score较现有最优方法分别提高了1.9%、4.8%和1.8%,其中mAP@0.5达到87.7%,消融实验验证了各模块的贡献度。跨数据集测试与泛化测试进一步证实该模型具备优异的检测鲁棒性与工程适用性。
本研究构建的多级协同优化框架,通过空间感知强化与细节特征增强的机制耦合,为道路基础设施智能养护提供了具有显著工程价值的技术解决方案。论文代码开源于https://www.scidb.cn/s/RZBnIz。
现有目标检测主动学习的度量方法仅依赖检测器自身输出,难以识别高置信但语义错误的误检结果且易造成采样冗余。为此,本文旨在引入跨模态先验以提升主动采样的可靠性与有效性。
提出跨模态先验驱动的语义增强主动学习方法(semantic enhanced active learning,SEAL),在不增加额外监督的前提下利用视觉语言模型,如对比语言—图像预训练模型(contrastive language-image pre-training,CLIP)的语义对齐能力提升样本选择质量,有效纠正单模态检测器在训练数据匮乏时的判别偏差。在不确定性采样阶段,SEAL使用CLIP对图像候选检测框区域进行特征提取,通过对比检测器与CLIP的类别预测结果,构建融合视觉与语义的一致性指标,实现更鲁棒的实例级不确定性度量。在多样性采样阶段,聚合图像各类别目标的CLIP特征,构建类别级结构特征表示,并据此计算图像间的结构相似性,实现类别对齐的多样性度量,提升采样的类别覆盖和信息表达多样性。
在MS COCO(Microsoft common objects in context)与Pascal VOC(pattern analysis,statistical modelling and computational learning visual object classes)数据集上的实验结果表明,SEAL在多种主动学习基准设置下均优于主流方法,表现出更高的检测精度。在RetinaNet on Pascal VOC基准上(20%标注数据),SEAL方法的mAP@0.5为72.4%,较当前最优方法提升0.8%;在RetinaNet on MS COCO基准上(10%标注数据),AP@(0.5:0.95)为23.9%,提升0.5%。
本文提出的SEAL方法成功地利用了跨模态先验知识来优化主动学习中的样本选择过程。通过构建更鲁棒的不确定性度量和更具代表性的多样性度量,能够显著减少数据标注成本、提升模型学习效率。
在空间生命科学实验研究中,果蝇作为典型模式生物,常被用于探索微重力环境对生命体行为、神经和代谢的影响。果蝇体型微小、运动非线性、个体外观高度相似,密集场景下现有多目标跟踪方法易出现检测精度低、关联错误等问题,难以满足空间科学数据分析需求。精确高效地实现多个果蝇的追踪,对理解其运动模式及行为机制具有重要作用与价值。
基于SpaceAnimal数据集,进一步扩充并构建了高密度、高动态运动特征的果蝇跟踪数据集,包含20条视频序列,2 500帧标注图像。提出了DN-MeMOTR(denoising training incorporated in MeMOTR)跟踪框架,通过翻转标签、偏移边界框生成带噪样本,引入去噪训练补充检测监督信号;设计了ReID(re-identification)特征与GIoU(generalized intersection over union) 加权融合的联合过滤模块,结合匈牙利算法优化目标关联,剔除冗余检测结果。
验证结果表明,所提方法在HOTA(higher order tracking accuracy)、MOTA(multi-object tracking accuracy)、DetA(detection accuracy)、IDF1(identification F1 score)等指标表现上优于其他先进对比方法,可视化和消融实验进一步验证了方法的有效性。
构建了业界专属的果蝇实验跟踪数据集,提出了DN-MeMOTR方法,通过去噪训练与联合过滤两个模块,极大地提高了跟踪的精度,为后续微重力环境下果蝇行为分析提供了技术支持。
针对红外目标检测系统的白盒物理对抗攻击方法中存在的攻击性能与物理可实现性的多目标优化失衡、物理约束不足及工艺复杂等问题,提出一种高效、鲁棒且易于部署的红外物理对抗攻击方法,以实现对红外行人检测器的强干扰攻击。
本文提出一种动态目标优先级驱动的对抗贴片多目标优化方法。该方法以聚合正则化和稀疏二值正则化为约束基础,同时构建动态目标优先级策略,通过实时量化各优化目标的难度自适应调整损失权重,解决传统固定权重导致的优化失衡问题;在此框架下,设计双重投影优化算法,结合投影梯度下降(projected gradient descent,PGD)与加权动量累积策略,提升对抗掩码在物理约束下的全局优化能力与收敛稳定性。
实验主要在FLIR ADAS(advanced driver assistance systems)v1_3数据集上进行,并在FLIR ADAS v2.0与LLVIP(low-light vision infrared paired)数据集上进一步验证泛化性,采用YOLOv3作为目标检测器,并在数字域和物理域场景下验证攻击效果。在数字域实验中,平均攻击成功率达75.08%,YOLOv3平均精度下降至36.18%,相较于对比实验中的最优基准方法,两项指标上分别高出4.85%和2.91%;且该方法在不同数据集上的攻击成功率与平均精度均为最优,充分证明其泛化能力;在物理域实验中,在不同角度、不同距离,室外复杂情况以及动态场景下,攻击成功率始终保持在79%以上,均超越基准方法。
本文提出的红外物理对抗攻击方法有效解决了攻击性效果与物理可实现性之间的冲突,实现了高攻击效能与低部署成本的平衡,在多种复杂真实场景中均表现出卓越的攻击效能,为红外目标检测系统的安全性评估与防御机制设计提供了重要参考。
医学图像异常检测旨在以无监督方式识别临床影像中的病变区域,但现有方法在迁移自然图像预训练模型至医学域时存在语义差异问题,导致模型对解剖结构差异敏感且对早期病变识别能力不足。现有方法若对预训练编码器进行微调,易因模式崩溃导致失败;而若保持冻结,则难以充分适配医学域。为此,提出一种跨域自监督表征学习(cross-domain self-supervised representation learning,CSRL)框架,以提升医学图像异常检测的准确性与鲁棒性。
CSRL框架包含两个阶段:第1阶段通过域适应对比学习(domain-adaptive contrastive learning,DACL)网络,采用在线—目标网络双路径框架实现预训练编码器从自然图像域到医学图像域的稳健迁移;第2阶段构建特征重建网络,引入协同注意力增强模块(synergistic attention enhancement,SAE)以增强病变特征表示,并结合多尺度异常融合模块(multi-scale anomaly fusion,MAF)实现跨层级异常响应的动态融合。
实验在APTOS(Asia Pacific Tele-Ophthalmology Society)、ISIC(International Skin Imaging Collaboration)和BR35H 3个公开医学数据集上与10种代表性方法进行了对比。实验表明,本文方法在图像级异常检测任务中取得最优性能。在BR35H数据集上,受试者工作特征曲线下面积(area under curve,AUC)达到99.90%;在ISIC数据集上,AUC为91.79%;在APTOS数据集上,AUC为97.71%。相较于当前先进方法,本文方法的最佳AUC值在APTOS、ISIC和BR35H数据集上分别提升了0.35%、3.52%和0.02%。 消融实验验证了各模块的有效性,可视化结果进一步表明本文方法在异常定位方面具有更优的空间一致性与临床可解释性。
CSRL框架通过跨域自监督表征学习、协同注意力增强与多尺度融合机制,有效缓解了预训练模型在医学图像中的语义差异问题,提升了异常检测的判别能力与定位精度,为医学图像无监督异常检测提供了可靠的解决方案。
低剂量计算机断层扫描(low-dose computed tomography,LDCT)在降低辐射剂量方面具有重要临床价值,但其图像质量常受噪声与伪影影响。现有改善LDCT图像质量的深度学习方法在模型泛化能力、计算效率及对噪声的自适应性方面仍存在不足。为此,提出一种基于深度强化学习的高分辨率重建框架(high resolution deep reinforcement learning network,HRDRL-Net),旨在实现噪声抑制与结构保留的有效平衡。
将LDCT去噪任务建模为序列决策过程,采用异步优势动作评价算法作为智能体训练基础。通过构建双路径多分支协同架构与低剂量噪声抑制模块,并设计融合像素级误差、梯度相似性及局部方差约束的复合奖励函数,动态引导智能体在丰富动作空间中学习自适应去噪策略。
在Mayo与Piglet公开数据集上的实验表明,HRDRL-Net重建图像的定量指标优于主流基线方法。在Mayo测试集上,与基线模型相比,HRDRL-Net的峰值信噪比平均提高约1.3%,结构相似性指数平均提高约0.7%,梯度幅度相似性偏差降低约6%。在Piglet数据集上,峰值信噪比与结构相似性指数较基线模型平均提高约1.5%和0.8%。消融实验证实了复合奖励、完整动作集、双路径架构及多分支模块对方法性能的有效性。
HRDRL-Net能够有效抑制LDCT图像噪声并保留关键解剖结构与纹理细节,在重建质量、泛化能力与计算效率之间取得了良好平衡。
微卫星不稳定性(microsatellite instability,MSI)是癌症预后与治疗决策的重要指标,而组织病理图像作为诊断的重要依据,其数字化形式——全玻片图像(whole slide image,WSI)已广泛应用于病理分析。受限于WSI的尺寸,现有方法常采用多实例学习(multiple instance learning,MIL)框架,将WSI划分为图像块后通过平均池化等方式获得整体预测结果,但其忽略了块间关联性,限制了模型的建模能力与检测性能。此外,单尺度建模难以同时兼顾组织的宏观结构与局部细节,而简单的多尺度融合策略缺乏对不同尺度语义差异的刻画,容易引入尺度偏置。
为解决上述问题,提出了一种图边属性注意力的多尺度融合网络(graph edge-attribute attentional multi-scale fusion network,GEAMF)。该模型首先使用图构建模块(graph construct module,GC-M)将WSI图像块构建为图结构,然后基于Transformer的注意力机制设计了图边属性注意力模块(graph edge-attribute attention module,GEA-M)来显式编码图节点间的关系,以实现节点特征的动态加权聚合。此外,进一步设计了一种双流分支来学习不同尺度下的WSI特征,最终通过可学习的尺度感知门控残差模块(scale-aware gated ResMLP module,SGRes-M)实现多尺度特征的互补优化。
实验表明,GEAMF在多种公开WSI数据集上均显著优于对比方法,验证了其在MSI分类任务中对多尺度组织表征和结构依赖关系建模的有效性。此外,在Camelyon16淋巴结转移检测这一不同病理任务上,所提方法同样取得了稳定性能提升,验证了模型在跨病理任务场景下的泛化能力。
本文提出的GEAMF模型通过显式建模图像块之间的结构依赖关系,并联合多尺度组织表征,有效弥补了传统弱监督方法忽视结构与尺度信息的不足。