阅读排行天基遥感图像覆盖范围大、被探测目标小而密集、成像背景复杂，大型神经网络在实时性要求高且计算资源受限的天基遥感任务中难以部署。针对以上问题，提出了一种融合空间与通道多注意力机制的轻量化天基遥感图像目标检测算法。
首先，在YOLOv11n（you only look once version11）的基础上引入CPCA（channel prior convolutional attention）注意力机制，通过提取通道和空间上的注意力特征来丰富网络的目标特征，提升网络的特征提取能力。通过采用基于部分卷积（partial convolution，Pconv）的二维卷积层设计，避免了模型增加注意力模块带来的参数量过大的问题，使得改进后的模型参数量相较于YOLOv11n原始模型减少了0.48 M（约18.53%）。
实验结果表明，本文算法在DIOR（object detection in optical remote sensing images）数据集上的验证中，模型参数量为2.11 M，并且与多种YOLO算法进行的目标检测实验均取得主要性能的提升。本文算法的模型参数量降低到81.47%，目标检测精度平均提高了1.9%，召回率平均提高了1.2%。此外，本文算法的NPU（neural network processing unit）推理耗时仅为14.8 ms，相对于YOLOv11n原始模型减少了4.8 ms，推理速度提升了24.49%。
本文提出了一种融合多注意力机制和上下文信息的轻量化遥感图像目标检测算法，在有效降低模型参数量的同时显著提高了检测精度，为遥感图像目标检测算法的星上部署、天基遥感系统的快速在轨处理、解译及实时准确跟踪目标提供重要的技术支持。
基于卫星视频的单目标跟踪受到广泛关注，在军事和民用领域发挥着重要作用，可用于城市尺度下的灾害救援、治安防范以及突发事件监控等，但受目标尺寸小、相似目标干扰、运动模糊和背景复杂等因素影响，面临诸多挑战。为便于更多学者对该领域进行探索，本文对卫星视频单目标跟踪研究现状进行梳理和分析。首先，阐述该领域的挑战与优势。视频卫星视野范围大，车辆等目标在卫星视频中仅占几个或十几个像素，特征和纹理稀少，此外卫星视频中目标数量较多，目标与干扰物间的可区分性差，相似性较高，存在目标的快速移动或卫星平台的抖动导致目标模糊的情况，以及目标存在于复杂背景中，当运动目标本身不明显、背景信息比目标信息更加突出时，会导致跟踪失败。但相对于地面或低空视频，基于卫星视频的目标跟踪又有一定的优势，比如：目标的外部条件，如摄像机视角等相对稳定、卫星视频中的目标多为刚性目标，在跟踪过程中很少发生严重变形、目标的运动状态简单明了，运动轨迹多为直线或平滑的曲线。其次，总结典型的跟踪方法。包括基于生成式、基于相关滤波和基于深度学习的方法，介绍解决特征稀少、遮挡、相似目标干扰等问题的相关研究。然后，归纳现有卫星视频单目标跟踪数据集和常用性能评价指标。卫星视频目标跟踪数据集主要有XDU-BDSTU、VISO（video satellite objects）、SatSOT 、OOTB（the oriented object tracking benchmark）。其中VISO数据集规模最大，包括训练集和测试集，XDU-BDSTU数据集的影像幅宽大，适用于长时跟踪，OOTB数据集的目标标注为旋转框，更加贴合目标。性能评价指标主要有精确率、成功率和帧率。此外，在自制的测试集上对典型单目标跟踪方法进行性能评测与分析。实验结果表明，运动估计、时序信息以及背景信息的利用对卫星视频目标跟踪任务较为重要。最后，从统一跟踪结果评价指标、更大规模的高质量卫星视频目标跟踪数据集，以及更适合于卫星视频单目标跟踪的模型、长时跟踪几个方面展望了卫星视频单目标跟踪算法的未来发展趋势。
文物承载灿烂文明、传承历史文化、维系民族精神，生动诠释着中华民族文化自信的底气与底蕴。随着人工智能技术赋能各行各业，融入大众生活的方方面面，整个文物行业也在人工智能技术的推动下进行着方法和理念的变革，影响着文物防护、保护、研究、管理与传播的方式，如何将人工智能应用于文物行业已成为研究人员十分关注的工作。本文面向文物领域防、保、研、管、用五大方向，从文物行业应用需求、传统研究方法、人工智能技术发展和人工智能应用于文物研究等几个方面进行论述，并探讨和展望了人工智能技术下文物行业应用发展与未来。
基于视觉的轨道缺陷检测方法大多存在高参数、计算复杂、检测速度慢以及精度低等缺陷，为了解决上述问题，提出一种使用RGB和深度图像进行轨道缺陷检测的轻量级金字塔交叉注意网络（lightweight pyramid cross-attention network for orbital image defect，LPCANet）。
LPCANet模型利用深度学习、RGB-D与显著性目标检测等技术，设计一种轻量级金字塔模块，能够从深度图像中提取多尺度特征图，而骨干模块从RGB图像中捕获金字塔特征细节；然后，将交叉注意力模块（cross-attention mechanism，CAM）应用于两种类型的特征映射；其次，利用空间特征提取子（spatial feature extractor，SFE）提高缺陷检测性能；最后，应用像素洗牌（pixel shuffle）操作恢复原始图像的大小。
在NEU-RSDDS-AUG、RSDD-TYPE1和RSDD-TYPE2 3种公开无服务RGB-D轨道数据集进行实验。结果表明，提出方法在NEU-RSDDS-AUG数据集的运行参数为9.90 M，计算量为2.50 G，模型大小为37.95 MB，运行速度为162.60帧/s，相比现有18种轨道缺陷检测方法，更为轻量化；与当前性能最优的CSEPNet相比，S-度量、交并比、最大F-度量、平均精度和平均绝对误差指标分别提高1.48%、0.86%、0.14%、0.03% 和1.77%；在消融实验中，像素洗牌方法表现出明显优势，更适合LPCANet模型。深入分析各种骨干网络性能，实验表明，LPCANet模型不仅适用现有各种骨干网络，而且检测结果更加优秀。在非轨道数据集DAGM2007、MT和Kolektor-SDD2上进行实验，LPCANet模型在mAP、MAE与IOU指标均有提高，具备一定的泛用性。
提出的LPCANet模型综合了传统模型和深度学习模型的优点，在轨道缺陷图像检测领域具备良好的实际应用价值。
端到端的弱监督语义分割模型因其高效的训练效率备受关注，然而现有研究还存在语义信息提取不充分、生成的伪标签质量较低等不足。针对上述问题，本文提出一种基于知识蒸馏的端到端弱监督语义分割框架，通过双阶段知识交互模块增强学生网络和教师网络之间的知识传递，同时借助高斯修正模块对伪标签进行修正。
首先，设计双阶段知识交互模块强化教师网络和学生网络的特征学习过程，有效降低训练过程中的噪声干扰。其次，为了生成高质量的伪标签，设计了高斯修正模块，通过拟合类激活图的分布，利用EM（expectation maximization）算法估算每个像素点的噪声概率，并依据与邻域像素的相似度关系修正伪标签，进而提升弱监督语义分割网络的性能。
本文方法在PASCAL VOC 2012（pattern analysis， statical modeling and computational learning visual object classes 2012）和MS COCO 2014（Microsoft common objects in context 2014）数据集上的mIoU（mean intersection over union）值分别达到74.8%和42.3%，优于其他对比方法。
通过双阶段知识交互模块以及高斯修正模块，有效降低了图像内部噪声以及潜在的标签噪声对训练过程的影响，并且改善了伪标签生成不完整的问题，与现有方法相比取得了显著的性能提升，在端到端的弱监督语义分割方法中展现出明显的优越性，具有一定的研究价值。
近年来，数字化口腔正畸备受关注，其中牙弓线设计是计算牙齿目标位的关键。现有方法多采用Beta函数拟合牙弓线，但由于自由度的限制使其难以拟合出代表理想牙弓形态的牙弓线。为此，本文提出通过累加弦长参数化并基于Hermite插值函数的牙弓线拟合方法，以提高牙弓线拟合的精度和灵活性。
首先，使用牙齿分割技术得到每颗牙齿的数据，并通过牙齿特征点检测方法得到对应牙齿的特征点。其次，选取指定牙齿的特征点，采用累加弦长参数化方法确定最终插值点。最后，通过构建待定系数矩阵，确定方程组，拟合出以分段函数表示的牙弓线。此外，本文基于特征点与拟合牙弓线之间的最短距离，提出两种评估数学函数拟合牙弓线能力的指标。
本文方法克服了Beta函数原有的局限性，具有较强的可控性。医生可以通过调整控制点，拟合出符合正畸需求的理想牙弓线。各项评价指标均显示，本文方法优于对比的常用方法。此外，将本文方法拟合的牙弓线应用于现有的牙齿正畸自动排列方法中，验证结果显示正畸效果显著提升。
本文方法拟合牙弓线的精度以及灵活性均优于对比方法，能够有效解决理想牙弓线拟合难的问题，为后续牙齿正畸治疗提供了帮助。
针对已有的特征融合策略难以充分挖掘语义—实例特征之间相关性问题，提出一种基于增强注意力的语义实例联合分割网络。
首先，通过构建基于注意力机制的语义特征提取模块，有效捕获点间的局部上下文信息。然后，利用编码—解码模块获得点云的初始语义特征和初始实例特征，其中编码—解码模块包括基于注意力池化的PointNet++集合抽象层、PointConv的编码层、解码层以及PointNet++的特征传播层。接着，设计一个增强注意力模块，利用双重注意力机制，自适应地学习中心特征与邻近特征的相似性，动态确定注意力权重，并将得到的双重注意力权重进行求和，与初始语义特征相乘，获得增强后的语义特征。最后，将增强注意力模块内嵌到联合分割模块的语义分支中，将语义特征与实例特征有效融合，提高语义—实例联合分割的精度。
相较对比算法中最优值，本文方法在S3DIS（stanford large-scale 3D indoor semantics dataset）数据集中语义分割平均交并比与实例分割平均加权覆盖率指标分别提升3.5%和1.2%。在ScanNet数据集中，语义分割平均交并比与实例分割中平均加权覆盖率指标分别提升3.2%和2.8%。
本文提出的网络模型能够有效融合提取的语义特征与实例特征，其语义分割与实例分割的准确性明显优于现有的联合分割方法。
大语言模型在自然语言处理领域取得显著进展，展现出卓越的语言理解和生成能力。然而，尽管这些模型在文本处理方面表现出色，但在应对复杂多模态任务时，尤其在视频问答领域局限性逐渐显现。视频作为一种动态的视觉模态，具有显著的时序依赖性和跨模态信息融合的复杂性，对模型的时序信息处理能力和计算效率提出更高的要求。本文系统回顾基于大语言模型的视频问答模型的研究进展，详细分析非实时视频问答模型与实时视频问答模型的技术特点、优势及其在不同应用场景中的表现。同时，探讨了现有研究中常用的数据集及其评测标准，并总结了当前技术面临的挑战与瓶颈。在此基础上，对未来视频问答模型的发展方向进行前瞻性展望，旨在推动多模态人工智能的进一步发展与应用。
点云深度学习网络取得显著进展，表现出的强大语义理解能力推动着整个三维视觉领域的进步。然而三维点云通常表现出复杂的变换对称性，其中旋转是一个具有挑战性且必要的主题。不同旋转变换下点云的语义信息一致，但空间坐标不同，这影响了常规点云深度学习网络在语义感知方面的稳定性，难以应用到任意姿态的现实场景。早期的研究主要采用旋转数据增强的方式，但由于旋转本身的无限性和连续性，这种简易方案并不能满足需求。因此，越来越多的学者着手研究具有旋转不变属性的点云深度学习网络，在网络设计层面排除旋转对于特征提取的影响。本文对于旋转不变点云网络相关研究进行充分调研，分析其中存在的挑战，并系统整理相关主流方法，依据旋转不变能力获取方式的不同，将其划分为几何旋转不变方法、特征旋转不变方法和训练旋转不变方法。本文详细描述了当前学术界在该问题上的研究内容和方法，总结和对比各类方法的优缺点，并对常用的一些数据集和评价指标进行整理总结。最后，本文调研和总结了旋转不变点云深度学习网络的下游应用前景，并对未来发展和研究热点进行展望。
RGB-D显著目标检测通过整合RGB图像和深度图像的互补信息，可以提高应对复杂和具有挑战性场景的显著目标检测（salient object detection，SOD）能力，取得了比RGB显著性检测模型更好的性能，受到高度关注。然而，现有RGB-D 检测模型面临如何高效利用输入的多模态信息进行融合以及如何提高显著目标边缘检测精度等问题。为此，提出一种跨模态特征融合与边缘细节增强的RGB-D显著目标检测方法。
通过跨模态注意力融合增强模块（cross-modal attention fusion enhancement module，CAFEM）对不同模态特征进行注意力整合，使RGB图像和深度图像的互补信息充分融合，使模型充分利用多模态特征，从而提高模型的性能。但是两种模态的输入容易出现背景信息混淆、噪声增多、深度图质量低和目标轮廓提取困难的情况。为应对上述问题，提出一种卷积神经网络（convolutional neural network，CNN）低层特征引导的边缘特征提取模块（boundary feature extraction module，BFEM），通过通道注意力对低层特征携带的噪声进行过滤，然后使用低层细节特征引导跨模态融合特征进行聚焦解码以得到更加准确的显著图像。
在4个RGB-D显著目标检测数据集进行实验，与16种代表性方法进行定量和定性实验对比。在平均绝对误差（mean absolute error， MAE）指标上，本文方法相较于排名第2的方法，在4个数据集上分别提升6.9%、10.5%、9.7%和2.4%。结果表明，本文方法在各场景均有优异表现。
提出一种用于RGB-D显著目标检测的跨模态特征融合与细节信息增强网络（cross-modal feature fusion and detail-enhanced network，CFADNet），通过跨模态注意力融合增强模块（CAFEM），较好地实现了RGB特征与深度特征的融合。此外，构建了边缘特征提取模块（BFEM）提取低层细节特征，最终较为准确地定位显著物体并增强了边缘细节的清晰度。
北京市海淀区学院南路86号
010-62199257（仅加盟咨询）
qkjq@cast.org.cn
中国科学技术协会版权所有 京ICP 备10216604号-4 海淀分局备案 1101084647
科技导报社主办 中国科协信息中心技术支持
