北京邮电大学学报

模型	准确率/%	AUC/%	浮点数/G	参数量/M
AD分类任务（AD vs NC）
4@2D-R18^[13]	87.28±1.00	94.40±0.62	19.00	11.69
4@2D-R34^[13]	88.02±1.08	94.56±0.31	38.36	21.80
3D-R18^[14]	90.25±1.81	96.37±0.44	85.95	33.72
3D-R34^[14]	90.25±2.39	95.28±1.45	131.27	64.03
32@TPN-R18	89.51±1.41	95.72±1.10	5.62	12.14
32@TPN-R34	90.99±1.08	96.08±0.83	8.04	22.25
4@TPN-R34	91.97±1.10	96.47±0.43	42.31	22.25
MCI转化预测任务（pMCI vs sMCI）
8@2D-R18^[13]	68.54±1.45	81.16±0.79	9.50	11.69
8@2D-R34^[13]	70.09±1.29	81.99±0.50	19.18	21.80
3D-R18^[14]	76.70±1.50	83.51±0.85	85.95	33.72
3D-R34^[14]	77.48±1.67	83.88±0.92	131.27	64.03
32@TPN-R18	78.45±1.55	82.20±1.06	5.62	12.14
32@TPN-R34	79.22±1.45	82.85±0.57	8.04	22.25
8@TPN-R34	80.58±1.37	84.70±0.88	22.73	22.25

模型	准确率/%	AUC/%	浮点数/G	参数量/M
AD分类任务（AD vs NC）
4@2D-R18^[13]	87.28±1.00	94.40±0.62	19.00	11.69
4@2D-R34^[13]	88.02±1.08	94.56±0.31	38.36	21.80
3D-R18^[14]	90.25±1.81	96.37±0.44	85.95	33.72
3D-R34^[14]	90.25±2.39	95.28±1.45	131.27	64.03
32@TPN-R18	89.51±1.41	95.72±1.10	5.62	12.14
32@TPN-R34	90.99±1.08	96.08±0.83	8.04	22.25
4@TPN-R34	91.97±1.10	96.47±0.43	42.31	22.25
MCI转化预测任务（pMCI vs sMCI）
8@2D-R18^[13]	68.54±1.45	81.16±0.79	9.50	11.69
8@2D-R34^[13]	70.09±1.29	81.99±0.50	19.18	21.80
3D-R18^[14]	76.70±1.50	83.51±0.85	85.95	33.72
3D-R34^[14]	77.48±1.67	83.88±0.92	131.27	64.03
32@TPN-R18	78.45±1.55	82.20±1.06	5.62	12.14
32@TPN-R34	79.22±1.45	82.85±0.57	8.04	22.25
8@TPN-R34	80.58±1.37	84.70±0.88	22.73	22.25

模型	参数设置（α,β）	准确率/%	AUC/%	浮点数/G
TPN-R34
AD分类任务（AD vs NC）
（32,1/8）	90.99±1.08	96.08±0.83	8.04
（16,1/8）	90.62±1.53	95.77±1.01	12.94
（8,1/8）	90.62±1.58	95.85±0.81	22.73
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/16）	91.36±1.87	96.00±0.73	40.08
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/4）	92.72±1.72	96.63±0.68	49.93
MCI转化预测任务（pMCI vs sMCI）
（32,1/8）	79.22±1.45	82.85±0.57	8.04
（16,1/8）	79.42±1.29	83.25±0.71	12.94
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（4,1/8）	79.22±0.99	84.65±1.26	42.31
（8,1/16）	79.42±1.67	84.09±0.60	20.57
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（8,1/4）	80.39±1.13	83.89±1.41	30.20

模型	参数设置（α,β）	准确率/%	AUC/%	浮点数/G
TPN-R34
AD分类任务（AD vs NC）
（32,1/8）	90.99±1.08	96.08±0.83	8.04
（16,1/8）	90.62±1.53	95.77±1.01	12.94
（8,1/8）	90.62±1.58	95.85±0.81	22.73
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/16）	91.36±1.87	96.00±0.73	40.08
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/4）	92.72±1.72	96.63±0.68	49.93
MCI转化预测任务（pMCI vs sMCI）
（32,1/8）	79.22±1.45	82.85±0.57	8.04
（16,1/8）	79.42±1.29	83.25±0.71	12.94
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（4,1/8）	79.22±0.99	84.65±1.26	42.31
（8,1/16）	79.42±1.67	84.09±0.60	20.57
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（8,1/4）	80.39±1.13	83.89±1.41	30.20

模型	融合模块	准确率/%	AUC/%	浮点数/G	参数量/M
Model1	—	74.94±1.77	81.59±1.79	3.14	0.33
Model2	—	80.12±2.74	89.67±2.17	4.79	21.80
Model3	—	80.86±1.56	89.30±1.35	7.94	22.12
TPN	打包融合	85.43±1.27	92.83±1.53	8.27	22.58
卷积融合	88.15±1.48	95.79±0.36	8.09	22.33
自适应融合	90.99±1.08	96.08±0.83	8.04	22.25

模型	融合模块	准确率/%	AUC/%	浮点数/G	参数量/M
Model1	—	74.94±1.77	81.59±1.79	3.14	0.33
Model2	—	80.12±2.74	89.67±2.17	4.79	21.80
Model3	—	80.86±1.56	89.30±1.35	7.94	22.12
TPN	打包融合	85.43±1.27	92.83±1.53	8.27	22.58
卷积融合	88.15±1.48	95.79±0.36	8.09	22.33
自适应融合	90.99±1.08	96.08±0.83	8.04	22.25

参考文献	方法	AD vs NC	pMCI vs sMCI
Hu等^[5]	2D切片	—	—	0.772	0.815
Liu等^[6]	2D切片	0.900	0.914	—	—
Cai等^[9]	3D脑区	0.859	—	—	—
Pan等^[10]	3D脑区	0.890	0.880	0.710	0.700
Zhu等^[11]	3D局部块	0.924	0.965	0.802	0.851
Huang等^[12]	3D局部块	0.901	0.956	—	—
Chen等^[7]	3D全脑	—	0.969	—	0.838
Han等^[8]	3D全脑	0.968	0.797	0.824
TPN	0.927	0.966	0.806	0.847

参考文献	方法	AD vs NC	pMCI vs sMCI
Hu等^[5]	2D切片	—	—	0.772	0.815
Liu等^[6]	2D切片	0.900	0.914	—	—
Cai等^[9]	3D脑区	0.859	—	—	—
Pan等^[10]	3D脑区	0.890	0.880	0.710	0.700
Zhu等^[11]	3D局部块	0.924	0.965	0.802	0.851
Huang等^[12]	3D局部块	0.901	0.956	—	—
Chen等^[7]	3D全脑	—	0.969	—	0.838
Han等^[8]	3D全脑	0.968	0.797	0.824
TPN	0.927	0.966	0.806	0.847

基于双通路卷积网络和自适应特征融合的阿尔茨海默病诊断方法

PDF下载

曹功鹏 , 袁晓彤 , 张雨婷 , 张曼利 , 康桂霞

北京邮电大学学报 | 论文 2025,48(5): 105-111

收起

北京邮电大学学报 | 论文 2025, 48(5): 105-111

基于双通路卷积网络和自适应特征融合的阿尔茨海默病诊断方法

全屏

曹功鹏, 袁晓彤, 张雨婷, 张曼利, 康桂霞

作者信息

北京邮电大学　信息与通信工程学院，北京　100876

曹功鹏（1996—），男，博士生。

通讯作者:

康桂霞（1972—），女，教授，博士生导师，邮箱：gxkang@bupt.edu.cn。

An Alzheimer's Disease Diagnosis Method Based on Two-Pathway Convolutional Networks and Adaptive Feature Fusion

Gongpeng CAO, Xiaotong YUAN, Yuting ZHANG, Manli ZHANG, Guixia KANG

Affiliations

School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China

doi: 10.13190/j.jbupt.2024-206

文章导航

摘要

收起

深度卷积神经网络被广泛应用于结构磁共振成像（sMRI）分析，进行阿尔茨海默病的早期诊断。为解决sMRI高效表征学习问题，本研究提出了一种双通路卷积网络，其通过表征解耦提升sMRI特征抽取的计算效率，并利用自适应特征融合来增强表征判别性。该网络包含3个部分：1）高通道容量切片路径，处理稀疏切片，用于编码切片图像语义信息；2）低通道容量上下文路径，处理密集切片，用于捕获切片间上下文信息；3）自适应特征融合模块，融合2条路径的解耦信息，生成更加有效的sMRI表征。本研究基于阿尔茨海默病神经成像倡议（ADNI）数据集，在阿尔茨海默病分类和轻度认知障碍转化预测2个任务上对所提方法进行了评估。结果显示，所提方法在计算效率和诊断性能上均优于基线模型，并且取得了与当前先进方法相当的效果。

关键词

阿尔茨海默病诊断 / 双通路卷积网络 / 自适应特征融合

Abstract

收起

Deep convolutional neural networks are widely used in structural magnetic resonance imaging (sMRI) analysis for the early diagnosis of Alzheimer's disease. To address the challenge of efficient representation learning in sMRI, this study proposes a two-pathway convolutional network that improves the computational efficiency of sMRI feature extraction by representation decoupling, and further strengthens the representation discriminability through adaptive feature fusion. The network consists of three parts：1) A high-channel-capacity slice path, which processes sparse slices to encode semantic information of slice images；2) A low-channel-capacity context path, which processes dense slices to capture inter-slice contextual information；3) An adaptive feature fusion module, which integrates the decoupled information from both paths to generate more effective sMRI representations. The proposed method was evaluated on two tasks—Alzheimer's disease classification and mild cognitive impairment conversion prediction—using the Alzheimer's disease neuroimaging initiative (ADNI) dataset. The results demonstrate that the proposed approach surpasses the baseline models in both computational efficiency and diagnostic performance, while achieving results comparable to those of current state-of-the-art methods.

Key words

Alzheimer's disease diagnosis / two-pathway convolutional networks / adaptive feature fusion

引用本文

曹功鹏, 袁晓彤, 张雨婷, 张曼利, 康桂霞. 基于双通路卷积网络和自适应特征融合的阿尔茨海默病诊断方法. 北京邮电大学学报, 2025 , 48 (5) : 105 -111 . DOI: 10.13190/j.jbupt.2024-206

Gongpeng CAO, Xiaotong YUAN, Yuting ZHANG, Manli ZHANG, Guixia KANG. An Alzheimer's Disease Diagnosis Method Based on Two-Pathway Convolutional Networks and Adaptive Feature Fusion[J]. Journal of Beijing University of Posts and Telecommunications, 2025 , 48 (5) : 105 -111 . DOI: 10.13190/j.jbupt.2024-206

正文

收起

阿尔茨海默病（AD，Alzheimer's disease）是一种起病隐匿、进行性发展的中枢神经退行性疾病，是最为常见的老年痴呆症病因。其会导致关键脑区神经元不可逆损失并引发脑萎缩，临床症状常表现为学习与记忆能力受损、语言与行动能力下降，严重影响患者日常生活质量^[1]。由于AD致病机理尚不明确，目前仍缺乏有效的逆转性药物；但如果能在早期阶段进行及时诊断和干预治疗，如轻度认知障碍（MCI，mild cognitive impairment）阶段，可以有效延缓疾病的发作进程^[2]。神经影像学是重要的临床诊断手段，其中结构磁共振成像（sMRI，structural magnetic resonance imaging）无创且直观，能捕捉皮层/海马萎缩与脑室扩大等改变，已广泛用于AD早期筛查^[3]。在老龄化与医疗资源紧张背景下，发展基于sMRI的计算机辅助系统以提升AD诊断效率与准确性尤为必要。

近年来，深度卷积神经网络（CNNs，convolutional neural networks）已经主导了计算机辅助AD诊断方法的研究^[4]，主要包括2D CNNs和3D CNNs。基于2D CNNs的方法^[5-6]，首先从3D sMRI中提取出2D切片图像序列，然后使用2D CNNs单独分析每张切片图像，获得切片级别的诊断预测；之后将所有sMRI切片结果汇总聚合以产生最终的诊断预测。此类方法忽略了sMRI切片间的重要上下文信息，不可避免地降低了sMRI表征判别性，导致了次优的诊断性能。基于3D CNNs的方法^[7-8]，通常将全脑sMRI作为输入，使用堆叠的3D卷积来整合不同脑区之间的空间关系，避免了上下文信息的丢失。这类方法能够抽取更加全面的3D脑结构表征，因此提升了AD诊断性能；然而，直接处理全脑sMRI的计算开销较大，限制了其临床应用场景。为在sMRI表征学习和计算开销之间取得平衡，一些研究仅使用3D CNNs处理依据先验知识预定义的部分重要脑区（例如，海马）^[9-10]或局部sMRI块^[11-12]，以降低计算复杂度。然而，这些方法通常无法覆盖所有的病理位置，且涉及复杂的区域预处理流程。因此，如何设计一种既高效又灵活的CNN架构，以实现有效的sMRI表征学习，进而提升AD诊断效率，仍需进一步研究。

鉴于以上不足，本研究提出了一种双通路卷积网络（TPN，two-pathway convolutional network）架构，将sMRI表征解耦为切片图像语义信息和切片间上下文信息，以实现高效率sMRI表征学习。TPN由3个主要部分构成：切片路径、上下文路径和自适应特征融合模块。切片路径采用2D CNN，从单个切片中提取细粒度语义。鉴于相邻切片高度相似，仅对少量稀疏采样的切片进行处理以降低计算开销。与之互补的上下文路径为3D CNN，接收密集采样的切片以建模跨切片上下文，并通过减少通道数控制计算成本。自适应特征融合模块在TPN的多个尺度特征中被引入，通过查询响应机制将上下文信息整合到切片图像语义信息中，以增强sMRI表征的判别性。本研究在阿尔茨海默病神经成像倡议（ADNI，Alzheimer's disease neuroimaging initiative）数据集上对所提方法进行了验证。结果表明，TPN能够有效地提高AD分类任务和MCI转化预测任务的计算效率和诊断性能。

1　TPN算法设计

收起

TPN通过表征解耦与多层级融合，高效提取脑sMRI中与AD相关的判别特征。如图1所示，TPN由切片路径、上下文路径和多个自适应特征融合模块组成。切片路径仅处理稀疏采样切片以提取细粒度语义；上下文路径处理密集采样切片以建模跨切片上下文；多尺度自适应融合模块进一步汇聚2条通路的互补信息，形成更鲁棒的sMRI表征。具体设计如下。

1.1　双通路卷积网络架构

切片路径：切片路径用于提取详细的切片图像语义信息，可被任何用于图像分类的2D CNN实例化。切片路径的一个关键设计是其输入切片采用大采样步长τ（即每τ张切片中选取1张作为输入），以避免冗余计算。假设S表示切片路径采样的切片数量，则原始sMRI段共包含Sτ张切片。

上下文路径：并行于切片路径，上下文路径专注于抽取切片间的上下文信息，不关注切片图像语义信息。因此，上下文路径具有2个特性：1）高切片分辨率，上下文路径在处理输入切片时采用较小采样步长τ/α（1＜α≤τ），因此其切片采样数量为αS，是切片路径的α倍；此外，上下文路径在整个网络层次结构中始终保持高切片分辨率，以获得精细的上下文信息，也即，不执行任何切片维度的下采样操作（例如，池化或步长卷积），直到分类器前的全局池化层，这一策略使得该通路的特征图始终保持αS张切片，最大限度地保留了原始切片中的上下文信息细节；2）低通道容量，上下文路径仅具有切片路径卷积通道数量的β（β＜1）倍，这种设计弱化了上下文路径的图像语义信息表示能力，有效减少了其对计算资源的消耗（因为卷积层的计算复杂度通常与其通道数量呈二次方增长）。

1.2　自适应特征融合模块

自适应特征融合模块（见图2）将上下文信息融合到切片图像语义信息中，以增强sMRI表征的判别能力，提升诊断任务性能。自适应特征融合包含2个步骤：1）采用查询-响应机制生成自适应权重，然后执行特征动态聚合，以生成上下文信息对切片图像语义信息的响应；2）基于获得的响应特征，进一步在特征通道维度对切片图像语义特征和响应特征进行融合。具体如下。

1）查询-响应机制：在查询-响应机制中，切片信息X∈

被线性映射为查询Q∈

；上下文信息Y∈

被直接重塑为键K∈

和值V∈

。其中，C表示特征通道数；H，W分别表示特征在空间维度的高和宽。具体地，这个过程可以表述为

其中：q_in∈

，k_ij∈

，v_ij∈

分别表示查询、键和值向量，i表示空间索引，n，j表示切片索引，F（·）表示线性全连接层，P（·）表示重塑操作。查询-响应机制将1个查询向量和1组键值对集合映射为1个响应向量，其中键值对集合中的向量与查询向量具有相同的空间位置，且包含上下文路径中的所有切片。具体地，为了得到查询q_in的响应

，首先计算查询q_in与空间位置i处所有键K_i = [k_i1，k_i2，…，k_i（αS）]的点积，然后使用

缩放并应用softmax函数进行归一化得到自适应响应权值ϕ_in∈

，最后使用得到的响应权重对值V_i = [v_i1，v_i2，…，v_i（αS）]进行加权聚合，得到响应

。整个过程表示为

上述点积计算可以使用高度优化的矩阵乘法算法来实现。因此，在实际应用中可基于张量Q，K，V并行计算所有查询向量的响应

。最后，采用1个通道膨胀率为γ的1×1×1卷积模块进行特征非线性变换，以得到最终的特征响应，表示为

其中：R∈

表示上下文信息最终对切片图像语义信息的响应，⊗表示张量乘法，K^P表示置换张量K的最后2个维度，G（·）表示卷积模块，包括3个连续操作的复合函数，即1×1×1卷积、批归一化和线性整流激活函数。

2）通道特征融合：为融合响应R和切片图像语义特征X，首先沿着通道维度连接它们，然后附加1个1×1×1卷积模块，生成融合特征Z∈

。该过程可表示为

其中[·；·]表示通道连接操作。

2　实验与分析

收起

2.1　数据集

从ADNI数据库（可在https：∥adni. loni. usc. edu/获得）中收集了1336个基线期sMRI进行实验，其中包括健康被试（NC，normal control）419例，AD 397例，稳定型MCI（sMCI，stable MCI）268例，转化型MCI（pMCI，progressive MCI）252例。使用脑功能磁共振成像（FMRIB，functional magnetic resonance imaging of the brain）工具包对所有sMRI进行预处理和标准化，处理之后的图像大小为135×168×138。

2.2　实验设置

使用2D ResNet18或2D ResNet34^[13]来实例化切片路径，使用3D ResNet18^[14]来实例化上下文路径。在ResNet的前4个特征尺度上使用自适应融合模块，并将γ参数设置为2。在训练阶段，从sMRI中随机抽取一段长度为64的连续矢状位切片序列作为初始输入，设置上下文路径的输入为αS= 32张切片，采样步长为τ/α=2。因此，切片路径的输入为S=32/α张切片，采样步长为τ=2α。推理阶段，从sMRI中均匀抽取10段长度为64的连续矢状位切片序列，然后对所有段的预测取平均得到最终的预测。

将交叉熵损失作为目标函数，使用随机梯度下降优化器进行参数更新；设置初始学习率为0.01（采用余弦退火策略进行学习率衰减），动量参数为0.9，权重衰减参数为0.0001，批大小为15。对于AD分类任务，进行100个周期的训练；对于MCI转化预测任务，使用AD分类任务中学习的模型参数初始化MCI转化预测模型（参数迁移），使用AD和NC受试者分别对pMCI和sMCI进行数据扩充（数据辅助），进行50个周期的训练。

实验采用5折交叉验证，并使用准确率、受试者工作特征曲线下面积（AUC，area under receiver operating characteristic curve）2个指标进行模型性能评估。此外，还报道了模型的浮点运算次数和可训练参数量。

2.3　实验结果

2.3.1　和基线方法的性能对比

表1给出了基线方法和TPN的详细分类结果。可以看到，对比2D CNN，TPN具有更好的性能。一方面，TPN可以在相似的计算开销下显著提高2D CNN的诊断性能。例如，与2D-R34相比，在AD分类任务上，4@TPN-R34的准确率提高了3.95%；在MCI转化预测任务上，8@TPN-R34的准确率提高了10.49%，AUC提高了2.71%。另一方面，TPN能够在相对较少的计算资源下实现良好的诊断性能。例如，与2D-R34相比，在AD分类任务上，32@TPN-R18的准确率提高了1.49%，AUC提高了1.16%，计算成本（浮点数）减少了6.8倍，参数量减少了1.8倍；同样地，在MCI转化预测任务上，准确率也提高了8.36%，并且浮点数降低了3.4倍。这些结果表明，TPN可以有效地建模切片间上下文信息，提升sMRI表征判别力。

对比3D CNN，TPN具有更高的计算效率。3D CNN能够联合学习切片语义信息和上下文信息，从而获得具有竞争力的性能。但与TPN相比，它具有极高的计算开销和训练参数。如表1所示，与3D-R18相比，在AD分类任务中，4@TPN-R34的准确率提高了1.72%，浮点数减少了2倍；对于MCI转化预测任务，8@TPN-R34比3D-R34的准确率提高了3.1%，同时少消耗5.7倍的浮点数和2.8倍的参数。这些结果表明，TPN框架能够进行更加高效的sMRI表征学习。

2.3.2　稀疏采样与低通道容量的影响

TPN实现高效化的核心是切片路径的稀疏采样策略以及上下文路径的低通道容量设计。接下来分析这2种策略对分类性能的影响。表2给出了不同α和β参数设置下，TPN在AD分类和MCI转化预测任务上的结果，其中α越小，表示采样切片越多，β越大，表示通道容量越大。表2显示出TPN在2项任务上对采样步长α和通道容量比β都不敏感。对于AD分类任务，密集采样（α=4）与稀疏采样（α=32）之间的准确率相差0.98%，AUC相差0.39%。高通道容量（β=1/4）与低通道容量（β= 1/16）之间的准确率相差1.36%，AUC相差0.63%。对于MCI预测任务，密集采样（α=8）与稀疏采样（α=32）之间的准确率相差1.36%，AUC相差1.85%。高通道容量（β= 1/8）与低通道容量（β=1/16）之间的准确率相差1.16%，AUC相差0.61%。这些结果表明，sMRI局部段中的切片图像语义信息极其冗余，而上下文信息易于学习。此外，过大的α或β会降低MCI转化预测的性能，这可能是因为过大的α或β会引入无用的噪声，抑制了与疾病相关的信息获取。

2.3.3　自适应特征融合的有效性

TPN实现有效表征学习的核心是自适应特征融合。表3给出了单个路径（Model1上下文路径，Model2切片路径）、无融合模块的TPN（Model3）以及配备不同融合模块的TPNs在AD分类任务上的结果。从表3可以得出，1）仅切片路径或上下文路径均无法实现良好的诊断性能；2）无融合模块TPN无法进一步提高诊断性能，但所有配备融合模块的TPNs都实现了诊断性能的显著提高，这表明了特征融合的重要性，例如与Model3相比，使用自适应特征融合的TPN在准确率和AUC方面分别提高了10.13%和6.78%，同时仅增加了0.13M参数（约0.6%的相对增量）和0.1G浮点数（约1.3%的相对增量）；3）与其他融合机制相比，自适应特征融合模块表现出优越的性能，准确率至少提高了2.84%，这证实了自适应特征融合对AD诊断任务的有效性。切片打包融合和切片卷积融合以固定方式聚合上下文信息，没有考虑局部表示的多样性；而自适应特征融合能够生成特定像素的权重，并自适应地聚合上下文信息，从而对微小病变更具识别力。

2.3.4　跨任务引导的有效性

图3对比了不同跨任务引导策略下，即没有指导、数据辅助、参数迁移、2种策略组合（数据辅助+参数迁移），TPN在MCI转化预测任务上的结果。可以看到，与没有指导的TPN相比，在AD分类任务辅助下的TPN始终产生更好的结果，证实了跨任务引导的有效性。2种策略组合的效果最好，这说明2种策略具有互补性。此外，还发现参数迁移的性能略优于数据辅助性能。这可能是由于数据辅助过程是一个混合优化过程，导致了pMCI vs sMCI的性能降低。具体地，数据辅助过程中，使用NC扩充sMCI、使用AD扩充pMCI之后，模型实际的优化目标还包含了AD vs NC，AD vs sMCI，pMCI vs NC；而非单纯的pMCI vs sMCI。这些辅助任务可能会干扰pMCI vs sMCI任务的学习，导致次优的诊断性能。

2.3.5　疾病区域注意图

使用类激活图^[15]来可视化TPN识别到的病理区域。图4可以看出，切片路径能够关注到切片中与疾病相关的重要区域，包括了海马体、颞叶沟回和杏仁核等脑区位置。这些区域主要位于内侧颞叶，通常是最早出现AD病理改变的区域，如神经原纤维缠结和淀粉样蛋白沉积^[16]。这些脑区在情景和空间记忆、情绪调节、认知和信息处理等功能中发挥着重要作用，与AD的临床表现密切相关^[1]。此外，这些区域的sMRI测量在之前的研究中，同样被报道对AD的早期诊断有效^[7，10-11]。除了这些脑区外，还观察到TPN在sMCI受试者中更多地关注脑室区域，之前的研究同样表明脑室扩大是分析AD进展的重要生物标志物^[17]。这些结果表明，TPN能够有效地识别AD相关的潜在病理区域。此外，不同于切片路径，上下文路径不关注特定区域。这一结果则表明，TPN能够有效地将sMRI表征解耦为2种独特且互补的信息，即图像语义信息和上下文信息。

2.3.6　与当前先进方法的比较

表4汇总了ADNI上多种基于CNN的方法在AD分类与MCI转化预测任务上的结果。可以看出，笔者方法在2项任务上表现优异，说明TPN表征能有效刻画AD相关信息，相较切片级和区域级，块级、全脑级和TPN通常更优，凸显跨区域信息整合的重要性。此外，相比块级方法，TPN可基于2D CNN并利用ImageNet预训练，灵活性更强；相比全脑级方法，TPN在准确性与效率间更均衡，且因上下文路径轻量，训练更为简便。

3　结束语

收起

提出一种双通路卷积网络TPN，以提升基于sMRI的AD诊断的计算效率与性能。TPN融合2D/3D CNN优势，将表征解耦为切片内语义与跨切片上下文，并通过自适应特征融合实现信息互补，从而高效提取与AD相关的判别特征。在ADNI数据集的AD分类与MCI转化预测任务中，TPN以更少的计算量和参数取得优于基线方法和当前先进方法的性能。消融分析显示，自适应融合促进局部判别表征学习，跨任务引导提升MCI化预测性能。可视化结果表明，TPN能准确定位与AD相关脑区。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

JAGUST

. Vulnerable neural systems and the borderland of brain aging and neurodegeneration[J]. Neuron, 2013, 77(2): 219-234.

[2]

PETERSEN

R C

, LOPEZ

, ARMSTRONG

M J

, et al. Practice guideline update summary: Mild cognitive im pairment: Report of the guideline development, dissemination, and implementation subcommittee of the American academy of neurology[J]. Neurology, 2018, 90 (3):126-135.

[3]

JAGUST

. Imaging the evolution and pathophysiology of Alzheimer disease[J]. Nature Reviews Neuroscience, 2018, 19(11): 687-700.

[4]

WEN

J H

, THIBEAU-SUTRE

, DIAZ-MELO

, et al. Convolutional neural networks for classification of Alzheimer's disease: Overview and reproducible evaluation[J]. Medical Image Analysis, 2020, 63: 101694.

[5]

, WANG

, JIN

, et al. VGG-TSwinformer:Transformer-based deep learning model for early Alzheimer's disease prediction[J]. Computer Methods and Programs in Biomedicine, 2023, 229: 107291.

[6]

LIU

, HUANG

, QIU

, et al. Monte Carlo ensemble neural network for the diagnosis of Alzheimer's disease[J]. Neural Networks, 2023, 159: 14-24.

[7]

CHEN

, PAN

, YUAN

X Y

. Disentangle first, then distill: A unified framework for missing modality imputation and Alzheimer's disease diagnosis[J]. IEEE Transactions on Medical Imaging, 2023, 42(12): 3566-3578.

[8]

HAN

, LI

, FANG

, et al. Multi-template meta-in-formation regularized network for Alzheimer's disease diagnosis using structural MRI[J]. IEEE Transactions on Medical Imaging, 2023, 43(5): 1664-1676.

[9]

CAI

, GAO

, LIU

. Graph transformer geometric learning of brain networks using multimodal MR images for brain age estimation[J]. IEEE Transactions on Medical Imaging, 2022, 42(2): 456-466.

[10]

PAN

, LUO

, ZENG

, et al. Adaptive 3D CNN based interpretable ensemble model for early diagnosis of Alzheimer's disease[J]. IEEE Transactions on Computational Social Systems, 2024, 11(1): 247-266.

[11]

ZHU

W Y

, SUN

, HUANG

J S

, et al. Dual attention multi-instance deep learning for Alzheimer's disease diagnosis with structural MRI[J]. IEEE Transactions on Medical Imaging, 2021, 40(9): 2354-2366.

[12]

HUANG

, QIU

, INITIATIVE

A S D N

. Ensemble vision transformer for dementia diagnosis[J]. IEEE Journal of Biomedical and Health Informatics, 2024, 28(9): 5551-5561.

[13]

, ZHANG

, REN

, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

[14]

CHEN

, MA

, ZHENG

. Med3D: Transfer learning for 3D medical image analysis[J]. arXiv preprint arXiv: 1904.00625, 2019.

[15]

SELVARAJU

R R

, COGSWELL

, DAS

, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 618-626.

[16]

DETURE

M A

, DICKSON

D W

. The neuropathological diagnosis of Alzheimer's disease[J]. Molecular Neurodegeneration, 2019, 14(1): 32.

[17]

NESTOR

S M

, RUPSINGH

, BORRIE

, et al. Ventricular enlargement as a possible measure of Alzheimer's disease progression validated using the Alzheimer's disease neuroimaging initiative database[J]. Brain, 2008, 131(9): 2443-2454.

2025年第48卷第5期

PDF下载

134

引用本文

BibTeX

文章信息

doi: 10.13190/j.jbupt.2024-206

接收时间：2024-10-15
首发时间：2026-04-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-10-15

基金

作者信息

北京邮电大学　信息与通信工程学院，北京　100876

通讯作者:

康桂霞（1972—），女，教授，博士生导师，邮箱：gxkang@bupt.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/bjyddxxb/CN/10.13190/j.jbupt.2024-206

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模型	准确率/%	AUC/%	浮点数/G	参数量/M
AD分类任务（AD vs NC）
4@2D-R18^[13]	87.28±1.00	94.40±0.62	19.00	11.69
4@2D-R34^[13]	88.02±1.08	94.56±0.31	38.36	21.80
3D-R18^[14]	90.25±1.81	96.37±0.44	85.95	33.72
3D-R34^[14]	90.25±2.39	95.28±1.45	131.27	64.03
32@TPN-R18	89.51±1.41	95.72±1.10	5.62	12.14
32@TPN-R34	90.99±1.08	96.08±0.83	8.04	22.25
4@TPN-R34	91.97±1.10	96.47±0.43	42.31	22.25
MCI转化预测任务（pMCI vs sMCI）
8@2D-R18^[13]	68.54±1.45	81.16±0.79	9.50	11.69
8@2D-R34^[13]	70.09±1.29	81.99±0.50	19.18	21.80
3D-R18^[14]	76.70±1.50	83.51±0.85	85.95	33.72
3D-R34^[14]	77.48±1.67	83.88±0.92	131.27	64.03
32@TPN-R18	78.45±1.55	82.20±1.06	5.62	12.14
32@TPN-R34	79.22±1.45	82.85±0.57	8.04	22.25
8@TPN-R34	80.58±1.37	84.70±0.88	22.73	22.25

模型

准确率/%

AUC/%

浮点数/G

参数量/M

AD分类任务（AD vs NC）

4@2D-R18^[13]

87.28±1.00

94.40±0.62

19.00

11.69

4@2D-R34^[13]

88.02±1.08

94.56±0.31

38.36

21.80

3D-R18^[14]

90.25±1.81

96.37±0.44

85.95

33.72

3D-R34^[14]

90.25±2.39

95.28±1.45

131.27

64.03

32@TPN-R18

89.51±1.41

95.72±1.10

5.62

12.14

32@TPN-R34

90.99±1.08

96.08±0.83

8.04

22.25

4@TPN-R34

91.97±1.10

96.47±0.43

42.31

22.25

MCI转化预测任务（pMCI vs sMCI）

8@2D-R18^[13]

68.54±1.45

81.16±0.79

9.50

11.69

8@2D-R34^[13]

70.09±1.29

81.99±0.50

19.18

21.80

3D-R18^[14]

76.70±1.50

83.51±0.85

85.95

33.72

3D-R34^[14]

77.48±1.67

83.88±0.92

131.27

64.03

32@TPN-R18

78.45±1.55

82.20±1.06

5.62

12.14

32@TPN-R34

79.22±1.45

82.85±0.57

8.04

22.25

8@TPN-R34

80.58±1.37

84.70±0.88

22.73

22.25

模型	参数设置（α,β）	准确率/%	AUC/%	浮点数/G
TPN-R34
AD分类任务（AD vs NC）
（32,1/8）	90.99±1.08	96.08±0.83	8.04
（16,1/8）	90.62±1.53	95.77±1.01	12.94
（8,1/8）	90.62±1.58	95.85±0.81	22.73
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/16）	91.36±1.87	96.00±0.73	40.08
（4,1/8）	91.97±1.10	96.47±0.43	42.31
（4,1/4）	92.72±1.72	96.63±0.68	49.93
MCI转化预测任务（pMCI vs sMCI）
（32,1/8）	79.22±1.45	82.85±0.57	8.04
（16,1/8）	79.42±1.29	83.25±0.71	12.94
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（4,1/8）	79.22±0.99	84.65±1.26	42.31
（8,1/16）	79.42±1.67	84.09±0.60	20.57
（8,1/8）	80.58±1.37	84.70±0.88	22.73
（8,1/4）	80.39±1.13	83.89±1.41	30.20

模型

参数设置（α,β）

准确率/%

AUC/%

浮点数/G

TPN-R34

AD分类任务（AD vs NC）

（32,1/8）

90.99±1.08

96.08±0.83

8.04

（16,1/8）

90.62±1.53

95.77±1.01

12.94

（8,1/8）

90.62±1.58

95.85±0.81

22.73

（4,1/8）

91.97±1.10

96.47±0.43

42.31

（4,1/16）

91.36±1.87

96.00±0.73

40.08

（4,1/8）

91.97±1.10

96.47±0.43

42.31

（4,1/4）

92.72±1.72

96.63±0.68

49.93

MCI转化预测任务（pMCI vs sMCI）

（32,1/8）

79.22±1.45

82.85±0.57

8.04

（16,1/8）

79.42±1.29

83.25±0.71

12.94

（8,1/8）

80.58±1.37

84.70±0.88

22.73

（4,1/8）

79.22±0.99

84.65±1.26

42.31

（8,1/16）

79.42±1.67

84.09±0.60

20.57

（8,1/8）

80.58±1.37

84.70±0.88

22.73

（8,1/4）

80.39±1.13

83.89±1.41

30.20

模型	融合模块	准确率/%	AUC/%	浮点数/G	参数量/M
Model1	—	74.94±1.77	81.59±1.79	3.14	0.33
Model2	—	80.12±2.74	89.67±2.17	4.79	21.80
Model3	—	80.86±1.56	89.30±1.35	7.94	22.12
TPN	打包融合	85.43±1.27	92.83±1.53	8.27	22.58
卷积融合	88.15±1.48	95.79±0.36	8.09	22.33
自适应融合	90.99±1.08	96.08±0.83	8.04	22.25

模型

融合模块

准确率/%

AUC/%

浮点数/G

参数量/M

Model1

—

74.94±1.77

81.59±1.79

3.14

0.33

Model2

—

80.12±2.74

89.67±2.17

4.79

21.80

Model3

—

80.86±1.56

89.30±1.35

7.94

22.12

TPN

打包融合

85.43±1.27

92.83±1.53

8.27

22.58

卷积融合

88.15±1.48

95.79±0.36

8.09

22.33

自适应融合

90.99±1.08

96.08±0.83

8.04

22.25

参考文献	方法	AD vs NC	pMCI vs sMCI
Hu等^[5]	2D切片	—	—	0.772	0.815
Liu等^[6]	2D切片	0.900	0.914	—	—
Cai等^[9]	3D脑区	0.859	—	—	—
Pan等^[10]	3D脑区	0.890	0.880	0.710	0.700
Zhu等^[11]	3D局部块	0.924	0.965	0.802	0.851
Huang等^[12]	3D局部块	0.901	0.956	—	—
Chen等^[7]	3D全脑	—	0.969	—	0.838
Han等^[8]	3D全脑	0.968	0.797	0.824
TPN	0.927	0.966	0.806	0.847

参考文献

方法

AD vs NC

pMCI vs sMCI

准确率

AUC

准确率

AUC

Hu等^[5]

2D切片

—

0.772

0.815

Liu等^[6]

2D切片

0.900

0.914

—

Cai等^[9]

3D脑区

0.859

—

Pan等^[10]

3D脑区

0.890

0.880

0.710

0.700

Zhu等^[11]

3D局部块

0.924

0.965

0.802

0.851

Huang等^[12]

3D局部块

0.901

0.956

—

Chen等^[7]

3D全脑

—

0.969

—

0.838

Han等^[8]

3D全脑

0.968

0.797

0.824

TPN

0.927

0.966

0.806

0.847