中国图象图形学报

模态	方法	AD vs. NC	AD vs. MCI
fMRI	BrainNetCNN	0.700±0.045	0.615±0.090	0.337±0.105	0.932±0.061	0.653±0.070	0.666±0.099	0.235±0.083	0.925±0.066
GAT	0.668±0.031	0.610±0.094	0.097±0.071	0.909±0.073	0.631±0.076	0.535±0.062	0.381±0.118	0.757±0.148
BrainGNN	0.555±0.113	0.529±0.074	0.443±0.104	0.538±0.289	0.625±0.124	0.571±0.114	0.400±0.181	0.676±0.288
HGNN+	0.669±0.092	0.629±0.097	0.316±0.083	0.890±0.027	0.647±0.030	0.627±0.058	0.223±0.101	0.899±0.067
DTI	BrainNetCNN	0.695±0.045	0.621±0.066	0.411±0.151	0.472±0.390	0.645±0.097	0.620±0.040	0.485±0.137	0.427±0.309
GAT	0.668±0.031	0.537±0.024	0.258±0.092	0.901±0.077	0.658±0.088	0.560±0.084	0.242±0.194	0.901±0.061
BrainGNN	0.528±0.157	0.532±0.115	0.457±0.049	0.472±0.390	0.536±0.164	0.517±0.135	0.346±0.286	0.400±0.490
HGNN+	0.689±0.028	0.652±0.068	0.276±0.093	0.939±0.046	0.664±0.086	0.621±0.052	0.260±0.170	0.934±0.041
多模态	MME-GCN	0.658±0.052	0.643±0.040	0.492±0.075	0.740±0.082	0.615±0.089	0.599±0.130	0.381±0.169	0.735±0.128
Cross-GNN	0.699±0.046	0.659±0.043	0.431±0.064	0.878±0.093	0.654±0.060	0.667±0.143	0.401±0.129	0.893±0.066
SFC-HGNN	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.687±0.081	0.644±0.138	0.612±0.083	0.907±0.173
fMRI	BrainNetCNN	0.595±0.088	0.610±0.031	0.472±0.086	0.815±0.118	0.672±0.045	0.622±0.038	0.601±0.070	0.701±0.083
GAT	0.574±0.119	0.597±0.060	0.411±0.139	0.769±0.227	0.614±0.052	0.542±0.127	0.603±0.121	0.651±0.274
BrainGNN	0.538±0.073	0.518±0.064	0.587±0.100	0.301±0.277	0.653±0.086	0.581±0.089	0.612±0.101	0.671±0.189
HGNN+	0.526±0.122	0.528±0.111	0.188±0.158	0.827±0.101	0.638±0.076	0.577±0.102	0.598±0.092	0.636±0.313
DTI	BrainNetCNN	0.607±0.123	0.613±0.088	0.481±0.167	0.822±0.111	0.640±0.055	0.612±0.042	0.588±0.085	0.684±0.123
GAT	0.522±0.114	0.540±0.051	0.393±0.120	0.819±0.179	0.625±0.051	0.554±0.072	0.582±0.111	0.621±0.264
BrainGNN	0.531±0.069	0.548±0.044	0.643±0.104	0.119±0.146	0.601±0.073	0.562±0.065	0.568±0.095	0.588±0.183
HGNN+	0.522±0.008	0.532±0.092	0.380±0.243	0.798±0.102	0.628±0.065	0.599±0.056	0.574±0.099	0.651±0.251
多模态	MME-GCN	0.534±0.088	0.570±0.059	0.544±0.093	0.509±0.143	0.596±0.083	0.553±0.075	0.551±0.105	0.602±0.219
Cross-GNN	0.507±0.091	0.531±0.150	0.484±0.106	0.545±0.177	0.662±0.050	0.630±0.049	0.616±0.098	0.692±0.150
SFC-HGNN	0.631±0.053	0.623±0.065	0.652±0.093	0.833±0.131	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

模态	方法	AD vs. NC	AD vs. MCI
fMRI	BrainNetCNN	0.700±0.045	0.615±0.090	0.337±0.105	0.932±0.061	0.653±0.070	0.666±0.099	0.235±0.083	0.925±0.066
GAT	0.668±0.031	0.610±0.094	0.097±0.071	0.909±0.073	0.631±0.076	0.535±0.062	0.381±0.118	0.757±0.148
BrainGNN	0.555±0.113	0.529±0.074	0.443±0.104	0.538±0.289	0.625±0.124	0.571±0.114	0.400±0.181	0.676±0.288
HGNN+	0.669±0.092	0.629±0.097	0.316±0.083	0.890±0.027	0.647±0.030	0.627±0.058	0.223±0.101	0.899±0.067
DTI	BrainNetCNN	0.695±0.045	0.621±0.066	0.411±0.151	0.472±0.390	0.645±0.097	0.620±0.040	0.485±0.137	0.427±0.309
GAT	0.668±0.031	0.537±0.024	0.258±0.092	0.901±0.077	0.658±0.088	0.560±0.084	0.242±0.194	0.901±0.061
BrainGNN	0.528±0.157	0.532±0.115	0.457±0.049	0.472±0.390	0.536±0.164	0.517±0.135	0.346±0.286	0.400±0.490
HGNN+	0.689±0.028	0.652±0.068	0.276±0.093	0.939±0.046	0.664±0.086	0.621±0.052	0.260±0.170	0.934±0.041
多模态	MME-GCN	0.658±0.052	0.643±0.040	0.492±0.075	0.740±0.082	0.615±0.089	0.599±0.130	0.381±0.169	0.735±0.128
Cross-GNN	0.699±0.046	0.659±0.043	0.431±0.064	0.878±0.093	0.654±0.060	0.667±0.143	0.401±0.129	0.893±0.066
SFC-HGNN	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.687±0.081	0.644±0.138	0.612±0.083	0.907±0.173
fMRI	BrainNetCNN	0.595±0.088	0.610±0.031	0.472±0.086	0.815±0.118	0.672±0.045	0.622±0.038	0.601±0.070	0.701±0.083
GAT	0.574±0.119	0.597±0.060	0.411±0.139	0.769±0.227	0.614±0.052	0.542±0.127	0.603±0.121	0.651±0.274
BrainGNN	0.538±0.073	0.518±0.064	0.587±0.100	0.301±0.277	0.653±0.086	0.581±0.089	0.612±0.101	0.671±0.189
HGNN+	0.526±0.122	0.528±0.111	0.188±0.158	0.827±0.101	0.638±0.076	0.577±0.102	0.598±0.092	0.636±0.313
DTI	BrainNetCNN	0.607±0.123	0.613±0.088	0.481±0.167	0.822±0.111	0.640±0.055	0.612±0.042	0.588±0.085	0.684±0.123
GAT	0.522±0.114	0.540±0.051	0.393±0.120	0.819±0.179	0.625±0.051	0.554±0.072	0.582±0.111	0.621±0.264
BrainGNN	0.531±0.069	0.548±0.044	0.643±0.104	0.119±0.146	0.601±0.073	0.562±0.065	0.568±0.095	0.588±0.183
HGNN+	0.522±0.008	0.532±0.092	0.380±0.243	0.798±0.102	0.628±0.065	0.599±0.056	0.574±0.099	0.651±0.251
多模态	MME-GCN	0.534±0.088	0.570±0.059	0.544±0.093	0.509±0.143	0.596±0.083	0.553±0.075	0.551±0.105	0.602±0.219
Cross-GNN	0.507±0.091	0.531±0.150	0.484±0.106	0.545±0.177	0.662±0.050	0.630±0.049	0.616±0.098	0.692±0.150
SFC-HGNN	0.631±0.053	0.623±0.065	0.652±0.093	0.833±0.131	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

任务	p-值
AD vs. NC	7.60E-3*
AD vs. MCI	7.52E-6*
MCI vs. NC	1.56E-2*
ASD vs. NC	4.00E-5*

任务	p-值
AD vs. NC	7.60E-3*
AD vs. MCI	7.52E-6*
MCI vs. NC	1.56E-2*
ASD vs. NC	4.00E-5*

预训练	SFC引导	AD vs. NC	ASD vs. NC
×	×	0.668±0.068	0.534±0.109	0.394±0.077	0.887±0.011	0.629±0.058	0.566±0.121	0.598±0.092	0.588±0.179
×	√	0.684±0.031	0.572±0.076	0.432±0.098	0.888±0.098	0.652±0.048	0.595±0.106	0.632±0.033	0.664±0.190
√	√	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

预训练	SFC引导	AD vs. NC	ASD vs. NC
×	×	0.668±0.068	0.534±0.109	0.394±0.077	0.887±0.011	0.629±0.058	0.566±0.121	0.598±0.092	0.588±0.179
×	√	0.684±0.031	0.572±0.076	0.432±0.098	0.888±0.098	0.652±0.048	0.595±0.106	0.632±0.033	0.664±0.190
√	√	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

模态	AD vs. NC	ASD vs. NC
仅fMRI	0.688±0.081	0.602±0.127	0.514±0.096	0.878±0.086	0.635±0.061	0.594±0.109	0.614±0.079	0.629±0.215
仅DTI	0.679±0.065	0.610±0.082	0.497±0.065	0.869±0.072	0.640±0.069	0.586±0.112	0.631±0.065	0.648±0.202
多模态	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

模态	AD vs. NC	ASD vs. NC
仅fMRI	0.688±0.081	0.602±0.127	0.514±0.096	0.878±0.086	0.635±0.061	0.594±0.109	0.614±0.079	0.629±0.215
仅DTI	0.679±0.065	0.610±0.082	0.497±0.065	0.869±0.072	0.640±0.069	0.586±0.112	0.631±0.065	0.648±0.202
多模态	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

阶段	参数量/M	FLOPs/M	GPU延迟/ ms	CPU延迟/ ms
预训练	2.47	22.16	1.35	1.52
下游分类	2.75	23.04	1.29	1.36

阶段	参数量/M	FLOPs/M	GPU延迟/ ms	CPU延迟/ ms
预训练	2.47	22.16	1.35	1.52
下游分类	2.75	23.04	1.29	1.36

脑结构—功能耦合超图神经网络

PDF下载

雷孟奇 , 韩向敏 , 李思奇 , 高跃 ^*

中国图象图形学报 | 面向医学影像智能分析的基础模型 2026,31(7): 2526-2537

收起

中国图象图形学报 |面向医学影像智能分析的基础模型 2026 , 31 (7) : 2526 -2537

脑结构—功能耦合超图神经网络

全屏

[Author(id=1322949768367977009, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=mengqi-lei@163.com, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1322949768456057395, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768367977009, language=EN, stringName=Mengqi Lei, firstName=Mengqi, middleName=null, lastName=Lei, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Software，Tsinghua University，Beijing 100084，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322949768518971956, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768367977009, language=CN, stringName=雷孟奇, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=清华大学软件学院，北京　100084, bio={"content":"

雷孟奇，男，博士研究生，主要研究方向为计算机视觉、视觉语言模型和超图神经网络。E-mail： mengqi-lei@163.com

"}, bioImg=null, bioContent=

雷孟奇，男，博士研究生，主要研究方向为计算机视觉、视觉语言模型和超图神经网络。E-mail： mengqi-lei@163.com

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322949768258925101, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, xref=null, ext=[AuthorCompanyExt(id=1322949768267313710, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Software，Tsinghua University，Beijing 100084，China), AuthorCompanyExt(id=1322949768284090927, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=清华大学软件学院，北京　100084)])]), Author(id=1322949768598663734, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=simon.xmhan@gmail.com, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1322949768690938424, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768598663734, language=EN, stringName=Xiangmin Han, firstName=Xiangmin, middleName=null, lastName=Han, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Software，Tsinghua University，Beijing 100084，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322949768774824505, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768598663734, language=CN, stringName=韩向敏, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=清华大学软件学院，北京　100084, bio={"content":"

韩向敏，男，博士后助理研究员，主要研究方向为医学影像分析。E-mail： simon.xmhan@gmail.com

"}, bioImg=null, bioContent=

韩向敏，男，博士后助理研究员，主要研究方向为医学影像分析。E-mail： simon.xmhan@gmail.com

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322949768258925101, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, xref=null, ext=[AuthorCompanyExt(id=1322949768267313710, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Software，Tsinghua University，Beijing 100084，China), AuthorCompanyExt(id=1322949768284090927, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=清华大学软件学院，北京　100084)])]), Author(id=1322949768846127675, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=lisiqi19971013@gmail.com, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1322949770519654973, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768846127675, language=EN, stringName=Siqi Li, firstName=Siqi, middleName=null, lastName=Li, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=School of Software，Tsinghua University，Beijing 100084，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322949770595152446, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949768846127675, language=CN, stringName=李思奇, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=null, address=清华大学软件学院，北京　100084, bio={"content":"

李思奇，男，博士后助理研究员，主要研究方向为计算机视觉与机器学习。E-mail： lisiqi19971013@gmail.com

"}, bioImg=null, bioContent=

李思奇，男，博士后助理研究员，主要研究方向为计算机视觉与机器学习。E-mail： lisiqi19971013@gmail.com

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322949768258925101, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, xref=null, ext=[AuthorCompanyExt(id=1322949768267313710, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=School of Software，Tsinghua University，Beijing 100084，China), AuthorCompanyExt(id=1322949768284090927, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, companyId=1322949768258925101, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=清华大学软件学院，北京　100084)])]), Author(id=1322949770679038528, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, orderNo=3, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=gaoyue@tsinghua.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1322949770746147394, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949770679038528, language=EN, stringName=Yue Gao, firstName=Yue, middleName=null, lastName=Gao, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=^*, address=School of Software，Tsinghua University，Beijing 100084，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322949770834227779, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322949764052038175, authorId=1322949770679038528, language=CN, stringName=高跃, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=^*, address=清华大学软件学院，北京　100084, bio={"content":"

高跃，通信作者，男，副教授，主要研究方向为计算机视觉和超图计算。E-mail： gaoyue@tsinghua.edu.cn

"}, bioImg=null, bioContent=

高跃，通信作者，男，副教授，主要研究方向为计算机视觉和超图计算。E-mail： gaoyue@tsinghua.edu.cn

雷孟奇, 韩向敏, 李思奇, 高跃^*

作者信息

清华大学软件学院，北京　100084

通讯作者:

高跃 gaoyue@tsinghua.edu.cn

作者简介:

雷孟奇，男，博士研究生，主要研究方向为计算机视觉、视觉语言模型和超图神经网络。E-mail： mengqi-lei@163.com

韩向敏，男，博士后助理研究员，主要研究方向为医学影像分析。E-mail： simon.xmhan@gmail.com

李思奇，男，博士后助理研究员，主要研究方向为计算机视觉与机器学习。E-mail： lisiqi19971013@gmail.com

高跃，通信作者，男，副教授，主要研究方向为计算机视觉和超图计算。E-mail： gaoyue@tsinghua.edu.cn

Brain structure-function coupling hypergraph neural network

Mengqi Lei, Xiangmin Han, Siqi Li, Yue Gao^*

Affiliations

School of Software，Tsinghua University，Beijing 100084，China

出版时间: 2026-07-16 doi: 10.11834/jig.250535

文章导航

摘要

收起

目的

现有基于结构连接（structural connectivity，SC）与功能连接（functional connectivity，FC）的脑疾病诊断方法，通常只使用单一模态建模或仅做跨模态的浅层融合，难以充分刻画SC与FC之间的潜在依赖；同时，结构—功能耦合（structure-function coupling，SFC）与分类任务之间的关系尚缺系统性建模。针对上述问题，本文提出一种以SFC为先验引导的跨模态融合脑疾病诊断基础模型——脑结构—功能耦合超图神经网络（structure-function coupling hypergraph neural network，SFC-HGNN）。

方法

SFC-HGNN采用双流超图神经网络作为编码器，以SFC矩阵为中间桥梁，在功能分支与结构分支中分别构建超图以建模两种模态的高阶脑网络，并利用超图卷积学习跨脑区的高阶相互作用；在预训练阶段，设计跨模态交叉重建任务，用功能连接的表征重建结构连接、用结构连接的表征重建功能连接，并引入对称性与稀疏性约束的重建损失；在微调阶段，SFC-HGNN冻结编码器部分的参数，仅训练轻量级多层感知机分类器以完成下游任务的诊断。

结果

为验证方法的有效性，在阿尔茨海默病神经影像学倡议（Alzheimer’s disease neuroimaging initiative，ADNI）和自闭症脑成像数据交换（autism brain imaging data exchange，ABIDE）数据集上进行了广泛的实验。在ADNI数据集上，SFC-HGNN的阿尔兹海默病—正常对照分类任务准确率和特异性分别达到0.705、0.891；在ABIDE数据集上，SFC-HGNN的自闭症谱系障碍—正常对照分类任务准确率和特异性分别达到0.681、0.682，均显著优于对比方法。

结论

以SFC为先验的跨模态交叉重建预训练与超图计算相结合，能够有效捕获SC与FC之间的潜在高阶依赖，显著提升脑疾病诊断的准确性与鲁棒性，为结构—功能耦合在临床辅助诊断中的应用提供了可行路径。

关键词

脑疾病诊断 / 多模态脑网络 / 结构—功能耦合（SFC） / 超图神经网络（HGNN） / 跨模态交叉重建 / 脑网络基础模型

Abstract

收起

Objective

In recent years，brain networks have become an indispensable cornerstone in brain disorder research. At present，functional magnetic resonance imaging （fMRI） is commonly used to construct functional networks，while diffusion tensor imaging （DTI） is utilized to build structural networks. However，two limitations remain prominent. First，many approaches still operate on a single modality or adopt shallow multimodal fusion，leaving the potential dependency between structural connectivity （SC） and functional connectivity （FC） under-explored. Second，although structure-function coupling （SFC） has been demonstrated to differ across brain regions between healthy controls and patients，its relationship to classification has not been systematically integrated into representation learning to hold biomarker potential. This study aims to operationalize SFC as an explicit prior that guides multimodal representation learning，such that high-order cross-modal associations can be identified and translated into robust diagnostic performance.

Method

This study presents SFC-hypergraph neural network （HGNN），an SFC-guided foundational framework that combines a dual-stream encoder，cross-modal reconstruction pretraining，and hypergraph computation to model high-order relationships inside and between SC and FC. The core design is to use an SFC matrix as a bridge that explicitly guides two HGNN branches—one per modality—such that each branch learns modality-appropriate group relations while remaining informed by the other modality. Concretely，the SFC matrix is first constructed to capture the consistency between FC and SC patterns across brain regions by using a rank-based correlation measure. This matrix is fused with each modality through shallow feature mapping to form initial node-level features for the two streams. On the functional stream，hyperedges are formed via the sparse representation method，providing data-driven，high-order groupings that are appropriate for FC. On the structural stream，hyperedges are built with the k-nearest neighbor strategy to reflect global structural associations. Then，each branch employs HGNN layers to realize high-order messages that are passing on its respective hypergraph，encoding latent dependency between SC and FC under SFC guidance. To fully utilize cross-modal dependency，a cross-modal reconstruction pretraining task is introduced. During pretraining，the functional stream is trained to reconstruct the SC matrix while the structural stream reconstructs the FC matrix via decoders. The decoders are optimized with a reconstruction objective combined with a constraint that emphasizes the appropriate symmetry and sparsity of the reconstructed matrices. This pretraining forces the encoder to internalize modality-bridging information under SFC guidance. In the subsequent downstream tuning phase，the encoder parameters are frozen. Then，latent node representations from the two branches are flattened and concatenated into a global feature vector，which is fed into a lightweight multilayer perceptron classifier that is optimized with cross-entropy. Freezing the encoder keeps downstream training simple and stable while preserving the cross-modal dependency captured during pretraining.

Result

Experiments are conducted on two public multimodal brain imaging datasets. On the Alzheimer’s disease neuroimaging initiative （ADNI），we use 332 subjects，specifically，64 Alzheimer’s Disease （AD），129 mild cognitive impairment （MCI），and 139 normal control （NC）. On the autism brain imaging data exchange （ABIDE），we include 86 subjects with paired fMRI and DTI for autism spectrum disorder （ASD）/NC. We adopt the automated anatomical labeling atlas for both datasets. fMRI data are preprocessed with the data processing assistant for resting-state fMRI and DTI data with the pipeline for analyzing brain diffusion images. The model is implemented in PyTorch and trained on an NVIDIA RTX 4090 GPU. We follow a two-stage training protocol （cross-modal pretraining followed by frozen-encoder tuning） and evaluate with fivefold cross-validation，reporting accuracy （ACC），area under the curve （AUC），F1，and specificity. We compare SFC-HGNN against representative single-modality baselines （BrainNetCNN，GAT，HGNN+，BrainGNN） and multi-modality methods （MME-GCN，Cross-GNN）. Across diagnostic tasks，SFC-HGNN achieves state-of-the-art performance，consistently improving ACC，AUC，and F1. Although certain baselines occasionally yield higher specificity，these cases are frequently accompanied by markedly lower F1，suggesting reduced stability. By contrast，SFC-HGNN maintains better overall balance among metrics and demonstrates stronger robustness. Ablation studies further underscore the contributions of the proposed components： 1） introducing SFC as a cross-modal bridge （without pretraining） improves accuracy by 1.6% and 2.3% on AD versus NC and ASD versus NC，respectively，and 2） adding cross-modal reconstruction pretraining brings additional gains of 2.1% and 1.9%. These results indicate that SFC guidance，along with cross-modal reconstruction，effectively encourages the encoder to capture latent SC-FC dependency that transfers to downstream classification. Finally，we conduct significant hyperedge analysis to assess interpretability by using group-level t-tests and visualize discriminative functional and structural hyperedges for AD versus NC and ASD versus NC. The identified regions and connections align with known patterns of network alteration，supporting the neurobiological plausibility of the learned high-order representations.

Conclusion

By utilizing SFC as an explicit bridge and pairing dual HGNN encoders with a cross-modal reconstruction pretraining paradigm，this study introduces a principled multimodal framework for brain network analysis and brain disorder diagnosis. The approach encourages each modality to be informed by the other and encode high-order associations that are useful for downstream classification，while a frozen encoder tuning strategy keeps optimization stable and lightweight. On the ADNI and ABIDE datasets，SFC-HGNN consistently surpasses single-modal and multimodal baselines，with gains reflected not only in ACC and AUC but also in better balance between F1 and specificity，highlighting robustness. The significant hyperedge findings further provide neurobiologically plausible insights that complement the quantitative improvements. Overall，SFC-HGNN advances multimodal brain disorder diagnosis by unifying SFC-guided hypergraph encoding，cross-reconstruction pretraining，and simple downstream tuning into a coherent pipeline that achieves superior and reliable performance across datasets.

Key words

brain disorder diagnosis / multimodal brain network / structure-function coupling（SFC） / hypergraph neural network（HGNN） / cross-modal reconstruction / brain network foundation models

引用本文

雷孟奇, 韩向敏, 李思奇, 高跃. 脑结构—功能耦合超图神经网络. 中国图象图形学报, 2026 , 31 (7) : 2526 -2537 . DOI: 10.11834/jig.250535

Mengqi Lei, Xiangmin Han, Siqi Li, Yue Gao. Brain structure-function coupling hypergraph neural network[J]. Journal of Image and Graphics, 2026 , 31 (7) : 2526 -2537 . DOI: 10.11834/jig.250535

正文

收起

0　引言

收起

阿尔茨海默病（Alzheimer’s disease，AD）与自闭症谱系障碍（autism spectrum disorder，ASD）等脑疾病会对个体和社会均造成较为严重影响（Khojaste-Sarakhsi等，2022；Menagadevi等，2024）。因此，对于脑疾病准确且及时的诊断至关重要，有助于实施更为有效的干预并改善患者预后（Shoeibi等，2023）。然而，由于脑部结构与功能改变往往较为细微，临床实践中实现精确诊断仍面临重大挑战（Yin等，2022）。

近年来，脑网络已成为脑疾病研究中不可或缺的基石之一。将大脑建模为网络结构，因其能够更全面地表示脑区之间复杂的拓扑关系，已成为脑疾病诊断与认知神经机制研究的常用工具（Khan等，2021；Zhang等，2020）。研究表明，诸多神经退行性与精神类疾病（如AD与ASD）往往会引起脑网络连接模式的改变（Khojaste-Sarakhsi等，2022）。因此，探索有效的脑网络表征学习与分类方法对于脑疾病诊断至关重要。

目前，基于血氧水平依赖（blood-oxygen-level- dependent，BOLD）效应的功能性核磁共振成像（functional MRI，fMRI）和基于水分子弥散效应的弥散张量成像（diffusion tensor imaging，DTI）已经成为研究脑网络的主要工具（Menagadevi等，2024；Yin等，2022）。其中，fMRI常用于构建功能脑网络，而DTI用于构建结构脑网络。随着神经网络与深度学习技术的发展，基于结构连接（structural connectivity，SC）和功能连接（functional connectivity，FC）的脑疾病诊断方法取得了显著进展（王鑫等，2017；Yin等，2022；黄帅辉和王金凤，2022）。BrainNetCNN提出将卷积算子适配到结构连接矩阵上以学习判别性表征，成为脑网络研究的广泛基线（Kawahara等，2017）。BrainGNN设计了一种ROI-aware图卷积模块，在提升分类性能的同时可以突出显著的感兴趣区域（region of interest，ROI），以提高可解释性（Li等，2021）。MGRL（multi-scale graph representation learning）提出多尺度图表示学习以提取不同空间尺度上的互补拓扑信息（Chu等，2021）。MME-GCN（enhanced multi-modal graph convolutional network）提出一种用于结构和功能连接的多模态图卷积网络，以融合多模态脑网络特征（Liu等，2022）。

然而，现有方法在准确、全面建模脑网络方面仍然存在明显局限性。一方面，主流方法（Kawahara等，2017；Li等，2021）通常仅使用单一模态对结构或功能连接进行独立分析，从而忽略了二者之间潜在的相互依赖关系；另一方面，虽然少数方法（Liu等，2022；胡馨悦等，2025）采用了多模态融合策略，但这些方法多为简单的特征拼接或浅层信息融合，难以充分捕获结构连接与功能连接之间的复杂依赖关系。已有部分研究（Fotiadis等，2024）指出，结构—功能耦合（structure-function coupling，SFC）可以定量刻画结构连接和功能连接的间约束与支撑作用。SFC在健康人与脑疾病患者的不同脑区之间存在显著差异，且SFC作为反映局部病理改变的潜在生物标志物具有前景（Fotiadis等，2024）。因此，SFC有望在准确建模跨模态脑网络的复杂依赖中发挥重要作用。然而，截至目前，SFC与脑疾病分类之间的潜在关系尚未得到系统性探索。

为应对上述挑战，本文提出一种基于超图计算框架的脑疾病诊断基础模型SFC-HGNN（structure-function coupling hypergraph neural network），以SFC为先验引导跨模态融合。所提出的模型采用双流编码器架构，利用SFC矩阵作为“桥梁”，引导两条超图神经网络分支学习结构连接与功能连接之间的复杂依赖关系。具体而言，在预训练阶段，本文设计了一种新颖的跨模态交叉重建任务：首先将SFC分别与FC和SC进行特征融合，并采用超图神经网络（hypergraph neural network，HGNN）（Gao等，2023）捕获其中蕴含的高阶复杂关联；在SFC信息的引导下，每个模态的分支通过解码器重建另一模态的连接矩阵，并通过专门设计的对称性与稀疏性约束的重建损失进行优化。在下游微调阶段，所提出的方法将编码器参数冻结，并基于所计算的表征构建一个简单的多层感知机（multilayer perceptron，MLP）分类器以完成下游任务，从而获得准确的分类结果。为验证所提出方法的有效性，本文在阿尔茨海默病神经影像学倡议（Alzheimer’s disease neuroimaging initiative，ADNI）（Jack等，2008）和自闭症脑成像数据交换（autism brain imaging data exchange，ABIDE）（Craddock等，2013）数据集上进行了广泛的对比实验与消融实验。结果表明，所提出的SFC-HGNN在脑疾病分类任务中显著优于现有的单模态与多模态方法。总而言之，本文不仅提出了一种新颖的多模态融合策略，也为SFC在脑疾病诊断中的应用提供了新的见解。

1　本文方法

收起

1.1　结构—功能耦合矩阵

对于fMRI数据，假设有

T

个时间点和

N

个脑区。任何两个脑区

i

和

j

之间的功能连接强度

F i, j

可以通过它们的时间序列相关系数进行衡量。形式上，功能连接矩阵表示为

F ∈ R N × N

。对于DTI数据，结构连接矩阵是通过纤维追踪方法构建的。脑区

i

和

j

之间的结构连接强度

S i, j

表示它们之间纤维数量。形式上，结构连接矩阵表示为

S ∈ R N × N

。

参考现有对SFC的研究（Fotiadis等，2024），本文通过衡量脑区间功能连接模式与结构连接模式的一致性构建SFC矩阵

C ∈ R N × N

。图1展示了SFC矩阵的计算过程。

具体而言，给定功能连接矩阵

F ∈ R N × N

与结构连接矩阵

S ∈ R N × N

，分别取其连接模式向量

F i = F i 1, …, F i N

与

S j = S j 1, …, S j N

。随后对两向量进行秩变换得到

r F i

与

r S j

，并以秩向量计算斯皮尔曼相关系数作为耦合度，以得到SFC矩阵

C ∈ R N × N

，具体为

C i j = ρ F i, S j = 1 - 6 ∑ k = 1 N d k 2 N N 2 - 1

（1）

式中，

d k = r F i k - r S j k

表示第

k

个元素在结构、功能两种连接模式中的排名差异。通过上述过程，可定量地刻画结构连接和功能连接之间的耦合程度与协同关系。

1.2　SFC引导的HGNN编码器

SFC引导的超图神经网络码器是SFC-HGNN的主干，用于超图脑网络建模和高阶特征提取。如图2所示，它分为功能超图建模、结构超图建模和超图学习3个部分。

1.2.1　功能超图建模

首先，该模块使用一个 MLP对功能连接矩阵和SFC矩阵进行初步融合和特征提取，得到用于功能超图建模的特征矩阵

X f

，具体为

X f = ψ ([F; C])

（2）

式中，

ψ (⋅)

表示MLP，

[⋅

;

⋅]

表示将矩阵按行拼接，得到的

X f ∈ R N × d

表示功能特征矩阵，其中每一行对应一个脑区节点，

d

为特征维度。

随后，该模块基于

X f

使用稀疏表示方法（Jie等，2014）构建功能超图的超边。对于第

i

个脑区，设其特征向量为

x i ∈ R d

。构建一个不包括节点

i

的特征矩阵

X (- i) ∈ R (N - 1) × d

，通过利用Lasso回归求解以下优化问题来稀疏表示

x i

，具体为

m i n w i x i - X (- i) w i 22 + λ w i 1

（3）

式中，

w i ∈ R N - 1

代表使用其他节点特征表示

x i

时的系数，

λ

是控制稀疏性的正则化参数。该优化问题旨在通过最小的其他节点集合表示节点

i

的特征。求解该优化问题后，即得到系数向量

w i

。定义

N i = {j w i (j) ≠ 0}

为与节点

i

相关的节点集合。由此，可构建超边

e i = {i} ⋃ N i

。对所有节点重复此过程，从而构建功能超图的超边集合

E f

。功能超图表示为

G f = {V f, E f}

，其中，

V f

表示所有脑区节点的集合。

1.2.2　结构超图建模

与功能超图建模分支类似，结构超图建模部分首先使用MLP对结构连接矩阵和SFC矩阵进行初步融合，得到用于结构超图学习的特征矩阵

X s

。接着，使用k-近邻（k-nearest neighbor，KNN）策略基于

S

构建超边，以捕捉全局的精细结构关联。具体而言，对于每个脑区

i

，所提出方法计算该脑区与所有其他脑区在特征空间中的欧几里得距离，并选择

K

个最近邻的脑区节点与脑区

i

形成超边：

e i = {i} ⋃ N i

，其中，

N K i

表示节点

i

的

K

个最近邻节点所形成的集合。对所有节点重复此过程，从而构建结构超图的超边集合

E s

。结构超图表示为

G s = V s, E s

，其中，

V s

表示所有脑区节点集合。

1.2.3　超图学习

经过功能和结构超图建模后，采用两个具有独立权重的HGNN，引导每个分支学习节点之间的复杂高阶关联，以及结构—功能连接模式之间的潜在依赖关系。

在HGNN中，统一将节点特征矩阵表示为

X

，超图关联矩阵表示为

H

。其中

H ∈ R N × | E |

定义为

H (i, e) = 1 节点 i 属于 超边 e 0 其他

（4）

此外，定义节点度矩阵

D v

和超边度矩阵

D e

，它们是两个对角矩阵。具体为

D v (i, i) = ∑ e H (i, e) D e (e, e) = ∑ i H (i, e)

（5）

HGNN的核心是多层超图卷积（hypergraph convolution，HG Conv）。一次超图卷积通过两阶段消息传递实现：首先从每个节点聚合至所属的超边，然后从各个超边分发到所包含的节点。形式上，这一过程表示为

X (l + 1) = σ D v - 12 H D e - 1 H T D v - 12 X l Θ l

（6）

式中，

Θ l

表示第

l

层的可学习参数矩阵，

σ (⋅)

是非线性激活函数。在经过

L

层超图卷积后，功能连接和结构连接分别被编码为

F ˜

和

S ˜

。

1.3　基于跨模态交叉重建的预训练

为了充分挖掘功能连接和结构连接之间的潜在依赖关系，本文设计了一种基于跨模态交叉重建的预训练策略，促使编码器在SFC先验信息的引导下学习跨模态的潜在依赖。具体而言，模型将功能连接矩阵

F

、结构连接矩阵

S

和SFC矩阵

C

作为输入，并通过各自的HGNN编码器获得对应的潜在特征表示（

F ˜

和

S ˜

）。功能模态的表征

F ˜

用于解码并重建结构连接矩阵，而结构模态的表征

S ˜

用于重建功能连接矩阵，具体为

S^0 = φ f d e (F ˜), F^0 = φ s d e (S ˜)

（7）

式中，

φ f d e (⋅)

和

φ s d e (⋅)

为两个MLP，用做重建的解码器。需要注意的是，由于原始的功能连接矩阵和结构连接矩阵均为对称矩阵，所以对解码器的原始输出应用对称化处理，以确保重建的矩阵保持对称性。具体为

S^= S^0 + S^0 T 2, F^= F^0 + F^0 T 2

（8）

式中，

S ˜

和

F ˜

分别为重建得到的结构连接矩阵和功能连接矩阵。

为了优化编码器和解码器，所提出方法采用均方误差（mean square error，MSE）损失来衡量重建结果与原始矩阵之间的差异。此外，引入基于Frobenius范数的对称性损失和基于L1范数的稀疏性约束，具体为

ℒ s y (B) = B - B T F 2 ℒ s p (B) = ∑ i, j B i j

（9）

式中，

ℒ s y

是对称性损失，

ℒ s p

是稀疏性损失。

B

可以是

F^0

或者

S^0

。

⋅ F

表示Frobenius范数。通过这种方式，模型能够学习到直接生成一个接近对称的矩阵，从而减少对于对称化操作的依赖，并提高重建矩阵的结构一致性。

整体优化目标为同时最小化MSE、对称性偏差和稀疏性约束。因此完整的重建损失可以表示为

ℒ r e f = F - F^22 + ℒ s y F^0 + α f ℒ s p F^0 ℒ r e s = S - S^22 + ℒ s y S^0 + α s ℒ s p S^0

（10）

式中，

α f

和

α s

是控制稀疏性约束强度的超参数。最终的跨模态重建损失为

ℒ r e = ℒ r e f + ℒ r e s

（11）

通过跨模态交叉重建任务，以及为该任务专门设计的损失函数，可以有效促使各个分支的编码器在训练过程中不仅学会捕获自身模态内部的高阶关联，也能够学习到跨模态的潜在依赖关系，以实现更加有效的跨模态协同感知。

1.4　下游微调

在预训练阶段，模型通过跨模态交叉重建任务学习到由两分支编码器提取的跨模态高阶表示；而在下游微调阶段，所提出方法则冻结两条编码器分支的全部参数，仅基于其输出的表征训练一个轻量级的判别头，从而实现在较少的训练轮次内获得稳定而优越的分类性能。

具体而言，所提出方法使用预训练完成后的功能分支与结构分支编码器分别得到两种模态的节点级表征

F ˜ ∈ R N × d

和

S ˜ ∈ R N × d

。随后，将两个模态的节点特征按行展开并在特征维度拼接，构造全局的样本级特征向量，具体为

z = [ϕ (F ˜); ϕ (S ˜)]

（12）

式中，

ϕ (⋅)

表示展平操作。然后，将全局特征

z

输入一个轻量级MLP分类器中，输出类别的对数几率，再经softmax得到类别后验概率。训练目标采用交叉熵损失仅对分类器参数进行优化，编码器权重保持冻结不更新。

2　实验结果

收起

2.1　数据集与数据预处理

本文在两个脑疾病诊断任务上开展实验，分别使用ADNI（Jack等，2008）和ABIDE（Craddock等，2013）数据集。ADNI 数据集由多中心采集，旨在为改进阿尔茨海默病预防与治疗的临床试验提供支持。本文使用其中的一个子集，共332例受试者，包括64名阿尔兹海默病（AD）患者、129名轻度认知障碍（mild cognitive impairment，MCI）患者与139名正常对照（normal control，NC）。ABIDE 是关于自闭症谱系障碍（ASD）的公共数据集，汇聚来自国际多家影像中心的受试者。本文从中筛选出同时具备fMRI与DTI数据的86名受试者，其中包括53名ASD患者与42名NC。

在数据预处理阶段，对于功能脑网络，本文通过DPARSF（data processing assistant for resting-state fMRI）（http://rfmri.org/DPARSF）对两个数据集的fMRI数据进行预处理。采用了标准的fMRI预处理步骤，包括剔除前10个时间点、层间时间校正、头动校正、空间归一化和高斯平滑。随后，利用解剖标记（automated anatomical labeling，AAL）图谱将大脑空间划分为90个脑区，并提取每个脑区对应的BOLD信号。通过对BOLD信号计算皮尔逊相关系数以得到功能连接矩阵。对于结构脑网络，通过PANDA（pipeline for analyzing brain diffusion images）工具箱（https://www.nitrc.org/projects/panda/）对两个数据集的DTI数据进行预处理。处理过程包括5个主要步骤：重采样、去头骨、间隙裁剪、头动校正和涡流校正。使用确定性纤维追踪获取的脑区间的纤维数量构建结构脑网络。

2.2　实验设置

所有实验均基于PyTorch框架在一块NVIDIA RTX 4090 GPU上完成。在预训练阶段，本文将学习率设为

1 × 10 - 4

，训练轮数为200；微调阶段则冻结编码器参数，将分类器的学习率设为

5 × 10 - 6

，训练轮数为100。两个阶段均采用Adam优化器进行训练。在全部实验中，均采用5折交叉验证进行评估，采用准确率（accuracy，ACC）、AUC（area under the curve）、F1分数以及特异性（specificity，SPE）作为评估指标。

2.3　对比实验

为了验证所提出的SFC-HGNN的有效性，将SFC-HGNN与单模态方法（BrainNetCNN（Kawahara等，2017）、GAT（graph attention network）、HGNN+ （Veličković等，2018）、BrainGNN（brain graph neural network）（Li等，2021））以及多模态方法（MME-GCN（enhanced multi-modal graph convolutional network）（Liu等，2022）、Cross-GNN（Yang等，2024a））进行对比。如表1所示，SFC-HGNN 在多项脑疾病诊断任务上取得了当前最优的性能。例如，在AD-NC分类中，SFC-HGNN的ACC和AUC分别达到0.705和0.661；在AD-MCI分类中，SFC-HGNN的ACC和F1分数分别达到0.687和0.612，相较于次优方法分别提升2.3%和12.7%；在 MCI-NC分类中，SFC-HGNN的性能也全面领先于其他方法，其中ACC相较第2名的BrainNetCNN提升2.4%。在ASD-NC分类中，SFC-HGNN仍然在ACC、AUC和F1分数上均优于其他方法。值得注意的是，尽管SFC-HGNN在部分任务中的SPE并非最高，但那些特异性更高的方法均伴随着非常低的F1分数，导致整体性能不稳定。例如，AD-NC分类中，HGNN+在SPE指标上略高于本文的方法，但F1分数仅有0.276，导致模型的诊断结果实则极不可靠。而本文的SFC-HGNN不仅在各个指标上均取得先进的结果，而且展现出最好的平衡性和鲁棒性。

进一步地，对SFC-HGNN相较于先前最强的多模态基线Cross-GNN的性能提升进行了统计学显著性检验。具体而言，在相同的数据划分下，采用10次重复的5折交叉验证，并对两种方法在对应划分上的性能差异进行Wilcoxon符号秩检验，以验证改进是否显著（显著性水平设为

p < 0.05

）。如表2所示，所提出的SFC-HGNN在4个诊断任务上均表现为显著优于Cross-GNN。

这些结果表明，SFC-HGNN的性能提升并非由随机划分波动导致，而具有统计学意义与稳定性。2.4　消融实验

为验证所提出的跨模态交叉重建预训练与SFC引导策略的有效性，设计了3组消融实验：1）SFC-HGNN同时去除预训练与SFC引导；2）不使用预训练，但使用SFC引导；3）完整的SFC-HGNN，同时采用两种策略。

如表3所示，当模型未进行预训练，且两条分支之间不存在交互时，模型整体表现一般，在AD-NC和ASD-NC分类任务上的ACC仅有0.668与0.629。

当不采用跨模态交叉重建的预训练，但使用SFC作为桥梁为两条分支提供跨模态信息时，两项任务的准确率分别提升1.6%与2.3%。在此基础上进一步加入所提出的预训练策略后，两项任务的准确率又分别提升2.1%与2.9%，达到最优。进一步地，本文可视化了SFC-HGNN重建的FC和SC矩阵。结果如图3所示。从可视化的样本可以看出，SFC-HGNN凭借所学习到的跨模态先验较精确地实现了重建；而未经训练的SFC-HGNN则表现为近似随机的预测。上述定量与定性结果表明，本文所提出的SFC引导策略与跨模态交叉重建的预训练策略能有效促使模型学习结构连接与功能连接之间的潜在依赖和高阶关联关系，从而获得更加稳健且有效的表征。

为了验证多模态融合的必要性，并量化跨模态融合的贡献，进行了仅使用单一模态和使用多模态的消融实验。值得注意的是，当仅使用单一模态时，原本的跨模态重建预训练无法成立，因此将预训练退化为在同一模态内进行掩码重建以保持预训练带来的正则化与表征学习收益，从而保证对比公平。如表4所示，多模态融合的版本（即完整的SFC-HGNN模型）在两项代表性任务上相较于只使用fMRI或DTI的版本均表现出显著的性能优势。上述结果表明，单模态虽然可捕获部分判别性信息，但跨模态融合能够进一步挖掘结构、功能脑网络之间的互补性与潜在依赖关系，从而提供更准确可靠的诊断结果。

为了验证所提出的SFC-HGNN的临床可用性，本文提供了详细的模型复杂度相关指标，如表5所示。其中，GPU与CPU上的推理延迟分别在NVIDIA RTX 4090和AMD EPYC 7T83（64核）上测得。由表5可知，SFC-HGNN在下游分类阶段的参数量仅2.75 M，其在GPU和CPU上的推理吞吐量均达到700个样本/s以上，符合临床部署的轻量性和实时性需求。

2.5　显著性超边分析

本文从高阶相关性的视角对功能与结构脑网络进行分析，如图4所示。本文采用t-检验在AD/ASD与NC人群中可视化了在统计上具有显著性的超边。图中，橙色的杆状结构表示超边的连接，蓝色的球体是包含在超边中的大脑区域，绿色的球体是相关脑区的中心。

对于AD-NC组：在功能超边方面，与NC相比，AD患者出现与SMA.R和IPL.R相关的连接缺失，同时存在与IPL.R和PreCG.R相关的异常连接；在结构超边方面，与NC相比，AD患者出现与THA.R和ORBsupmed.L相关的连接缺失，同时存在与MOG.R和AMYG.R相关的异常连接。

对于ASD-NC组：在功能超边方面，与 NC 相比，ASD患者出现与CUN.L和ANG.R相关的连接缺失，同时存在与ORBmid、ORBsupmed.L和REC.L相关的异常连接；在结构超边方面，与NC相比，ASD患者出现与FFG.L和LING.L相关的连接缺失。

综上所述，显著性超边分析结果表明，阿尔茨海默病（AD）与自闭症谱系障碍（ASD）患者在功能与结构连接层面均呈现出多区域的异常特征，其中既包括连接的缺失，也包含异常增强的交互模式。这些超边变化集中于感觉运动区、边缘系统与额叶皮层等关键脑区，揭示了疾病相关的高阶网络失衡特征。该结果验证了SFC-HGNN在捕捉脑区高阶交互关系方面的有效性，同时也为进一步理解神经退行性疾病与神经发育障碍的网络机制提供了新的视角与潜在生物学解释。

3　结论

收起

面向如何系统建模结构连接与功能连接的潜在高阶依赖这一核心问题，本文提出了以SFC为先验引导的脑疾病诊断基础模型SFC-HGNN。所提出的模型以SFC矩阵为中间桥梁，构建功能、结构双流超图编码器，旨在为脑疾病智能诊断提供稳定、可推广的表征学习范式。

在方法上，SFC-HGNN通过超图建模与跨模态交叉重建预训练策略，显式促成两模态表示的交互与对齐：用功能表征重建结构连接、用结构表征重建功能连接，并辅以对称与稀疏约束；下游阶段冻结编码器、以轻量级MLP完成分类，从而在训练成本可控的前提下获得鲁棒性能。

在ADNI与ABIDE数据集的多项诊断任务上，SFC-HGNN在各指标上整体优于现有方法并保持良好平衡；消融实验表明，SFC引导与跨模态交叉重建预训练均带来显著增益、二者具有互补性。显著超边分析进一步提供了结构化解释线索。

在未来的研究中，计划探索更丰富的耦合度量与对比对齐学习策略、端到端多任务联合优化及跨站点稳健泛化，以提升模型的准确性、鲁棒性以及临床可用性与科学解释力。

基金

收起

国家科技重大专项（2025ZD0217300）；国家自然科学基金项目（62501358）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Chu

，Wang

G Y

，Cao

，Qiao

L S

and Liu

M X

. 2022. Multi-scale graph representation learning for autism identification with functional MRI. Frontiers in Neuroinformatics，15： #802305 ［DOI： 10.3389/fninf.2021.802305］

Craddock

，Benhajali

，Chu

，Chouinard

，Evans

，Jakab

，et al. 2013. The neuro bureau preprocessing initiative： open sharing of preprocessed neuroimaging data and derivatives//Proceedings of 2013 Neuroinformatics Conference. Stockholm，Sweden： Frontiers： #41 ［DOI： 10.3389/conf.fninf.2013.09.00041］

Fotiadis

，Parkes

，Davis

K A

，Satterthwaite

T D

，Shinohara

R T

and Bassett

D S

. 2024. Structure-function coupling in macroscale human brain networks. Nature Reviews Neuroscience，25（10）： 688-704 ［DOI： 10.1038/s41583-024-00846-6］

Gao

，Feng

Y F

，Ji

S Y

and Ji

R R

. 2023. HGNN⁺： general hypergraph neural networks. IEEE Transactions on Pattern Analysis and Machine Intelligence，45（3）： 3181-3199 ［DOI： 10.1109/TPAMI.2022.3182052］

X Y

，Shi

and Liu

. 2025. Classification of Alzheimer’s disease using multimodal brain imaging via DenseNet and Mamba. Journal of Image and Graphics，30（10）： 3230-3241

胡馨悦，石雨，刘羽. 2025. 结合DenseNet和Mamba的多模态脑影像阿尔茨海默症分类. 中国图象图形学报，30（10）： 3230-3241 ［DOI： 10.11834/jig.250028］

Huang

S H

and Wang

J F

. 2022. Brain MRI image classification incorporating smooth group sparseness. Journal of Image and Graphics，27（3）： 885-897

黄帅辉，王金凤. 2022. 融入平滑组稀疏化的脑部MRI图像分类. 中国图象图形学报，27（3）： 885-897 ［DOI： 10.11834/jig.210367］

Jack C R Jr，Bernstein

M A

，Fox

N C

，Thompson

，Alexander

，Harvey

，et al. 2008. The Alzheimer’s disease neuroimaging initiative （ADNI）： MRI methods. Journal of Magnetic Resonance Imaging，27（4）： 685-691 ［DOI： 10.1002/jmri.21049］

Jie

，Shen

D G

and Zhang

D Q

. 2014. Brain connectivity hyper-network for MCI classification//Proceedings of the 17th International Conference on Medical Image Computing and Computer-Assisted Intervention （MICCAI 2014）. Boston，USA： Springer： 724-732 ［DOI： 10.1007/978-3-319-10470-6_90］

Kawahara

，Brown

C J

，Miller

S P

，Booth

B G

，Chau

，Grunau

R E

，et al. 2017. BrainNetCNN： convolutional neural networks for brain networks； towards predicting neurodevelopment. NeuroImage，146： 1038-1049 ［DOI： 10.1016/j.neuroimage.2016.09.046］

Khan

，Kader

，Islam

S M R

，Rahman

A B

，Kamal

，Toha

M U

，et al. 2021. Machine learning and deep learning approaches for brain disease diagnosis： principles and recent advances. IEEE Access，9： 37622-37655 ［DOI： 10.1109/ACCESS.2021.3062484］

Khojaste-Sarakhsi

，Shahabi Haghighi

，Fatemi Ghomi S M T and Marchiori E. 2022. Deep learning for Alzheimer’s disease diagnosis： a survey. Artificial Intelligence in Medicine，130： #102332 ［DOI： 10.1016/j.artmed.2022.102332］

X X

，Zhou

，Dvornek

，Zhang

M H

，Gao

S Y

，Zhuang

J T

，et al. 2021. BrainGNN： interpretable brain graph neural network for fMRI analysis. Medical Image Analysis，74： #102233 ［DOI： 10.1016/j.media.2021.102233］

Liu

L L

，Wang

Y P

，Wang

，Zhang

and Xiong

S F

. 2022. An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders. Medical Image Analysis，81： #102550 ［DOI： 10.1016/j.media.2022.102550］

Menagadevi

，Devaraj

，Madian

and Thiyagarajan

. 2024. Machine and deep learning approaches for Alzheimer disease detection using magnetic resonance images： an updated review. Measurement，226： #114100 ［DOI： 10.1016/j.measurement.2023.114100］

Shoeibi

，Khodatars

，Jafari

，Ghassemi

，Moridian

，Alizadehsani

，et al. 2023. Diagnosis of brain diseases in fusion of neuroimaging modalities using deep learning： a review. Information Fusion，93： 85-117 ［DOI： 10.1016/j.inffus.2022.12.010］

Veličković

，Cucurull

，Casanova

，Romero

，Liò

and Bengio

. 2018. Graph attention networks//Proceedings of the 6th International Conference on Learning Representations. Vancouver，Canada： OpenReview.net

Wang

，Ren

Y S

and Zhang

W S

. 2017. Multi-task fused Lasso method for constructing dynamic functional brain network of resting-state fMRI. Journal of Image and Graphics，22（7）： 978-987

王鑫，任燕双，张文生. 2017. 动态功能脑网络模型的多任务融合Lasso方法. 中国图象图形学报，22（7）： 978-987 ［DOI： 10.11834/jig.170055］

Yang

Y W

，Ye

C F

，Guo

X T

，Wu

，Xiang

and Ma

. 2024a. Mapping multi-modal brain connectome for brain disorder diagnosis via cross-modal mutual learning. IEEE Transactions on Medical Imaging，43（1）： 108-121 ［DOI： 10.1109/TMI.2023.3294967］

Yin

W T

，Li

L H

and Wu

F X

. 2022. Deep learning for brain disorder diagnosis based on fMRI images. Neurocomputing，469： 332-345 ［DOI： 10.1016/j.neucom.2020.05.113］

Zhang

，Wang

M L

，Liu

M X

and Zhang

D Q

. 2020. A survey on deep learning for neuroimaging-based brain disorder analysis. Frontiers in Neuroscience，14： #779 ［DOI： 10.3389/fnins.2020.00779］

2026年第31卷第7期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11834/jig.250535

接收时间：2025-10-30
首发时间：2026-10-30
出版时间：2026-07-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-10-30
修回日期：2026-03-09

基金

National Science and Technology Major Project （2025ZD0217300）；National Natural Science Foundation of China （62501358）

国家科技重大专项（2025ZD0217300）；国家自然科学基金项目（62501358）

作者信息

清华大学软件学院，北京　100084

通讯作者:

高跃 gaoyue@tsinghua.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgtxtxxb/CN/10.11834/jig.250535

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模态	方法	AD vs. NC	AD vs. MCI
fMRI	BrainNetCNN	0.700±0.045	0.615±0.090	0.337±0.105	0.932±0.061	0.653±0.070	0.666±0.099	0.235±0.083	0.925±0.066
GAT	0.668±0.031	0.610±0.094	0.097±0.071	0.909±0.073	0.631±0.076	0.535±0.062	0.381±0.118	0.757±0.148
BrainGNN	0.555±0.113	0.529±0.074	0.443±0.104	0.538±0.289	0.625±0.124	0.571±0.114	0.400±0.181	0.676±0.288
HGNN+	0.669±0.092	0.629±0.097	0.316±0.083	0.890±0.027	0.647±0.030	0.627±0.058	0.223±0.101	0.899±0.067
DTI	BrainNetCNN	0.695±0.045	0.621±0.066	0.411±0.151	0.472±0.390	0.645±0.097	0.620±0.040	0.485±0.137	0.427±0.309
GAT	0.668±0.031	0.537±0.024	0.258±0.092	0.901±0.077	0.658±0.088	0.560±0.084	0.242±0.194	0.901±0.061
BrainGNN	0.528±0.157	0.532±0.115	0.457±0.049	0.472±0.390	0.536±0.164	0.517±0.135	0.346±0.286	0.400±0.490
HGNN+	0.689±0.028	0.652±0.068	0.276±0.093	0.939±0.046	0.664±0.086	0.621±0.052	0.260±0.170	0.934±0.041
多模态	MME-GCN	0.658±0.052	0.643±0.040	0.492±0.075	0.740±0.082	0.615±0.089	0.599±0.130	0.381±0.169	0.735±0.128
Cross-GNN	0.699±0.046	0.659±0.043	0.431±0.064	0.878±0.093	0.654±0.060	0.667±0.143	0.401±0.129	0.893±0.066
SFC-HGNN	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.687±0.081	0.644±0.138	0.612±0.083	0.907±0.173
fMRI	BrainNetCNN	0.595±0.088	0.610±0.031	0.472±0.086	0.815±0.118	0.672±0.045	0.622±0.038	0.601±0.070	0.701±0.083
GAT	0.574±0.119	0.597±0.060	0.411±0.139	0.769±0.227	0.614±0.052	0.542±0.127	0.603±0.121	0.651±0.274
BrainGNN	0.538±0.073	0.518±0.064	0.587±0.100	0.301±0.277	0.653±0.086	0.581±0.089	0.612±0.101	0.671±0.189
HGNN+	0.526±0.122	0.528±0.111	0.188±0.158	0.827±0.101	0.638±0.076	0.577±0.102	0.598±0.092	0.636±0.313
DTI	BrainNetCNN	0.607±0.123	0.613±0.088	0.481±0.167	0.822±0.111	0.640±0.055	0.612±0.042	0.588±0.085	0.684±0.123
GAT	0.522±0.114	0.540±0.051	0.393±0.120	0.819±0.179	0.625±0.051	0.554±0.072	0.582±0.111	0.621±0.264
BrainGNN	0.531±0.069	0.548±0.044	0.643±0.104	0.119±0.146	0.601±0.073	0.562±0.065	0.568±0.095	0.588±0.183
HGNN+	0.522±0.008	0.532±0.092	0.380±0.243	0.798±0.102	0.628±0.065	0.599±0.056	0.574±0.099	0.651±0.251
多模态	MME-GCN	0.534±0.088	0.570±0.059	0.544±0.093	0.509±0.143	0.596±0.083	0.553±0.075	0.551±0.105	0.602±0.219
Cross-GNN	0.507±0.091	0.531±0.150	0.484±0.106	0.545±0.177	0.662±0.050	0.630±0.049	0.616±0.098	0.692±0.150
SFC-HGNN	0.631±0.053	0.623±0.065	0.652±0.093	0.833±0.131	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

模态

方法

AD vs. NC

AD vs. MCI

ACC

AUC

SPE

ACC

AUC

SPE

fMRI

BrainNetCNN

0.700±0.045

0.615±0.090

0.337±0.105

0.932±0.061

0.653±0.070

0.666±0.099

0.235±0.083

0.925±0.066

GAT

0.668±0.031

0.610±0.094

0.097±0.071

0.909±0.073

0.631±0.076

0.535±0.062

0.381±0.118

0.757±0.148

BrainGNN

0.555±0.113

0.529±0.074

0.443±0.104

0.538±0.289

0.625±0.124

0.571±0.114

0.400±0.181

0.676±0.288

HGNN+

0.669±0.092

0.629±0.097

0.316±0.083

0.890±0.027

0.647±0.030

0.627±0.058

0.223±0.101

0.899±0.067

DTI

BrainNetCNN

0.695±0.045

0.621±0.066

0.411±0.151

0.472±0.390

0.645±0.097

0.620±0.040

0.485±0.137

0.427±0.309

GAT

0.668±0.031

0.537±0.024

0.258±0.092

0.901±0.077

0.658±0.088

0.560±0.084

0.242±0.194

0.901±0.061

BrainGNN

0.528±0.157

0.532±0.115

0.457±0.049

0.472±0.390

0.536±0.164

0.517±0.135

0.346±0.286

0.400±0.490

HGNN+

0.689±0.028

0.652±0.068

0.276±0.093

0.939±0.046

0.664±0.086

0.621±0.052

0.260±0.170

0.934±0.041

多模态

MME-GCN

0.658±0.052

0.643±0.040

0.492±0.075

0.740±0.082

0.615±0.089

0.599±0.130

0.381±0.169

0.735±0.128

Cross-GNN

0.699±0.046

0.659±0.043

0.431±0.064

0.878±0.093

0.654±0.060

0.667±0.143

0.401±0.129

0.893±0.066

SFC-HGNN

0.705±0.077

0.661±0.105

0.595±0.059

0.891±0.070

0.687±0.081

0.644±0.138

0.612±0.083

0.907±0.173

模态

方法

MCI vs. NC

ASD vs. NC

ACC

AUC

SPE

ACC

AUC

SPE

fMRI

BrainNetCNN

0.595±0.088

0.610±0.031

0.472±0.086

0.815±0.118

0.672±0.045

0.622±0.038

0.601±0.070

0.701±0.083

GAT

0.574±0.119

0.597±0.060

0.411±0.139

0.769±0.227

0.614±0.052

0.542±0.127

0.603±0.121

0.651±0.274

BrainGNN

0.538±0.073

0.518±0.064

0.587±0.100

0.301±0.277

0.653±0.086

0.581±0.089

0.612±0.101

0.671±0.189

HGNN+

0.526±0.122

0.528±0.111

0.188±0.158

0.827±0.101

0.638±0.076

0.577±0.102

0.598±0.092

0.636±0.313

DTI

BrainNetCNN

0.607±0.123

0.613±0.088

0.481±0.167

0.822±0.111

0.640±0.055

0.612±0.042

0.588±0.085

0.684±0.123

GAT

0.522±0.114

0.540±0.051

0.393±0.120

0.819±0.179

0.625±0.051

0.554±0.072

0.582±0.111

0.621±0.264

BrainGNN

0.531±0.069

0.548±0.044

0.643±0.104

0.119±0.146

0.601±0.073

0.562±0.065

0.568±0.095

0.588±0.183

HGNN+

0.522±0.008

0.532±0.092

0.380±0.243

0.798±0.102

0.628±0.065

0.599±0.056

0.574±0.099

0.651±0.251

多模态

MME-GCN

0.534±0.088

0.570±0.059

0.544±0.093

0.509±0.143

0.596±0.083

0.553±0.075

0.551±0.105

0.602±0.219

Cross-GNN

0.507±0.091

0.531±0.150

0.484±0.106

0.545±0.177

0.662±0.050

0.630±0.049

0.616±0.098

0.692±0.150

SFC-HGNN

0.631±0.053

0.623±0.065

0.652±0.093

0.833±0.131

0.681±0.054

0.635±0.105

0.672±0.087

0.682±0.192

任务	p-值
AD vs. NC	7.60E-3*
AD vs. MCI	7.52E-6*
MCI vs. NC	1.56E-2*
ASD vs. NC	4.00E-5*

任务

p-值

AD vs. NC

7.60E-3*

AD vs. MCI

7.52E-6*

MCI vs. NC

1.56E-2*

ASD vs. NC

4.00E-5*

预训练	SFC引导	AD vs. NC	ASD vs. NC
×	×	0.668±0.068	0.534±0.109	0.394±0.077	0.887±0.011	0.629±0.058	0.566±0.121	0.598±0.092	0.588±0.179
×	√	0.684±0.031	0.572±0.076	0.432±0.098	0.888±0.098	0.652±0.048	0.595±0.106	0.632±0.033	0.664±0.190
√	√	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

预训练

SFC引导

AD vs. NC

ASD vs. NC

ACC

AUC

SPE

ACC

AUC

SPE

0.668±0.068

0.534±0.109

0.394±0.077

0.887±0.011

0.629±0.058

0.566±0.121

0.598±0.092

0.588±0.179

√

0.684±0.031

0.572±0.076

0.432±0.098

0.888±0.098

0.652±0.048

0.595±0.106

0.632±0.033

0.664±0.190

√

0.705±0.077

0.661±0.105

0.595±0.059

0.891±0.070

0.681±0.054

0.635±0.105

0.672±0.087

0.682±0.192

模态	AD vs. NC	ASD vs. NC
仅fMRI	0.688±0.081	0.602±0.127	0.514±0.096	0.878±0.086	0.635±0.061	0.594±0.109	0.614±0.079	0.629±0.215
仅DTI	0.679±0.065	0.610±0.082	0.497±0.065	0.869±0.072	0.640±0.069	0.586±0.112	0.631±0.065	0.648±0.202
多模态	0.705±0.077	0.661±0.105	0.595±0.059	0.891±0.070	0.681±0.054	0.635±0.105	0.672±0.087	0.682±0.192

模态

AD vs. NC

ASD vs. NC

ACC

AUC

SPE

ACC

AUC

SPE

仅fMRI

0.688±0.081

0.602±0.127

0.514±0.096

0.878±0.086

0.635±0.061

0.594±0.109

0.614±0.079

0.629±0.215

仅DTI

0.679±0.065

0.610±0.082

0.497±0.065

0.869±0.072

0.640±0.069

0.586±0.112

0.631±0.065

0.648±0.202

多模态

0.705±0.077

0.661±0.105

0.595±0.059

0.891±0.070

0.681±0.054

0.635±0.105

0.672±0.087

0.682±0.192

阶段	参数量/M	FLOPs/M	GPU延迟/ ms	CPU延迟/ ms
预训练	2.47	22.16	1.35	1.52
下游分类	2.75	23.04	1.29	1.36

阶段

参数量/M

FLOPs/M

GPU延迟/ ms

CPU延迟/ ms

预训练

2.47

22.16

1.35

1.52

下游分类

2.75

23.04

1.29

1.36