中国图象图形学报

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
FaceFormer	N/A	0.616 8	N/A	N/A	N/A	N/A
CodeTalker	N/A	1.624 3	N/A	1.291 8	1.271 3	1.290 1
FaceDiffuser	N/A	0.488 7	N/A	N/A	N/A	N/A
ProbTalk3D	0.715 7	0.624 5	0.005 1	0.560 5	0.532 5	0.357 6
DecTalk3D（本文）	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

FaceFormer

N/A

0.616 8

N/A

CodeTalker

N/A

1.624 3

N/A

1.291 8

1.271 3

1.290 1

FaceDiffuser

N/A

0.488 7

N/A

ProbTalk3D

0.715 7

0.624 5

0.005 1

0.560 5

0.532 5

0.357 6

DecTalk3D（本文）

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
FaceFormer	N/A	0.616 8	N/A	N/A	N/A	N/A
CodeTalker	N/A	1.624 3	N/A	1.291 8	1.271 3	1.290 1
FaceDiffuser	N/A	0.488 7	N/A	N/A	N/A	N/A
ProbTalk3D	0.715 7	0.624 5	0.005 1	0.560 5	0.532 5	0.357 6
DecTalk3D（本文）	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

FaceFormer

N/A

0.616 8

N/A

CodeTalker

N/A

1.624 3

N/A

1.291 8

1.271 3

1.290 1

FaceDiffuser

N/A

0.488 7

N/A

ProbTalk3D

0.715 7

0.624 5

0.005 1

0.560 5

0.532 5

0.357 6

DecTalk3D（本文）

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
完整模型	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7
无s、t	1.030 5	1.060 0	0.846 5	1.000 9	0.867 6	0.341 1
无Q_top	0.711 8	0.670 7	0.202 1	0.643 0	0.605 4	0.131 5
无s、t、Q_top	1.041 7	1.079 6	0.577 5	1.048 9	0.970 5	0.160 0

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

完整模型

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

无s、t

1.030 5

1.060 0

0.846 5

1.000 9

0.867 6

0.341 1

无Q_top

0.711 8

0.670 7

0.202 1

0.643 0

0.605 4

0.131 5

无s、t、Q_top

1.041 7

1.079 6

0.577 5

1.048 9

0.970 5

0.160 0

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
完整模型	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7
无s、t	1.030 5	1.060 0	0.846 5	1.000 9	0.867 6	0.341 1
无Q_top	0.711 8	0.670 7	0.202 1	0.643 0	0.605 4	0.131 5
无s、t、Q_top	1.041 7	1.079 6	0.577 5	1.048 9	0.970 5	0.160 0

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

完整模型

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

无s、t

1.030 5

1.060 0

0.846 5

1.000 9

0.867 6

0.341 1

无Q_top

0.711 8

0.670 7

0.202 1

0.643 0

0.605 4

0.131 5

无s、t、Q_top

1.041 7

1.079 6

0.577 5

1.048 9

0.970 5

0.160 0

分层解耦引导的情感可控VQ-VAE 3D说话人脸生成方法

PDF下载

陈胜 1 , 孙强 1^,^* , 朱霞天 2

中国图象图形学报 | 图像理解和计算机视觉 2026,31(8): 3015-3029

收起

中国图象图形学报 |图像理解和计算机视觉 2026 , 31 (8) : 3015 -3029

分层解耦引导的情感可控VQ-VAE 3D说话人脸生成方法

全屏

[Author(id=1322961001703940098, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=1936580290@qq.com, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1322961001783631876, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961001703940098, language=EN, stringName=Sheng Chen, firstName=Sheng, middleName=null, lastName=Chen, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=¹ School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322961001884295173, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961001703940098, language=CN, stringName=陈胜, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=¹　西安理工大学自动化与信息工程学院，西安;710048, bio={"content":"

陈胜，男，硕士研究生，主要研究方向为情感生成。E-mail：1936580290@qq.com

"}, bioImg=null, bioContent=

陈胜，男，硕士研究生，主要研究方向为情感生成。E-mail：1936580290@qq.com

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322961000059773948, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, xref=1, ext=[AuthorCompanyExt(id=1322961000072356861, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961000059773948, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=¹ School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China), AuthorCompanyExt(id=1322961000089134078, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961000059773948, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=¹　西安理工大学自动化与信息工程学院，西安;710048)])]), Author(id=1322961001980764167, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=qsun@xaut.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1322961002073038857, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961001980764167, language=EN, stringName=Qiang Sun, firstName=Qiang, middleName=null, lastName=Sun, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1^,^*, address=¹ School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322961002152730634, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961001980764167, language=CN, stringName=孙强, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1^,^*, address=¹　西安理工大学自动化与信息工程学院，西安;710048, bio={"content":"

孙强，通信作者，男，副教授，主要研究方向为情感计算与人智交互。E-mail：qsun@xaut.edu.cn

"}, bioImg=null, bioContent=

孙强，通信作者，男，副教授，主要研究方向为情感计算与人智交互。E-mail：qsun@xaut.edu.cn

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322961000059773948, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, xref=1, ext=[AuthorCompanyExt(id=1322961000072356861, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961000059773948, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=¹ School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China), AuthorCompanyExt(id=1322961000089134078, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961000059773948, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=¹　西安理工大学自动化与信息工程学院，西安;710048)])]), Author(id=1322961002249199628, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=xiatian.zhu@surrey.ac.uk, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1322961002337280014, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961002249199628, language=EN, stringName=Xiatian Zhu, firstName=Xiatian, middleName=null, lastName=Zhu, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, address=² The Surrey Institute for People-Centred Artificial Intelligence and the Centre for Vision，Speech and Signal Processing （CVSSP） at the University of Surrey，Guildford GU2 7XH，UK, bio=null, bioImg=null, bioContent=null, aboutCorrespAuthor=null), CN=AuthorExt(id=1322961002412777487, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, authorId=1322961002249199628, language=CN, stringName=朱霞天, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, address=²　萨里大学以人为本人工智能研究所&视觉、语音和信号处理中心，吉尔福德　GU2 7XH，英国, bio={"content":"

朱霞天，男，高级讲师，主要研究方向为可扩展机器学习、计算机视觉和多模态GenAI。E-mail：xiatian.zhu@surrey.ac.uk

"}, bioImg=null, bioContent=

朱霞天，男，高级讲师，主要研究方向为可扩展机器学习、计算机视觉和多模态GenAI。E-mail：xiatian.zhu@surrey.ac.uk

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1322961001599083519, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, xref=2, ext=[AuthorCompanyExt(id=1322961001603277824, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961001599083519, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=² The Surrey Institute for People-Centred Artificial Intelligence and the Centre for Vision，Speech and Signal Processing （CVSSP） at the University of Surrey，Guildford GU2 7XH，UK), AuthorCompanyExt(id=1322961001615859712, tenantId=1146029695717560320, journalId=1249024232475115590, articleId=1322960996230374385, companyId=1322961001599083519, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=²　萨里大学以人为本人工智能研究所&视觉、语音和信号处理中心，吉尔福德　GU2 7XH，英国)])])]

陈胜1, 孙强1^,^*, 朱霞天2

作者信息

¹　西安理工大学自动化与信息工程学院，西安;710048

²　萨里大学以人为本人工智能研究所&视觉、语音和信号处理中心，吉尔福德　GU2 7XH，英国

通讯作者:

孙强，通信作者，男，副教授，主要研究方向为情感计算与人智交互。E-mail：qsun@xaut.edu.cn

作者简介:

陈胜，男，硕士研究生，主要研究方向为情感生成。E-mail：1936580290@qq.com

孙强，通信作者，男，副教授，主要研究方向为情感计算与人智交互。E-mail：qsun@xaut.edu.cn

朱霞天，男，高级讲师，主要研究方向为可扩展机器学习、计算机视觉和多模态GenAI。E-mail：xiatian.zhu@surrey.ac.uk

Emotion-controllable 3D talking face generation with hierarchical decoupling-guided VQ-VAE

Sheng Chen1, Qiang Sun1^,^*, Xiatian Zhu2

Affiliations

¹ School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China

² The Surrey Institute for People-Centred Artificial Intelligence and the Centre for Vision，Speech and Signal Processing （CVSSP） at the University of Surrey，Guildford GU2 7XH，UK

出版时间: 2026-08-16 doi: 10.11834/jig.250451

文章导航

摘要

收起

目的

基于语音驱动的3D说话人脸生成技术已经较为成熟，尤其是基于向量量化变分自编码器（vector quantized variational autoencoders，VQ-VAE）的模型，但现有的基于VQ-VAE的人脸生成模型重建的人脸细节有限，现有方法情感引导方式较为简单，未能充分利用多模态信息，为此，提出了DecTalk3D模型。

方法

在VQ-VAE框架下对人脸特征进行分层解耦，将其分为顶层特征和底层特征，并引入身份向量和描述文本作为外部条件解耦顶层特征，随后顶层特征再作为内部条件，与外部条件一起解耦底层特征，实现特征的分层解耦，以提升人脸的重建质量并增强情感表达的稳定性。在生成过程中，语音和文本共同引导人脸生成，从而充分利用多模态信息。

结果

在MEAD（multi-view emotional audio-visual dataset）、3DMEAD和TA-MEAD数据集上的定量实验表明，DecTalk3D在生成人脸的平均顶点误差（mean vertex error，MVE）、平均估计误差（mean estimation error，MEE）和覆盖误差（coverage error，CE）等关键指标上均达到最优，唇部顶点误差（lip vertex error，LVE）为次优。可视化分析显示生成的表情整体上更生动逼真。消融实验验证了外部条件与内部条件对模型效果的关键作用。

结论

本文方法有效提升了人脸重建的准确性与表情生成的稳定性，生成结果在整体上更接近真实人脸。DecTalk3D代码已在GitHub和ScienceDB开源，链接为：https://github.com/chen114514sheng/DecTalk3D和https://doi.org/10.57760/sciencedb.j00240.00095。

关键词

3D人脸生成 / 向量量化变分自编码器（VQ-VAE） / Transformer / 特征量化 / 情感可控

Abstract

收起

Objective

Currently，the speech-driven 3D talking face generation technology has considerably matured，particularly with recent models based on vector quantized variational autoencoders （VQ-VAE），which achieve highly vivid facial expression generation by quantizing facial motion features. However，existing methods still suffer from limitations in facial reconstruction accuracy and emotional control stability. On the one hand，the facial detail reconstruction capability of VQ-VAE models requires further improvement. On the other hand，emotion guidance strategies in existing models remain relatively simplistic，failing to fully utilize multimodal information beyond speech，resulting in generated facial expressions that lack realism.

Method

Inspired by the structures of conditional variational autoencoders and VQ-VAE-2，this study proposes the DecTalk3D model，a hierarchical decoupling method within the VQ-VAE framework. Facial features are decoupled into high-level and low-level features. Identity vectors and descriptive text are introduced as external conditions to decouple the high-level features. Afterward，the decoupled high-level features are used as internal conditions，working together with the two external conditions （identity vector and text） to further decouple the low-level features. This hierarchical decoupling mechanism aims to improve the facial reconstruction quality and the stability of emotional expression. During generation，speech and text information jointly guide facial generation in different ways： the text is encoded by the CLIP text encoder to leverage its rich semantic information for holistic expression control，while the speech is encoded by Wav2Vec 2.0 to precisely control lip movements and other subtle expressions. The model generates accurate facial motions by integrating multimodal information at different levels.

Result

Experiments were conducted on the multi-view emotional audio-visual dataset（MEAD），3DMEAD and TA-MEAD datasets and included quantitative evaluation，visual analysis，and ablation studies. The proposed model was compared with FaceFormer，CodeTalker，FaceDiffuser，and ProbTalk3D. In terms of overall facial reconstruction accuracy，the proposed model achieved a 5.9% lower mean vertex error （MVE） than ProbTalk3D—which also incorporates emotional input—demonstrating that explicit emotion modeling effectively enhances geometric consistency and preserves facial structural accuracy，particularly for complex emotions. In terms of lip motion accuracy （LVE），the proposed model ranked second，with a 16.7% gap compared with the top-performing FaceDiffuser，while still outperforming FaceFormer and ProbTalk3D. The limited improvement may stem from the hierarchical decoupling approach，which，while decoupling emotional conditions，offers restricted decoupling for the mouth region，affecting detailed performance. In upper-face dynamic deviation （FDD），the proposed model significantly surpassed traditional methods even though it is inferior to ProbTalk3D，reflecting its ability to express emotional intensity. Moreover，the model showed notable advantages in distribution-based quality metrics： it achieved optimal mean estimation error （MEE） and coverage error （CE），with MEE 4.1% lower than ProbTalk3D and 58.4% lower than CodeTalker and CE 8.2% lower than ProbTalk3D and 61.6% lower than CodeTalker. This result indicated that hierarchical decoupling enhances distribution concentration and coverage of real samples，making generated facial motions close to real faces. However，the model had the lowest diversity score，highlighting a trade-off where hierarchical decoupling ensures semantic consistency but constrains variation—beneficial for emotion accuracy yet potentially limiting naturalness. Although traditional methods showed orders-of-magnitude differences in MVE and FDD due to lacking emotional input，and ProbTalk3D excelled in FDD and Diversity but lagged in accuracy，the proposed model balances high-precision reconstruction with superior distribution estimation through hierarchical decoupling and multimodal modeling.

Conclusion

Experimental results demonstrate that the proposed hierarchical decoupling-based method produces accurate and stable facial reconstructions，excelling in maintaining facial geometric consistency and expressing complex emotions. The model’s key innovation lies in its layered feature decoupling within the VQ-VAE framework，using identity vectors and text as external conditions and high-level features as an internal condition，which significantly enhances reconstruction quality and emotional controllability. This framework offers practical value for HCI，digital humans，and animation. Quantitative evaluation shows superior performance in MVE，LVE，and FDD，alongside stable MEE and CE scores，confirming the model’s ability to effectively integrate multimodal information for generating realistic expressions. Ablation studies validate the critical roles of the hierarchical feature decoupling and the synergy between internal and external conditions. However，limitations remain： generated lip movements are less pronounced compared with real speech，the current two-level feature decoupling is relatively simplistic，and the diversity and subtlety of emotional expressions require further improvement. Future work will focus on improving lip-sync quality，exploring finer-grained decoupling dimensions for differentiated guidance，and enhancing expression diversity while preserving accuracy. The source code is available on GitHub （https://github.com/chen114514sheng/DecTalk3D） and archived on ScienceDB （https://doi.org/10.57760/sciencedb.j00240.00095）.

Key words

3D face generation / vector quantized variational autoencoders（VQ-VAE） / Transformer / feature quantization / emotionally controllable

引用本文

陈胜, 孙强, 朱霞天. 分层解耦引导的情感可控VQ-VAE 3D说话人脸生成方法. 中国图象图形学报, 2026 , 31 (8) : 3015 -3029 . DOI: 10.11834/jig.250451

Sheng Chen, Qiang Sun, Xiatian Zhu. Emotion-controllable 3D talking face generation with hierarchical decoupling-guided VQ-VAE[J]. Journal of Image and Graphics, 2026 , 31 (8) : 3015 -3029 . DOI: 10.11834/jig.250451

正文

收起

0　引言

收起

基于语音驱动的3D说话人脸生成技术是一种基于语音内容生成对应3D说话人脸视频的技术，广泛应用于虚拟现实、人机交互、电影制作和数字娱乐等领域（高玄等，2024；Zhen等，2023）。在人机交互中，该技术可增强互动的沉浸感和真实性；在数字内容创作中，该技术能够显著降低人工制作的成本和时间，极大地提升生产效率。近年来，随着深度学习技术的发展和硬件算力的提升，3D说话人脸生成技术取得了显著进展，基于深度学习的3D说话人脸生成模型逐渐取代了传统的基于规则的生成方法，展现出更强的通用性和生成质量（宋一飞等，2023）。

目前，基于深度学习的3D说话人脸生成方法通过从大量数据中学习语音与人脸数据之间的复杂映射关系，使生成的人脸在准确性和真实性上有了显著的提升（姜莱等，2022）。基于3D人脸数据的生成模型可以通过Transformer（Vaswani等，2017）等模型结构直接学习语音和人脸数据的映射关系，得到较高的合成精度。此外，现有模型通过如wav2vec 2.0（Baevski等，2020）或HuBERT（Hsu等，2021）等预训练的语音处理模型预先对输入语音进行编码，可以使编码后的语音特征能够利用预训练模型的先验知识，学习与人脸数据的内在联系，提高生成质量。不只是音频模态，3D说话人脸生成模型也可以借助如CLIP（contrastive language-image pre-training）（Radford等，2021）等多模态预训练模型，利用其潜在空间的丰富语义信息，通过多模态信息生成表情更加真实的人脸。但是，尽管目前的3D说话人脸生成模型在嘴部动作方面表现出色，其生成的人脸在面部表情的准确性和稳定性方面仍有提升空间。

在众多生成模型中，向量量化变分自编码器（vector quantized variational autoencoders，VQ-VAE）模型（van den Oord等，2017）因其对面部动作特征的量化处理而广泛应用于3D说话人脸生成。Kingma和Welling（2014）提出的变分自编码器（VAE）模型奠定了生成模型“编码—采样—解码”的基础框架，但其连续潜在空间导致生成结果模糊，而VQ-VAE通过引入向量量化将潜在空间离散化，实现了高质量、清晰的重建。通过量化层，基于VQ-VAE的3D说话人脸生成模型能够生成更自然的面部表情和动作，提高了生成的真实感。然而，当前基于VQ-VAE的3D说话人脸生成模型在实际应用中仍面临一些问题。现有的基于VQ-VAE的3D说话人脸生成模型未能充分利用多模态输入中的情感信息，导致生成人脸的面部表情质量有限，难以反映语音中的丰富情感。此外，VQ-VAE模型生成人脸的稳定性和准确性也有待提高。

为了解决以上问题，本文从条件变分自编码器（conditional variational autoencoders，CVAE）模型（Sohn等，2015）和VQ-VAE-2模型（Razavi等，2019）的结构中受到启发，提出了DecTalk3D，一种基于分层解耦的情感可控VQ-VAE 3D说话人脸生成方法。CVAE模型通过为VAE注入条件信息解耦输入特征，实现了可控生成，VQ-VAE-2模型则在VQ-VAE基础上引入了分层结构，对输入特征内部进行解耦，显著提升了生成结果的准确性与一致性，本文将这两种方法相结合，用于3D说话人脸生成中，以提高面部重建的质量，增强生成人脸和情感表达的稳定性。一方面，在VQ-VAE框架中引入身份向量和文本描述作为外部条件解耦人脸特征，以丰富模型对多样化人脸特征的捕捉能力；另一方面将人脸特征分为顶层和底层，进行分层解耦处理，顶层特征作为内部条件进行控制，实现对面部表情的多层次控制。相较于CVAE仅对单层特征解耦，本文方案实现了多层解耦，相较于VQ-VAE-2仅在特征内部解耦，本文方案将外部条件也参与进解耦中，通过外部条件的辅助提升解耦效果。

本文主要贡献如下：1）提出了DecTalk3D，一种基于分层解耦的情感可控VQ-VAE 3D说话人脸生成方法。通过对人脸特征的顶层和底层进行分层处理，在外部条件解耦和内部条件解耦的基础上，实现对人脸特征的多层次控制，提升了人脸重建的准确性。2）稳定VQ-VAE的生成结果：通过在VQ-VAE框架的基础上添加身份向量和文本描述作为外部条件，并将顶层特征作为内部条件，实现了对人脸的身份特征和情感特征的更好捕捉和学习，增强VQ-VAE模型生成人脸的稳定性。3）增强模型的可解释性：通过分层解耦结构和条件引导方法，DecTalk3D能够较为清晰地分析不同模态的条件对面部表情生成的影响，为3D说话人脸生成模型的应用和改进提供了透明化的理论依据。4）通过基于MEAD（multi-view emotional audio-visual dataset）、3DMEAD和TA-MEAD数据集的大量实验表明，本文方法生成人脸的准确性和稳定性优于经典的3D说话人脸生成方法。

1　相关工作

收起

1.1　基于语音驱动的3D说话人脸生成

基于语音驱动的说话人脸生成技术旨在从语音信号中提取特征，进而生成相应的人脸动作，使生成的人脸视频能够自然、准确地展现对应的面部表情和口型变化（潘烨等，2025）。现有的说话人脸生成方法按输出维度可分为基于2D的方法和基于3D的方法。基于2D的方法通常利用语义映射，通过将语音特征映射到人脸特征点上，以生成说话者的平面表情（Ji等，2022；Gan等，2023；Liang等，2022）。这些方法通常可以较好地处理嘴部动作，但生成的面部动作缺乏深度信息，难以实现真实的3D效果。而基于3D的方法则通过如D3DFR（deep 3D face reconstruction）（Deng等，2019）、3DMesh（Richard等，2021）、blendshape（Cudeiro等，2019）和FLAME（faces learned with an articulated model and expressions）（Li等，2017）等3D人脸重建方法得到的3D人脸参数，生成具备深度信息的说话人脸。通过这些参数，模型可以得到精确的3D人脸顶点，生成的面部表情不仅在视觉上更具真实感，还可以有效控制面部的多维度运动，能更好地适应多样化的应用场景（刘菲等，2024）。

在基于语音驱动的3D说话人脸生成中，根据生成方式的不同，可以分为自回归模型和回归模型。自回归模型通过循环生成机制，将当前帧的面部特征输入作为下一帧面部特征生成的依据，并在语音特征的引导下依次生成后续帧（Chu等，2024）。FaceFormer模型（Fan等，2022）是一种典型的自回归模型，其人脸生成部分基于Transformer解码器结构，在每一时刻的面部特征生成中，交叉注意力层将语音特征作为外部输入，生成下一帧的人脸特征。然而，自回归模型的训练过程需要较长的时间，且对输入序列的变化较为敏感，稳定性不足。相较之下，回归模型则直接将语音输入映射为面部特征序列，通常具有较高的灵活性和更快的生成速度（Ma等，2023）。PMMTalk（pseudo multi-modal talk）模型（Han等，2025）是一种典型的回归模型，通过多种编码器分别提取输入语音的不同特征，并在时序和语义上进行对齐，最终通过解码器生成复杂的面部动作。这类模型可以通过在语音输入的基础上添加其他特征（如情感标签或个人风格）进一步丰富面部生成效果，因此具有较高的实用性。

为了进一步提升基于语音驱动的3D说话人脸的生成效果，近年来一些方法加入了VAE结构，先通过VAE学习面部特征的先验知识，以更好地引导语音生成说话人脸的过程。例如，EMOTE（expressive model optimized for talking with emotion）模型（Daněček等，2023）在训练生成模型前，先通过基于Transformer编码器结构的VAE模型学习FLAME面部参数的特征，再将VAE模型的解码器部分作为生成模型的解码器，为人脸生成提供先验。目前的研究进一步采用VQ-VAE框架进行重建学习（Chen等，2023a；Kim等，2025）。在3D说话人脸生成过程中，VQ-VAE模型通过在编码过程中引入离散的量化层，将连续面部动作特征转换为离散表示，显著提升了生成面部表情的真实性。CodeTalker（Xing等，2023）是首个将VQ-VAE用于人脸生成中的模型，其通过VQ-VAE将每一帧3D顶点坐标量化，再通过自回归结构生成连续的人脸特征序列，使生成的面部动作更加流畅自然。VividTalker（Zhao等，2023）则通过在时间维度上分别量化面部的不同特征，利用窗口Transformer模型结合语音内容逐段重建面部特征，有效提升了生成效果。

尽管VQ-VAE模型在3D说话人脸生成方面表现出色，但目前仍存在一些局限。VQ-VAE模型重建人脸的精度和稳定性有限，且目前基于VQ-VAE的3D说话人脸生成模型未能充分利用多模态信息，生成的人脸表情准确度有限。为解决这些问题，本文对VQ-VAE模型进行了改进，通过引入身份向量和文本描述作为条件约束，优化多层次的人脸特征解耦，以增强模型对不同情感的控制能力，提高生成过程的稳定性与准确性。

1.2　情感引导的3D说话人脸生成

情感引导的3D说话人脸生成技术旨在语音驱动的基础上，通过额外的情感输入生成更加丰富的面部表情，以增强生成人脸情感表达的准确性和多样性。此类方法通常通过如情感标签（Sun等，2024b；Ye等，2022）、描述文本（Sun等，2024a）、面部表情图像（Xu等，2023；Wang等，2023）等多种形式的情感信息作为额外输入，使模型能够更加细致地控制面部表情的生成。情感引导可以显著提升3D说话人脸生成的真实性和多样性，适用于角色动画、社交机器人等需表达多样化情绪的应用场景。

一类方法选择将人脸情感特征单独提取并进行预测。如，Chen等人（2023b）将情感标记与基于语音的去中心化情感先验相结合，作为额外的情感输入，再利用独立的情感增强网络生成面部表情，并将其直接添加到生成的人脸上，以实现情感引导的面部表情增强效果。另一类方法将情感特征作为外部引导输入，以更全面地控制人脸的情感表达。EmoTalk模型（Peng等，2023）便是此类方法中的代表。该模型通过一个情绪解耦编码器分离语音中的情绪和内容，得到的语音情感特征一方面与语音内容特征、个人风格和情绪控制特征一起输入Transformer解码器层，另一方面也作为交叉注意力层的外部输入来引导人脸特征，从而生成情感丰富的面部表情。ExpCLIP模型（Zhong等，2024）则利用CLIP模型的丰富语义空间，将文本描述和面部表情图像分别作为情感输入，通过预训练的CLIP文本编码器和CLIP图像编码器，以及对应的映射网络处理后，得到情感特征，再通过交叉注意力层引导情感的生成，使生成的面部表情与输入的文本或表情图片情感保持一致。还有一些方法将情感特征与语音特征组合输入模型，以直接生成带有情感的面部表情。如，EMOTE模型（Daněček等，2023）通过不同编码器分别提取的语音特征和时序的情感标记相加后直接输入解码器，以预测人脸的运动。ProbTalk3D（Wu等，2024）则通过将描述整体情感的情感向量与语音特征相乘的方式实现引导，以增强生成表情的情感表现力。

尽管上述情感引导方法在情感特征处理上有所创新，但大多仅是将情感特征与人脸特征简单组合，对人脸特征本身的处理仍较为有限，因此在生成情感的准确性方面仍存在一定的局限。此外，现有的基于VAE或VQ-VAE的方法，对如何利用VAE结构的特点进行情感解耦的探索并不充分，只是简单地将其作为条件加入生成过程中。针对上述不足，本文提出了一种改进的情感引导方法，通过在模型中引入分层解耦和条件引导，以进一步提升情感生成的可控性，使得生成的面部表情不仅更加生动细腻，同时具有更高的多样性和准确性。

2　方法

收起

2.1　问题描述

与现有的基于VQ-VAE的3D说话人脸生成方法类似，DecTalk3D的总体训练过程分为两个阶段：基于VQ-VAE的条件解耦阶段（第1阶段）和基于条件引导的3D说话人脸生成阶段（第2阶段）。

第1阶段，训练一个VQ-VAE模型，从而在第2阶段的生成过程中为人脸特征提供先验。现有的基于VQ-VAE的3D说话人脸生成方法，其人脸重建效果有限，也未充分利用多模态条件。本文方法与现有方法相比，并非只是对人脸特征整体进行单层量化或对不同人脸特征分别量化，对于其他模态的输入，也不只是在处理后直接与人脸特征组合，而是让其深度参与到人脸特征的解耦与重建中。本文方法的VQ-VAE模型参考了VQ-VAE-2模型和CVAE模型的结构，结合身份向量

s

和文本

t

，以分层解耦的方式学习人脸特征表示。人脸特征

F

是通过FLAME方法得到的3D人脸参数，由表情参数

ψ

以及下颚参数

θ j a w

组成，其在解耦后再经过解码器重建人脸特征

F r e c

。身份向量

s

为0和1组成的一维one-hot向量，长度为对应数据集的人数，1在one-hot向量中的位置代表对应的某个人。文本

t

基于视频标签生成，描述了对应数据中的人脸表情与面部动作。将这两个条件合称为外部条件，用于从外部解耦人脸特征。模型通过逐层解耦人脸特征

F

，以实现比现有方法更精细的人脸重建效果。用

V Q V A E 2 (⋅)

表示VQ-VAE-2模型，第1阶段的重建过程可表示为

F r e c = V Q V A E 2 (s, t, F)

（1）

第2阶段与其他基于VQ-VAE的3D说话人脸生成方法一样，在固定第1阶段模型解码器部分权重的基础上，使用人脸特征

F

对应的语音

a

作为模型的输入，结合身份向量

s

和文本

t

，训练一个新的编码器部分的模型，从而共同引导生成3D说话人脸特征

F g e n

。用

G e n e r a t i o n (⋅)

表示人脸生成过程，第2阶段的3D说话人脸生成过程可表示为

F g e n = G e n e r a t i o n (s, t, a)

（2）

2.2　基于VQ-VAE的条件解耦

为了提升VQ-VAE模型重建人脸特征的效果，第1阶段的重建过程将人脸特征分为顶层和底层两个层次，并分别使用外部条件和外部条件结合内部条件实现分层解耦。第1阶段的整个模型由人脸顶层编码器、人脸底层编码器以及对应的顶层量化器、底层量化器，加上最后的解码器部分组成。第1阶段的模型结构和训练流程如图1所示。

在编码器部分，输入的人脸特征

F

首先通过人脸底层编码器的底层编码器下采样层，压缩时间维度的长度至原长度的1/8，得到人脸底层特征

F b o t t o m

，

F b o t t o m

再次通过人脸顶层编码器的顶层编码器下采样层，压缩时间维度的长度至原长度的1/16，得到人脸顶层特征

F t o p

。通过顶层编码器融合层，人脸顶层特征

F t o p

加上了外部条件

s

和

t

作为约束，再通过人脸顶层编码器Transformer层学习人脸顶层特征，得到

Z t o p 1

。

Z t o p 1

输入顶层量化器，经由顶层码本

C t o p

量化得到

Q t o p 1

，实现与外部条件的解耦。

Q t o p 1

也会作为内部条件，参与人脸底层特征的解耦。人脸底层特征

F b o t t o m

经过底层编码器融合层，给特征加上外部条件

s

、

t

，与内部条件

Q t o p 1

形成约束，再通过人脸底层编码器Transformer层学习人脸底层特征，得到

Z b o t t o m 1

。

Z b o t t o m 1

输入底层量化器，经由底层码本

C b o t t o m

量化得到

Q b o t t o m 1

，实现与外部和内部条件的解耦。

在解码器部分，首先解码器融合层将身份向量

s

、文本

t

、量化后的人脸顶层特征

Q t o p 1

与量化后的人脸底层特征

Q b o t t o m 1

这4个条件融合到一起，并将时间维度的长度扩展回输入人脸特征

F

的长度，得到融合后的人脸特征

F r e c'

。

F r e c'

再经过解码器Transformer层重建人脸特征，最后通过解码器卷积层输出重建后的人脸特征

F r e c

。

F r e c

可以拆分为表情参数

ψ'

以及下颚参数

θ j a w'

，用于计算重建损失。

第1阶段模型的整体重建过程可以表示为

F b o t t o m = D o w n b o t t o m (F) F t o p = D o w n t o p (F b o t t o m)

（3）

Q t o p 1 = Q u a n t t o p (T t o p 1 (F u t o p (s, t, F t o p))) Q b o t t o m 1 = Q u a n t b o t t o m (T b o t t o m 1 (F u b o t t o m (s, t, Q t o p 1, F b o t t o m)))

（4）

F r e c = C o n v d e c (T d e c (F u d e c (s, t, Q t o p 1, Q b o t t o m 1)))

（5）

式中，

D o w n (⋅)

表示下采样操作，

F u (⋅)

表示融合层，

T (⋅)

表示Transformer层，

Q u a n t (⋅)

表示量化操作，

C o n v d e c (⋅)

表示解码器卷积层。top1为第1阶段顶层，bottom1为第1阶段底层，rec为重构（reconstruction）。

融合层位于人脸顶层编码器和人脸底层编码器的下采样层后，以及解码器部分的输入后，作用是将输入的条件与人脸特征融合在一起，以便后续Transformer层学习特征。通过对多种不同融合策略的训练效果进行比较，DecTalk3D最终采用相加与相乘组合的方式实现融合。

在各融合层的内部，身份向量

s

通过一个基于前馈网络（feed-forward network，FFN）的身份映射层实现编码，得到编码后的身份特征

S

。文本

t

则通过固定权重的CLIP文本编码器加上一个基于FFN的文本映射层实现编码，以充分利用CLIP潜在空间的丰富语义信息，得到编码后的文本特征

T

。最后再将两者与对应融合层的人脸特征相乘，实现不同特征之间的融合。在底层编码器融合层中，内部条件

Q t o p 1

先通过顶层—底层上采样层扩展时间维度的长度到与人脸底层特征

F b o t t o m

时间维度的长度一致，再通过一个基于FFN的顶层映射层编码，最后将两部分相加。在解码器融合层中，

Q t o p 1

和

Q b o t t o m 1

先分别通过顶层上采样层和底层上采样层扩展时间维度的长度到与输入的人脸特征

F

时间维度的长度一致，

Q t o p 1

再通过顶层映射层编码，最后将两部分相加。外部条件的编码和各融合层的融合过程可以表示为

S = F F N s (s) T = F F N t (E n c c l i p (t))

（6）

F t o p' = S × T × F t o p F b o t t o m' = S × T × (F F N t o p (U p t o p - b o t t o m (Q t o p 1)) + F b o t t o m) F r e c' = S × T × (F F N t o p (U p t o p (Q t o p 1)) + U p b o t t o m (Q b o t t o m 1))

（7）

式中，

F F N (⋅)

表示映射层，

E n c c l i p (⋅)

表示CLIP文本编码器，

U p (⋅)

表示上采样操作。

在第1阶段模型的训练过程中，整体的损失

L s t a g e 1

包括4个部分：顶层量化器的量化损失

L t o p 1

、底层量化器的量化损失

L b o t t o m 1

、表情参数

ψ

的重建损失

L e x p 1

以及下颚参数

θ j a w

的重建损失

L j a w 1

。

量化损失可以表示为

L t o p 1 = s g (Z t o p 1) - Q t o p 1 + β Z t o p 1 - s g (Q t o p 1) L b o t t o m 1 = s g (Z b o t t o m 1) - Q b o t t o m 1 + β Z b o t t o m 1 - s g (Q b o t t o m 1)

（8）

式中，

⋅

表示均方损失，

s g (⋅)

表示停止梯度操作，

β = 0.25

为控制代码簿更新稳定性的权重。

重建损失的表达式分别为

L e x p 1 = ψ - ψ' L j a w 1 = θ j a w - θ j a w'

（9）

因此，整体损失可以表示为

L s t a g e 1 = λ 1 L t o p 1 + λ 2 L b o t t o m 1 + λ 3 L e x p 1 + λ 4 L j a w 1

（10）

式中，损失函数的权重经验性地设定为

λ 1 = 2

，

λ 2 = 1

，

λ 3 = 6

，

λ 4 = 8

。

2.3　条件引导的语音驱动3D说话人脸生成

在第1阶段模型解耦人脸特征基础上，第2阶段的模型使用语音

a

作为输入。语音顶层编码器、语音底层编码器与对应的人脸顶层编码器、人脸底层编码器的结构类似，区别仅在于修改了各Transformer层的层数与注意力头数。此外，在语音底层编码器前增加了包含HUBERT预训练模型在内的语音编码器来编码输入语音。编码后的语音特征

A

同样利用外部条件和内部条件解耦，生成语音顶层特征

A t o p

和语音底层特征

A b o t t o m

，再与外部条件一起输入第1阶段训练好并固定权重的量化器和解码器，实现说话人脸特征

F g e n

的生成。第2阶段的模型结构和训练流程如图2所示。

为了使训练过程更加稳定，在第2阶段模型训练的同时，生成第1阶段模型固定权重后得到的对应人脸顶层特征

Z t o p 1

和人脸底层特征

Z b o t t o m 1

，并将这两个特征与第2阶段生成的对应语音顶层特征

Z t o p 2

和语音底层特征

Z b o t t o m 2

进行对比，结果作为对齐损失项加入到损失中。两个语音编码器输出的

Z t o p 2

和

Z b o t t o m 2

使用第1阶段训练的两个码本

C t o p

和

C b o t t o m

量化，得到量化后的

Q t o p 2

和

Q b o t t o m 2

，再输入固定权重的解码器得到生成的说话人脸特征

F g e n

。

F g e n

可以拆分为表情参数

ψ ″

以及下颚参数

θ j a w ″

，用于生成人脸视频和计算重建损失。

第2阶段模型的整体训练过程和3D人脸生成过程可以表示为

A = F F N a (i n t e r p o l a t e (H U B E R T (R e a (a)))) A b o t t o m = D o w n b o t t o m (A) A t o p = D o w n t o p (A b o t t o m)

（11）

Q t o p 2 = Q u a n t t o p (T t o p 2 (F u t o p (s, t, A t o p))) Q b o t t o m 2 = Q u a n t b o t t o m (T b o t t o m 2 (F u b o t t o m (s, t, Q t o p 2, A b o t t o m)))

（12）

F g e n = C o n v d e c (T d e c (F u d e c (s, t, Q t o p 2, Q b o t t o m 2)))

（13）

式中，

i n t e r p o l a t e (⋅)

表示线性插值层，

H U B E R T (⋅)

表示HUBERT模型。

在第2阶段模型的训练过程中，整体损失

L s t a g e 2

由4部分组成：语音顶层特征的对齐损失

L t o p 2

、语音底层特征的对齐损失

L b o t t o m 2

、

ψ

的重建损失

L e x p 2

和

θ j a w

的重建损失

L j a w 2

，可具体表示为

L t o p 2 = Z t o p 1 - Z t o p 2 L b o t t o m 2 = Z b o t t o m 1 - Z b o t t o m 2

（14）

L e x p 2 = ψ - ψ ″ L j a w 2 = θ j a w - θ j a w ″

（15）

因此，整体损失可以表示为

L s t a g e 2 = λ 5 L t o p 2 + λ 6 L b o t t o m 2 + λ 7 L e x p 2 + λ 8 L j a w 2

（16）

式中，损失函数的权重经验性地设定为

λ 5 = 0.2

、

λ 6 = 0.1

、

λ 7 = 6

、

λ 8 = 8

。

3　实验

收起

3.1　数据集

本研究共使用3个数据集：MEAD（multi-view emotional audio-visual dataset）、3DMEAD和TA-MEAD，以支持模型的训练和评估。

MEAD是一个2D音视频数据集（Wang等，2020），包含48位不同种族和性别的受试者的英语语音和视频数据，涵盖7种情感类别（快乐、悲伤、惊讶、恐惧、厌恶、愤怒和蔑视），每种情感分为3个强度等级，以及1种中性情感。本文仅使用MEAD数据集中的语音数据部分。

3DMEAD数据集来自EMOTE论文，基于2D音视频数据集MEAD（Wang等，2020）构建，通过FLAME方法重建得到3D人脸参数。3DMEAD数据集中的人脸参数帧

{β, ψ, θ} ∈ R 406

为25帧/s，包含面部形状参数

β ∈ R 300

、表情参数

ψ ∈ R 100

、下颚参数

θ j a w ∈ R 3

和全局头部参数

θ g l o b a l ∈ R 3

。本研究选用其中的表情参数

ψ

和下颚参数

θ j a w

训练模型，生成面部动作序列，再结合面部形状参数

β

和全局头部参数

θ g l o b a l

生成完整的人脸视频。其中将全局头部参数

θ g l o b a l

设置为0，以简化实验条件。

TA-MEAD数据集来自TalkCLIP论文（Ma等，2025），是一个用于描述MEAD视频中人脸表情与动作的文本数据集。TA-MEAD为每个视频提供一句随机组合成的描述文本，文本格式为［〈SUB〉〈EMOTION〉 speaks with 〈AU〉］，其中〈SUB〉表示描述对象，〈EMOTION〉表示情感类别和强度，〈AU〉表示面部动作信息。由于〈AU〉部分生成的面部动作信息内容较为随机，会影响模型学习与生成过程的稳定性，本实验中将〈AU〉部分去除，使文本专注于描述情感，以实现情感与人脸动作的解耦。

3.2　实验设置

将TA-MEAD数据集中的文本描述与3DMEAD数据集的3D人脸参数、MEAD数据集的语音数据共同用于模型的训练。为优化模型训练和评估效果，对数据集进行了预处理，将各数据集的文本、语音和3D人脸参数一一对应，并将语音和3D人脸参数按时间对齐，最终处理后的数据集包含46位受试者的19 371个数据。处理完成后，数据集按比例随机划分为训练集和测试集，其中，80%用于模型训练，剩余20%用于测试与评估，以确保模型的泛化能力并提升性能评估的可靠性。

本文中的模型使用单张NVIDIA 4090 GPU进行训练，第1阶段共训练800轮，耗时约16 h。第2阶段共训练200轮，耗时约18 h。为验证提出方法的有效性，DecTalk3D与近年来发表的其他主要3D人脸生成模型进行了对比实验，从生成3D人脸的重建精度、情感表达的准确性及多样性等方面对模型进行定量和定性评估。为了评估DecTalk3D不同组件对生成效果的影响，本文进行了对应的消融实验。

3.3　对比实验

3.3.1　定量分析

在定量分析中，采用多组指标定量评估模型的重建质量和情感生成效果。平均顶点误差、嘴唇顶点误差和上脸动态偏差基于单个样本输出计算，用于评估确定性模型的指标。平均估计误差、覆盖率误差和多样性在多个样本输出上计算，用于评估非确定性模型的指标。

平均顶点误差（mean vertex error，MVE）计算预测帧的人脸顶点与真实值之间的平均欧氏距离，以评估面部重建的整体精度。

N

表示所有测试集的总帧数，

x i

为第

i

帧的真实值，

x^i

为预测帧。MVE的计算式为

f M V E = 1 N ∑ i = 1 N x i - x^i

（17）

唇部顶点误差（lip vertex error，LVE）计算预测帧的唇部区域顶点与真实值之间的最大L2误差，然后对所有帧求平均，以评估生成口型动作的精度。N表示所有测试集的总帧数，

x l i p i

表示真实帧的唇部区域顶点，

x^l i p i

表示预测帧的唇部区域顶点。LVE的计算式为

f L V E = 1 N ∑ i = 1 N m a x x l i p i - x^l i p i 2

（18）

上脸动态偏差（upper face dynamic deviation，FDD）计算上脸区域的面部动态变化与真实值的偏差，以评估其接近程度。A表示测试集的总数据量，

M u p p e r

表示真实帧的上脸区域顶点运动，

M^u p p e r

表示预测帧的上脸区域顶点运动，人脸模板由数据集的平均人脸顶点得到，

d y n (⋅)

表示沿时间的L2误差。FDD的计算式为

f F D D = 1 A ∑ i = 1 A d y n (M u p p e r) - d y n (M^u p p e r)

（19）

平均估计误差（mean estimation error，MEE）（Yang等，2024）评估模型的采样分布的均值与真实值的接近程度。对每个数据生成10个样本并计算这些样本的均值

E (x^)

，再对所有测试数据的MEE取平均。MEE越小表示模型能更有效地生成接近真实的唇部运动。MEE的计算式为

f M E E = f L V E (x, E (x^))

（20）

覆盖误差（coverage error，CE）评估模型的采样分布与真实值的接近程度。通过与MEE类似的方式，生成包含10个样本的

S

，并在真实值和生成样本之间取LVE计算的最小值，再对所有测试数据的CE取平均。CE越小表示模型的预测更好地覆盖了真实样本的唇部运动。CE的计算式为

f C E = m i n x^∈ S f L V E (x, E (x^))

（21）

多样性（diversity）（Ren等，2023）评估人脸生成的多样性。与MEE和CE类似，对每个测试数据生成10个样本，对于第

i

个数据，将生成的10个样本平分为

S 1

和

S 2

两个子集，计算各子集第j个样本间的平均欧氏距离，再对所有测试数据的diversity取平均。Diversity的计算式为

f D i v e r s i t y = 1 A × B ∑ i = 1 A ∑ j = 1 B (x^i, j ∈ S 1) - (x^i, j ∈ S 2) 2

（22）

将DecTalk3D与FaceFormer、CodeTalker、FaceDiffuser（Stan等，2023）和ProbTalk3D进行对比，实验结果如表1所示。

DecTalk3D的MVE相较于同样引入情感输入的ProbTalk3D降低了5.9%。这表明情感特征的显式建模能有效提升面部重建的几何一致性，特别是在表达复杂情感时保持面部结构的准确性。

在唇部相关指标上，虽然DecTalk3D的LVE为次优，但较最优的FaceDiffuser存在16.7%的差距，相较于FaceFormer提升了4.9%，相较于ProbTalk3D提升了6.1%，提升也有限。这可能是由于分层解耦的方法虽然对情感条件进行了解耦，但同时也导致对嘴部区域的解耦效果有限，使嘴部区域在细节表现上有所不足。

DecTalk3D的FDD指标远不及ProbTalk3D，差异主要源于情感生成任务中眉毛、眼睑等区域的运动幅度，与标准模板的中性表情产生动态偏差，反映了情感表达的强度特征。原因可能是由于文本条件中去掉了〈AU〉信息，使模型无法学习嘴部区域以外的更多面部动作细节。

DecTalk3D在MEE和CE指标上均达到最优，相较于ProbTalk3D，MEE指标降低了4.1%，CE指标降低了8.2%，相较于CodeTalker，MEE指标降低了58.4%，CE指标降低了61.6%。这表明通过引入分层解耦的方法，模型能有效提升生成样本嘴部动作和人脸整体动作的分布集中度以及对真实样本的覆盖能力，从而使生成的人脸动作更加接近真实人脸。

DecTalk3D的多样性得分最低，相较于ProbTalk3D和CodeTalker都存在巨大差距。反映出分层解耦在生成过程中保证语义一致性的同时，也对生成人脸的多样性产生了一定的约束。这种准确性与多样性之间的权衡符合情感驱动动画的应用需求，即在保持情感表达准确性的前提下允许适度的动作变化。一方面，情感的准确表达能够使生成结果更加可控，另一方面，多样性过低也会使生成的人脸动画显得较为生硬。

从LVE、多样性等指标效果有限以及MVE、CE等指标的优秀表现来看，DecTalk3D使用的条件引导与分层解耦方法在提升生成结果的稳定性的同时，也会对生成的具体细节和生成的多样性方面有负面影响。为此，或许可以通过优化解耦方法，将其与条件引导有机结合来缓解这个问题，平衡生成结果的准确性与多样性，实现更加灵活的控制与生成。

传统方法由于缺乏情感输入，在MVE、FDD等指标上出现数量级差异，表明情感特征对3D人脸重建的重要性。ProbTalk3D虽然在FDD和diversity指标上表现优异，但在生成人脸的准确性上相较于DecTalk3D有所欠缺。DecTalk3D通过引入分层解耦和多模态协同建模，在保持高精度重建的同时，实现了更优的分布估计能力。

3.3.2　可视化分析

在可视化分析中，将不同模型生成的面部动作与真实的面部动作（Ground Truth，GT）进行比较。通过热图（heatmap）比较不同模型生成的动作与真实动作整体上的差异，并通过视频截图直接对比不同模型生成的视频与真实视频的差异。

通过热图可视化不同模型生成的3D人脸顶点的平均运动，并与真实值进行比较。给定音频序列，内容为“Who authorized the unlimited expensive account？”（谁授权了无限费用账户？），情感为愤怒，生成的平均运动对比如图3所示。图3展示了各模型生成的3D人脸顶点热图的均值和标准差，并与真实值生成的热图进行对比，深蓝色表示平均运动较少，亮红色表示平均运动较多。从图3可以看到，FaceDiffuser和FaceFormer由于缺乏情感输入，面部动作较小，只在嘴部有明显动作。CodeTalker可能是由于缺乏情感输入，生成的面部动作一直在抽动。而DecTalk3D与ProbTalk3D相比，虽然嘴部动作没有ProbTalk3D模型明显，但整体动作上更接近真实人脸。

图4展示了不同模型生成的人脸视频与真实人脸视频对应视频帧的可视化比较，其中给定音频序列内容为“Withdraw all phony acquisitions at once”（立即撤回所有虚假收购）和“Then best radar would help with this test”（那么最好的雷达将有助于这项测试），情感分别为愤怒和快乐。每一行展示了特定模型生成视频对应的一些关键视频帧。从图4可以看到，CodeTalker、FaceDiffuser和FaceFormer这3个模型生成的视频缺少真实的面部表情，只在嘴部区域有明显动作，而CodeTalker的嘴部区域一直在抽搐。DecTalk3D生成的人脸视频在整体面部表情上相较于其他模型生成的人脸视频更加真实和生动，而与FaceDiffuser、FaceFormer和ProbTalk3D的嘴部动作相比，也更加贴近真实人脸的嘴部动作，但缺点在于嘴部动作幅度较小，导致不够真实。

3.4　消融实验

为了评估模型中不同组件对生成效果的具体贡献，通过消融实验，逐步移除模型中的关键模块来分析各模块对性能的影响。消融实验主要对外部条件（身份向量s和文本描述t）以及内部条件（顶层特征Q_top）进行消融，以测试它们对人脸重建和生成效果的作用。消融实验包含以下模型设置：1）完整模型：包含外部条件以及内部条件，用于基准对比，作为模型最佳性能的参考；2）无外部条件：移除身份向量s和文本描述t，以评估外部条件在生成多样性和情感控制上的作用；3）无内部条件：移除顶层特征Q_top，以观察顶层特征在提升人脸特征重建精度和可控性方面的贡献；4）无外部条件和内部条件：同时移除外部和内部条件，仅依赖底层特征Q_bottom，以评估条件解耦的作用。通过这些设置，分析了各组件对模型性能的影响，实验结果如表2所示。

从表2可以看出，移除身份向量和文本描述后，MVE指标上升52.9%，LVE指标上升80.7%，表明模型的重建精度降低，可知身份信息与文本描述的约束对保持面部重建精度具有关键作用。另一方面FDD上升444.7%，表明生成人脸的表情动作也有了失真，证明了外部条件能有效控制上脸区域的动态情感表达。此外，diversity增加33.9%，说明移除约束后生成的自由度有了提升。同时MEE增加86.2%，CE增加77.6%，反映出人脸生成的准确性大幅下降。移除顶层特征后，MVE指标上升5.6%，LVE指标上升14.3%，说明模型的细节重建能力有了一定下降，证明顶层特征的加入提升了人脸的生成精度。FDD上升30.1%，表明顶层特征对表情动作的生成同样具有调节作用。diversity骤降了48.4%，多样性严重衰减，揭示分层解耦对生成多样性的重要作用。同时移除外部条件和顶层特征时，所有指标均达最差水平，说明模型性能严重下降，较完整模型的MEE上升95.2%，CE上升98.6%，证实底层特征单独使用时准确性大幅下降。FDD显著高于仅移除顶层特征的场景，说明外部条件与内部条件共同构建了对抗无效面部运动的双重约束机制。

通过消融实验，明确了模型的各部分对人脸生成能力的不同作用。外部条件确保了面部表情与动作的准确性，顶层特征则强化细节重建与动态控制，二者通过互补机制共同实现了稳定的情感表达。此外，Diversity指标与MEE和CE指标的负相关表明，生成人脸的多样性与准确性不可能同时实现，需通过多方面机制实现动态调节。

4　结论

收起

本文提出了一种基于分层解耦的情感可控3D说话人脸生成方法DecTalk3D，通过在VQ-VAE框架下将人脸特征分解为顶层和底层特征，实现了人脸重建质量的提升与情感控制能力的增强。模型创新性地引入身份向量和描述文本作为外部条件，顶层人脸特征作为内部条件，逐层解耦人脸特征，从而在面部重建的准确性与情感表达的稳定性上取得显著效果。本文方法的优势在于在人脸生成过程中的情感可控，使用简单方便，生成结果准确且稳定，在人机交互、数字人、动画制作等方面有较好的应用价值。

实验结果表明，所提出的方法在MVE、LVE、FDD等重建精度指标上表现优异，且在MEE、CE和Diversity等指标中表现出较高的稳定性，验证了模型在多模态信息融合下生成面部表情动作的能力。通过消融实验，进一步验证了各模块的有效性，表明顶层与底层特征的分层解耦，以及外部与内部条件的协同作用，对提升情感表达的准确性和稳定性具有关键作用。

尽管本文方法在情感可控3D说话人脸生成方面取得了良好的效果，但仍存在一些有待解决的问题。DecTalk3D生成的人脸在嘴部动作上仍有缺陷，动作幅度相较于真实人脸的嘴部动作不够明显。尽管当前模型实现了对人脸特征的分层解耦，但仅限于简单地分为顶层和底层特征，未来可以进一步探索如何在解耦的基础上更清晰地实现特征维度的差异化引导。在情感表达方面，情感特征的多样性与细腻度有待进一步提升。

基金

收起

陕西省重点研发计划资助（2025CY-JJQ-186）；西安理工大学国际科技合作促进项目（2024GHCJ014）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Baevski

，Zhou

，Mohamed

and Auli

. 2020. Wav2vec 2.0： a framework for self-supervised learning of speech representations//Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #1044 ［DOI： 10.5555/3495724.3496768］

Chen

L Y

，Bao

W H

，Lei

，Fu

，Tang

B S

，Wu

Z Y

，et al. 2023a. AdaMesh： Personalized facial expressions and head poses for speech-driven 3D facial animation ［EB/OL］. ［2023-10-12］. https://arxiv.org/pdf/2310.07236v1.pdf

Chen

Y T

，Zhao

J H

and Zhang

W Q

. 2023b. Expressive speech-driven facial animation with controllable emotions//Proceedings of 2023 IEEE International Conference on Multimedia and Expo Workshops （ICMEW）. Brisbane，Australia： IEEE： 387-392 ［DOI： 10.1109/ICMEW59549.2023.00073］

Chu

Z J

，Guo

K L

，Xing

X F

，Lan

Y L

，Cai

B L

and Xu

X M

. 2024. CorrTalk： correlation between hierarchical speech and facial activity variances for 3D animation. IEEE Transactions on Circuits and Systems for Video Technology，34（9）： 8953-8965 ［DOI： 10.1109/TCSVT.2024.3386836］

Cudeiro

，Bolkart

，Laidlaw

，Ranjan

and Black

M J

. 2019. Capture，learning，and synthesis of 3D speaking styles//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach，USA： IEEE： 10093-10103 ［DOI： 10.1109/CVPR.2019.01034］

Daněček

，Chhatre

，Tripathi

，Wen

，Black

and Bolkart

. 2023. Emotional speech-driven animation with content-emotion disentanglement//Proceedings of 2023 SIGGRAPH Asia Conference Papers. Sydney，Australia： Association for Computing Machinery： #41 ［DOI： 10.1145/3610548.3618183］

Deng

，Yang

J L

，Xu

S C

，Chen

，Jia

Y D

and Tong

. 2019. Accurate 3D face reconstruction with weakly-supervised learning： from single image to image set//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach，USA： IEEE： 285-295 ［DOI： 10.1109/CVPRW.2019.00038］

Fan

Y R

，Lin

Z J

，Saito

，Wang

W P

and Komura

. 2022. FaceFormer： speech-driven 3D facial animation with transformers//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans，USA： IEEE： 18749-18758 ［DOI： 10.1109/CVPR52688.2022.01821］

Gan

，Yang

Z X

，Yue

X H

，Sun

L Y

and Yang

. 2023. Efficient emotional adaptation for audio-driven talking-head generation//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Paris，France： IEEE： 22577-22588 ［DOI： 10.1109/ICCV51070.2023.02069］

Gao

，Liu

D Y

and Zhang

J Y

. 2024. Multi-modal digital human modeling，synthesis，and driving： a survey. Journal of Image and Graphics，29（9）： 2494-2512

高玄，刘东宇，张举勇. 2024. 多模态数字人建模、合成与驱动综述. 中国图象图形学报，29（9）： 2494-2512 ［DOI： 10.11834/jig.230649］

Han

T S

，Gui

S N

，Huang

Y Q

，Li

B H

，Liu

L J

，Zhou

B J

，et al. 2025. PMMTalk： speech-driven 3D facial animation from complementary pseudo multi-modal features. IEEE Transactions on Multimedia，27： 2570-2581 ［DOI： 10.1109/TMM.2024.3521701］

Hsu

W N

，Bolte

，Tsai

Y H H

，Lakhotia

，Salakhutdinov

and Mohamed

. 2021. HuBERT： self-supervised speech representation learning by masked prediction of hidden units. IEEE/ACM Transactions on Audio，Speech，and Language Processing，29： 3451-3460 ［DOI： 10.1109/TASLP.2021.3122291］

X Y

，Zhou

，Wang

K S Y

，Wu

Q Y

，Wu

，Xu

，et al. 2022. EAMM： one-shot emotional talking face via audio-based emotion-aware motion model//Proceedings of 2022 ACM SIGGRAPH Conference. Vancouver，Canada： Association for Computing Machinery： #61 ［DOI： 10.1145/3528233.3530745］

Jiang

，Yu

，Wang

P F

，Zhou

D S

and Hou

Y Q

. 2022. Literature review of audio-driven cross-modal visual generation algorithms. Journal of Graphics，43（2）： 181-188

姜莱，于震，王鹏飞，周东生，侯亚庆. 2022. 音频驱动跨模态视觉生成算法综述. 图学学报，43（2）： 181-188 ［DOI： 10.11996/JG.j.2095-302X.2022020181］

Kim

，Cho

，Park

，Hwang

，Kim

D E

，Kim

，et al. 2025. DEEPTalk： dynamic emotion embedding for probabilistic speech-driven 3D face animation//Proceedings of the 39th AAAI Conference on Artificial Intelligence. Philadelphia，Pennsylvania，USA： AAAI Press： 4275-4283 ［DOI： 10.1609/aaai.v39i4.32449］

Kingma

D P

and Welling

. 2014. Auto-encoding variational bayes//Proceedings of the 2nd International Conference on Learning Representations. Banff，Canada：［s.n.］

T Y

，Bolkart

，Black

M J

，Li

and Romero

. 2017. Learning a model of facial shape and expression from 4D scans. ACM Transactions on Graphics （TOG），36（6）： #194 ［DOI： 10.1145/3130800.3130813］

Liang

B R

，Pan

，Guo

Z Z

，Zhou

，Hong

Z B

，Han

X G

，et al. 2022. Expressive talking head generation with granular audio-visual control//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans，USA： IEEE： 3377-3386 ［DOI： 10.1109/CVPR52688.2022.00338］

Liu

，Zhang

K B

，Yang

，Zhou

S B

，Wang

Y L

and Sun

Z N

. 2024. 3D face imaging and reconstruction technology： a review. Journal of Image and Graphics，29（9）： 2441-2470

刘菲，张堃博，杨青，周树波，王云龙，孙哲南. 2024. 三维人脸成像及重建技术综述. 中国图象图形学报，29（9）： 2441-2470 ［DOI： 10.11834/jig.230697］

Y F

，Wang

S Z

，Ding

，Ma

B W

，Lyu

T J

，Fan

C J

，et al. 2025. TalkCLIP： talking head generation with text-guided expressive speaking styles. IEEE Transactions on Multimedia，27： 6335-6346 ［DOI： 10.1109/TMM.2025.3581808］

Y F

，Wang

S Z

，Hu

Z P

，Fan

C J

，Lyu

T J

，Ding

，et al. 2023. StyleTalk： one-shot talking head generation with controllable speaking styles//Proceedings of the 37th AAAI Conference on Artificial Intelligence. Washington，USA： AAAI Press： 1896-1904 ［DOI： 10.1609/aaai.v37i2.25280］

Pan

，Li

S X

，Tan

，Wei

J J

，Zhai

G T

and Yang

X K

. 2025. Advancements in digital character stylization，multimodal animation，and interaction. Journal of Image and Graphics，30（2）： 334-360

潘烨，李韶旭，谭帅，韦俊杰，翟广涛，杨小康. 2025. 数字人风格化、多模态驱动与交互进展. 中国图象图形学报，30（2）： 334-360 ［DOI： 10.11834/jig.230639］

Peng

Z Q

，Wu

H Y

，Song

Z B

，Xu

，Zhu

X Y

，He

，et al. 2023. EmoTalk： speech-driven emotional disentanglement for 3D face animation//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Paris，France： IEEE： 20630-20640 ［DOI： 10.1109/ICCV51070.2023.01891］

Radford

，Kim

J W

，Hallacy

，Ramesh

，Goh

，Agarwal

，et al. 2021. Learning transferable visual models from natural language supervision//Proceedings of the 38th International Conference on Machine Learning. ［s.l.］： PMLR： 8748-8763

Razavi

，van den Oord A and Vinyals O. 2019. Generating diverse high-fidelity images with VQ-VAE-2//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #1331 ［DOI： 10.5555/3454287.3455618］

Ren

Z Y

，Pan

Z H

，Zhou

and Kang

. 2023. Diffusion motion： generate text-guided 3D human motion by diffusion model//Proceedings of 2023 ICASSP IEEE International Conference on Acoustics，Speech and Signal Processing. Rhodes Island，Greece： IEEE： 1-5 ［DOI： 10.1109/ICASSP49357.2023.10096441］

Richard

，Zollhöfer

，Wen

Y D

，de la Torre F and Sheikh Y. 2021. MeshTalk： 3D face animation from speech using cross-modality disentanglement//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，Canada： 1153-1162 ［DOI： 10.1109/ICCV48922.2021.00121］

Sohn

，Yan

X C

and Lee

. 2015. Learning structured output representation using deep conditional generative models//Proceedings of the 29th International Conference on Neural Information Processing Systems. Montreal，Canada： MIT Press： 3483-3491 ［DOI： 10.5555/2969442.2969628］

Song

Y F

，Zhang

，Chen

Z N

and Jiang

Y G

. 2023. A survey on talking head generation. Journal of Computer-Aided Design and Computer Graphics，35（10）： 1457-1468

宋一飞，张炜，陈智能，姜育刚. 2023. 数字说话人视频生成综述. 计算机辅助设计与图形学学报，35（10）： 1457-1468 ［DOI： 10.3724/SP.J.1089.2023.19782］

Stan

，Haque

K I

and Yumak

. 2023. FaceDiffuser： speech-driven 3D facial animation synthesis using diffusion//Proceedings of the 16th ACM SIGGRAPH Conference on Motion，Interaction and Games. New York，USA： Association for Computing Machinery： #13 ［DOI： 10.1145/3623264.3624447］

Sun

Y S

，Chu

W Q

，Zhou

，Wang

K S Y

and Koike

. 2024a. AVI-talking： learning audio-visual instructions for expressive 3D talking face generation. IEEE Access，12： 57288-57301 ［DOI： 10.1109/ACCESS.2024.3390182］

Sun

Z Y

，Wen

Y H

，Lyu

，Sun

Y N

，Zhang

Z Y

，Wang

Y Y

，et al. 2024b. Continuously controllable facial expression editing in talking face videos. IEEE Transactions on Affective Computing，15（3）： 1400-1413 ［DOI： 10.1109/TAFFC.2023.3334511］

van den Oord

，Vinyals

and Kavukcuoglu

. 2017. Neural discrete representation learning//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach，USA： Curran Associates Inc.： 6309-6318 ［DOI： 10.5555/3295222.3295378］

Vaswani

，Shazeer

，Parmar

，Uszkoreit

，Jones

，Gomez

A N

，et al. 2017. Attention is all you need//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach，USA： Curran Associates Inc.： 6000-6010 ［DOI： 10.5555/3295222.3295349］

Wang

D M

，Deng

，Yin

Z X

，Shum

H Y

and Wang

B Y

. 2023. Progressive disentangled representation learning for fine-grained controllable talking head synthesis//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver，Canada： IEEE： 17979-17989 ［DOI： 10.1109/CVPR52729.2023.01724］

Wang

K S Y

，Wu

Q Y

，Song

L S

，Yang

Z Q

，Wu

，Qian

，et al. 2020. MEAD： a large-scale audio-visual dataset for emotional talking-face generation//Proceedings of the 16th European Conference on Computer Vision. Glasgow，UK： Springer： 700-717 ［DOI： 10.1007/978-3-030-58589-1_42］

S C

，Haque

K I

and Yumak

. 2024. ProbTalk3D： non-deterministic emotion controllable speech-driven 3D facial animation synthesis using VQ-VAE//Proceedings of the 17th ACM SIGGRAPH Conference on Motion，Interaction，and Games （MIG’24. Arlington，USA： Association for Computing Machinery： #15［DOI： 10.1145/3677388.3696320］

Xing

J B

，Xia

M H

，Zhang

Y C

，Cun

X D

，Wang

and Wong

T T

. 2023. CodeTalker： speech-driven 3D facial animation with discrete motion prior//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver，Canada： IEEE： 12780-12790 ［DOI： 10.1109/CVPR52729.2023.01229］

，Zhu

J W

，Zhang

J N

，Han

，Chu

W Q

，Tai

，et al. 2023. High-fidelity generalized emotional talking face generation with multi-modal emotion space learning//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver，Canada： IEEE： 6609-6619 ［DOI： 10.1109/CVPR52729.2023.00639］

Yang

K D

，Ranjan

，Chang

J H R

，Vemulapalli

and Tuzel

. 2024. Probabilistic speech-driven 3D facial motion synthesis： new benchmarks，methods，and applications//Proceedings of 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，USA： IEEE： 27284-27293 ［DOI： 10.1109/CVPR52733.2024.02577］

Z P

，Sun

Z Y

，Wen

Y H

，Sun

Y N

，Lyu

，Yi

，et al. 2022. Dynamic neural textures： generating talking-face videos with continuously controllable expressions［EB/OL］. ［2022-04-13］. https://arxiv.org/pdf/2204.06180.pdf

Zhao

，Wang

Y J

，He

T Y

，Yin

L Y

，Lin

J X

and Jin

. 2023. Breathing life into faces： speech-driven 3D facial animation with natural head pose and detailed shape ［EB/OL］. ［2023-10-31］. https://arxiv.org/pdf/2310.20240.pdf

Zhen

，Song

W C

，He

，Cao

，Shi

and Luo

. 2023. Human-computer interaction system： a survey of talking-head generation. Electronics，12（1）： #218 ［DOI： 10.3390/electronics12010218］

Zhong

Y C

，Wei

H W

，Yang

P J

and Wang

Z S

. 2024. ExpCLIP： bridging text and facial expressions via semantic alignment//Proceedings of the 38th AAAI Conference on Artificial Intelligence. Vancouver，Canada： AAAI Press： 7614-7622 ［DOI： 10.1609/aaai.v38i7.28594］

2026年第31卷第8期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11834/jig.250451

接收时间：2025-09-22
首发时间：2026-10-30
出版时间：2026-08-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-09-22
修回日期：2025-12-24

基金

Key R&D Program of Shaanxi Province，China（2025CY-JJQ-186）；International Science and Technology Cooperation Promotion Project of Xi'an University of Technology（2024GHCJ014）

陕西省重点研发计划资助（2025CY-JJQ-186）；西安理工大学国际科技合作促进项目（2024GHCJ014）

作者信息

¹　西安理工大学自动化与信息工程学院，西安;710048

²　萨里大学以人为本人工智能研究所&视觉、语音和信号处理中心，吉尔福德　GU2 7XH，英国

通讯作者:

孙强，通信作者，男，副教授，主要研究方向为情感计算与人智交互。E-mail：qsun@xaut.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgtxtxxb/CN/10.11834/jig.250451

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
FaceFormer	N/A	0.616 8	N/A	N/A	N/A	N/A
CodeTalker	N/A	1.624 3	N/A	1.291 8	1.271 3	1.290 1
FaceDiffuser	N/A	0.488 7	N/A	N/A	N/A	N/A
ProbTalk3D	0.715 7	0.624 5	0.005 1	0.560 5	0.532 5	0.357 6
DecTalk3D（本文）	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

FaceFormer

N/A

0.616 8

N/A

CodeTalker

N/A

1.624 3

N/A

1.291 8

1.271 3

1.290 1

FaceDiffuser

N/A

0.488 7

N/A

ProbTalk3D

0.715 7

0.624 5

0.005 1

0.560 5

0.532 5

0.357 6

DecTalk3D（本文）

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

模型	MVE↓ $(× 10 - 3 m m)$	LVE↓ $(× 10 - 4 m m)$	FDD↓ $(× 10 - 4 m m)$	MEE↓ $(× 10 - 4 m m)$	CE↓ $(× 10 - 4 m m)$	diversity↑ $(× 10 - 3 m m)$
完整模型	0.673 8	0.586 7	0.155 4	0.537 4	0.488 6	0.254 7
无s、t	1.030 5	1.060 0	0.846 5	1.000 9	0.867 6	0.341 1
无Q_top	0.711 8	0.670 7	0.202 1	0.643 0	0.605 4	0.131 5
无s、t、Q_top	1.041 7	1.079 6	0.577 5	1.048 9	0.970 5	0.160 0

模型

MVE↓

(× 10 - 3 m m)

LVE↓

(× 10 - 4 m m)

FDD↓

(× 10 - 4 m m)

MEE↓

(× 10 - 4 m m)

CE↓

(× 10 - 4 m m)

diversity↑

(× 10 - 3 m m)

完整模型

0.673 8

0.586 7

0.155 4

0.537 4

0.488 6

0.254 7

无s、t

1.030 5

1.060 0

0.846 5

1.000 9

0.867 6

0.341 1

无Q_top

0.711 8

0.670 7

0.202 1

0.643 0

0.605 4

0.131 5

无s、t、Q_top

1.041 7

1.079 6

0.577 5

1.048 9

0.970 5

0.160 0