科学技术与工程

被试	准确率/%
Sub1	89.17	93.33	4.16
Sub2	78.33	84.17	5.84
Sub3	86.67	91.67	5.00
Sub4	83.33	87.50	4.17
Sub5	73.33	86.67	13.34
Sub6	90.83	95.83	5.00
Sub7	86.67	93.33	6.66
Sub8	75.83	88.33	12.50
平均	83.02	90.10	7.08

被试	准确率/%
Sub1	89.17	93.33	4.16
Sub2	78.33	84.17	5.84
Sub3	86.67	91.67	5.00
Sub4	83.33	87.50	4.17
Sub5	73.33	86.67	13.34
Sub6	90.83	95.83	5.00
Sub7	86.67	93.33	6.66
Sub8	75.83	88.33	12.50
平均	83.02	90.10	7.08

基于3D视觉激励的SSVEP系统性能提升

PDF下载

宋浩 , 毛晓前 ^* , 李诚喆

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(22): 9454-9462

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(22): 9454-9462

基于3D视觉激励的SSVEP系统性能提升

全屏

宋浩, 毛晓前^*, 李诚喆

作者信息

青岛科技大学自动化与电子工程学院, 青岛 266061

宋浩(1998—),男,汉族,山东日照人,硕士研究生。研究方向:脑机接口,模式识别与机器视觉。E-mail:4022040040@mails.qust.edu.cn。

通讯作者:

^* 毛晓前(1987—),男,汉族,山东烟台人,博士,副教授。研究方向:脑机接口,脑机融合,图像处理和自主机器人导航。E-mail:maoxiaoqian@qust.edu.cn。

Performance Enhancement of SSVEP System Based on 3D Visual Stimuli

Hao SONG, Xiao-qian MAO^*, Cheng-zhe LI

Affiliations

College of Automation and Electronic Engineering, Qingdao University of Science and Technology, Qingdao 266061, China

出版时间: 2025-08-08 doi: 10.12404/j.issn.1671-1815.2406753

文章导航

摘要

收起

目前基于稳态视觉诱发电位(steady state visual evoked potential, SSVEP)的脑机接口(brain-computer interface, BCI)的研究取得了显著进展,但仍存在一些限制BCI实际应用的因素,其中一个重要影响因素是视觉激励源。且多数SSVEP脑机接口系统依赖显示器,不便于携带,限制了其在日常生活中的实际应用。VR眼镜不仅能够提供真实立体的激励源,且是可穿戴的便携设备,能够脱离显示器而独立存在,因此对BCI的应用有着非常重要的价值。现引入虚拟现实(virtual reality, VR)技术来呈现VR-SSVEP视觉激励,实现SSVEP视觉激励的3D化,使被试能够更加沉浸地融入脑机交互中。比较了基于VR-SSVEP的3D和2D视觉激励效果,实验结果表明,在VR下的3D视觉激励相较于2D视觉激励具有更好的系统性能,平均准确率可达90.10%,相较于2D视觉激励提高了7.08%;当刺激时间为2 s时,可以获得较好的信息传输速率性能。本研究验证了3D视觉激励能够有效地提升SSVEP的识别性能,表明系统具有一定的实用性。为VR设备在SSVEP范式中的应用提供了新思路。

关键词

脑机接口 / 稳态视觉诱发电位 / 虚拟现实 / 3D视觉激励

Abstract

收起

Recently, SSVEP(steady-state visual evoked potential-based BCI(brain-computer interface) researches have achieved significant development. However, the practical application of BCIs are still limited by several factors, one of which is the visual stimulus source. Most SSVEP-BCI systems rely on monitors, which are not portable and thus restrict the practical use in daily life. VR glasses, as wearable and portable devices, can provide realistic and immersive stimulus sources, which do not rely on monitors. Thus, they offer significant potentials for BCI applications. The VR(virtual reality) technology was introduced to display VR-SSVEP visual stimuli in 3D environment and enables subjects to immersively engage in BCI. The performance of 3D and 2D visual stimuli based on VR-SSVEP were compared in this study. The experimental results demonstrate that the performance of 3D visual stimuli is better than that of 2D visual stimuli. The average classification accuracy of 3D stimuli reaches 90.10%, which is 7.08% higher than 2D stimuli. Additionally, a 2-second stimulation duration achieves an optimal information transfer rate. This study confirms that 3D visual stimuli can effectively enhance SSVEP recognition performance, which indicates a practical use of the system and provides a novel approach for applying VR devices to the SSVEP paradigm.

Key words

brain-computer interface / steady state visual evoked potential / virtual reality / 3D visual stimulation

引用本文

宋浩, 毛晓前, 李诚喆. 基于3D视觉激励的SSVEP系统性能提升. 科学技术与工程, 2025 , 25 (22) : 9454 -9462 . DOI: 10.12404/j.issn.1671-1815.2406753

Hao SONG, Xiao-qian MAO, Cheng-zhe LI. Performance Enhancement of SSVEP System Based on 3D Visual Stimuli[J]. Science Technology and Engineering, 2025 , 25 (22) : 9454 -9462 . DOI: 10.12404/j.issn.1671-1815.2406753

正文

收起

脑机接口(brain-computer interface, BCI)在大脑活动与外部设备之间建立了一种全新的通信通道^[1-2]。通过对采集到的脑电信号进行特征提取和分析^[3],可以解读个体的意图,从而实现大脑与计算机之间在不依赖外周神经和肌肉的情况下进行通信^[4-5]。稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)是常用的BCI范式^[6],受试者通过专注于不同频率闪烁的视觉刺激,产生与刺激频率同步的大脑神经振荡,从而控制设备或传递信息^[7-8]。与其他BCI系统相比,基于SSVEP的BCI具有较高的信噪比(signal-to-noise ratio, SNR)和信息传输率(information translate rate, ITR)的优势^[9],且受试者几乎不需要额外的训练过程^[10]。因此,SSVEP在脑机接口领域得到了广泛的应用。

尽管脑机接口的性能已经有了显著的提高,但仍然存在一些限制脑机接口实用性的因素,其中一个因素是视觉激励设备。目前几乎所有的SSVEP-BCI都使用计算机屏幕(computer screen, CS)来呈现闪烁的视觉激励,受试者需要平坐在刺激界面前,这限制了它在实际场景中的灵活使用^[11-12]。同时显示器的尺寸降低了整个系统的便携性,难以实现用户在户外场合的实际应用。因此,有必要引入一种更便携、更有效的视觉激励设备代替SSVEP-BCI的电脑屏幕。

虚拟现实(virtual reality, VR)是一种直观、便携、视野广阔的技术^[13]。它利用电脑等设备模拟产生一个三维空间的虚拟世界,提供使用者关于视、听、体等感官模拟体验^[14],让用户如身临其境,可以随时随意地观察体验VR内的事物。VR将现实与虚拟世界结合起来,使受试者可以与虚拟世界互动,从而实现超越现实的感官体验^[15]。

因此,VR技术为构建更自然交互的可穿戴SSVEP-BCI系统提供了新思路。将VR设备与SSVEP-BCI相结合,通过VR技术将SSVEP-BCI系统的刺激界面投影到虚拟世界中,将使用范围从物理世界扩展到VR环境中^[16-17]。克服了CS显示的局限性,实现了可穿戴SSVEP-BCI系统。在基于VR技术的可穿戴SSVEP-BCI系统中,用户不需要依赖显示器,而是通过观察搭建的虚拟环境实现视觉激励的呈现,甚至可以进行一些简单的运动。在实验过程中,刺激界面可以根据用户的实际状态和自身舒适度自行调整,跟随用户的动作,使刺激的角度和位置更加自然舒适。另外,与BCI的传统简单反馈模式(屏幕显示伸缩变化的2D色条以反映大脑思维信息输出)相比,VR则能为BCI用户提供更积极主动、更丰富多彩、更具激励性的情境反馈。VR技术突破了二维平面的限制,有助于从简单的平面显示器扩展到三维现实世界,从而加强了大脑与多维环境之间的交互。

BCI-VR系统的提出和发展时间并不长,2000年Bayliss等^[18]第一次结合VR与BCI技术。2006年马贇等^[19]设计了基于BCI技术的VR康复训练平台,其中将想象运动BCI与运动功能康复训练VR结合在一起。近几年来,也有多项研究将VR整合到SSVEP-BCI系统中。例如,Zhou等^[20]开发了一个与VR飞行模拟器结合的SSVEP-BCI系统。对比研究表明,与平面视觉刺激相比,VR视觉刺激将平均操作准确率提高了5.2%。Guo等^[21]开发了一种基于SSVEP和VR眼动追踪技术的异步机械臂控制系统,该系统在0.9 s的刺激时间内实现了90.50%的平均准确率和60.02 bits/min的信息传输率。Yang等^[22]在VR环境中提出了一种具有双眼视差的多频编码SSVEP范式,并证明了该范式在BCI中的可行性,该研究还探讨了VR在解码器设计中的潜在优势。

然而,尽管上述刺激范式已应用于VR环境,大多数仍使用二维视觉刺激而非三维视觉目标,针对基于三维SSVEP系统的研究较少。现通过虚拟现实技术探索三维SSVEP视觉刺激在VR环境中的有效性。提出一种3D视觉激励,通过三维刺激闪烁诱发更强的SSVEP,并对系统性能进行评估。与传统二维视觉刺激相比,三维SSVEP范式因其沉浸性和参与感显著增强目标识别性能,为基于VR的BCI应用提供有力支持。此外,VR眼镜作为可穿戴、独立运行的设备,为脑机接口(BCI)的实际应用提供新的可能性,进而拓宽其应用前景。

1 实验方法

收起

图1为本文VR-SSVEP系统的整体框架,该系统包括VR场景、脑电数据采集和数据处理(预处理、特征提取和分类)3个主要组成部分。其中VR场景是在VR头显中构建视觉激励和周围环境用于刺激被试诱发脑电信号。脑电数据采集与数据处理模块主要完成脑电信号的采集、放大、预处理和模式识别。脑电信号处理分析的结果直接影响脑机接口系统的性能,是脑机接口系统解码的核心部分。

1.1 视觉激励

影响SSVEP响应的因素有刺激频率、刺激颜色和受试者的注意力等,视觉激励的设计应该考虑如何尽可能地诱发较强的SSVEP响应。由于低频刺激的两次闪烁的间隔时间较长,闪烁较为明显,实验时受试者容易产生视觉疲劳;受视觉激励设备刷新频率的影响,高频刺激不易编码,所以本次实验的刺激频率范围选择在6~12 Hz^[23-24]。人眼的视网膜中心附近分布着对颜色敏感的锥细胞,3种视锥细胞对短波长、中波长和长波长的光(有时被称为蓝色、绿色和红色光)的吸收不同,为保证能获得更高性能的指标,本文研究选择在环境中辨识度更高的红色作为视觉激励块的颜色^[25]。

本文研究是在虚拟现实环境下提出的视觉激励方式,使用HTC公司的VIVE PRO EYE虚拟现实头显(VR-HMD)作为视觉激励设备,其屏幕的刷新率为90 Hz。并用Unity3D进行虚拟环境和视觉激励界面的搭建。如图2(a)所示,采用Unity中的平板(Plane)作为平面视觉激励块图形(下文称2D视觉激励)、图2(b)所示是三维立体图形(Cube)作为立体视觉激励块图形(下文称3D视觉激励)。在Unity3D中,模型的建立遵循统一的尺寸规定,2D视觉激励和3D视觉激励里的所有目标物大小位置一致。为了模拟现实世界中受试者视角的旋转,根据受试者头部的旋转来自动调整VR-HMD的显示内容。最终在两种视觉激励上呈现4个刺激目标的频率分别为6、7.5、9、10 Hz。

1.2 EEG数据采集

使用NeuSen W脑电记录仪以1 000 Hz的采样率获取EEG数据。此系统由32通道脑电帽、无线脑电放大器、多参数同步器、智能同步中心组成。NeuSen W系列的电极位置按照国际10-20系统排布,参考电极(reference electrode,REF)位于顶点,32个电极覆盖了全脑,能够采集到所有脑区的头皮电信号。电极编号如图3所示,在采集过程中,电极与头皮接触处涂抹适量的导电膏,保证所有电极的接触阻抗低于10 kΩ。由于SSVEP在枕区的频域特征更为明显,因此采用枕区5个电极(PO3、PO4、O1、Oz、O2)的脑电数据进行分析。实验过程中,同步器向EEG记录软件发送同步信号,EEG记录软件在采集到的EEG数据上标记同步诱发信号。最终将记录的脑电数据通过WIFI无线放大器上传至计算机。

1.3 数据处理

为了消除高频噪声干扰,本次实验采用巴特沃斯滤波器对原始脑电信号进行带通滤波。为了可以同时计算多个通道,提取更多的SSVEP相关信息,采用典型相关分析进行空间滤波降维。为获取各通道能量信息,采用快速傅里叶变换得到功率谱密度,并选择特定的频率能量作为特征进行特征提取。最后使用Fisher分类器进行分类,得到有效的分类准确率。

1.3.1 预处理

1)巴特沃斯带通滤波器

SSVEP是大脑对于闪烁视觉激励的周期性响应,其响应频率正是视觉激励的频率及其谐波频率。采用带通滤波器可以保留SSVEP信号所在的特定频率范围,滤除其他干扰频率分量。而巴特沃斯带通滤波器(Butterworth band-pass filter)在通带内具有最大平坦的幅频特性,对通带内的频率分量的衰减是最小的。这使得SSVEP信号的频率分量可以被较好地保留下来,减小了失真^[26]。

巴特沃斯带通滤波器是将低通巴特沃斯滤波器与高通巴特沃斯滤波器级联而成。低通部分用于通过低频分量,高通部分用于通过高频分量,两者的交集即为带通滤波器的通带。设置一个标准化的带通巴特沃斯滤波器,其通带为

$[{\omega }_{{c}_{1}},{\omega }_{{c}_{2}}],$

阻滞为

$[0,{\omega }_{{s}_{1}}]和[{\omega }_{{s}_{2}},+\infty ]。$

对于稳定系统的频率响应,关注的是纯虚轴上的响应,使用复频率

$s=\mathrm{j}\omega $

表示。它将时域中的微分运算转换为频域中的代数运算。其幅频响应可表示为

(1)

$H\left(\mathrm{j}\omega \right)=\frac{1}{\sqrt{\left[1+{\epsilon }^{2}{\left(\frac{{\omega }_{{s}_{1}}}{\omega }\right)}^{2N}\right]\left[1+{\left(\frac{\omega }{{\omega }_{{s}_{2}}}\right)}^{2N}\right]}}$

式(1)中:H(jω)为滤波器的频率响应函数;ω为角频率,rad/s;

$\epsilon $

为通带内的最大增益,dB;N为滤波器阶数;

${\omega }_{{s}_{1}}和{\omega }_{{s}_{2}}$

分别为低通和高通部分的阻滞边缘频率。

本次实验采用6阶的巴特沃斯带通滤波器,对数据进行0.1~30 Hz的带通滤波。

2)典型相关分析空间滤波

空间滤波方法的原理是将不同电极记录的大脑信号通过一定方式进行信号转换,通过增强局部活动,减弱各电极中的共有噪声,降低数据维数,识别隐含的源信号,找出最大程度区分每个类别的投影等方式,实现减弱噪声、增强有用信号或提高不同类别间差异等目的。

SSVEP是由视觉激励诱发的一种准周期性脑电反应,它往往被混淆在背景脑电和其他伪迹中,其幅度较小,还混杂了其他脑区和噪声的干扰。典型相关分析(canonical correlation analysis, CCA)主要在两组信号间寻找一对线性组合,使得这两组信号在投影后得到的向量之间的相关系数最大^[27]。CCA能自动学习出与SSVEP参考信号最相关的空间滤波权重,从而在线性变换后得到的信号成分中使SSVEP信号最大程度外化出来,从而实现对SSVEP信号的最优检测和增强。通过空间滤波抽取出的SSVEP成分,信噪比会明显高于原始多通道数据。而更清晰的SSVEP波形对于后续的检测、分类、编码都是有利的。

在使用CCA方法中,X为多通道脑电信号,

$X\in {\mathrm{R}}^{\mathrm{N}\times \mathrm{T}},$

其中N为通道数,T为数据点数。Y为视觉激励频率相对应的参考信号,

$Y\in {\mathrm{R}}^{\mathrm{N}\times \mathrm{T}},$

其中M是参考信号的通道数(通常为1),其公式为

(2)

$Y=\left[\begin{array}{l}\mathrm{s}\mathrm{i}\mathrm{n}\left(2\mathrm{\pi }{f}_{1}t\right)\\ \mathrm{c}\mathrm{o}\mathrm{s}\left(2\mathrm{\pi }{f}_{1}t\right)\\ ︙\\ \mathrm{s}\mathrm{i}\mathrm{n}\left(2\mathrm{\pi }k{f}_{i}t\right)\\ \mathrm{c}\mathrm{o}\mathrm{s}\left(2\mathrm{\pi }k{f}_{i}t\right)\end{array}\right],　t=\frac{1}{{F}_{\mathrm{s}}},\frac{2}{{F}_{\mathrm{s}}},\dots,\frac{{N}_{\mathrm{s}}}{{F}_{\mathrm{s}}}$

式(2)中:i为刺激目标数;f_i为第i个刺激;k为参考信号中的谐波数;N_s为采样点数量;F_s为采样频率;t为时间序列(由采样率和采样点数决定)。

CCA算法用于找到两个权重矩阵,使得经过滤波后的信号

$U={X}^{\mathrm{{\rm T}}}u$

与

$V={Y}^{\mathrm{{\rm T}}}v$

的相关性最大化,即

(3)

$\underset{a,b}{\mathrm{m}\mathrm{a}\mathrm{x}}\rho (U,V)=\frac{E\left[{u}^{\mathrm{{\rm T}}}X{Y}^{\mathrm{{\rm T}}}v\right]}{\sqrt{E\left[{u}^{\mathrm{{\rm T}}}X{X}^{\mathrm{{\rm T}}}u\right]E\left[{v}^{\mathrm{{\rm T}}}Y{Y}^{\mathrm{{\rm T}}}v\right]}}$

式(3)中:

$\rho $

为相关系数;u和v为U、V正则相关性最大时的权重向量;E用于计算信号之间的协方差。

根据式(4)计算脑电信号X的协方差矩阵C_XX,参考信号Y的协方差矩阵C_YY以及脑电信号与参考信号的互协方差矩阵C_XY。

(4)

$\left\{\begin{array}{l}{C}_{\mathrm{X}\mathrm{X}}=\frac{1}{T-1}X{X}^{\mathrm{{\rm T}}}\\ {C}_{\mathrm{Y}\mathrm{Y}}=\frac{1}{T-1}Y{Y}^{\mathrm{{\rm T}}}\\ {C}_{\mathrm{X}\mathrm{Y}}=\frac{1}{T-1}X{Y}^{\mathrm{{\rm T}}}\end{array}\right.$

再通过式(5)求解特征值问题得出典型相关向量u和v,对于脑电信号X应用权重u来获得降维后的数据Z=Xu

(5)

$\left\{\begin{array}{l}{C}_{\mathrm{X}\mathrm{X}}^{-1}{C}_{\mathrm{X}\mathrm{Y}}{C}_{\mathrm{Y}\mathrm{Y}}^{-1}{C}_{\mathrm{Y}\mathrm{X}}u={\rho }^{2}u\\ {C}_{\mathrm{Y}\mathrm{Y}}^{-1}{C}_{\mathrm{Y}\mathrm{X}}{C}_{\mathrm{X}\mathrm{X}}^{-1}{C}_{\mathrm{X}\mathrm{Y}}v={\rho }^{2}v\end{array}\right.$

式(5)中:

${C}_{\mathrm{Y}\mathrm{X}}为{C}_{\mathrm{X}\mathrm{Y}}$

的转置。

通过上述步骤,我们将原始的多通道数据X降维成了一个单通道数据Z。这个单通道数据Z包含了与特定频率的SSVEP信号最相关的信息,从而实现了数据降维的目的,减少数据的复杂度和冗余性,提高了后续数据处理的效率,降低计算的成本。

1.3.2 特征提取

SSVEP信号的主要特点是它具有与视觉激励频率相对应的固定频率成分,具有明显的频域特征。快速傅里叶变换(fast Fourier transform, FFT)针对时域信号,可以将其分解成一系列频域下的正弦信号,每个正弦信号都有特定的幅值和频率。以这些正弦信号的频率为横坐标,各个正弦信号的幅值为纵坐标,可以绘制出频率幅值图。这样,就把时域信号转换成频域信号,从而清晰地揭示这些特定的频率成分。对预处理完的SSVEP信号进行快速傅里叶变换,将时域信号转换为频域,即

(6)

$\mathrm{X}\left(\mathrm{k}\right)=\stackrel{N-1}{\sum _{n=0}}x\left(n\right){\mathrm{e}}^{-\frac{\mathrm{i}2\mathrm{\pi }kn}{N}}$

式(6)中:X(k)为频域上的离散频率;x(n)为滤波后的时域上的离散信号;N为样本的总数。

在频域中,通过计算每个频率分量上的能量(即功率)来得到功率谱密度,即

(7)

$S\left(k\right)=\frac{1}{N}{\left|X\left(k\right)\right|}^{2}$

选择FFT分析中与视觉激励频率相对应的频率点的能量值作为特征,构建特征向量用于后续的机器学习模型训练及分类。

1.3.3 分类模型

Fisher线性判别分析(fisher linear discriminant analysis, FLDA)的主要思想是通过线性变换将原始特征空间中的数据投影到一个新的低维空间,使得在新空间中不同类别的样本之间的距离最大化,同一类别内的样本之间的距离最小化。这样做的目的是为了在低维空间中找到一个最优的投影方向,能够最大程度地保留样本类别间的差异性,同时最小化类内的方差,从而实现数据的有效分类。

首先,计算每个类别的样本均值向量(每个特征的平均值),然后使用这些均值向量计算类内散度矩阵S_B和类间散度矩阵S_W。

(8)

${S}_{\mathrm{B}}=\stackrel{c}{\sum _{i=1}}{N}_{i}({\mu }_{i}-\mu )({\mu }_{i}{-\mu )}^{\mathrm{{\rm T}}}$

(9)

${S}_{\mathrm{W}}=\stackrel{c}{\sum _{i=1}}\sum _{x\in {D}_{i}}(x-{\mu }_{i})(x-{\mu }_{i}{)}^{\mathrm{{\rm T}}}$

式中:c为类别数;N_i为第i类的样本数量;

${\mu }_{i}$

为第i类的均值;

$\mu $

为所有样本的均值;

${\mu }_{i}$

和

$\mu $

表示维度为d×1的列向量;d为特征数;D_i为第i类的样本集。

类内散度矩阵衡量了每个类别内部样本之间的差异性,类间散度矩阵衡量了不同类别之间的差异性。FLDA的目标是最大化类间散度与类内散度的比值,即最大化Fisher准则。

(10)

$J\left(\omega \right)=\frac{{\omega }^{\mathrm{{\rm T}}}{S}_{\mathrm{B}}\omega }{{\omega }^{\mathrm{{\rm T}}}{S}_{\mathrm{W}}\omega }$

式(10)中:

$\omega $

为投影向量。

接着通过求解以下广义特征问题,得到最佳投影向量。

(11)

${S}_{\mathrm{W}}^{-1}{S}_{\mathrm{B}}\omega =\lambda \omega $

然后,选择最大的几个特征值对应的特征向量作为投影向量。这些特征向量定义了新的特征空间。将原始数据投影到新的特征空间,实现数据降维。

最后,采用交叉验证的方法验证分类器的性能,将数据集分割成若干个互斥的子集,在每次迭代中,选择一个子集作为测试集,剩下的所有子集作为训练集,使用训练集训练模型,使用测试集评估模型的准确率。

2 实验设计

收起

2.1 实验对象

本次实验招募8名视力正常的被试[(24±3)岁]参加,受试者均视力正常或矫正后视力正常,均无癫痫疾病或其他精神病史。在实验开始前,向所有参与者清楚地解释了研究目的和实验流程。

2.2 实验流程

在实验过程中,受试者头戴脑电帽和VR头显坐在椅子上。为了降低噪声对SSVEP信号的干扰,实验在安静的室内环境下进行。实验开始前要求受试者佩戴VR头显并调整位置和瞳孔间距以确保显示的完整性和舒适性。调整完成后,受试者发出指令开始记录脑电数据。VR场景中出现刺激目标位置标记,提示被试准备开始。

实验过程如图4所示。每个Trial包含提示阶段和刺激阶段,提示阶段持续2 s,刺激阶段持续4 s,整个Trial时间为6 s。提示阶段时,箭头会指向目标刺激块,所有刺激块都停止闪烁,受试者根据提示将注意力转移至箭头指向的方块上。SSVEP视觉激励在刺激阶段闪烁,刺激块为红色并开始闪烁,激励界面如图2所示。每组(Block)包含40个Trial,分别对应4种频率的10个Trial。实验中每个受试者做3个Block的离线实验,每个Block完成后,受试者会获得充分的休息时间。受试者需要分别进行2D视觉激励和3D视觉激励两个实验,且每个受试者接受这两个实验的顺序是随机的。

3 结果分析

收起

对实验采集的脑电数据进行频域特征分析和大脑皮层响应,并以分类准确率和信息传输率为指标,评价两种不同视觉激励下的SSVEP识别性能。

3.1 频域特征分析

为分析两种实验范式对SSVEP识别性能的影响以及参与者之间是否存在差异,对实验采集数据进行了FFT分析。如图5(a)和图5(b)所示,其中一被试在2D和3D视觉激励下4种刺激频率所诱发的SSVEP频谱图。从SSVEP脑电信号频谱分析中可以看出频率响应曲线有明显的特征,在对应的刺激频率处和其谐波处都有一个峰值幅度,因此证明两种范式都能够有效诱发SSVEP信号。从图6可以看出,3D视觉激励下4种刺激频率所诱发的能量均高于2D视觉激励。如6 Hz的刺激频率响应,3D视觉激励诱发的SSVEP能量比2D视觉激励高1.14倍,这表明大脑对3D刺激的响应更为强烈,3D视觉激励可以诱发质量更高的SSVEP信号。

此外,由于个体差异性的存在,不同被试对某些特定的刺激频率有更高的敏感性,导致在这些频率上产生更强的响应。如在2D和3D的视觉激励下,7.5 Hz的刺激频率在二倍谐波上所诱发的能量比基频要高,这表明各次谐波信号中仍保存着很有价值的信息。在SSEVP-BCI系统中使用滤波器组分析方法可以充分利用这些谐波信息,提升分类的准确率。以上频域特征分析表明,本文设计的VR-BCI系统有效地诱发出了SSVEP脑电信号。

3.2 大脑皮层响应

为了更直观地理解大脑活动在头皮上的空间分布,研究两种范式下诱发的大脑皮层响应,用其中一被试在两种实验范式下的每个通道的平均能量画出脑地形图。如图6所示,两种实验范式的大脑皮层响应在脑地形图上略有差别,但可以看出响应都出现在大脑的枕叶区,符合SSVEP的响应特点,根据此特点选定枕区5个电极的EEG信号用作分析与识别。此外,基于3D视觉激励诱发的大脑皮层响应在4种刺激频率下的枕区响应能量都要强于2D视觉激励。这是由于3D视觉激励利用立体方块添加了深度信息,其在大脑皮层上的响应面积要比2D视觉激励的大。因此,深度信息可以有效提高受试者在实验中的注意力,诱发了更加活跃的大脑响应。

3.3 评价指标

为了进一步评价两种范式所诱发的SSVEP信号质量,使用分类准确率及信息传输率作为评价脑机接口性能的指标。表1给出了8位被试在两种视觉激励下4 s的分类准确率和提升。由表1可以看出,8位被试在3D视觉激励下的准确率都要优于2D视觉激励。其中被试6在3D视觉激励下准确率达到了95%以上。对表1的统计结果进行t检验,以p=0.05为标准检验两种视觉激励对SSVEP影响的显著性^[28]。检验结果p<0.05,说明3D视觉激励对于2D视觉激励有显著提升,总体平均准确率提高了7.08%。

此外,信息传输速率也是评判算法优劣的标准之一,ITR兼顾分类目标数、分类准确率和单次目标选择时间3个指标,是衡量脑机接口系统性能的一个重要指标。其计算公式为

(12)

$\mathrm{I}\mathrm{T}\mathrm{R}=\frac{60}{{T}_{t}}\left[\mathrm{l}\mathrm{o}{\mathrm{g}}_{2}N+P\mathrm{l}\mathrm{o}{\mathrm{g}}_{2}P+(1-P)\mathrm{l}\mathrm{o}{\mathrm{g}}_{2}\left(\frac{1-P}{N-1}\right)\right]$

式(12)中:P为分类精度;N为分类数量;T_t为计算输出所需的时间。

由式(12)可知,ITR大小与识别准确率、刺激数成正相关,与刺激时间负相关,而这3个参数并不是相互独立的。

准确解码脑电信号并产生系统结果所需的时间可以表明脑机接口系统的潜在响应率和实用性。为了评估两种刺激类型的最佳刺激时间,以0.5 s的时间窗为间隔计算了所有参与者的平均准确率和信息传输率。图7是不同数据长度的8位被试的评价指标对比。

图7中的误差条表示8名参与者的标准误差。从分类准确率来看,随着数据长度的增加,参与者的平均准确率逐渐增加,当数据长度大于3 s时,系统的平均准确率增长趋于缓慢。总体上,3D视觉激励所诱发的SSVEP信号的分类准确率均高于2D视觉激励所诱发的SSVEP信号的分类准确率。从ITR来看,当刺激时间较短(<2 s)时,ITR值随数据长度的延长而增加;当数据长度为2 s时2D和3D视觉激励的信息传输率均达到最高值,2D视觉激励实验的信息传输速率最高值为19.64 bits/min,3D视觉激励实验的信息传输速率最高值为25.28 bits/min;当刺激时间足够长(>2 s)时,ITR的值随着刺激时间的增加而减小。总体上3D视觉激励的信息传输速率要高于2D视觉激励。

因此,两种评价指标的结果表明,数据长度过长或过短都不利于系统的整体性能。实验验证了SSVEP在VR-BCI系统的稳定性,表明当刺激时间为2 s时,可以获得较好的ITR性能。且两种视觉激励下性能的对比表明了3D视觉激励范式在VR环境中优于2D视觉激励范式,在保持较好系统性能的同时,可以提升参与者的沉浸感。

4 结论

收起

SSVEP-BCI系统需要依赖显示设备来呈现刺激,最常用的显示设备为计算机显示屏,因此难以实现可穿戴而限制了BCI系统的便携性。针对传统BCI刺激器的不可移植性,本文研究将VR技术引入BCI系统,使BCI系统更具有实用性。本研究与以往研究的不同之处在于,本文的研究对象是在虚拟现实下的2D和3D视觉激励。通过研究发现,本系统在虚拟现实中设计的整个3D场景有利于提供感官沉浸体验,且相较于2D视觉激励获得了更好的性能。在虚拟现实中,所有8名受试者在3D视觉激励下实验的平均准确率达到90.10%,相较于同环境下的2D视觉激励提高了7.08%。当数据长度为2 s时达到最大信息传输率,最大ITR为25.28 bits/min。因此,本文设计的VR-BCI系统在SSVEP范式下是有效的,且3D视觉激励提供的深度信息能够有效提升SSVEP的识别性能。

通过将脑机接口与虚拟现实技术有效结合,不仅展示了虚拟现实技术在远程操作脑机接口中的巨大潜力,而且为VR-BCI技术的应用与优化贡献了重要成果。这些发现为未来便携式脑机接口系统的发展开辟了新的研究方向,预示着脑机接口技术在便携式医疗康复领域和军事与远程操作等多方面领域有着广阔的应用前景。未来的研究将从范式设计上进一步提升3D诱发信号的强度,进一步提升识别性能,并结合实际需求进行应用集成的设计。

基金

收起

国家自然科学基金青年科学基金(62006135)
山东自然科学基金青年科学基金(ZR2020QF116)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Anumanchipalli

G K

, Chartier

, Chang

E F

. Speech synthesis from neural decoding of spokensentences[J]. Nature, 2019, 568(7753): 493-498.

[2]

陈小刚, 陈菁菁, 刘冰川, 等. 2022年脑机接口研究进展[J]. 信号处理, 2023, 39(8): 1355-1366.

Chen

Xiaogang

, Chen

Jingjing

, Liu

Bingchuan

, et al. Research progress of brain-computer interface in 2022[J]. Journal of Signal Processing, 2023, 39(8): 1355-1366.

[3]

Kubanek

, Brown

, Ye

, et al. Remote, brain region-specific control of choice behavior with ultrasonic waves[J]. Science Advances, 2020, 6(21): 1-9.

[4]

汤祯宇, 魏庆国. 基于编码调制视觉诱发电位脑机接口滤波算法的性能比较[J]. 科学技术与工程, 2019, 19(15): 226-232.

Tang

Zhenyu

, Wei

Qingguo

. Performance comparison of filtering algorithm of BCl based on c-VEP[J]. Science Technology and Engineering, 2019, 19(15): 226-232.

[5]

Spiegel

, Mentch

, Haskins

A J

, et al. Slower binocular rivalry in the autistic brain[J]. Current Biology, 2019, 29(17): 2948-2953.

[6]

胡勤伟, 陶庆, 王妮妮, 等. 用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法[J]. 西安交通大学学报, 2022, 56(4): 185-193, 202.

Qinwei

, Tao

Qing

, Wang

Nini

, et al. A multi-scale feature fusion convolutional neural network approach[J]. Journal of Xi’an Jiaotong University, 2022, 56(4): 185-193, 202.

[7]

Yan

, Du

, Wu

, et al. SSVEP-EEG denoising via image filtering methods[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 1634-1643.

[8]

Yan

, Xu

, Du

, et al. SSVEP-EEG feature enhancement method using an image sharpening filter[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 115-123.

[9]

Yan

, Xu

. Four novel motion paradigms based on steady-state motion visual evoked potential[J]. IEEE Transactions on Biomedi-cal Engineering, 2017, 65(8): 1696-1704.

[10]

Pengcheng

, Nuo

. Research of VR-BCI and its application in hand soft rehabilitation system[C]// IEEE 7th International Conference on Virtual Reality. New York: IEEE, 2021: 254-261.

[11]

McClinton

, Caprio

, Laesker

, et al. P300-based 3D brain painting in virtual reality[C]// Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery, 2019: 1-6.

[12]

Coogan

C G

, He

. Brain-computer interface control in a virtual reality environment and applications for the internet of things[J]. IEEE Access, 2018, 6: 10840-10849.

[13]

Achanccaray

, Pacheco

, Carranza

, et al. Immersive virtual reality feedback in a brain computer interface for upper limb rehabilitation[C]// IEEE International Conference on Systems, Man, and Cybernetics. New York: IEEE, 2018: 1006-1010.

[14]

Tan

, Lin

, Zang

, et al. An autonomous hybrid brain-computer interface system combined with eyetracking in virtual environment[J]. Journal of Neuroscience Methods, 2022, 368.DOI: 10.1016/j.jneumeth.2021.109442.

[15]

Zhang

. Virtual reality games based on brain computer interface[C]// International Conference on Intelligent Computing and Human-Computer Interaction(ICHCI). New York: IEEE, 2020: 227-230.

[16]

Karácsony

, Hansen

J P

, Iversen

H K

, et al. Brain computer interface for neuro-rehabilitation with deep learning classification and virtual reality feedback[C]// Proceedings of the 10th Augmented Human International Conference. New York: Association for Computing Machinery, 2019: 1-8.

[17]

Vlahovic

, Suznjevic

, Skorin-Kapov

. A survey of challenges and methods for quality of experience assessment of interactive VR applications[J]. Journal on Multimodal User Interfaces, 2022, 16(3): 257-291.

[18]

Bayliss

J D

, Ballard

D H

. A virtual reality testbed for brain-computer interface research[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 188-190.

[19]

马贇, 王毅军, 高小榕, 等. 基于脑-机接口技术的虚拟现实康复训练平台[J]. 中国生物医学工程学报, 2007(3): 373-378.

Yun

, Wang

Yijun

, Gao

Xiaorong

, et al. Virtual reality rehabilitation training platform based on brain computer interface[J]. Chinese Journal of Biomedical Engineering, 2007(3): 373-378.

[20]

Zhou

, Zhang

, Wei

, et al. Development and evaluation of BCI for operating VR flight simulator based on desktop VR equipment[J]. Advanced Engineering Informatics, 2022, 51.DOI: 10.1016/j.aei.2021.101499.

[21]

Guo

, Lin

, Luo

, et al. A robotic arm control system with simultaneous and sequential modes combining eye-tracking with steady-state visual evoked potential in virtual reality environment[J]. Frontiers in Neurorobotics, 2023, 17.DOI: 10.3389/fnbot.2023.1146415.

[22]

Yang

, Sun

, Van

Hulle M M

. Binocularly incongruent, multifrequency-coded SSVEP in VR: feasibility and characteristics[J]. Journal of Neural Engineering, 2024, 21(5). DOI: 10.1088/1741-2552/ad775f.

[23]

刘凤双. 基于SSVEP的增强现实脑-机接口关键技术研究[D]. 保定: 河北大学, 2023.

Liu

Fengshuang

. Research on key technologies of augmented rea-lity brain-computer interface based on SSVEP[D]. Baoding: Hebei University, 2023.

[24]

卢美林, 樊春玲, 毛晓前. 视觉激励调制对脑电信号识别的影响研究[J]. 电子测量技术, 2023, 46(23): 120-126.

Meilin

, Fan

Chunlin

, Mao

Xiaoqian

. Research on the influe-nce of visual stimulation modulation on EEG signal recognition[J]. Electronic Measurement Technology, 2023, 46(23): 120-126.

[25]

吴正华, 尧德中. 不同颜色单色光产生的稳态视觉诱发电位的比较[J]. 生物医学工程学杂志, 2008, 25(5): 1021-1024.

Zhenghua

, Yao

Dezhong

. Comparison of steady-state visually evoked potential evoked by different monochromatic light[J]. Journal of Biomedical Engineering, 2008, 25(5): 1021-1024.

[26]

杨辉. 巴特沃斯低通滤波器的设计与仿真分析[J]. 电子产品世界, 2022, 29(12): 79-81.

Yang

Hui

. Design and simulation for butterworth low pass filter[J]. Electronic Engineering & Product World, 2022, 29(12): 79-81.

[27]

李新, 吴迎年, 李睿. 基于稳态视觉诱发电位的脑电信号分类算法比较[J]. 科学技术与工程, 2021, 21(19): 8106-8112.

Xin

, Wu

Yingnian

, Li

Rui

. Comparison research of EEG signal classification algorithms based on SSVEP[J]. Science Technology and Engineering, 2021, 21(19): 8106-8112.

[28]

崔立杰, 赵丽, 孙永. 基于阻断的SSVEP和P300混合字符输入系统[J]. 电子测量技术, 2020, 43(6): 153-159.

Cui

Lijie

, Zhao

, Sun

Yong

. Blocking-based SSVEP and P300 hybrid character input system[J]. Electronic Measurement Technology, 2020, 43(6): 153-159.

2025年第25卷第22期

PDF下载

203

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2406753

接收时间：2024-09-09
首发时间：2026-02-11
出版时间：2025-08-08

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-09-09
修回日期：2025-05-13

基金

国家自然科学基金青年科学基金(62006135)

山东自然科学基金青年科学基金(ZR2020QF116)

作者信息

青岛科技大学自动化与电子工程学院, 青岛 266061

通讯作者:

^* 毛晓前(1987—),男,汉族,山东烟台人,博士,副教授。研究方向:脑机接口,脑机融合,图像处理和自主机器人导航。E-mail:maoxiaoqian@qust.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2406753

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

被试	准确率/%
被试	ACC(2D)	ACC(3D)	ΔACC
Sub1	89.17	93.33	4.16
Sub2	78.33	84.17	5.84
Sub3	86.67	91.67	5.00
Sub4	83.33	87.50	4.17
Sub5	73.33	86.67	13.34
Sub6	90.83	95.83	5.00
Sub7	86.67	93.33	6.66
Sub8	75.83	88.33	12.50
平均	83.02	90.10	7.08