看字幕or不看字幕，你的大脑在发生变化

更新时间：2026-09-02

点击次数：33

在现代生活中，文字信息无处不在。从手机屏幕到电视字幕，从广告牌到增强现实界面。然而，在真实世界的复杂环境中，当动态的非文字视觉信息与文字同时竞争注意力时，大脑如何处理这些信息？

更重要的是，这种处理是否受到个体认知吸收（Cognitive Absorption, CA)状态的影响？这是指个体沉浸于某一体验中、与外界隔绝并感觉时间流逝发生改变的状态，会决定注意力的不同分配。这种决策过程涉及复杂的神经机制，但在真实世界情境中的研究仍然很少。

对此，来自HEC Montréal 的Tech3Lab等的研究团队通过在现场歌剧中同时采集眼动追踪和脑电图数据，系统考察了字幕呈现与不呈现时的眼动行为和脑电活动差异，探讨了这些差异与认知吸收水平的关系（Boasen et al., 2026）。

文字处理与认知吸收

现代认知神经科学越来越关注表征复杂真实世界人类行为背后的大脑活动，以建立更稳健的认知模型并为新兴技术的设计提供信息。在日常生活中，文字常常与丰富动态的非文字信息同时出现，人们必须决定是否将注意力转向文字。

然而，在真实世界环境中研究文字相关处理面临若干挑战。首先，文字并非孤立存在，它与非文字视觉信息同时且动态地占据视野，两者都在争夺注意力，且二者都需要解码相似的视觉信息方面，如颜色、形状、象征或语义性质。其次，文字可能与通过其他感官感知的刺激维度变化同时发生，这可以增加对它的注意力，也可能成为干扰因素。而二者的一个潜在关键差异点在于，文本处理需要投入有限的眼动控制资源，完成对字符串的正字法解码过程。

此外，视觉信息处理可能因个体投入或沉浸于体验的程度而异。认知吸收（Cognitive Absorption, CA)是一个多维概念，涵盖对视觉刺激的沉浸、注意力和好奇心。认知吸收状态越强，个体越专注于体验，同时与外界断开联系并与正常时间流逝产生分离。过往实证研究表明，认知吸收水平的差异与脑电theta、alpha、beta振荡功率的差异显著相关。

现场歌剧中的多模态数据采集

基于此，本研究提出了两个关键问题：

1）能否在真实世界环境中区分文字与非文字视觉处理背后的大脑活动？

2）如果能够，这些大脑活动是否随认知吸收而变化？

实验最终选定蒙特利尔歌剧院的现场《卡门》演出作为真实实验场景，将固定在舞台上方的字幕呈现作为文本刺激来源，在不干预现场演出流畅性的前提下，同步记录25名被试的眼动轨迹与脑电信号（图1）。

每场演出有5名被试坐在演出厅后排相邻座位。实验使用了两种不同的眼动追踪系统记录眼动数据：Smart Eye和SMI，它们安装在被试前方定制轨道上。观看过程中记录被试的眼动与脑电数据，最后结束时使用自我报告量表完成对被试认知吸收的测量。

此外，实验中使用了诺达思的行为观察记录分析系统（The Observer XT）以接收来自多人的眼动追踪系统的事件标记、视频录制系统的TTL脉冲以及脑电系统的同步信号，实现了多模态数据的时间同步。

实验中还使用了诺达思的多视频录制软件（MediaRecorder）录制舞台视频和房间音频，用以在后期处理中进行数据同步，即通过逐帧手动浏览MediaRecorder录制的视频，确定每场演出中每个字幕的开始和结束时间，进而与脑电和眼动记录实现精确的时间同步。

通过这一方案，所有数据通道在同一时间尺度上对齐，使研究者能够准确标记字幕呈现与不呈现时段，为后续的眼动行为分析和脑电功率、连接分析提供了可靠标准。

字幕改变了大脑的连接

（一）眼动行为

总体注视率：无字幕时整体注视率显著高于有字幕时，表明无字幕时视觉扫描更加频繁。
舞台与字幕横幅注视率（图2）：舞台注视率显著高于字幕横幅。是否有字幕与注视区域交互显著，即字幕呈现时，字幕横幅注视率显著增加，舞台注视率显著减少。值得注意的是，无字幕时，字幕横幅注视率并非为零，表明被试持续扫描字幕横幅，预期文字的出现。

注视点水平位移（图2）：字幕存在与否的主效应显著，有字幕时的连续注视水平位移都显著小于无字幕时。此外，注视区域的主效应显著，字幕横幅的水平位移显著大于舞台区域，表明舞台上的注视更局部聚焦（追踪主角），字幕横幅上的注视更广泛扫描（寻找文字信息）。

认知吸收的影响：所有眼动指标均不随认知吸收水平显著变化。这一结果表明，不同认知吸收水平的被试都会主动定向视线投向可用文本，不存在显著的行为差异。

（二）脑电结果

脑电功率分析表明，Theta频段的显著差异，主要集中在额叶眼区和楔前叶。

Theta频段（5-7Hz）：有字幕时的Theta活动显著高于无字幕时的三个簇。

右侧尾侧额叶中皮层（MNI: 36,5,42）：对应额叶眼区，负责自上而下控制眼动

左侧楔前叶（MNI: -14,-49,35）

右侧楔前叶（MNI: 7,-59,39）

Alpha频段（8-12Hz）与Beta频段（15-29Hz）未发现显著簇。

分析认知吸收对其的影响作用，结果表明：

额叶眼区Theta活动：不受认知吸收显著影响。这是区分文字与图像处理的一个潜在脑电指标。

楔前叶Theta活动：与认知吸收呈负相关。随着认知吸收降低，Theta活动增加，这可能反映了疲劳相关的同步化。这种效应在字幕不呈现时更强。

Beta连接：整体与认知吸收呈正相关，但主要由右侧楔前叶→双侧楔叶连接驱动。初级视觉皮层的连接不随认知吸收显著变化，这进一步支持文字注视的自动化特性。

Noldus工具赋能神经人因科学

本研究在真实世界现场歌剧观看情境中，系统考察了字幕呈现对眼动行为和脑电活动的影响，并探讨了这些影响与认知吸收的关系。其中，诺达思的The Observer XT和MediaRecorder软件作为多模态数据同步和行为事件标记的核心工具，为这一复杂的现场实验研究提供了关键的技术支撑。

这些发现对神经人因学和增强现实等新兴领域具有重要启示。在这些领域中，理解文字被处理的程度以及其呈现如何调节其他心理因素是非常关键的。尤其是在增强现实研究领域，AR眼镜会将文本信息直接叠加在真实世界视野中，准确评估文本的处理程度、以及文本呈现如何影响用户对真实世界其他交互过程的干扰非常关键。而通过神经活动的差异来客观量化真实世界环境中对可用文字的注意力分配，或许是新的方向。

参考文献

Boasen, J., Giroux, F., Duchesneau, M. O., Roy, X., Senecal, S., & Leger, P. M. (2026). EEG activities and connectivities associated with surtitle presentation during live opera viewing: an exploratory analysis of cognitive absorption.Scientific Reports.

欢迎关注我们的公众号，了解更多精彩内容