前言
视听言语整合是指听者把言语中的视觉信号和听觉信号整合成统一感知表征的过程。目前有一系列研究考察了孤独症儿童的视听言语整合，发现孤独症儿童的视听言语整合比正常儿童更弱（e.g., Zhang et al., 2019）。孤独症儿童更弱的视听言语整合与其更弱的语言和社交能力相关（Feldman et al., 2018）。考察孤独症儿童视听言语整合的认知和神经机制有利于理解其语言发育迟缓和社交沟通障碍。孤独症儿童视听言语整合缺陷的认知神经机制是怎样的呢？
北京大学心理与认知科学学院的易莉和陈立翰以及中南大学外国语学院的冯树元发表系列论文（Autism Research (2026)、Developmental Science (2023)、Autism Research (2022)，揭示了孤独症儿童视听言语整合的认知神经机制。
研究一
孤独症儿童面孔加工模式异常，对面孔的眼睛、嘴巴等核心区域注视更少（Pelphrey et al., 2002）。在正常个体中，面孔加工模式与视听言语整合相关（Gurler et al., 2015）。孤独症儿童更弱的视听言语整合与其异常的面孔加工模式是否有关呢？课题组探索了这一问题，并于2022年在Autism Research上发表了题为“Face-viewing patterns predict audiovisual speech integration in autistic children”的研究。该研究测量了孤独症儿童和智力、年龄相匹配的典型发育儿童的视听言语整合并追踪了他们的眼动，考察了孤独症儿童对说话者脸部的注视模式与视听言语整合之间的关系。研究发现，睁眼条件下，孤独症儿童的视听言语整合比典型发育儿童更弱（图1a: da response）；闭眼条件下，孤独症儿童的视听言语整合与典型发育儿童相当（图1b: da response）。两个条件下均发现，与发生视听言语整合时相比，未发生视听言语整合时，孤独症儿童对嘴部的注视更少（图1c-d）。而且，孤独症儿童对说话者嘴部较少的注视时间能预测其较弱的视听言语整合。该研究揭示孤独症儿童异常的面孔注视模式很可能是其视听言语整合缺陷的认知机制之一。
图1. 孤独症儿童和典型发育儿童在说话者睁眼、闭眼条件下的视听言语整合（“da” 反应百分比；a-b）；孤独症儿童视听整合试次（McGurk trials）与非视听整合试次（non-McGurk trials）中对说话者嘴部的注视时长差异（c-d）。*p < .05 (a-b); 灰色区域标示了在两类试次注视嘴巴的时间存在显著差异的时间段（*p < .05; c-d）。
研究二
研究一发现孤独症儿童对说话者嘴部较少的注视时间能预测其较弱的视听言语整合。在此基础上，课题组继续探索通过采取一定措施增加孤独症儿童对说话者嘴部的注视时间，是否会增强其视听言语整合呢？课题组进一步考察了这一问题，并于2023年在Developmental Science上发表题为“Increasing audiovisual speech integration in autism through enhanced attention to mouth”的论文。该研究设计了两个实验，实验一设置了说话者眼部清晰和眼部模糊两个条件，实验二设置了首注视点引导向嘴部、首注视点引导向眼部和自由观看三个条件。这两个实验旨在分别通过模糊说话者眼部和首注视点引导向嘴部增加孤独症儿童对说话者嘴部的注视时间，增强孤独症儿童的视听言语整合。两个实验分别考察了孤独症儿童和智力、年龄相匹配的典型发育儿童的视听言语整合，并记录了他们的眼动轨迹。实验一发现，与说话者眼部清晰时相比，说话者眼部模糊时，孤独症儿童对说话者嘴部的注视时间更长（图2c），视听言语整合和更强（图2a）。实验二发现，与自由观看和首注视点引导向眼部相比，首注视点引导向嘴部时，孤独症儿童对说话者嘴部的注视时间更长（图2d），视听言语整合更强（图2b）。该研究表明，增加孤独症儿童对说话者嘴部的注视时间，能够增强其视听言语整合。该研究证实了研究一的猜测，即进一步确认了孤独症儿童异常的面孔注视模式是其视听言语整合缺陷的认知机制之一。这一发现为干预孤独症儿童的视听言语整合提供了一定启示。
图2. 孤独症儿童和典型发育儿童在说话者眼部清晰和模糊时的视听言语整合（McGurk）比例（a）以及对嘴部的注视时长（c）；两组儿童在首注视点引导向眼部、引导向嘴部和自由观看时的视听言语整合（McGurk）比例（a）以及对嘴部的注视时长（c）。
研究三
经过上述两项研究的探索，孤独症儿童视听言语整合的认知机制已较为明确，那么孤独症儿童视听言语整合的神经机制又是怎样的呢？课题组采用脑电技术继续进行了探索。2026年，课题组在Autism Research上发表题为“Staged audiovisual speech integration and altered early-stage audiovisual processing in autistic children: An EEG investigation”的研究，揭示了孤独症儿童视听言语整合缺陷的神经机制。研究招募了孤独症儿童和智力、年龄相匹配的典型发育儿童参与实验，并记录了他们对视听一致刺激和McGurk刺激的行为和脑电反应。脑电分析时，把孤独症儿童分为两个组：孤独症整合组和孤独症非整合组。行为层面，研究发现孤独症儿童的视听言语整合更弱。神经层面，研究发现：1）典型发育儿童显示出早期视听加工过程（N1波幅更大），但在两组孤独症儿童中未发现该早期加工过程d；2）三组儿童都能成功探测视听不一致（pMMN）；3）典型发育儿童和孤独症整合组能够成功解决视听不一致完成视听整合，但孤独症非整合组无法完成视听整合（图3a-c）。而且，典型发育儿童和孤独症整合组的视听整合试次与视听一致试次的N1差异波与视听言语整合强度相关。多体素模式分析（MVPA）显示，典型发育儿童和孤独症整合组的早期神经活动能够解码视听整合试次和视听一致试次，孤独症非整合组仅晚期神经活动能够解码非视听整合试次和视听一致试次。研究还发现，典型发育儿童的视听整合呈现三阶段：早期视听加工、视听不一致的探测、视听不一致的解决。该研究表明，孤独症儿童异常的早期视听加工很可能是其视听言语整合缺陷的神经机制。
图3. 典型发育组（a）和孤独症整合组（b）发生视听整合的试次与视听一致试次的ERP波形差异，孤独症非整合组（c）未发生视听整合试次与视听一致试次ERP波形差异，以及每组儿童两类试次ERP差异波之间的对比（d-e）。
系列研究揭示了孤独症儿童异常的面孔注视模式和异常的早期视听加工分别是其视听言语整合缺陷的认知和神经机制。研究一发现孤独症儿童对说话者嘴部较少的注视时间能预测其较弱的视听言语整合，基于该研究，我们猜测孤独症儿童异常的面孔注视模式很可能是其视听言语整合缺陷的认知机制之一。研究二进一步通过采取一定措施增加了孤独症儿童对说话者嘴部的注视时间，增强了其视听言语整合。研究二进一步证实了我们的猜测，即孤独症儿童异常的面孔注视模式是其视听言语整合缺陷的认知机制之一。研究三揭示了孤独症儿童异常的早期视听加工很可能是其视听言语整合缺陷的神经机制。这一早期异常的视听加工很可能与孤独症儿童异常的面孔加工模式有关，未来研究可以结合眼动技术和脑电技术进一步探索。研究一和研究二为干预孤独症儿童的视听言语整合，促进其语言能力的发展提供了可能的方案。研究三发现孤独症儿童异常的早期视听加工（异常的N1）可能是孤独症的神经标记之一，为孤独症儿童的早期诊断及无语言孤独症儿童的诊断提供了可能的方向。
中南大学外国语学院冯树元副教授为前两项研究的第一作者，冯树元和陕西师范大学心理学院李宝林副教授为第三项研究的共同第一作者，易莉研究员和陈立翰副教授为系列研究的共同通讯作者。易莉课题组已毕业博士王乾东、陆昊阳、李天碧、胡艺箫、宋词，已毕业硕士许少斌，北京大学第六医院主任医师李雪，澳门大学教育学院副教授张娟等，为系列研究做出了重要贡献。该系列研究要特别感谢青岛市以琳康教展能中心的支持。该系列研究得到了国家自然科学基金、广东省重点领域研发项目、湖南省自然科学基金、湖南省教育厅项目、北京大学临床医学+X—青年学者项目、脑科学与类脑智能技术国家科技重大专项等的支持。
Feng, S., Lu, H., Wang, Q., Li, T., Fang, J., Chen, L. *, & Yi, L. * (2021). Face-viewing patterns predict audiovisual speech integration in autistic children. Autism Research, 14(12), 2592-2602.
Feng, S., Wang, Q., Hu, Y., Lu, H., Li, T., Song, C., Fang, J., Chen, L.*, & Yi, L.* (2023). Increasing audiovisual speech integration in autism through enhanced attention to mouth. Developmental Science, 26, e13348. https://doi.org/10.1111/desc.13348
Feng, S.#, Li, B.#, Ni, W., Hoi, S., Li, X., Zhang, J., Wang, Q., Chen, L.*, Yi, L. * (2026). Staged audiovisual speech integration and altered early-stage audiovisual processing in autistic children: An EEG investigation. Autism Research.
2026-05-28