2022年12月,beat365官方网站易莉和陳立翰課題組在學術期刊《Developmental Science》發表題為“Increasing audiovisual speech integration in autism through enhanced attention to mouth”的論文。該研究發現,增加孤獨症兒童對說話者嘴部的注視時間,可以提升孤獨症兒童的視聽言語整合,為幹預孤獨症兒童的視聽言語整合提供了一定啟示。
視聽言語整合指把言語中的視覺刺激和聽覺刺激整合成一個整體的過程。前人文獻大多采用麥格克效應(McGurk effect;McGurk & MacDonald, 1976)來測量視聽言語整合。麥格克效應指的是,當一個語音的聲音與另一個語音的嘴部運動疊加在一起時,往往被感知為第三個語音(如“ba”的聲音與 “ga”的嘴部運動疊加在一起往往被感知為“da”)。目前有一系列研究采用麥格克效應研究了孤獨症個體的視聽言語整合,元分析發現孤獨症兒童的視聽言語整合比正常兒童更弱(Zhang et al., 2019)。正常個體注視說話者嘴部時間越長,視聽言語整合越強(Gurler et al., 2015)。易莉和陳立翰課題組2021年發表在Autism Research上的研究進一步發現,孤獨症兒童對說話者嘴部較短的注視時間能預測其較弱的視聽言語整合(Feng et al., 2021)。
在以往研究的基礎上,本研究采用McGurk效應範式設計了兩個實驗,旨在通過一定的操縱,來增加孤獨症兒童對說話者嘴部的注視時間,增強孤獨症兒童的視聽言語整合。實驗一設置了說話者眼部清晰和眼部模糊兩個條件,實驗二設置了首注視點引導向嘴部、首注視點引導向眼部和自由觀看三個條件。兩個實驗的實驗流程分别見圖a和圖b。實驗一發現,與說話者眼部清晰時相比,說話者眼部模糊時,孤獨症兒童對說話者嘴部的注視時間更長(圖c),視聽言語整合和更強(圖d)。實驗二發現,與自由觀看和首注視點引導向眼部相比,首注視點引導向嘴部時,孤獨症兒童對說話者嘴部的注視時間更長(圖e),視聽言語整合更強(圖f)。本研究表明,增加孤獨症兒童對說話者嘴部的注視能增強他們的視聽言語整合。本研究進一步揭示了孤獨症兒童對說話者臉部注視和視聽言語整合之間的關系,為開發幹預孤獨症兒童的視聽言語整合的方案有一定啟示。
圖. 本研究的實驗流程和實驗結果。a為實驗一說話者眼部模糊條件下每個試次的流程;b為實驗二首注視點引導向說話者嘴部條件下每個試次的流程;c和d分别為實驗一孤獨症兒童在說話者眼部模糊和說話者眼部清晰時對說話者嘴部的注視時間和發生麥格克效應(即視聽言語整合)的比例;e和f分别為孤獨症兒童在首注視點引導向嘴部、首注視點引導向眼部和自由觀看時對說話者嘴部的注視時間和發生麥格克效應(即視聽言語整合)的比例。
易莉課題組已畢業博士馮樹元(現在中南大學外國語學院任教)為論文的第一作者,易莉研究員和陳立翰副教授為本文的共同通訊作者。易莉課題組已畢業的王乾東博士(現在北京師範大學任教)、胡藝箫博士(現在鄭州大學任教)、陸昊陽博士、李天碧博士、在讀博士生宋詞,也為本文做出了重要貢獻。該研究由國家自然科學基金、廣東省重點領域研發項目、湖南省自然科學基金、湖南省優秀青年項目等資助完成。
Feng, S., Wang, Q., Hu, Y., Lu, H., Li, T., Song, C., Fang, J., Chen, L., & Yi, L. (2022). Increasing audiovisual speech integration in autism through enhanced attention to mouth. Developmental Science, e13348. https://doi.org/10.1111/desc.13348
2022-12-09