Почти 300 лет назад, 10 апреля 1727 года, родился охранник, который стал великим сурдопедагогом. Речь идет о Самуэле Гейнике, в 1778 году открывшем первую в Германии школу для глухонемых. Он же стал одним из основоположников звукового метода обучения детей, лишенных слуха и голоса.
Данный метод в значительной степени основан на артикуляции — чтении по губам. Это умение знакомо большинству обычных людей по шпионским романам, главный герой которых рассматривает в бинокль разглагольствующего «врага» и с легкостью дешифрует его коварные планы.
На самом деле, чтение по губам — не такое уж простое дело. MedAboutMe разбирался, можно ли научиться шпионить на расстоянии за людьми и как наш мозг «слушает» глазами.
Уроки речи
Мы с рождения учимся говорить, воспринимая речь родителей не только на слух, но также присматриваясь к движениям их губ и языка. Даже новорожденные малыши пытаются имитировать артикуляцию взрослых людей. А если движению губ соответствует звук — ребёнок будет смотреть особенно внимательно.
Ученые давали младенцам прослушать аудио и просмотреть видео. Детей намного больше интересовало видео со звуком, чем просто звук. Причем малыши 4-8 месяцев от роду следили за губами людей, разговаривающих не только на их родном языке, но и на других. После года это пристальное внимание к губам людей, общающихся на родном языке, пропадало.
Сегодня чтение по губам — часть обучения глухих и слабослышащих людей. У последних уроки по обучению чтению артикуляции проходят более успешно, если они способны слышать хоть что-то. По словам ученых, способность к чтению по губам в значительной мере зависит от того, насколько у человека развиты аналитические способности и образное мышление.
Мозг и распознавание артикуляции
Наблюдение за говорящим человеком активирует в мозге области слуха, включая извилину Хешла — участок левого полушария мозга, где происходит обработка звуковой информации. Кроме того, в нейронную сеть распознавания речи входят верхняя височная борозда и области мозга, ответственные за обработку информации о лицах людей и выражении эмоций.
Ряд исследований также показали активацию центра Брока — участка коры мозга, который обеспечивает анализ проприоцептивной информации и представляет собой кинетико-моторный анализатор речи. Этот центр по сути обеспечивает моторику речи.
Но, как показали исследования, чтение по губам — это не просто сумма аудио- и визуальных сигналов. Занимаясь этой темой, ученые открыли эффект Мак-Гурка.
Эффект Мак-Гурка — Мак-Дональда
В середине 1970-х годов когнитивный психолог Гарри Мак-Гурк и его коллега Джон Мак-Дональд опубликовали результаты эксперимента, в ходе которого доказали мультимодальность восприятия человеком речи. То есть, Мак-Гурк со своими коллегами показал, что наш мозг распознает речь, собирая и обрабатывая информацию из разных органов чувств.
В ходе эксперимента ученые показывали испытуемым видео, в котором человек произносил один слог («га-га»), но на его изображение была наложена аудиозапись другого слога («ба-ба»). Когда участники эксперимента закрывали глаза, они безошибочно распознавали звуки. Когда они смотрели только видео, без звука — они тоже с высокой точностью идентифицировали их. Но при просмотре скомпилированного ролика возникал эффект Мак-Гурка (или, как его еще иногда называют, эффект Мак-Гурка—Мак-Дональда): испытуемые слышали звуки, которых не было — в приведенном примере «да-да». Что интересно, они даже не осознавали несовпадения услышанного и увиденного.
Аналогичный эффект наблюдался не только со слогами, но и с целыми предложениями. И даже после того, как испытуемым рассказали о сути эксперимента, это не повлияло на восприятие скомпилированного ролика — участники проекта по-прежнему слышали третий, несуществующий слог. Этим эффект Мак-Гурка отличается от оптических иллюзий — если о них рассказать испытуемому, он начинает видеть их так, каковы они на самом деле.
Влияние визуального образа на восприятие аудиоданных проявляется даже при явном несоответствии пола человека, который записан на видео, и аудиозаписи. Если испытуемым показывали мужчину, который «говорил» женским голосом, аудио и видео все равно давали третий по звучанию слог.
Еще один интересный опыт был поставлен в начале 1990-х годов. Испытуемым демонстрировали аудиовизуальное изображение мужчины, который с явным усилием произносит разные слоги. То есть, человек на экране демонстрировал, что он кричит во весь голос, но в аудиоверсии это была спокойная и очень тихая речь. Несмотря на услышанное, испытуемые оценивали звук как очень громкий.
Исследователи пришли к выводу, что эффект Мак-Гурка формируется в результате аудиовизуальной интеграции данных, поступающих в человеческий мозг. Ученые указывают, что это автоматическая реакция головного мозга, не контролируемая извне.
Сегодня эффект Мак-Гурка учитывается при разработке программ распознавания речи с видеозаписи. Кроме того, ученые говорят о том, что идею аудиовизуальной интеграции можно использовать для разработки новых методов лечения аутизма, шизофрении и последствий черепно-мозговой травмы.
Самые распространенные мифы о чтении по губам
- По губам легко понять смысл сказанного
Опытные чтецы по губам, которые способны разгадать или подобрать значительное количество слов, только на 60% понимают сказанное. Кстати, людей с акцентом, с местным диалектом непривычному человеку понять существенно сложнее, ведь они двигают губами, языком и зубами немного иначе.
- Чтецы по губам фокусируются на движении губ
Если быть точными, они фокусируются на всем сразу, включая движения языка, положение зубов и даже мимику, движения головой, взгляд, жестикуляцию — любые проявления эмоций.
- Любого можно научить читать по губам
В реальности разброс очень велик. Врожденных способностей к этому умению нет. Но те, кто потерял слух, уже научившись говорить, читают по губам намного лучше, чем люди глухие от рождения. И даже среди обычных здоровых людей разброс в способности определять смысл сказанного будет достаточно велик — мы же помним про воображение и умение анализировать информацию?
- Контекст не так уж и важен
Важен, еще как! Чтецы по губам ищут подсказки во всем, включая контекст сказанного. Он позволяет обозначить смысловые рамки текста, который надо «декодировать».
- Чем больше произнесенный текст, тем сложнее его прочесть по губам
Напротив, коротких фрагментов информации может быть недостаточно, чтобы сформировать контекстное поле и заполнить пробелы на месте непонятных слов. Полностью высказанная мысль прочитывается лучше, чем ее часть.
- Чем громче человек говорит, тем проще «прочесть» его
Это очередной миф, выросший из нашего знания о том, что громко произнесенный текст слышится более отчетливо. Но на слух глухому человеку все равно — кричат ему в ухо или шепчут, а вот «на взгляд» — совсем другое дело. Когда человек говорит слишком громко, он непроизвольно ускоряет свою речь, а когда шепчет — напротив, замедляет. Так что шепот легче читается по губам.
