Известно, что мы воспринимаем речь не только на слух, но и на глаз – когда мы смотрим в лицо говорящему, на его движущиеся губы, это помогает нам понять, что он говорит – особенно, если мы беседуем в каком-нибудь шумном месте. То, что зрение тесно взаимосвязано со слухом, наглядно проявляется в эффекте Мак-Гурка: когда человек слышит одно, а видит другое – например, если в фонограмме он слышит повторяющиеся слоги ba-ba, а лицо на экране перед ним произносит ga-ga – то в восприятии окажется нечто среднее, не ba и не ga.
Большинство людей в такой ситуации слышит da-da, причём подопытный не отдаёт себе отчёт в несоответствии между тем, что он видит и тем, что слышит. Эффект Мак-Гурка проявляется не только в отдельных звуках, но и в целых предложениях, и, что любопытно, даже если человеку объяснить, в чём тут дело, сам эффект никуда не денется, и мозг знающего секрет фокуса всё равно будет воспринимать среднее арифметическое между зрительным стимулом и слуховым.

Но при этом взаимодействие слуха и зрения сильно зависит от культурно-языкового контекста. Например, по сравнению с англоговорящими людьми японцы обращают мало внимания на движения губ, когда слушают другого. Чтобы поподробнее изучить «японский феномен», исследователи из Университета Кумамото проанализировали направление взгляда, реакцию мозга и время реакции на сказанное у нескольких десятков человек, для половины из которых родным языком был английский, а для другой половины – японский.

В статье в Scientific Reports говорится, что если речь можно было воспринимать не только на слух, но и на глаз (то есть когда перед участником эксперимента стоял ещё и монитор, на котором было видно, как кто-то что-то произносит), то англоговорящие подопытные устремляли свой взгляд на рот человека на видео даже ещё до того, как тот начинал говорить. У японцев же взгляд особо нигде не задерживался, блуждая по всему видеоизображению. Как следствие, англоговорящие индивидуумы быстрее понимали, что им было сказано, если у них была возможность в буквальном смысле смотреть говорящему в рот, тогда как японцы от визуальной информации никаких преимуществ не получали и, несмотря на возможность наблюдать шевелящиеся губы, всё равно понимали сказанное с задержкой. На видео рот говорящего начинал двигаться на несколько сотен миллисекунд раньше, чем раздавался первый звук, так что «англичане», смотревшие в рот говорившему, могли слегка подготовиться к тому, что они услышат.

Отличия в поведении и понимании речи отражались и на активности мозга. Функциональная магнитно-резонансная томография показала, что у тех, кто с рождения говорил на английском, связь между зрительным анализатором и слуховым была сильнее, чем у тех, кто с рождения говорил на японском; и у англоговорящих связь между слуховым и зрительным областями коры включалась раньше, на самых первых этапах обработки слуховой информации.

Возможно, особенности восприятия речи японцами коренятся в их культурных особенностях – даже те, кто мало знаком с культурой Японии, знают, что у них не принято пристально смотреть в лицо при разговоре. Можно представить, что мозг, в силу природной пластичности, учитывает такую поведенческую особенность и в результате перестаёт обращать внимания на визуальные сигналы, сопровождающие речь; не исключено, что какие-то похожие особенности в восприятии устной речи есть и других культурах.

С практической же точки зрения это означает, что обычные для западных людей рекомендации учить иностранный язык с помощью видеоуроков могут оказаться бесполезными для японцев, которые слушают чужую речь не глядя.