Статья О сути эффекта Даннинга

Короткий адрес страницы: fornit.ru/70928 Короткий адрес страницы - скопировать в буфер обмена.

О сути эффекта Даннинга–Крюгера

Показан механизм конфликтов взаимопонимания на основе разных уровней компетенции, который описан в эффекте Даннинга–Крюгера

В 1999 году Джастином Крюгером и Дэвидом Даннингом, психологами из Корнеллского университета, в журнале Journal of Personality and Social Psychology, том 77, номер 6, страницы 1121–1134, была опубликована работа: «Unskilled and Unaware of It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments» («Некомпетентные и не осознающие этого: как трудности в распознавании собственной некомпетентности приводят к завышенной самооценке»).

Авторы сформулировали эффект следующим образом: «Люди с низким уровнем компетентности в определённой области склонны завышать свои способности, потому что им не хватает метакогнитивных навыков для осознания собственной некомпетентности».

Другими словами, некомпетентные люди не могут правильно оценить свои знания или навыки, потому что именно эта некомпетентность мешает им понять, насколько они плохи. Чем ниже уровень знаний или навыков, тем выше вероятность, что человек будет переоценивать себя. Обучение и приобретение навыков помогают не только стать лучше, но и осознать, насколько человек был некомпетентен ранее.

Авторы не знали механизма реализации эффекта, как и в случае множества других психологических эффектов (fornit.ru/psy_effects). Но они воспроизводились у других исследователей на уровне надежной аксиоматики. А то, что подтверждается в опытах для определенных граничных условий, тем самым, уже не требуют никаких других доказательств.

Все попытки опровергнуть эти эффекты методами рассуждений и некоей логики называются методом Аристотеля (fornit.ru/6735) и приводит к неадекватным реальности выводам, потому что в реальности уже воспроизводится формулировка аксиомы, что и является очевидным и доказательным для субъекта (fornit.ru/7117).

Идиотизм метода Аристотеля проявляется в том, что вместо того, чтобы просто проверить утверждение на опыте, делаются попытки его верифицировать “логически”. Пример этого – история с мухой Аристотеля: fornit.ru/889.

Из-за того, что авторы эффекта Даннинга – Крюгера не знали свойств семантической и эпизодической памяти, они не смогли сформулировать более полную картину эффекта при сравнении опытного и неопытного субъектов. С названием этого эффекта связывают два основных утверждения:

1. Неопытный в споре с опытным не видит то, что очевидно опытному (явления субъективной невидимости: fornit.ru/830) и поэтому опытному очень трудно доказать свою правоту. Эффект 1.

2. Неопытному кажется, что в данной области он знает все, а опытный знает, как много еще он не выяснил в этой теме. Эффект 2.

Оба эффекта являются последствиями работы субъективной модели понимания (fornit.ru/69260), основой которой является историческая память эпизодов осознания (fornit.ru/art8). Эта память эволюционно сначала формируется в виде семантической памяти, связывая образы с их значимостью для известных условий, а затем дополняется эпизодической памятью, в которой сохраняются правила реагирования и значимость их последствий.

Первый эффект работает в 100% случаев спорящих пар опытных с неопытными. Невидимость оказывается тем большей, чем больше уровней вложений понимания есть в памяти эпизодов. Так, на основе первоначального правила и сопутствующей ему семантике (общий уровень), возникать более частные эпизоды. И таких уровней с опытом может возникать неограниченное число последовательностей от общего с более частному.

Общее правило (уровень 1): «Развивай фигуры в начале партии».

Уровень 2 (частное применение): «Коня лучше ставить на f3, а не на h3, потому что он контролирует центр».

Уровень 3 (ситуативный эпизод): «В позиции с пешкой на e5 нельзя развивать слона на g5, потому что после ...f6 он будет атакован и потеряет темп».

Уровень 4 (стратегический контекст): «Если у соперника слабость на d6, то лучше отложить размен коней, чтобы сохранить давление».

Уровень 5 (мета-понимание): «Я знаю, что если я сделаю этот ход, он вызовет у соперника психологическое напряжение, потому что он уже проигрывал такую позицию на турнире в 2018 году».

Неопытный игрок видит только первый уровень: «развивай фигуры». Он не понимает, почему опытный не развивает слона, хотя «по правилам надо». Для него доводы опытного — невидимы, потому что у него нет в памяти этих 5 уровней вложенных эпизодов.

«Если программа падает — смотри на стек-трейс».

Уровень 2: «Nullpointerexception часто возникает из-за непроверенного ввода».

Уровень 3: «В этом фреймворке null возвращается при ошибках конфигурации, а не при логических ошибках».

Уровень 4: «Я помню, что в версии 2.3.1 была бага, когда сервис возвращает null при таймауте, а не исключение».

Уровень 5: «Этот сценарий уже был у нас в проде в 2021 — тогда мы не заметили, что ошибка маскируется логгером, и потеряли 3 часа на расследование».

Новичок начинает с перезапуска сервера. Опытный сразу знает, где искать проблему, потому что у него в памяти — цепочка эпизодов, где каждый уровень уточняет предыдущий. Но объяснить это новичку — почти невозможно, потому что смысл каждого шага теряется без контекста.

«При боли в животе — исключить аппендицит».

Уровень 2: «У пожилых пациентов симптомы могут быть стёртыми».

Уровень 3: «У этой пациентки диабет — значит, воспаление может протекать бессимптомно».

Уровень 4: «В прошлом году у неё была непроходимость кишечника — это меняет дифференциальную диагностику».

Уровень 5: «Она не говорит о боли, потому что боится госпитализации — я это уже видел у пациентов с социальной изоляцией».

Молодой врач хочет сделать УЗИ и сдать анализы. Опытный уже подозревает осложнение, потому что его когнитивная модель — это дерево из тысяч таких вложенных случаев. Но объяснить это коллеге словами вроде «я чувствую, что тут что-то не так» — и вызвать недоумение.

Второй эффект проявляется в субъективной самооценке общего состояния решенных проблем (найденных правил и реализующих поведение автоматизмов). У неопытного нет нерешенных проблем в данной области. Опытный же сразу видит то, что пока еще не знает в тех или иных случаях. У специалистов это организовано в виде доминант нерешенных проблем (гештальт: fornit.ru/68503), которые актуализируются в условиях данной темы мышления.

Так, в определенный период развития физики посчитали, что больше не осталось неисследованных законов природы и физика ничего нового уже не откроет. Но появились эмпирические данные (теория относительности, квантовая механики), которые никак не могли быть объяснены на основе уже известного. Столкнувшиеся с этим физики озадачились и у них возникли доминанты нерешенных проблем. Те, кто не слышали про эти новые данные, продолжали полагать, что уже все знают, а более опытные понимали, как много еще предстоит узнать.

Второй эффект не на 100% проявляется в парах опытных-неопытных, потому что зависит от того, насколько много нерешенных проблем в данной области есть у субъекта и настолько они имеют высокую значимость, чтобы стать доминантами. Могут быть любой процент в статистических выборках, что и порождает сомнения в существовании эффекта. Этот случай опровержения эффекта рассмотрен внизу статьи.

Применение статистических методов, если неизвестны конкретные механизмы явления, что можно наделать сколько угодно некорректных выборок и прийти к различным результатам. В таких случаях попытки статистики приемов верификации являются методологически некорректными, т.е. ненаучными. Так, изредка появляются “научные” статьи о превышении скорости света его значение в вакууме или о безопорном движении и т.п. Во всех них обнаруживаются изъяны методологии.

Если исследователь пытается статистически доказать такой эффект, используя некорректные выборки (например, опрашивает людей, которые никогда не сталкивались с аномалиями), он может прийти к выводу, что «опытные не видят больше нерешённых проблем» — и опровергнуть эффект, хотя на самом деле он просто не создал условий для его проявления. Это как проверять, боится ли человек темноты, только у тех, кто всю жизнь жил при свете. Вот пример:

Новичок: «Я написал “Hello, world!” — теперь я программист».

Мастер: «Я 20 лет пишу код, и каждый день вижу, чего я не понимаю: raceconditions, memoryleaks, архитектурные долги...».

Представим, что учёный проводит опрос: «Сколько нерешённых проблем вы видите в программировании?».

Результат: Группа А: «0–1 проблема», Группа Б: «десятки».

Но если исследователь случайно возьмёт в выборку Б только тех senior-разработчиков, которые работают с простыми CRUD-приложениями и никогда не сталкивались с распределёнными системами, они тоже скажут: «Всё понятно, проблем нет».

Ошибка: опыт есть, но не было столкновения с границами знания -> эффект не проявился -> исследователь делает вывод: «опыт не увеличивает осознание нерешённых проблем» — ложный вывод.

Эффект Даннинга-Крюгера (ДК) проявляется как состояние понимания на разных уровнях субъективного опыта. Более опытный человек (учитель) не может сразу объяснить менее опытному (школьник) почему именно утверждение верно, потому что для этого ему пришлось бы пояснить школьнику по очереди несколько уровней понимания явления.

Эффект ДК - одно из самых распространённых и провокационных когнитивных искажений в повседневной жизни, науке, политике, образовании и даже в интернет-дискуссиях. Он особенно ярко проявляется в ситуациях, где люди с низкой компетентностью в предмете уверены в своей правоте, а эксперты, напротив, скептичны в своих оценках.

Вот несколько ярких и очевидных примеров, иллюстрирующих эффект Даннинга-Крюгера в реальной жизни:

• Пользователь установил Windows с флешки и считает себя "компьютерным гуру". Он начинает спорить с системным администратором о настройке сети. Он не понимает разницы между домашним роутером и корпоративной сетью. Администратор, напротив, знает, насколько сложна безопасность и масштабируемость, и поэтому осторожен в оценках, что может выглядеть как "нерешительность".

• Человек посмотрел одно видео про "как ФРС обманывает народ" и начинает на форуме настаивать, что ”вся экономика — это пирамида! Нужно отменить деньги и вернуться к бартеру!” Экономист же знает, насколько сложны модели, и говорит: "Это упрощение, реальность неоднозначна…" — что воспринимается как "запутанность" или "служебная ложь".

• Родитель, не имеющий медицинского образования, отказывается от вакцинации, ссылаясь на "собственный опыт" и статьи в интернете: “Мой ребёнок был болен после прививки — значит, все прививки вредны!” Врач, знающий тысячи случаев, механизмы действия вакцин и риски, говорит: "Риск осложнений крайне мал, польза огромна", но не говорит этого с 100% категоричностью — и это воспринимается как "неуверенность" или "скрытность".

• Человек, прочитавший пару статей о тревожности, начинает "диагностировать" окружение: "Ты, явно, с ОКР. У тебя же ритуалы!" Клинический психолог, напротив, говорит: "Нужно исключить другие причины, провести интервью…" — и кажется "чрезмерно осторожным".

• Ученик не понимает математики, но уверен, что: "Это всё абстракции! В реальной жизни никто не использует интегралы!" Учитель, знающий, как производные лежат в основе технологий (от GPS до ИИ), не может это быстро объяснить — и ученик воспринимает это как "бессмысленность".

Эффект Даннинга-Крюгера — не про "глупость", а про отсутствие метапознания.
Чем меньше человек знает — тем меньше он понимает границы своего знания, и тем увереннее он говорит о том, в чём совершенно не разбирается.

• Не впадать в ярость при спорах с "уверенными новичками",

• Развивать в себе скромность и критическое мышление,

• Лучше объяснять — начиная с базового, а не с вершины.

Эффект Даннинга-Крюгера — это когнитивное искажение, при котором люди с низким уровнем компетентности в определённой области переоценивают свои знания или способности, в то время как люди с высоким уровнем компетентности склонны недооценивать себя.

Причина в том, что новички не знают, чего они не знают — им не хватает метапознавательных навыков, чтобы оценить свои ошибки. Эксперты, напротив, знают, насколько сложна тема, и поэтому склонны думать, что то, что им кажется простым, так же просто и для других.

Когда школьник оспаривает учителя, считая своё (упрощённое или ошибочное) понимание очевидным и правильным, а сложное объяснение учителя — нелогичным или неверным, — вот здесь как раз и проявляется эффект Даннинга-Крюгера.

Школьник не обладает достаточной компетенцией, чтобы оценить глубину темы, сложность концепций, ошибочность собственных упрощений. Он думает: "Если я понял это так, и это логично, значит, я прав", не понимая, что его "логика" построена на неполных или искажённых представлениях. Он не видит пробелов в своём понимании, потому что не знает, чего не знает.

Классическая формулировка эффекта Даннинга-Крюгера:

"Низкая компетентность ведёт к ложной уверенности, потому что отсутствует метапознание — способность оценить качество собственных знаний".

Понимание сути явлений формируется долгим процессом изучения уже известного и постепенным повышением уровня понимания с расширением границ обобщений ко все более целостной модели. Каждый новый уровень использует предыдущий как контекст для новых выводов и взаимоотношений компонентов модели понимания. Этот процесс поддается математической формализации.

Самые же первые сведения обычно сводятся к простой очевидности понимания причин и следствий, ведь очевидность – самое убедительное, что есть у человека (fornit.ru/7117).

Увидеть сложную модель для наивного уровня понимания невозможно, а все доводы кажутся бессмысленными и глупыми.

Математическая формализация сути эффекта ДК

Формализуем педагогический процесс объяснения в контексте эффекта Даннинга-Крюгера с помощью математической логики — а именно: почему учителю приходится разбивать объяснение на иерархию шагов, и как это связано с уровнем компетентности ученика.

Мы можем это сделать, используя модель знаний как множества логических утверждений, построенную по принципу зависимости (выводимости), и вводя понятие порога понимания и метапознавательной компетентности.

1. Базовая модель: Знание как множество утверждений

Пусть существует универсум утверждений L — множество всех возможных утверждений в некоторой предметной области (например, арифметика, физика и т.д.).

2. Знание агента как подмножество и замыкание

Пусть у агента (ученика или учителя) есть база знаний K⊆L .

— множество всех утверждений, которые агент может вывести из своих знаний с помощью логических правил.

3. Иерархия понимания: зависимости между утверждениями

p≺q означает для понимания q необходимо понять p

в любом разумном доказательстве q утверждение p используется как лемма или предпосылка.

Это отношение порождает частичный порядок на L , а в простых случаях — направленный ациклический граф (DAG) знаний.

Определим глубину утверждения d(p) — минимальное число шагов от аксиом или базовых интуиций до p :

• d(«ускорение свободного падения постоянно») = 2 — требует понимания силы тяжести и отсутствия сопротивления.

• d(«все тела падают с одинаковым ускорением в вакууме») = 3 — требует абстракции.

• T — учитель, K_T — его знания, Cn(K_T ) — всё, что он может вывести.

• S — ученик, K_S — его знания,

— максимальная глубина, до которой он может понимать.

Предположим, учитель хочет объяснить утверждение •

Чтобы S понял q , нужно последовательно ввести все

6. Процесс объяснения как последовательное расширение знаний

Процесс обучения можно описать как последовательность расширений базы

где на каждом шаге добавляется утверждение pi, необходимое для вывода q .

Если учитель попытается сразу сказать q , это будет:

и ученик не сможет его принять логически — он либо отвергнет, либо запомнит формально, без понимания.

7. Эффект Даннинга-Крюгера: отсутствие метапознания

Теперь формализуем ключевой аспект эффекта — неспособность оценить собственное незнание.

Определим метапознавательную компетентность агента:

Ученик с низкой метапознавательной компетентностью имеет:

Он ошибочно полагает, что может оценить q , потому что:

• он может построить интуитивную модель (например, "тяжёлые вещи падают быстрее"),

• он не видит зависимости q от более глубоких утверждений.

Низкая компетентность ⇒ отсутствие M(p) ⇒ ложная уверенность в q

агент может утверждать q или ¬q с высокой уверенностью.

• p₁ : "Сила тяжести действует на все тела" — d=1

• q: "В вакууме перо и молоток падают одинаково" — d = 3

Ученик знает p₀ , но не знает p₁,p₂. Его d_max =0 .

Он уверен, что q ложно, потому что "тяжёлое падает быстрее" — его интуиция противоречит науке, но он не может этого осознать.

Мы можем описать эффект Даннинга-Крюгера в обучении так:

Эффект Даннинга-Крюгера проявляется, когда агент с низкой глубиной знаний d_max (S) и нулевой метапознавательной компетентностью M пытается оценить утверждение q , лежащее за пределами его иерархии понимания, и делает это с ложной уверенностью, потому что не осознаёт зависимостей q от более глубоких утверждений.

Поэтому учитель объективно вынужден разбивать объяснение на этапы — чтобы восстановить цепочку выводимости, соответствующую иерархии знаний.

Есть немало публикаций, в которых делается попытка опровергнуть эффект ДК и причиной видится попытка хайпа на горячей и популярной теме, потому как все такие публикации довольно поверхностны и во многом невежественны. Они опровергают очевидный конфликт, который очень часто возникает при спорах детей с родителями, школьников с учителями и т.д.

Эффект возникает потому, что более опытный получает вывод из нескольких последовательных уровней приближения, которые просто не видны оспаривающему. Отрицать, что такие споры возникают - очень странно, т.к. они буквально повсеместны.

По ссылке автор пытается компрометировать эффект ДК тем, что в некоторых представлениях он похож на статистическое распределение. При этом автор как бы не признает, что факты являются доказательством № 1. Статья содержит существенные логические и методологические ошибки.

1. Автор путает корреляционный артефакт с когнитивным эффектом

Ошибка: Автор утверждает, что поскольку график из оригинальной статьи Даннинга–Крюгера визуально напоминает эффект регрессии к среднему, то и сам эффект Даннинга–Крюгера якобы «сводится» к этому статистическому явлению.

Эффект Даннинга–Крюгера — это не просто статистическая корреляция между двумя измерениями, а когнитивное искажение, при котором люди с низкой компетентностью не способны корректно оценить свой уровень знаний из-за отсутствия метакогнитивных навыков.

В оригинальной работе (Kruger & Dunning, 1999) сравнивались два разных типа данных:

Самооценка (субъективная оценка своих способностей),

Регрессия к среднему может объяснить некоторую часть дисперсии, но не объясняет систематическое завышение самооценки у малоуспевающих — именно это и является сутью эффекта.

Ключевой момент: Регрессия к среднему — это симметричное явление. А эффект Даннинга–Крюгера — асимметричный: именно низкокомпетентные люди больше всего переоценивают себя, тогда как высококомпетентные — либо правильно оценивают, либо даже занижают свои способности.

2. Автор неправильно интерпретирует методологию Даннинга–Крюгера

Ошибка: Автор считает, что методика Даннинга–Крюгера — это просто деление на квартили по одной переменной и построение среднего по другой, и поэтому результат — артефакт.

Даннинг и Крюгер не просто строили график корреляции, а проводили эксперимент с обучением. Они показали, что после обучения низкокомпетентные люди не только улучшают свои результаты, но и начинают корректнее оценивать себя.

Это не может быть объяснено регрессией к среднему, потому что регрессия не зависит от обучения — она чисто статистическая.

В их работе эффект не исчезает при повторных измерениях, а изменяется систематически под воздействием информации — что указывает на когнитивную природу, а не статистический шум.

3. Регрессия к среднему не объясняет асимметрию эффекта

Автор утверждает, что если поменять порядок измерений, эффект «работает в обе стороны», и это якобы доказывает его статистическую природу.

В его примере с контрольными работами (рис. 4 и 5) действительно наблюдается симметричная регрессия — это нормально, потому что оба измерения — объективные (оценки за контрольные).

Но в оригинальном эффекте Даннинга–Крюгера одно измерение — субъективное (самооценка), другое — объективное (тест).

Регрессия к среднему не может объяснить, почему люди с низкими баллами в тесте систематически ставят себе высокие баллы в самооценке, выходящие за пределы возможной регрессии.

В его же примере с контрольными никто не ставил себе оценки — это совершенно другая структура данных.

Пример: если студент получил 5/20, но сам считает, что заслужил 18/20 — это не регрессия, это когнитивное искажение.

Автор не рассматривает механизм, предложенный Даннингом и Крюгером, а ограничивается визуальным сходством графиков.

Теория Даннинга–Крюгера основана на метакогнитивной гипотезе: чтобы оценить свои знания, нужно уже обладать этими знаниями.

Человек, не знающий грамматики, не может понять, что он делает ошибки.

Это подтверждается экспериментально: после обучения такие люди начинают правильно оценивать свои способности.

Регрессия к среднему не предсказывает такого изменения — она не зависит от обучения.

5. Визуальное сходство ≠ идентичность механизмов

Ошибка: Автор делает вывод о тождественности эффектов на основе внешнего сходства графиков (рис. 1 и 4).

Многие разные процессы могут давать похожие графики (например, линейная зависимость, выбросы, регрессия).

Это логическая ошибка — эквиваленция формы и содержания.

Чтобы доказать, что эффект — артефакт, нужно показать, что после статистической коррекции на регрессию эффект исчезает. Автор этого не делает.

6. Контрпример: эффект сохраняется при коррекции на регрессию

Независимые исследования (например, Nuhfer et al., 2016, 2017) показали, что эффект Даннинга–Крюгера сохраняется даже после статистического учета регрессии к среднему.

Систематическое завышение самооценки у малоуспевающих — реальный феномен, не сводимый к статистике.

В некоторых случаях эффект исчезает при использовании неправильных шкал, но воспроизводится при корректных методах.

Автор демонстрирует понимание регрессии к среднему, но неправильно применяет её к эффекту Даннинга–Крюгера, игнорируя:

• разницу между субъективной и объективной оценкой,

• экспериментальные подтверждения, выходящие за рамки статистики.

Эффект Даннинга–Крюгера не опровергается регрессией к среднему. Он может быть частично искажён ею в некоторых методиках, но его ядро — когнитивное, а не статистическое. Утверждение, что он «сводится» к регрессии, — упрощение, ведущее к ошибочному отрицанию реального психологического феномена.