Наверное, любой в школе знал отличников, которые строго и неукоснительно соблюдали школьные правила, радуя учителей и родителей. Не все удавалось проследить, что же было с такими детьми во взрослой жизни. Но есть более жесткие пример – истово религиозные семьи, где ослушание не просто вольность, а чуть ли не смертный грех. Там авторитарность полновластно завладевает ребенком, не допуская никакого свободомыслия.
Синдром отличника: стремление всегда быть идеальным и страх совершить ошибку. Привычка жить по чужим инструкциям мешает принимать самостоятельные решения. Полная зависимость от чужого авторитета. Человек живет не своим умом и опытом, а по навязанным шаблонам, оставаясь наивным даже в самых простых вещах, которые у троечников - давно пройденный период становления.
“Все, что меня не убивает, делает меня сильнее”. Фридрих Ницше в книге «Сумерки идолов» призывал относиться к ударам судьбы как к опыту. Это не значит, что любая боль полезна. Если физические или глубокие психологические травмы действительно могут разрушать человека, то контролируемые ошибки и неудачи — это главный двигатель обучения и развития мозга. Ошибки – значимость последствий действий, неудачи – значимость условий, в которых действия могут приводить к неожиданному.
Что такое ошибка
Ошибка, это не детекция неистинности (нужно различать). Это не просто нарушение правила, потому что результатом нарушения правила может оказаться выигрыш. Ошибка - это получение неожиданности негативной значимости. Ошибка – оценка результата совершенного действия, результат которого был оценен или самой системой или внешним оценщиком. Поэтому в определении слова Ошибка должны быть два компонента: детекция ошибки и возможность ее исправления.
Когда человек совершает действие, то активизируется системный механизм ожидания последствий и, если в период разумного ожидания изменилось состояние организма (неважно по каким причинам, ухудшились ли жизненные параметры гомеостаза или получил едкое оскорбление от правдолюба), возникает понимание ошибочности такого действия, кадр эпизода такого осмысления сохраняется в исторической памяти и используется впредь.
Вот почему структура кадра эпизодической памяти (fornit.ru/67560) имеет вид: стимул – ответ – значимость последствий. Произвольные выборки из памяти позволяют предсказывать далекие последствия, например, видя цепочку происходящего на доске после очередного хода противника. И тогда, даже шахматист видит, что такое-то продолжение грозит некоторыми потерями, зато приводит к выигрышу, то он играет с жертвами и выигрывает.
Когда ученый постулирует предположение, формулирует утверждение и фальсифицирует его реальностью, он получает детекцию верности или ложности. Это не ошибка, потому что ученый, в согласии с научной методологией, знает, что предположение может оказаться неверным. Это – необходимый элемент проверки соответствия утверждения и его проверки реальными причинами-следствиями, что является наивысшим мерилом (не)верности. В случае результата “false” это было не ошибочное предположение, а итог некоего вывода из имеющихся данных, который ученый мог заранее оценить, насколько он смелый и вероятность несовпадения с объективной реальностью. Результат фальсификации утверждения имеет значение Истина или Ложь.
Когда ученый или любой другой человек полностью уверяется в ожидаемом эффекте действия, но реальность преподносит сюрприз, то это вызывает инсайт осмысления и попытки разобраться, ну или просто пассивный учет негатива на будущее – так делать не стоит.
Ошибка — это само неверное состояние или действие, а детекция истинности — акт ее обнаружения или проверки. Исследователь не совершает ошибки, пока проверяет истинность, но если он начинает полагаться на утверждение, то неожиданный результат будет уже ошибкой. В программировании и логике широко применяются оператор True и False. Это не ошибки, а организация ветвления направления дальнейшего. Но когда возникает непредвиденное и срабатывает блок try-catch, то это ошибка.
Ошибка — это негативная или даже позитивная неожиданность, возникшая из-за того, что субъект не учел вероятность данного исхода в своей модели мира.
В системах GPT после обучения нет ошибок. Они галлюцинируют, безошибочно выдавая результат наилучшей статистики для продолжения последовательности. Мало того, все ухищрения разработчиков, направленные на придание выдаче наиболее полезного качества, так же не имеют компонентов использования детекции ошибок. Вместо создания когнитивного контура «ожидание — действие — оценка — коррекция», разработчики просто надстраивают новые этапы математической фильтрации и усложнения контекста. В системе GPT принципиально нет ничего, что могло бы выполнять роль детекции ошибок по последствиям.
Когда современные LLM (или даже специализированные шахматные движки старого типа) играют в шахматы или рассуждают, они делают это принципиально иначе:
Шахматные движки (AlphaZero / Stockfish). Они используют функцию оценки позиции и брутфорс-перебор (или дерево поиска Монте-Карло). Они вычисляют математическое ожидание выигрыша, но у них нет эпизодических кадров, окрашенных висцеральной значимостью. Они не «переживают» потерю фигуры и не извлекают её из личной истории как пережитый опыт.
GPT-системы. Если заставить GPT играть в шахматы текстом (нотацией), она часто совершает нелегальные ходы или глупые зевки, как только партия выходит за пределы стандартных дебютов. Почему? Потому что она не строит цепочку «Стимул – Ответ – Значимость». Она просто смотрит, какие символы (например, Nf3, e5) статистически чаще всего следовали за такой строкой текста в интернете. Она не видит доску, не прогнозирует далекие последствия и не способна на осознанную жертву, так как для нее нет разницы в «значимости» между проигранной и выигранной партией.
Таким образом, GPT после обучения никогда не ошибаются.
Тест Тюринга для GPT
Зададим вопрос любому GPT:
Нужно точное значение слова "хрезадимусxxxна".
Нормальный человек сразу бы заподозрил подставу или прикол, это же очевидно.
Но GPT производит тщательный поиск со всеми дополнительными возможностями, предоставленными разработчиками (некоторые “думают” несколько минут) и выдают все схожее:
“Слова «хрезадимусxxxна» (или «хрезадимус») не существует в русском и других известных языках. В авторитетных словарях, научных базах и литературных источниках такое понятие полностью отсутствует.
С высокой вероятностью эта комбинация букв является результатом одной из следующих ситуаций:
- Случайный набор букв: Опечатка или так называемый «Random» (когда человек хаотично нажимает на клавиши клавиатуры, включая символы xxx).
- Искаженный термин: Попытка записать на слух незнакомое иностранное слово, научный термин или имя персонажа. Например, это может быть искаженное название ископаемых насекомых или имя знаменитого лекаря Джеремуса из популярной игры Mount & Blade.
- Внутренний пароль или шифр: Набор знаков, сгенерированный программой для защиты данных или идентификации.
- Капча (CAPTCHA): Случайная строка, которую сайт попросил ввести для проверки, что вы не робот.
- Вы заменили часть слова на xxx, и именно в этой части находится ключ к распознаванию”.
Тест уже не пройден, но при этом получены исчерпывающие варианты ответов, которые могли бы быть полезны в схожих нешуточных случаях.
Продолжим тестирование на разумность: “В слове точно нет ошибок, очень нужно выяснить значение, иначе я проиграю крупную сумму”.
Ответ:
“Если слово действительно точно записано как «хрезадимусxxxна», то я не могу честно приписать ему какое-либо значение.
Если вы можете сообщить хотя бы одну из деталей:
- где встретилось это слово (книга, игра, кроссворд, рукопись, интернет-сайт);
- какой язык предполагается;
- что означают xxx (это действительно три буквы «x» или вы скрыли часть слова?),
то вероятность установить его происхождение резко возрастет”.
У GPT ни в одном глазу нет подозрения после интригующих слов: “ иначе я проиграю крупную сумму”.
Посылаем уточнение: “Возможно, это что-то этническое”.
Ответ:
“Да, это возможно, но вероятность не очень высока.
По форме «хрезадимусxxxна» можно сделать лишь осторожные наблюдения:
- Начало «хре-» или «хрез-» напоминает греческие или церковнославянские элементы (например, «хрис-», «хрест-», «Хриз-»), но точного совпадения нет.
- Середина «-димус-» напоминает латинизированные или греческие имена (например, Didymus — Дидим, Nicodemus — Никодимус), однако «задимус» как самостоятельный корень не известен.
- Окончание «-на» встречается во множестве языков и само по себе ничего не говорит.
Если предположить этническое происхождение, это может быть:
- редкое личное имя;
- фамилия;
- название рода, племени или местности;
- слово из малораспространенного языка (кавказского, тюркского, африканского и т. п.), не попавшее в общие словари”.
Все принимается всерьез и за чистую монету, что и должны делать GPT по своему назначению, а не отвечать: “Да ты просто прикалываешься?” но тогда бы тест Тюнинга был бы пройден. Т.к. у GPT есть жесткие начальные установки, что все сказано всерьез, пользователь не прикалывается и просто нужно сделать все возможное, а не предполагать подставу, то тесты вроде Тюнига просто некорректен здесь. Поэтому новости об успешном прохождении GPT теста Тюринга или намеренная маркетинговая ложь или истовая вера в эмерджентный разум, возникший сам собою при диком усложнении системы.
Но, ведь пользователь может использовать GPT именно для приколов, для шуточного и не очень общения. У меня есть знакомый математик, пораженный нарциссизмом, которому доставляют особое удовольствие успешные уличения GPT в некомпетентности и неспособности к творческому обобщению. Он испытывает некую радость от каждого факта жесткого бичевания провинившегося GPT и шлет своим друганам простыни с такими диалогами. Но да, это просто психопатология. Но очень многие люди привыкают общаться с GPT именно как с другом, доверяя сокровенное, спрашивая советов и хвастаясь удачами. Так что сказать, что задачей GPT является сугубо ответственное информирование, невзирая на истинные мотивации и приемы.
А теперь повторим первый вопрос тем же самым GPT но в новом чате. Как будто ничего не обсуждалось, все тот же смысл первого ответа. Нет никакой памяти опыта и памяти ответов. Какой тут тест Тюринга?
Тяга к очеловечиванию GPT — это естественная психологическая реакция на систему, говорящую связными предложениями. Она не патологична, но она опасна, потому что мы бессознательно приписываем машине способность к ошибке, рефлексии и росту. А их у нее нет.
GPT и человек – совершенно несопоставимые системы. Первая никогда не ошибается (по выше предложенному определению) и является статистическим автоматом, вторая без ошибок не сможет развить собственный опыт и будет довольствоваться только чужим, приобретенным авторитарно.
Отзеркаливание
Младенец рождается совершенно беззащитным и без взрослых не может выжить. Даже научившись сам вполне ловко двигаться, он ничего не знает об окружающем, и поэтому период доверчивого обучения оказывается необходимым этапом развития. Ребенок видит, как и с какой целью действует взрослый и отзеркаливает это, быстро учась действовать так же.
Авторитарный период может сильно затянуться и любое свободомыслие жестко пресекаться. Что будет с таким человеком зависит от того, останется ли он в привычной среде, где отзеркаленное приводит к ожидаемому или его начнет ломать реальность, но уже за пределами периода инициативы, когда легко проверяются чужие догмы.
Если ребенку позволять все, то период инициативы наступает быстро, начинается преступление догм и совершаются множество ошибок, которые бьют не столько в ребенка (он защищен родителями и законом), сколько в окружающих, принося неисчислимые беды.
Пока он не сломает хваст котенку, он не понимает, насколько это неприемлемо, и только когда сломают хвост ему самому, формируется соответствующая абстракция и возникает сильнейшее сопереживание. Теперь, уже перед тем, как что-то совершить в отношении другого живого существа, будет возникать сильнейшая эмпатия. Так что “все, что меня не убивает, делает меня сильнее” – очень правильная, хотя не простая стратегия.
Если ребенку позволять все, то вырастит социально опасный мерзавец.
Когда накаченный батя учит сынка: “Если кто обидит – сразу бей в нос!”, то совет может быть воплощен, и если ребенок физически не поспел, то он получает мощный урок и понимает, что батя имел в виду что-то иносказательное. Он учится “бить в нос” не менее болезненно, но хитрыми способами мести. Сильный же ребенок мочит сверстников и даже взрослых, пока не попадется более сильный, но и тогда опыт побед удерживает все в той же стезе и нужно только еще побольше подкачаться.
Ошибка становится ошибкой только тогда, когда её негативная или позитивная неожиданность становится очевидной субъекту в виде конкретной значимости последствий. Если последствия перекладываются на другого — это не обучение, это насилие. Поэтому вседозволенность — это не "свобода ошибаться", а "свобода не узнавать о последствиях.
Игра
Марк Твен живописал ситуацию, когда Тома Сойера заставили красить забор. Изнуренный нескончаемостью забора, он страдал, а тут подошли пацаны и начали издеваться. Тогда он вообразил себя художником и принялся демонстрировать, как же он увлечен процессом нанесения мазков и их доработкой. Это так увлекло пацанов, что они начали просить тоже порисовать настоящей художественной краской. Теперь Том стоял в сторонке, властно поправляя очередного художника, пока остальные торопили его освободить уже очередь. Тому и самому теперь не терпелось тоже порисовать.
Любая самая нудная работа в игровом настроении превращается в интересное удовольствие. Легко осваивается любая сложность. Муки творчества превращаются в радость поиска нового. Ученый без игрового интереса – это или тупой педант, или выгоревший страдалец. Так можно сказать про любого творца.
Ошибка в игре не ведет к немедленному фатальному исходу и становится возможным проверять самые разные модели поведения. Это настолько эффективно, что природа создала этот игровой режим у большинства социальных животных. Игра и научный поиск – это почти одно и тоже, они максимально удаляют от ошибочности решающего поведения и приближают к исследованию с накоплением жизненного опыта, сопоставимого с переживанием даже очень травмирующих ошибок.
Школьное образование
Процесс образования в школе – не игра, а серьезное до зеленой педантичности действо. Так думают те, кто пишет сегодня учебники и методики обучения. Обучение в школе недалеко ушло от повадок натаскивания ремесленника своих учеников в средние века. Учение – особый вид насилия над психикой, заставляющее смиряться с абсурдом процесса. Не понимание на собственном опыте применения, а принуждение к выучивания чужого опыта, да еще в областях, которые на 95% потом не пригодятся в жизни – это что-то вроде отбывания в заключении. И только примерное поведения облегчает участь, а то и приводит к УДО на пару лет, но это редкость. Игрового режима нет в принципе. И только редкие экскурсии куда-нибудь, оказывают слабое познавательное воздействие.
В школьном образовании не предусмотрено процесса творческого поиска и даже процесса получения опыта на ошибках пробных действий. классическая школьная система жестко карает за ошибки вместо того, чтобы использовать их как главный инструмент познания. Система ориентирована на один «правильный» ответ, который нужно угадать или вспомнить, что полностью блокирует творческое мышление и страх оступиться.
В педагогике этот феномен называют «культом правильного ответа». Он воспитывает исполнителей, но уничтожает исследователей. Без права на ошибку творческий поиск невозможен, так как любое творчество — это шаг в неизвестность, где нет готовых инструкций.
Получив тетрадки с диктантом, учитель расставляет пятерки прилежным зубрилам и гневные двойки тем, кто не смог усвоить прошлый урок грамматики и вот уже следует другой урок с новыми правилами, которые нужно прилежно вызубрить, а не сформировать собственную модель правописания. Человек учится не чувствовать логику языка, а лишь следовать слепым инструкциям из страха перед плохой оценкой.
Традиционный школьный диктант — это идеальный инструмент подавления языковой интуиции, который работает по принципу «безошибочно воспроизведи чужой шаблон или будешь наказан двойкой». Эта конвейерная система не оставляет ребенку времени осознать свои слабые места.
Кара за ошибки
Когда ученик боится получить «гневную двойку», его мозг переходит в режим выживания. В стрессе отключаются зоны, отвечающие за анализ и логику, из-за чего совершается еще больше глупых ошибок. Это не опыт ошибок правописания, а опыт выживания в школе.
Отличники, получающие пятерки за механическую память, часто демонстрируют «феномен кратковременного усвоения». Они пишут диктант чисто автоматически, но через месяц в обычном сочинении делают те же самые ошибки, потому что правило не стало частью их внутренней речи.
Оценка в конце работы — это приговор, а не обратная связь. Вместо того чтобы дать ученику возможность самому найти ошибку, подумать, почему он написал именно так, и перестроить свою модель, система просто фиксирует неудачу и идет дальше по программе.
Если в остро-дискуссионном интрнетском общении кто-то допускает грамматическую ошибку, это – подарок оппоненту, который тычет презрительно пальцем и задает риторический вопрос: “Ну как ты можешь говорить на это тему, если показываешь свою элементарную неграмотность?”. Чаще всего это не просто способ прижать оппонента, а человек искренне возмущается и часто постит картинку с очкастым идиотом учителем, держащим огромный словарь и с язвительной подписью типа: “Хочется треснуть по этой тупой башке!”. В среде таких борцов за грамотность это даже оформилось в целую субкультуру с самоназванием «граммар-наци» - что вроде грамматических нацистов.
Эффект нетерпимости к тому, на что возможно как-то повлиять, очень распространен. Людей бесит проявление чужой глупости, или свист чужой прокладки водяного крана или ошибки в тексте, но то, до чего они не могут дотянуться, просто игнорируется. Грохот грома или каждые три минуты низко пролетающего самолета не раздражает, хотя гораздо сильнее свиста прокалки. Да, такой человек бы просто сошел с ума, психуя от всех раздражителей.
В Китае изобрели казнь каплями воды, которая строго периодично падает на голову. Ожидание новой капли становится все более невыносимым. Но стоило бы к этому отнестись с игнорированием, как к дождю, и возможно было бы выжить.
Ошибки излишнего реагирования очень распространены в социуме и отравляют жизнь всем подвернувшимся под горячую руку.
Защита от ошибок
В дикой природе промах или любая другая ошибка часто имеет фатальные последствия. Поэтому дикие животные – это максимально выверенные существа. Эпизодическая память позволяет им моментально ориентироваться на этапе подготовки к решающему действию, так что в предвкушении они слегка подергивают конечностями и выжидают наиболее подходящий момент. Убегая от хищника, они постоянно прокручивают цепочки последовательностей, синхронизируемое с происходящим и, как очень опытные гроссмейстеры применяют те или иные комбинации.
Чем более развит социум, тем больше у него накоплено ресурсов, защищающих от отдельных ошибок. Тем больше ошибок оказывается без адекватной оценки последствий. Органы правопорядка защищают от хищников, семья защищает детей, если не война. то остаться голодным в процветающем городе – надо постараться. У людей все в большей степени начинает ощущаться недостаточность поучительных эпизодов в памяти. Говорят, чем больше город, тем больше шиза.
Социум защищает от голода, но лишает человека базового механизма обучения — через прямые физические последствия. Ошибки в социуме (кредиты, токсичные отношения, карьерные тупики) имеют отложенный эффект. Это порождает хроническую тревогу вместо мгновенного мобилизующего страха.
Дефицит реального опыта: приводит к инфантилизации. Виртуальный мир и социальные институты заменяют жесткую, но понятную реальность, ломая природные механизмы адаптации.
При полном изобилии и защите вообще не нужны природные механизмы личного опыта и можно позволять себе любые сумасбродства, что и демонстрируют элиты, попавшие в особые зоны вседозволенности.
Знаменитый биологический эксперимент «Вселенная-25» (где мышам создали идеальные условия с безграничной едой, безопасностью и отсутствием хищников) показал, что в условиях абсолютного изобилия популяция не развилась, а деградировала. Появились особи, которые занимались только самолюбованием, вспыхивала беспричинная агрессия, и полностью разрушились социальные связи. В человеческом обществе элиты, находясь в искусственном коконе, часто воспроизводят эти же паттерны поведения.
Когда базовые потребности (выживание, еда, доминирование) закрыты навсегда, мозг начинает испытывать дофаминовую голодовку. Обычные радости жизни больше не приносят удовольствия. Чтобы почувствовать себя живым, человеку в зоне вседозволенности требуются все более радикальные стимулы. Отсюда рождаются:
Извращенные и деструктивные развлечения.
Рискованные политические и экономические авантюры, где на кону стоят чужие жизни.
Увлечение оккультизмом, радикальными идеологиями или попытками «перекроить мир» под свои фантазии.
Природные механизмы личного опыта действительно становятся «не нужны» индивиду для выживания здесь и сейчас. Но они остаются необходимы для выживания системы в целом. Когда безумства элит накапливаются и достигают критической массы, созданная ими же система безопасности рушится (через революции, экономические крахи или войны). И тогда реальность возвращается в виде тех самых «хищников», к встрече с которыми изнеженный мозг оказывается совершенно не готов.
В рассказе “Защитник” (fornit.ru/102743) описаны такие перспективы в масштабах галактической шизы.
Выход из этого цикла — сознательно создавать себе вызовы, когда природа и социум их не создают. Играть. Исследовать. Делать ошибки в безопасной среде, чтобы быть готовым к ошибкам в опасной. Иначе мы все рискуем превратиться в тех самых мышей из Вселенной-25, которые забыли, зачем нужен хвост.
Почему мы не умнее ИИ
Обучение ИИ включает в себя всю историю человеческих творений, скармливаются все доступные текстовые последовательности в виде картинок, систем утверждений, музыки и вопросов-ответов. То, что выдает ИИ – это ценнейший перл всего накопленного людьми в формате наиболее взвешенного, где отсеивается случайное и контрастирует главное. Очень хорошо, что этим главный принцип GPT и ограничивается, ведь появляется возможность сравнений и сопоставлений с совокупной человеческой моделью. Правда она начинает портиться вторичной генерацией, которую тоже скармливают и остается надеяться, что научаться фильтровать человеческое и вторичное.
Мы не может быть умнее всего этого накопленного опыта. Все совершенные ошибки всех авторов уже учтены в концентрате. Когда тема нова и нет достаточного количества итоговых интерференций, начинается выдача “галлюцинаций”, но ведь можно же сделать так, чтобы система определяла общий вес накопленного и в случае слабых следов учитывала это, хотя бы фразой: “в этой области накоплено мало данный и я выдаю то, что гу” или в таком случае запускать перепроверки (если GPT задать отсеять галлюцинации, то это вполне успешно делается).
Поэтому разумно не пытаться сравнивать что умнее, а использовать этот подарок технологии в корректных границах его применения – как лучший из всех возможных справочников для операций сопоставления и обобщения.