Относится к сборнику статей теории МВАП

Нужно ли выделение новизны для формирования условного рефлекса

Читая основной текст книги «Схемотехника системы индивидуальной адаптивности» (fornit.ru/71218), возникает ощущение недостаточности обоснования сделанным утверждениям. Список таких недоумений приведен в fornit.ru/100315. В частности:

В главе о «Рефлексах» сказано, что для формирования Клонрефлекса нужен «новый стимул». Но в главе о «Новизне» сказано, что на уровне рефлексов новизны нет. Получается логический круг: чтобы запустить формирование рефлекса на новый стимул, система должна его как-то детектировать. Если же детекция новизны — это исключительно функция незавершённой ветки Дендрарха, то как формируется первый Клонрефлекс для стимула, у которого ещё нет своей ветки? Это классическая проблема «начала обучения».

Логический круг: формирование Клонрефлекса требует распознавания «нового стимула», но новизна определяется через незавершённость ветки Дендрарха.

Суть претензии: обнаружен логический круг (circular dependency) в механизмах первичного обучения, а именно — в процедуре формирования первого Клонрефлекса на совершенно новый стимул.

Конкретное противоречие между главами:

1. Глава о рефлексах утверждает, что для запуска процесса формирования Клонрефлекса (т.е. привязки нового стимула к уже существующей адаптивной реакции) необходим новый стимул. Система должна этот стимул выделить и инициировать ветвление/клонирование рефлекторной структуры.
2. Глава о новизне постулирует, что на уровне рефлексов новизны как таковой нет. Детекция новизны (распознавание того, что стимул является «новым» и требует специальной обработки) осуществляется исключительно через незавершённость ветки Дендрарха — иерархической структуры образов. Новизна — это сигнал о том, что текущий стимул не полностью покрыт/идентифицирован существующей ветвью Дендрарха.

Возникающая логическая проблема:

• Чтобы запустить формирование первого Клонрефлекса для стимула, которого раньше никогда не было, система должна сначала детектировать его как новый.
• Однако механизм детекции новизны завязан на уже существующей (пусть и незавершённой) ветке Дендрарха.
• Для абсолютно первого предъявления стимула никакой ветки ещё нет → нет основания для сигнала новизны → нет триггера для формирования Клонрефлекса → ветка не начинает строиться.

Это классическая проблема «начала обучения» (bootstrapping problem / symbol grounding problem в части первичной категоризации). Модель не объясняет, как система преодолевает переход от «полностью незнакомого входа» к «инициации первой адаптивной структуры».

Формальная формулировка круга:

Требование A: Формирование Клонрефлекса на стимул S требует предварительного распознавания S как «нового стимула». Требование B: Распознавание «новизны» стимула S возможно только при наличии (пусть частичной) ветки Дендрарха для S. Следствие: Для самого первого появления S невозможно ни A, ни B → механизм запуска первичного обучения не определён.

Рекомендация, вытекающая из претензии:

Необходимо явно описать дорефлекторный (примитивный) механизм первичной детекции рассогласования, независимый от Дендрарха и рефлексов. Например:

• предиктивную ошибку на уровне низкоуровневых примитивов (сенсорных или моторных);
• встроенные врождённые ориентационные реакции;
• базовые гомеостатические/физиологические сигналы рассогласования и т.п.

Без такого механизма модель остаётся незавершённой в критически важной точке — объяснении, как именно система индивидуальной адаптивности впервые начинает строить свой Дендрарх и рефлекторный аппарат из «чистого листа» (или из минимального врождённого набора).

Детализация логического противоречия

В самом низу сформулирована краткая суть доказательства.

Доводы, не учитываемые в претензии

Здесь просто происходит использование разного контекста для слова “новый”. Детекция новизны происходит совершенно на другом уровне адаптивности, чем формирование клонорефлексов (старое название – условные рефлексы). Для клонорефлексов новый стимул – это реально появившийся стимул восприятия, которого не было раньше при срабатывании уже имеющегося рефлекса (генетического или условного). В таком случае возникает постепенное (с каждым сочетанием в восприятии) укрепление связи от этого нового стимула и цепи запуска рефлекса-предшественника, так что при достаточно укреплении связи действие рефлекса начинает выполняться уже по новому стимулу, даже если предшествующий пусковой стимул этой реакции отсутствует (fornit.ru/64936).

Процесс выделения нового и при этом еще и значимого стимула для запуска ориентировочного рефлекса (fornit.ru/44471) – совершенно другой, никак не связанный с процессом образования клонорефллекса. На уровне ориентировочного рефлекса среди всех активных стимулов выделяются те, что ранее не были характерны для данного контекста – это компонент новизны. В иерархии контекста, организованного в виде дерева (fornit.ru/66797) новизна тем сильнее, чем более ранний уровень дерева оказывается еще не активирован данным стимулом. Здесь слово “Новизна” имеет совершенно иной смысл и иную функциональность определения, чем в случае клонорефлекса. Речь идет не о незнакомом стимуле, а о том, что ранее не сопровождал данный клонорефлекс. Например, сам по себе звук колокольчика может быть знакомым в данном контексте, но если он появился в ситуации появления корма, то рефлекс на корм никак не будет зависеть от колокольчика без достаточно числа сочетаний.

Уточним: для формирования Клонрефлекса системе не нужно заранее «определять», что стимул подходит. Механизм работает до оценки новизны: если стимул вызывает хоть какую-то активацию примитивных детекторов (врождённых или уже сформированных) и эта активация совпадает во времени с активностью рефлекса-предшественника, происходит ассоциативное укрепление связи по правилу Хебба. Никакой специальной детекции «новизны» для этого не требуется — это уровень не психики, а до нее. Термин «новый стимул» в главе о рефлексах является описательным для наблюдателя, но не именем работающего механизма.

Даже если бы колокольчик не был знаком и был услышан впервые вместе с едой, то будучи выделенным их потока восприятия, он, тем самым, детектируется какими-то структурами (это может быть как детекторы иерархии примитивов восприятия некортекса в период формирования данного уровня детекторов) или это может быть более древние – как некий достаточно громкий звук. Сочетание активностей распознавателя такого сигнала с активным рефлексом будет укреплять связь.

Абсолютно новый, никогда ранее не воспринимающийся стимул, который не вызывает никакой активации никаких структур будет проигнорирован, как будто его и нет.

Как именно активность этих примитивов превращается в «новый стимул», пригодный для формирования Клонрефлекса? Ответ – никак. Это мы можем назвать стимул новым или посчитать его не таким уж новым. Для клонорефлеса имеет значение только одна: активирует ли данное воздействие какие-то структуры или нет. Способна ли эта активность сочетаться с активностью вызывающего рефлекс действия или нет.

В материалах  МВАП  механизм запуска формирования Клонрефлекса описан через базовый принцип совместной активации структур и последующего укрепления связи при их повторяющемся сочетании. Этот принцип не раскрывается до уровня максимально элементарных шагов, поскольку такое детальное разжёвывание выходит за рамки задач и формата книги.

Книга ориентирована на читателя, уже знакомого с фундаментальными механизмами ассоциативного обучения (правило Хебба, классическое обусловливание), и предполагает способность самостоятельно проследить очевидные причинно-следственные связи на этом уровне. Более школьный, пошаговый разбор «от самых примитивов» был бы возможен в учебном пособии начального уровня, но нецелесообразен в рамках изложения архитектуры системы индивидуальной адаптивности.

Ответ на претензию

Претензия сводится к тому, что в главе о «Рефлексах» (и при сопоставлении с главой о «Новизне») якобы возникает логический круг: для формирования Клонрефлекса якобы требуется предварительная детекция «нового стимула», а детекция новизны, в свою очередь, якобы возможна только через незавершённую ветвь Дендрарха. Это якобы создаёт проблему bootstrapping’а — «как начинается самое первое обучение».

Это недоразумение возникает из-за разного контекста употребления слова «новый» и недостаточно внимательного прочтения базового механизма.

1. Разделение двух совершенно разных смыслов «новизны»

• В контексте Клонрефлекса «новый стимул» означает стимул, который ранее не участвовал в запуске данного конкретного рефлекса (генетического или уже приобретённого). Это не требует никакой глобальной детекции новизны. Достаточно, чтобы стимул вызвал какую-либо активацию в существующих структурах восприятия (примитивных детекторах).
• В контексте ориентировочного рефлекса и главы «Новизна» речь идёт о другом процессе — выделении стимулов, которые нехарактерны для текущего контекста в иерархии Дендрарха. Это механизм более высокого уровня, связанный с оценкой рассогласования и привлечением внимания.

Эти два процесса не зависят друг от друга в запуске. Ориентировочный рефлекс помогает привлечь внимание, но не является обязательным условием для Hebb-подобного укрепления связи на уровне рефлексов.

2. Реальный механизм запуска Клонрефлекса (Hebb-подобный)

Механизм предельно прост и не содержит никакого круга:

Любое воздействие, которое активирует какие-либо структуры (врождённые примитивные детекторы яркости, громкости, движения, контраста, формирующиеся детекторы низкого уровня и т.д.), при одновременной активности рефлекса-предшественника способно постепенно укреплять связь с ним через повторяющиеся сочетания.

Если стимул совершенно ничего не активирует — он игнорируется (как будто его нет). Это естественно и не является проблемой модели.

Это прямое следование правилу Хебба (neurons that fire together, wire together), которое лежит в основе большинства моделей ассоциативного обучения и классического обусловливания.

Классический пример Павлова с колокольчиком прекрасно работает даже если звук услышан впервые: громкий звук активирует примитивные слуховые детекторы → одновременно активен пищевой рефлекс → при повторениях связь укрепляется. Никакой «готовой ветки Дендрарха» или специальной «детекции новизны» для этого не требуется.

3. Почему это не проблема

В литературе по нейронауке и машинному обучению проблема «начала обучения» часто обсуждается, но в случае простого ассоциативного обучения на базе Hebbian-механизмов она решается именно так, как описано в модели: через активацию низкоуровневых (в том числе врождённых) примитивов.

Модель  МВАП  не претендует на то, что всё начинается «из абсолютного нуля без каких-либо врождённых структур». У системы есть врождённые рефлексы и примитивные детекторы — этого достаточно для запуска первого уровня индивидуальной адаптивности.

4. Уровень детализации в тексте

Механизм описан в главе о рефлексах и смежных материалах с достаточной для научного/инженерного текста детализацией. Дополнительное «разжёвывание» очевидного принципа совместной активации (который известен со времён Хебба 1949 года и Павлова) не является необходимым для целевой аудитории, способной работать с причинно-следственными связями в схемотехнике адаптивных систем. Требование сверхподробного объяснения каждого базового шага превратило бы книгу в учебник для начинающих, а не в описание архитектуры.

Вывод

Логического круга в модели нет. Есть разное понимание термина «новый стимул» и разный уровень ожидания от эксплицитности изложения. Модель опирается на фундаментальные, многократно подтверждённые принципы ассоциативного обучения и не содержит внутренних противоречий в описании запуска Клонрефлексов.

Суть доказательства:

В модели нет логического круга. Термин «новый стимул» в главе о рефлексах означает лишь стимул, который ранее не участвовал в запуске данного конкретного рефлекса. Для формирования Клонрефлекса не требуется никакой специальной детекции новизны и никакой готовой ветки Дендрарха. Достаточно, чтобы стимул активировал любые существующие структуры (врождённые или формирующиеся примитивные детекторы), и при совпадении этой активации с активным рефлексом происходило постепенное укрепление связи через повторяющиеся сочетания (классический Hebb-подобный механизм).

Претензия возникает из-за смешения двух разных процессов: низкоуровневого ассоциативного обучения (Клонрефлексы) и более высокоуровневой оценки новизны в контексте Дендрарха (ориентировочный рефлекс). Эти механизмы независимы. Модель не имеет проблемы bootstrapping’а, поскольку опирается на наличие врождённых примитивных детекторов, чего достаточно для запуска первого уровня индивидуальной адаптивности. Уровень детализации в тексте признан автором достаточным для целевой компетентной аудитории.

Список топиков