Относится к сборнику статей теории МВАП

Последовательность адаптивных периодов формирования живых существ

Развитие адаптивных уровней искусственного живого существа Beast — это не просто накопление опыта, а последовательное усложнение механизмов управления поведением: от жестких реакций к гибкому поиску альтернатив. См. Видео.

Ниже представлено логическое обоснование этой последовательности, где каждый новый уровень опирается на возможности предыдущего.

Ключевая метафора развития

Представьте себе шахматную партию:

Начало (Рефлексы): Вы можете делать только один, заранее известный ход в ответ на каждую позицию фигур. Это предсказуемо, но абсолютно негибко.

Середина игры (Семантика + Автоматизмы): Вы начинаете узнавать знакомые позиции ("вилка", "рокировка") и знаете, что в такой ситуации хорошо сделать определенный ход. Это уже стратегия.

Эндшпиль (Эпизодическая память): Вы вспоминаете конкретную партию, которую играли месяц назад. Там был нестандартный, рискованный, но победный ход, который сейчас может сработать снова. Это высший уровень гибкости.

Развитие Beast — это проход по этим этапам: от заученных реакций к анализу единичного опыта для поиска новых решений.

Развитие адаптивных систем Beast идёт в следующей последовательности, где каждый уровень логически необходим для возникновения следующего:

Генетические рефлексы (база)

Семантическая память (оценка значимости)

Условные рефлексы (ассоциативные связи)

Эпизодическая память (история с эффектом)

Автоматизмы (оптимизированные правила)

Сознание уровней 2-4 (поиск альтернатив)

Этап 1: Генетические рефлексы (Базовая линия)

Что есть: Жестко прописанные в коде правила: стимул (Еда) → действие (Ест). Это фундамент выживания.

Ограничение: Реакция предопределена. Система не может адаптироваться. Если "Еда" приносит боль, рефлекс все равно заставит есть, пока не погибнет. Нет механизма для поиска альтернатив.

Этап 2: Условные рефлексы (Первый шаг к гибкости)

• Причина появления: Система начинает замечать, что один и тот же контекст + действие часто приводит к хорошему или плохому результату.
• Механизм: Если в контексте A стимул S несколько раз привел к действию D и хорошему эффекту, то в будущем, при появлении S в контексте A, действие D будет запускаться условно, минуя сложный анализ.
• Как это обеспечивает альтернативу:
• Условный рефлекс — это первая форма "знания", которая не заложена генетически. Он позволяет заменить генетическую реакцию, если она оказалась неудачной в данном контексте. Система перестает быть полностью предопределенной.

Этап 3: Семантическая память (Основа для прогноза)

• Причина появления: Условный рефлекс запоминает только "хорошо/плохо", но не насколько. Системе нужна тонкая шкала, чтобы сравнивать разные варианты.
• Механизм: Каждый раз, когда стимул (через ОР) вызывает осознание и запускает действие, система фиксирует z — численную значимость изменения состояния (getDiffImportance()). Для тройки (состояние, эмоция, образ стимула) накапливается усредненная значимость (meanImportance).
• Как это обеспечивает альтернативу:
• Семантика дает системе абстрактную меру ценности стимула в данной ситуации.
• Благодаря "лупе значимости", даже слабые, но новые сигналы могут стать заметными, позволяя системе обратить внимание на то, что раньше игнорировалось.

Этап 4: Ориентировочный рефлекс (ОР) и Автоматизмы (Выбор лучшего из привычного)

• Причина появления: Семантика дает оценку, но не говорит, что делать. Условный рефлекс дает действие, но не учитывает тонкую оценку. Нужен механизм, который использует оба источника.
• Механизм:
1. ОР вычисляет актуальность каждого стимула, используя семантическую значимость. Чем выше meanImportance, тем больше шансов, что стимул будет обработан.
2. Если для текущих условий (для активной ветки дерева восприятия) существует автоматизм (правило "в этих условиях – делай это.
• Как это обеспечивает альтернативу:

• Автоматизмы — это библиотека успешных решений для конкретных, привычно повторяющихся ситуаций. Они экономят ресурсы, так как не требуют глубокого анализа.
• Однако, система не зациклена на них. Если автоматизм дает негативный эффект (полезность < 0), он блокируется, и система вынуждена искать альтернативу. ОР гарантирует, что внимание будет обращено на наиболее актуальные стимулы.

Этап 5: Эпизодическая память (Ключ к истинной альтернативе)

• Причина появления: Автоматизмы и условные рефлексы работают только с обобщенным опытом. Они не могут дать ответ на вопрос: "А что я делал в прошлый раз, когда был в точно такой же уникальной ситуации?"
• Механизм: Каждый цикл "стимул → действие → эффект" записывается в массив Episodes. Это единичный, необобщенный опыт. Важнейшая особенность — наличие поля responseStimulusImageId (ответный стимул оператора), которое делает кадр "учительским” правилом.
• Как это обеспечивает альтернативу:
1. Учительское правило: ЭП позволяет системе "подсмотреть" у оператора альтернативу. Beast сделал действие, оператор ответил стимулом. Это создает правило "в ответ на мое действие → оператор дал этот стимул". Это прямой путь к нахождению неочевидных решений.
2. Цепочки: ЭП позволяет строить связные последовательности событий. Если система несколько раз подряд успешно реагировала в рамках одной цепочки, стимулы из этой цепочки получают приоритет в ОР. Это значит, что система может продолжать развивать успешную стратегию, а не отвлекаться на другие, более привычные, но менее релевантные стимулы. Это фундамент для сложного, многоходового поведения.
3. Преемственность оценки эффекта: Один и тот же effect, вычисленный при закрытии кадра ЭП, одновременно используется для обновления meanImportance в семантике, usefulness в автоматизме и записывается в сам кадр. Это обеспечивает единую шкалу оценки успеха для всех уровней.

Общая логическая цепочка развития (Причина → Следствие)

1. Наличие жизненных параметров требует их поддержания в норме, что делают генетические рефлексы, реализуя потребность в адаптации к меняющимся условиям.
2. Условные рефлексы — это первая попытка адаптации, запоминающая простые паттерны "контекст → действие".
3. Для более тонкого выбора между множеством паттернов появляется семантическая память, которая дает количественную оценку значимости (полезности) стимулов в условиях опыта.
4. Автоматизмы объединяют семантику и условные рефлексы, создавая библиотеку успешных, обобщенных решений, которые экономят ресурсы.
5. Ориентировочный рефлекс, используя семантику, выбирает, на какой стимул обратить внимание, а автоматизмы предлагают, как на него реагировать.
6. Эпизодическая память возникает, когда обобщенного опыта (автоматизмов) становится недостаточно для уникальных ситуаций в новых условиях. Она фиксирует единичные случаи, позволяя:
• Учиться у оператора.
• Строить долгосрочные стратегии (приоритет цепочек).
• Сохранять нестандартные, но успешные решения, которые не удалось обобщить.

Главная функциональность сознания

Развитие идет по пути от жестких правил к гибкому использованию опыта. Каждый новый уровень добавляет новый способ хранения и извлечения знаний:

• Рефлексы — жесткое правило.
• Условные рефлексы и автоматизмы — обобщенные правила (эвристики).
• Эпизодическая память — единичный опыт (кейс).

Главная функциональность сознания — нахождение альтернатив привычным реакциям в новых условиях — обеспечивается именно эпизодической памятью. Она позволяет системе "вспомнить" уникальную, нестандартную ситуацию и применить решение из нее, даже если для этого нет готового автоматизма. Приоритет цепочек в ОР гарантирует, что, начав следовать альтернативному сценарию, система не будет отвлечена на старые, привычные стимулы. Это и есть то, что делает поведение не просто адаптивным, а разумным.

Механизмы

1. Условные рефлексы: Базовая адаптация

Причина появления: Генетических (врожденных) рефлексов недостаточно для выживания в меняющейся среде. Нужно уметь связывать нейтральные стимулы с биологически значимыми результатами.

Механизм: Если стимул не привлек Ориентировочный рефлекс (ОР) (то есть он уже «знаком»), по нему может сформироваться новая условная связь.

Следствие: Beast начинает реагировать на опережающие сигналы среды.

Ограничение: Это жесткая связь «стимул-реакция». Здесь нет выбора: если стимул активен — рефлекс срабатывает автоматически.

2. Семантическая память: Накопление статистики

Причина появления: Чтобы понять, «хорош» или «плох» стимул, нужно накопить статистику его активаций и последствий для разных условий.

Механизм: При каждой активации стимула в ОР происходит регистрация экспозиции в семантической памяти. Здесь фиксируется samplesCount (опытность) и значимость.

Следствие: Появляется порог «известности» (OR_well_known) того, насколько он значим: полезен или вреден. Только когда стимул набрал достаточно семантического опыта, система позволяет перейти к формированию более сложных структур — кадров памяти.

Роль для сознания: Семантика дает «вес» стимулу, позволяя системе фильтровать случайный шум от закономерностей.

3. Автоматизмы: Прототип привычного действия

Причина появления: Постоянно задействовать высшие отделы мозга для знакомых ситуаций энергозатратно. Нужно «свернуть» успешный опыт в готовую программу.

Механизм: Автоматизм привязывается к конкретной ветке дерева восприятия (branchId) и образу действия (actionsImageId).

Следствие: В процессе осознания (stimuls_consciousness), если для ветки найден штатный автоматизм, он запускается мгновенно.

Ограничение: Автоматизм — это «привычная реакция». Он эффективен, но ригиден. Сознание на этом этапе еще не умеет искать альтернативы, оно просто исполняет самую «полезную» программу.

4. Эпизодическая память: База для поиска альтернатив

Причина появления: Жизнь полна ситуаций, где привычный автоматизм дает сбой (отрицательный эффект). Чтобы найти альтернативу, нужно хранить историю: «что я делал, и что мне за это было».

Механизм: ЭП хранит кадры в строгой исторической последовательности: Стимул → Действие → Эффект → Ответ оператора.

Следствие: Благодаря преемственности оценки эффекта, один и тот же результат (положительный или отрицательный) записывается и в кадр ЭП, и в полезность (usefulness) автоматизма.

Как это обеспечивает нахождение альтернатив?

Главная функциональность сознания — торможение привычной реакции в пользу новой — реализуется именно через связку этих уровней:

Обнаружение неудачи: Когда штатный автоматизм выполняется, ЭП фиксирует отрицательный effect (разность значимостей до и после).

Снижение приоритета: Отрицательный эффект уменьшает usefulness этого автоматизма.

Поиск в истории: Когда автоматизм становится «вредным», система обращается к эпизодической памяти. ЭП позволяет просмотреть другие кадры с тем же стимулом, но другими действиями, которые привели к лучшему результату.

Формирование новой привычки: Если найдена успешная альтернатива, может быть создан новый автоматизм или изменен «штатный» для этой ветки.

Итоговая логика цепочки

Условный рефлекс дает действие → Семантика подтверждает его важность → Автоматизм делает действие привычным → Эпизодическая память фиксирует результат каждого шага, позволяя сравнить «привычное» с «возможным» и переключиться на более эффективный вариант.

Хотите, я подробнее опишу механизм того, как именно отрицательный эффект в эпизоде приводит к блокировке текущего автоматизма в коде?

Последовательность развития адаптивных уровней в Beast строго выстроена по принципу «от простого и быстрого к сложному и осмысленному». Каждый следующий уровень появляется только тогда, когда предыдущий уже не справляется с задачей выживания, и именно поэтому он обеспечивает главную функцию сознания — нахождение альтернативных привычным реакциям (генетическим рефлексам → условным → автоматизмам).

Ниже — логическая цепочка причины → следствие на основе реальной архитектуры проекта (файлы _5_2_synonyms_reflexes, _6_semantic_memory, _11_Automatizms, _10_Episodic_memory и документация about_episodic_memory*.md, Mad_programmer_manual.md).

Подробнее

Условные рефлексы (синонимические) — первый адаптивный слой (появляется раньше всего)

Что это: Механизм, при котором новый стимул (или группа стимулов) начинает вызывать уже существующую генетическую реакцию без полного понимания ситуации. Реализуется в synonyms_reflexes.js через synonyms_onGeneticActionFired.

Почему появляется первым (причина): Генетические рефлексы фиксированы и ограничены. Когда Beast встречает новый стимул, который похож на уже известный (по FinalImage), он не может ждать полного анализа — нужно мгновенно реагировать. Условный рефлекс формируется автоматически при каждом срабатывании генетического рефлекса (если не заблокирован ОР). Это самый дешёвый и быстрый способ обучения.

Как обеспечивает альтернативу привычным реакциям:

• Привычная реакция = только генетический рефлекс.
• Условный рефлекс даёт первую альтернативу: «этот новый стимул → та же реакция, что и на старый». Это уже не врождённое, а приобретённое поведение. Однако альтернатива ещё механическая — она не оценивает результат и не может «передумать».

Ограничение, которое готовит следующий уровень: Условный рефлекс не знает значимость стимула и эффект действия. Он просто копирует реакцию. Когда таких ассоциаций становится много, Beast начинает «ошибаться» — нужна система, которая оценивает, насколько стимул важен.

Семантическая память — второй адаптивный слой (появляется после достаточного числа условных ассоциаций)

Что это: Накопление образцов опыта (samples) для каждого FinalImage: сколько раз стимул появлялся, в каком контексте, какая была значимость (getDiffImportance). Реализуется в _6_semantic_memory/semantic_memory.js + FinalImage.js.

Почему появляется второй (причина-следствие): Условные рефлексы уже позволили Beast реагировать на новые стимулы, но без понимания. Семантическая память накапливается параллельно с условными рефлексами (каждый стимул регистрируется в registerSemanticSample). Когда число образцов достигает порога OR_well_known (по умолчанию 10), стимул считается «хорошо известным».

Это не случайный порядок: сначала нужно научиться реагировать (условные рефлексы), а потом измерять, насколько эта реакция была удачной (семантика). Без первого этапа нечего было бы измерять.

Как обеспечивает альтернативу привычным реакциям: Теперь Beast может выбирать реакцию не только по генетическому/условному рефлексу, но и по накопленной значимости стимула.

• Если семантическая значимость высокая → можно игнорировать рефлекс или заменить его на другой (через дерево восприятия).
• Появляется первый осмысленный выбор: «этот стимул важный → реагирую иначе, чем на похожий, но менее значимый».

Ограничение, которое требует следующий уровень: Семантика говорит «что важно», но ещё не хранит последовательность событий и не оценивает эффект конкретного действия. Beast знает, что стимул опасен, но не помнит, что именно он сделал в прошлый раз и как на это ответил оператор.

Автоматизмы (моторные, затем и ментальные) — третий адаптивный слой (появляется после созревания семантики)

Что это: Быстрые привычные реакции, привязанные к ветке дерева восприятия (terminal node). Создаются автоматически в Automatizms_createAutomatizm при первой реакции на ветке, потом усиливаются через addUsefulnessSample (полезность = effect).

Почему появляется третьим (причина-следствие): Семантическая память уже дала оценку значимости. Теперь можно закрепить удачные реакции в виде быстрого автоматизма, чтобы не проходить каждый раз полный цикл ОР → ФО. Автоматизмы создаются из условных рефлексов и из семантически зрелых веток.

Это логическое следствие: когда семантика показала, что определённая реакция на определённую ветку полезна, её можно автоматизировать (сделать привычной).

Как обеспечивает альтернативу привычным реакциям:

• Привычная реакция = генетический/условный рефлекс.
• Автоматизм = новая привычка, которая уже лучше старой (потому что отобрана по семантической значимости). Теперь Beast может заменить врождённую реакцию на выученную и более эффективную в данной ветке восприятия. Это главный прорыв на этом этапе: сознание впервые создаёт свою собственную привычку вместо врождённой.

Ограничение, которое требует эпизодическую память: Автоматизм не знает, почему он был полезен и что будет, если оператор ответит иначе. Нет «учительского правила». Когда автоматизм даёт отрицательный эффект или оператор вмешивается — нужна память о конкретном эпизоде.

Эпизодическая память — четвёртый (высший) адаптивный слой (появляется последним)

Что это: Массив кадров «стимул → действие (ОД) → эффект → ответ оператора» (файл episodic_memory.js). Создаётся только через ориентировочный рефлекс после порога OR_well_known. Каждый кадр — это полное учительское правило.

Почему появляется последним (причина-следствие): Все предыдущие уровни уже работают:

• условные рефлексы → быстрые ассоциации;
• семантика → оценка значимости;
• автоматизмы → привычные реакции.

Только теперь Beast готов фиксировать полный цикл с оценкой эффекта (getDiffImportance после действия) и ответом оператора. Эпизодическая память запускается именно тогда, когда ОР сработал на неизвестном или критическом стимуле (см. about_episodic_memory_rules.md, раздел 4).

Это не раньше, потому что без семантики и автоматизмов не было бы что записывать в кадр (actionImageId и effect).

Что и как обеспечивает главную функцию сознания — нахождение альтернатив привычным реакциям: Эпизодическая память — единственный уровень, который оценивает результат и учитывает обратную связь оператора.

• Когда автоматизм (привычная реакция) даёт отрицательный effect или оператор отвечает стимулом → кадр закрывается, effect записывается в тот же автоматизм (Automatizms_addUsefulnessSample).
• При положительном effect → усиливается абстракция и ментальный автоматизм (ур. 3).
• При ответе оператора → формируется учительское правило (action + responseStimulus), которое выше уровни сознания (2–4) используют как альтернативу текущему автоматизму.

Таким образом, эпизодическая память превращает привычную реакцию в оцениваемую и заменяемую. Она позволяет Beast переучиваться: «то, что раньше было привычным, теперь даёт отрицательный эффект → ищу альтернативу по эпизодам».

Итоговая логика последовательности (почему именно так, а не иначе)

Главный принцип Beast: каждый новый уровень появляется только тогда, когда предыдущий уже не способен обеспечить выживание в меняющейся среде. Именно поэтому эпизодическая память — вершина адаптивности: она превращает сознание из «реагирующей машины» в систему, которая сама ищет и выбирает лучшие альтернативы своим собственным привычкам.

Реализация

Семантическая память — фундамент оценки

Причина: Без оценки значимости стимула невозможно определить, стоит ли вообще запоминать взаимодействие с ним.

Механизм:

Функциональность: Стимул →Семантическаяпамять→ samplesCount >= 10? →ДопусккОР

Ключевое свойство: Семантическая память отвечает на вопрос «насколько важен этот образ в данных условиях?», но не хранит информацию о том, что именно происходило.

Условные рефлексы — первые ассоциации

Причина: После того как семантика определила значимость стимула, система может начать формировать быстрые ассоциативные связи без участия сознания.

Механизм:

Важное ограничение:

// Условный рефлекс НЕ формируется по стимулу, который сам запустил реакцию

if(activeIds.length ===1&& activeIds[0]=== triggerGlobalId){

    return;// предотвращение самоссылки

}

Функциональность:

Проблема: Условный рефлекс не может оценить, было ли действие полезным. Для этого нужна эпизодическая память.

Эпизодическая память — история с оценкой последствий

Причина: Только после того как система научилась быстро реагировать (условные рефлексы), возникает потребность оценивать последствия этих реакций для будущего обучения.

Механизм:

Структура кадра:

perceptionNodeId (ветка дерева)

stimulusImageId (образ стимула)

actionImageId (образ действия)

effect (getDiffImportance после − до)

responseStimulusImageId (ответ оператора, если был)

Ключевое свойство — преемственность эффекта:

// В closeLastFrame эффект вычисляется один раз:

last.effect = clampEpisodeFrameEffect(diffAfter - diffBefore);

// И передаётся в штатный автоматизм ветки:

Automatizms_addUsefulnessSample(staff.id, last.effect);

Период ожидания ответа:

Функциональность:

Проблема: ЭП — это история, но не оптимизированное правило. Для быстрого выбора лучшего действия нужны автоматизмы.

Автоматизмы — оптимизированные правила выбора

Причина: После накопления эпизодов с оценками эффекта система может усреднить полезность действий и создать быстрые правила выбора без необходимости каждый раз просматривать историю.

Механизм:

Структура:

{

    id: number,

    branchId: number,      // узел дерева восприятия

    usefulness: number,    // усреднённый эффект из ЭП

    actionsImageId: number,

    count: number,         // числозапусковдляусреднения

    isDefault: boolean

}

Ключевое свойство — независимость от первичного рефлекса:

«Автоматизм, вызываемый в функции осознания, может быть произвольно модифицирован. Связи между первичным рефлексом и вторичным автоматизмом нет: автоматизм — самостоятельное правило по ветке дерева; его действие может не совпадать с тем, что изначально зафиксировал рефлекс.»

Функциональность:

Проблема: Автоматизмы — это усреднённый опыт, но не поиск новых альтернатив в нестандартных ситуациях. Для этого нужны уровни сознания 2-4.

Как эта последовательность обеспечивает поиск альтернатив

┌─────────────────────────────────────────────────────────────┐

│ Уровень 3 (conscience_level_3.js) — поиск правила          │

│ Порядок попыток:                                            │

│ 1. Готовый ментальный автоматизм (semanticStructure)       │

│ 2. Shortcut по semanticStructure клона восприятия          │

│ 3. Выборка из ЭП (лучший кадр с effect > 0)                │

│ 4. Учительский fallback (кадр с responseStimulusImageId)   │

└─────────────────────────────────────────────────────────────┘

                            ↓

┌─────────────────────────────────────────────────────────────┐

│ Уровень 2 (conscience_level_2.js) — постановка целей       │

│ Ветки:                                                      │

│ • Ответ оператора → корректировка usefulness цели          │

│ • Выживание → поиск цели по GoalImagesLife + цепочки ЭП    │

│ • Цель «значение» → прогноз по кадрам ЭП                   │

└─────────────────────────────────────────────────────────────┘

                            ↓

┌─────────────────────────────────────────────────────────────┐

│ Уровень 4 (gestalt.js) — гештальты и резонанс              │

│ • Ведущий гештальт по образу цели                          │

│ • GestaltResonanceBuffer — сигнатуры закрытых кадров ЭП    │

│ • Инсайт аналогии при score ≥ порога                       │

└─────────────────────────────────────────────────────────────┘

Механизм поиска альтернатив

// Первый уровень осознания:

if(semanticObj.meanImportance <0){

    // Поиск по ЭП в более общих условиях (родительский узел дерева)

    // для того же стимула. Если найден кадр с положительным effect —

    // создаётся автоматизм с «позитивным» действием.

}

if(!automatismStarted){

    // Проверка штатного автоматизма ветки

    if(defaultAutomatizm.usefulness <0){

        // Первый уровень не принимает решение → переход на уровень 2

        global.unsolved_problem = actualId;

        conscience_level_2(context);

    }

}

// Гейтзначимостипередмотором:

function conscience_level_3_semanticStructureFrameAllowsMotor(fr){

    if(fr.ruleKind ==='teacher')returntrue;

    if(fr.responseStimulusImageId >0)returntrue;

    return fr.effect >0;// только положительный эффект даёт право на мотор

}

// Инсайт аналогии из буфера резонанса:

function scoreResonanceAgainstGestalt(sig, g){

    var score =0;

    if(sig.goalImageId === g.goalImageId) score +=1.0;

    if(sig.effect >0) score +=0.12;

    return score;

}

// При score ≥ RESONANCE_SCORE_INSIGHT (0.55) → инсайт

Сводная таблица зависимости уровней

Вывод: почему именно такая последовательность

Главная функциональность сознания — нахождение альтернатив привычным реакциям в новых условиях (ОР) — обеспечивается иерархическим поиском:

Каждый уровень не отменяет предыдущий, а добавляет слой поиска при неудаче более простых механизмов. Это обеспечивает устойчивость (быстрые реакции работают) и адаптивность (при изменении условий находятся новые решения).

Список топиков