Тема форума: «Бот на ГО»

>>получается, что он просто тупо реагирует согласно прошитым рефлексам и никакой адаптации на самом деле нет

1. Безусловные рефлексы не перепрашиваются и не корректируются, они могут только подавляться более высокоуровневыми рефлексами (и автоматизмами). Адаптация тут закончилась на уровне эволюции вида и результаты наследуются.

2. Воздействия на организм не изменяют его Базовые параметры непосредственно, если только это не токсическое или органическое воздействие (выпуск крови, удушье и т.п.). Ты схватил кошку за хвост, она дернулась. Ты ударил – она может и не посчитать себя наказанной, а стать твоим врагом (рефлекс – именно врагом).

3. Рефлексы срабатывают именно на сочетание условий, а не на изменение БП. Изменение БП изменяет условие – это более базовое условие, чем пусковые стимулы. Нельзя, чтобы пусковой стимул непосредственно влиял на рефлекс без учета базовых уровней. Раньше этот момент был сделан вульгарно, скомкано.

В прошлый раз воздействия нагло воздействовали на БП, сейчас даже кормление так не делает.

Да, при Наказать можно прошить ответное действие Подпрыгнуть для какой-то специфике базовых условий, а для другой специфики – Царапаться, Кричать, что и сделано в редакторе рефлексов.

>>А сейчас получается, он плачет без всякого повода - изменений БП то не было.

Повод ровно тот же как при шлепании кошки тапком: БП кошки при этом не меняется, а защитная реакций для таких условий срабатывает и кошка убежит.

>>изменения БП при воздействии с пульта нужны и для оценки успешности рефлекса.

Для безусловных – нет, а вот для условных – уже – да и это будет сделано. Условный рефлекс сильно уже отличается от безусловного.

>>Если действия оператора никак не учитываются в смысле их воздействия на БП, значит никакой оценки успешности в принципе не возможно получить.

Не действия оператора, а изменение БП после собственного поведения должно учитываться как успешность.

>>все Beast должны либо пройти режим личинки, набрав базу адекватных БУ-рефлексов и действий в режиме прямого стимулирования уровней БП от оператора, и только потом, загасив этот режим, перейти к функционированию на новом уровне через автоматизмы.

Только так.

1, 2, 3 - это уже стало очевидным. Но сейчас только окончательно дошло, что Beast на стадии бу-рефлексов функционирует просто как автомат, без адаптации. Хотя внешне кажется, что реагирует. Если этот момент ясно не понимать, то не понятным будет и преимущество (причина) развития реагирования от эволюционной адаптации в течении жизни поколений до индивидуальной, в течении жизни особи. Иначе будет ошибочно казаться, что при активации Beast у него уже есть какая то начальная рефлекторная адаптация по умолчанию, которая потом просто развивается, улучшается. А на самом деле при первом пуске Beast тупой автомат, реагирующий строго алгоритмически, и наследственные рефлексы он не развивает, а большей частью гасит.

Я имел в виду, что оператор что то нарушил в БП своим воздействием, это запомнилось, потом Beast активировал рефлекс и тоже что то изменилось в БП. Затем сравниваются запомненное состояние до рефлекса и состояние после него - и делается оценка. В грубом варианте: по базовой эмоции "Хорошо", как переход от "Плохо" к "Норма", или в более точном как приближение к "Норма", хотя при этом может по прежнему еще быть хорошо. Во втором случае надо запоминать не текущие базовые эмоции, а текущие уровни БП и сравнивать их с порогом.

Пришел к выводу, что вместо автогенерации справочников базовых настроек правильнее углубить процедуры обмена настройками между разными Beast. В итоге вопрос "что прописывать в справочниках" становится просто вопросом "удачных мутаций", как оно и происходит в природе. Только мутации теперь "перемешиваются", добавляя тем самым вариабельности. "Мутируют", согласно причудам своих создателей, множество Beast, вырабатывая в итоге некий общий тренд.

Добавил обмен данных по связям между базовыми параметрами (БП) и базовыми контекстами (БК), потому, что это тоже часть генетического кода Beast. Это то, что делается в baseContextUpdate(). Для этого пришлось вынести настройки связей в файл. Такой обмен подобен горизонтальному переносу генов, при этом гены не просто так "перемешиваются", иначе запросто можно испортить схему работы. Должна быть определенная строгая логика. Во первых, нужны проверки совместимости схем между разными Beast: у них должны быть одинаковые номера БП и БК, чтобы не получилось обращение к несуществующим адресам. Во вторых логика перемешивания схем связей должна быть такой:

1. нельзя одновременно гасить и активировать одни и те же контексты при одной БЭ
2. каждый бот имеет свой приоритет при добавлении новых контекстов: активирующих или гасящих
3. активированные контексты для БЭ "Плохо" должны быть загашены для БЭ "Хорошо" - и наоборот

Это значит, что добавив согласно приоритету сначала активирующих контекстов, нужно их загасить в списке гасящих, и наоборот. Таким образом смешивая данные связей от ботов с разными приоритетами, уменьшается вероятность, что в конечном итоге на все активации БЭ будут просто активироваться все БК - из за постоянного добавления новых. Поэтому кроме добавления нужно так же сделать и удаление при помощи приоритетов. Это напоминает ситуацию, когда мужские гены подавляют женские и наоборот. Выходит, что боты должны разделяться по типам, чтобы более эффективно обмениваться базовыми настройками в стадии Larva.

Вот пример строки файла связей: 1||1,2|11||11|1,2,8

№ БП || № активных контекстов для БЭ Плохо | № пассивных контекстов для БЭ Плохо || № активных контекстов для БЭ Хорошо| № пассивных контекстов для БЭ Хорошо

При активации БЭ Плохо активируются контексты 1, 2 и гасится 11. При активации БЭ Хорошо активируется 11 и гасятся 1, 2, 8. Здесь важно, чтобы были обязательно погашены 1, 2 при Хорошо, хотя при этом может дополнительно еще что то погаситься. И не должны гасится и активироваться одни и те же контексты при одной БЭ. То есть запись типа: 1||1,2|1,2||11|11 будет не верной.

Дерево базовых действий все таки оказалось не нужным, потому как чтобы объединить в группы хотя бы пару действий нужно создать суммарное действие. Но не все действия можно свести в группу, а суммарное действие само по себе не имеет смысла, если оно состоит из действий-антагонистов типа "смеяться-плакать", но это была как раз одна из причин использования дерева ради получения такой пары потомков. Такое действие это просто шиза, и никакой функциональности не несет. А вопрос с указанием антагониста можно решить просто добавив поле в таблицу действий, что и было сделано:

Антагонисты предположительно могут понадобиться при построении автоматизмов при реализации логики по умолчанию: если не сработало действие - попробуй противодействие. Но для этого надо знать, что считается противодействием. Причем этот список антагонистов в принципе условен и может меняться произвольно, что тоже дает простор для маневра.

Вообще, терзания по поводу делать действия деревом или просто списком в основном потому, что у меня нет сейчас понимания, как будут строиться цепочки рефлексов, потому и возникают разные подготовительные варианты. Но у Nan судя по всему такой проблемы нет и в его схеме простая таблица вполне достаточна. Когда Beast дойдет до этого уровня, видимо тогда вопрос для меня и решится окончательно.

Теперь осталось добавить логику в перемешивание связей между БП и БК и процедуры обмена действиями и рефлексами по тому же принципу, которые тоже будут строго в режиме Larva.

Оказалось, что это приводит к зацикливанию: п1. гасит контексты в связях, а п. 3 добавляет. В итоге приходится по нескольку раз прогонять эти операции, что приводит к запутанности и говорит о неправильном подходе. Собственно идея была в том, что если при срабатывании компаратора у БП при текущем значении БЭ Плохо активировался какой то контекст, то он при переходе БЭ в состояние Хорошо должен быть погашен. В отличие от однозначно верного п. 1, что нельзя одномоментно активировать и гасить один и тот же контекст, тут не все так однозначно. Может правильнее будет, чтобы активировавшийся контекст гасился тормозными связями от других контекстов, если они активируются, а не просто переходом из Плохо в Хорошо этим же БП.

Зато пришла другая идея, более прозаичная: смешивая схемы связей БК от разных ботов надо выделять те из них, которые одинаковы. То есть если фрагмент связи повторяется у нескольких ботов - значит в этом что то есть, и такая схема зарекомендовала себя. Или если одна и та же идея по поводу связи пришла в голову нескольким разработчикам ботов - в ней что то есть. Если это будет фиксироваться при обмене, это будет ближе к сути эволюционного отбора. То же с действиями и рефлексами - выделять одинаковые при обмене. Это значит добавить связи свойство "вес уверенности", и если при обмене она встретилась у другого бота +1, если не встретилась -1. После нескольких десятков сеансов обмена выкинуть те, что допустим -10. Если разработчик решит, что его связь точно верная он может поставить ей +100, чтобы она не удалилась. В конце режим Larva закрывается и обновления  связей БК и рефлексов более не происходят, начинает наращиваться массив условных рефлексов и далее по этапам.

Ты погружаешься в очень сложную и пока очень туманную проблематику, у меня нет сейчас на это наглости, так что всерьез не обдумываю твои находки. 

Последняя версия: 2022_06_10.zip 

Добавились условные рефлексы (тщательно еще не проверял).

Начал делать инструменты манипуляций с памятью в виде файлов - иконка шестеренки сверху-справа Пульта.

Буду этим продолжать заниматься, потом перерыв на осмысление всего и начало этапа моделирования функций на стороне психики.

p220610.rar

А я в итоге откатил перемешивание связей БК при обмене. При добавлении веса связи пришлось перепиливать множество функций, стало еще геморнее. Когда все таки переделал, пришло просветление: рефлекторные действия ведь заточены под конкретные связи, стало быть перемешав связи и добавив чужих действий закономерно получим при любых алгоритмах и проверках запутанный и неадекватный клубок реакций - отравил все это баламутство в архив.

В итоге стал допиливать процедуры экспорта/импорта. Не смотрел еще, что у nan, но у меня пришлось делать проверки на совместимость кодов БП, БК. Так же вывел настройку гашения режима обмена в файл, чтобы можно было прекращать это дело на определенном этапе. Правда тут еще надо разделить: обмениваться файлами сенсоров можно и даже нужно постоянно, а вот действия+рефлексы строго до начала построения условных рефлексов и потом блокировать. Иначе бардак гарантирован.

Как обычно, забегая далеко вперед :)

встретились 2 бота, сбросили свои файлы сенсоров и рефлекторных действий в общую папку, скопировали свой проект с экзешником и запустили его. Тот проснулся, при первом старте залил в себя родительские файлы, послал код приветствия, боты ответили своим кодом, он их воспринял как авторитарных родителей - и пошел процесс воспитания. Боты учат ботов. А оператор типа "голос с неба", посылает периодически заветы, кары и проклятья, пока они не смогут самостоятельно вести процесс воспроизводства себе подобных и поймут, что нет никакого голоса, все делается само строго по виртуальным законам. И так пока они не додумаются, как сделать искусственного бота - и новый цикл.

p220613.rar

Допилил режим Larva. Теперь после всех необходимых проверок на совместимость обновляются/совмещаются файлы фраз, рефлекторных действий и рефлексов. Это позволит ботам обмениваться "генетическим кодом" перед началом адаптации. Что по сути позволит им размножаться, как выше было написано. 

Круто. Но сливать опыт, думаю, можно будет и на уровне психики.

Я пока слабо представляю каким образом, по крайней мере пока не будет ясен конкретный механизм организации уровня произвольности. Видимо такая передача будет подобна гипнозу, но это ведь не передача опыта, а просто авторитарные установки. Другое дело, что например обычное обучение в стиле учитель-ученик у ботов можно будет существенно разогнать по причине не нужности выжидать полчаса для проращивания нейронных связей. Особенно если будет разработана спец. методика обучения между ботами, например в каком то симуляторе.

Похоже я поспешил с готовностью обновлений. Файлы действий и рефлексов от другого бота сначала нужно свести в общий сводный файл и только потом раскидывать по массивам текущего. Иначе будет путаница с номерами действий указанных в файле обновления рефлекса потому, что у стороннего бота это действие может быть записано под другим номером. При импорте, если действие добавляется, текущий бот запишет его с номером отличным, чем то, что было указано в файле-источнике. Например, у меня есть действие №10, и в файле источнике тоже действие с таким же номером, но другое. Я его импортирую с новым номером, например 101 - а в источнике рефлексов оно указано как №10 - и получится вигвам. Чтобы этого не было, надо знать, какой новый номер получило действие при импорте и подставить его потом при импорте рефлекса. Для чего и придется два источника сначала  свести в общую сводку. То есть импорт рефлекторных действий всегда должен быть в паре с рефлексами, где эти действия указаны, а не по отдельности как сейчас.

И такая заморочка при простейшем импорте пары файлов, а что будет при попытке перетащить дерево ассоциаций? Жуть-кошмар-синхронизация. Потому и не получится так просто перетащить понимание одного бота другому. Но ты почему то настроен осторожно-оптимистично, что интригует. Я по прежнему не вижу иного пути кроме учитель/ученик, может в каком то турбо-гипно-режиме, но в любом случае это не просто подменить файлы данных. Все намного сложнее.

Об этом будем думать в последнюю очередь, когда станут ясны все особенности. Может и не получится, не стоит зарекаться.

Основы среды психических механизмов сделаны: 2022_06_14.zip

Это то, что понято достаточно уверенно. Теперь начинается область самых неисследованных особенностей. Вот тут и нужен максимум эвристики...

p171622.rar

Исправил обновления рефлекторных действий, обошлось без сводных файлов. Но действия и рефлексы должны обновляться одновременно, иначе не получится определить совместимость номеров действий у разных ботов.