Тема форума: «Бот на ГО»

Опубликован О программной реализации живого существа.

Проект в настоящее время полностью открыт для всех желающих соучастников или для самостоятельного продолжения разработки, коды схемы Beast и Пульта связи – доступны в виде репозиториев:

https://github.com/NickFornit/BEAST_GO

https://github.com/NickFornit/BEAST_PULT

Можно скачать коды Пульта и Beast с репозиториев и самим все скомпилировать. Линуксоидам придется изменить настройки проекта golang, но т.к. они все крутые, то сами организуют сайт и сами положат исполняемый на линуксе файл в корень сайта.

Чтобы посмотреть готовую реализацию, нужно запустить Пульт в виде локального сайта с исполняемым файлом, Beast скачав архив с Яндекс-диска (вариант для windows):
https://disk.yandex.ru/d/7az4UW4XG99kDQ

Достаточно просто разменстить папку из архива на любом диске компьютера, не переименовывая папку и прочесть как запустить сайт http:go на своем компьютере.

Соучастники очень нужны в качестве воспитателей Beast и это не требует понимания кода, но нужно хорошо понимать, что и как формируется на каждой стадии развития Beast.

В варианте, закаченном на Яндекс-диск, Beast развита методами избыточной искусственной накачки, что не является оптимальным. Но в Пульте есть возможность загрузить и другие этапы памяти или же вообще все начать с самого начала.

 :

Описание Пульта и схемы опубликованы:
https://scorcher.ru/adaptologiya/beast/beast_scheme/index.htm.

!!!!ОЧЕНЬ НУЖНЫ ВОСПИТАТЕЛИ ДЛЯ BEAST!!!!

По результатам программной реализации модели адаптивности живого существа (fornit.ru/65133) переписана книга “Что такое Я” (fornit.ru/40830), дополнившись новыми данными. Это значительно конкретизировало описываемые механизмы, сделало текст намного более понимаемым и ясным.

Если бы не соучастник разработки Palarm (Алексей Парусников), я бы даже не подумал об адаптации книги, и очень многое в книге осталось бы досадно морально устаревшим.

Лендинг-презентация Beast

Выяснилось, что популярное и информативное изложение результатов проекта создания системы индивидуальной адаптивности Beast вызывает затруднения и непонимание даже у специалистов. В том числе из-за того, что нужно внимательно прочесть весь немалый текст, чтобы составить общее представление.

Поэтому сделан предельно упрощенный вариант вхождения в виде лендинг-презентации, в которой на шести слайдах очень простым и понятным для всех языком изложено сделанное и, главное - назначение Beast.

На каждом текстовом блоке слайдов, внизу есть Пояснение, открывающее более обстоятельное, но краткое описание для специалистов.

Слайды удобно листаются с помощью стрелок Вверх-Вниз на клавиатуре или клавиш PageUp и PageDown,

Круглые картинки могут быть ссылками и тогда при подведении курсора появляется название документа.

Итак, Лендинг-презентация Beast и ее короткий адрес: fornit.ru/beast

Теперь удобно и нужно давать ссылку именно на такую презентацию там, где нужно упомянуть о Проекте Beast.

Когда выйдет научная статья в журнале ВАК по результатам разработки, она будет включена ссылкой в этот лендинг.

2_stadiya_obuchyeniya.rar

Получился интересный результат при попытке обучения Beast методом "кнута и пряника" на 2 стадии, позволяющий понять проблему дрессировки кошек.

На второй стадии есть механизм учитывания последствий реагирования, что означает: если после выполнения действия Beast ответная реакция Оператора вызвала негативный эффект, выполненный автоматизм Beast оценивается как неудачный и блокируется и в следующий раз при соответствующих пусковых стимулах не выполняется. А если ответ Оператора на действия Beast был оценен как положительный, то автоматизм закрепляется, повышая свой статус и получая тем самым приоритет при выборе в качестве ответного действия. На первый взгляд этого достаточно, для формирования адекватных пар стимул – ответ. Но в действительности есть существенная проблема: каждое действие Оператора меняет внутреннее состояние Beast, меняя тем самым изначальный контекст, и теперь ответное действие Beast будет привязано к нему, что при сильном отличие первичного и последующего состояний существенно усложняет формирование цепочки стимул – ответ в одном контексте. В итоге Beast воспринимает ответный стимул Оператора в отрыве от своей предыдущей реакции, хотя при этом оценка выполненного автоматизма происходит корректно. Вывод довольно неожиданный, ведь нам кажется очевидным, что методом кнута и пряника всегда можно доходчиво «объяснить», что требуется.

Есть принципиальная разница в мягкой дрессировке кошек и собак (жесткое формирование У-рефлекса не рассматриваем), зависящая от их образа жизни. Собаки стайные животные, у них развит инстинкт подчинения авторитету (вожаку). Поэтому основа успеха дрессуры собак – стать для нее «вожаком», тогда останется только «объяснить» ей, что от нее требуется, и она будет стремиться это выполнить. Кошки в естественной среде обитания ведут одиночный образ жизни, у них нет предрасположенности подчиняться более сильному, выполняя его требования. Поэтому метод «кнута и пряника» с кошками не работает, они не связывают наказания и поощрения со своими действиями. В мягкой дрессуре кошек акцент делается на другой подход – подражание. Чтобы побудить кошку что то сделать, она должна увидеть это действие на чужом примере, оценить подкрепление, соотнести со своими потребностями – и только тогда она может принять решение повторить его, чтобы получить аналогичное подкрепление. То есть для эффективной работы метода «кнут и пряник» нужен механизм удержания образа предыдущего состояния, чтобы сформировать цепочку стимул – ответ в одном контексте, чего у Beast во второй стадии еще нет. Этот механизм произвольного удержания образа у Beast становится доступным только с 4 стадии.

Моторный автоматизм создается через пробное использование существующего автоматизма, а в случае ее отсутствия активируется ориентировочный рефлекс 1 типа и делается простейшая  попытка создать новый автоматизм по следующему алгоритму:

• если ситуация опасна, то:
• ищется древнейший безусловный рефлекс на текущее состояние и клонируется в пробный автоматизм. Так реализован на этих стадиях принцип «отката» адаптации к более низкому рефлекторному уровню, когда реакция должна быть максимально быстрой и нет времени ни на какие эксперименты. Если действие оказалось успешным, автоматизм начинает повышать уверенность – закрепляться.
• если он не нашелся, то происходит попытка запустить случайной выборкой автоматизм из удачных – без привязки к текущему пусковому стимулу, просто повторить какое-нибудь удачное действие.
• если ситуация не опасна, то для случая активного контекста «поиск» или «игра» делается более смелая попытка найти пробный автоматизм – сгенерировать случайное действие, по умолчанию просто повторить стимул Оператора. Если же активны другие контексты, то эксперименты более осторожные, по алгоритму опасной ситуации: запустить случайной выборкой какой-нибудь из удачных автоматизмов.

Рассмотрим это на примере создания вербального автоматизма в контексте Поиск, Игра и базовом состоянии Норма.

Оператор: привет

Beast: здравствуй

1. Оператор пишет в окне ввода «Привет», жмет кнопку «Послать». Beast формирует автоматизм (стимул – ответ): Привет – Привет и выдает его на пульт. Как повтор стимула Оператора.
2. Оператор пишет в окне ввода «Здравствуй», жмет кнопку «Послать». Beast формирует автоматизм (стимул – ответ): Здравствуй – Здравствуй и выдает его на пульт. Как повтор стимула Оператора.Если зайти на вкладку «Автоматизмы», то увидим в таблице автоматизмов 2 новых созданных. При этом Полезность и Уровень Belief у обоих нулевой, что означает их пробный статус.
3. Оператор пишет в окне ввода «Привет», жмет кнопку «Послать». Beast уже имея автоматизм, созданный на первом шаге, активирует его, выдавая: «Привет» и выдает его на пульт.
4. Но это не верный ответ, Оператор применяет «кнут», посылая стимул «Наказать». Beast блокирует автоматизм, меняя его статус на -1.
5. Теперь в таблице Автоматизмов видим, что Belief автоматизма «Привет – Привет» стал -1, что означает его блокировку. Теперь он не будет активироваться на стимул «Привет», но может быть активирован на другой стимул.
6. Действия Оператора меняет состояние Beast до уровня Плохо, что провоцирует ответ Beast в виде соответствующей реакции «плачет». Ответная реакция Оператора будет привязана к состоянию Плохо и влиять на оценку последней реакции Beast.
7. Оператор возвращает начальное состояние Норма, чтобы вернуться в исходный контекст, для которого он пытается создать автоматизм, при этом возникает состояние Хорошо, которое будет длиться 50 сек. Чтобы этого не ждать, Оператор просто выключает Beast.
8. Оператор включает Beast и снова отправляет сообщение «Привет».
9. Но так как автоматизм на этот вербальный стимул заблокирован, Beast выдает пробник в виде действия второго автоматизма «Здравствуй», хотя он привязан к другому пусковому стимулу.
10. Оператор поощряет попытку Beast нажатием кнопки «Поощрить». В итоге формируется новый автоматизм «Привет – Здравствуй» с полезностью 1 и Belief 2.

Однако вместо 3 автоматизмов было создано 8, где 5 сформировались как пробные в результате реакций на изменения внутреннего состояния Beast, спровоцированные действиями Оператора. И такой процесс создания «мусорных автоматизмов» будет сопровождать каждую новую пару. Кроме того, механизм создания пробника для следующей пары, например «как дела – нормально», будет пытаться сначала подсунуть последний удачный автоматизм «здравствуй», а не «нормально», что еще больше увеличит время обучения и добавит мусора. И чем больше будет попыток создать новые автоматизмы, тем больше будет неудачных пробников, ведь Beast будет перебирать сначала все ранее удачные для других пусковых стимулов, и лишь в конце попытается подставить новый, с нулевой Полезностью и Belief.

Этот пример наглядно показывает, какие сложности возникают при обучении методом кнута и пряника, если нет механизма удержания образа предыдущего состояния. Оператору приходится искусственно возвращать состояние в начальный уровень и перезапускать Beast, и все равно это не решает проблему образования «мусора» и все возрастающего перебора «последних удачных вариантов». Для более успешного обучения нужен специфический механизм, позволяющий однозначно связывать нужные пары из пробных автоматизмов стимул – ответ, который активируется на 3 стадии в виде механизма отзеркаливания, либо в более сложном варианте, механизм произвольного удержания образа состояния, который есть у стайных животных, включая людей. Который позволяет «понимать», чем именно недоволен «вожак».

Про циклы мышления.

В настоящее время циклы мышления отработаны во всех принципиальных аспектах реализации Beast и могут контролироваться с помощью специальных страниц Пульта связи.

Циклы, участвующие в процессе осознания впервые описал А.Иваницкий (fornit.ru/10300), а основы философских принципов наиболее удачно сформулировал Дж.Тонони (fornit.ru/7589).

При разработке действующей модели существа Beast (fornit.ru/beast) циклы мышления были реализованы и отработаны во всех проявлениях адаптивной функциональности.

Вот какова их роль в процессе адаптации к новому, когда нет уверенных привычных реакций для данной ситуации, коротко и просто.

Если появился актуальный объект внимания, нужно удерживать его образ, даже если он временно пропадает из восприятия. Муха, скрывшись за травинкой, должна оставаться активным образом внимания так, чтобы не терять интерес и не упускать возможность животного поймать ее. Эволюция привела к зацикливанию активности образа с выхода на вход так, что образ оказывается самоподдерживающимся и может участвовать в обработке механизмами поиска решений даже на время пропадания из виду.

Каждый новый актуальный образ подключается к пошаговой последовательности функций обработки ситуации, а ранее возбужденные образы остаются в фоне.

Чем более эволюционно совершенно существо, тем все более эффективные функции поиска решения в данной ситуации в нем существуют, тем оказываются большими возможности найти верное действие. Все такие функции, по сути, это – наследственно предопределенные структуры. Именно от их набора и эффективности зависит то, насколько большими возможностями обладает данное существо для поиска решений, процесс которого называется мышлением. Если их не хватает, то никакой жизненный опыт уже не поможет достаточно эффективно мыслить.

При этом решающим оказываются продолжительность критических периодов развития и то, насколько много новой информации перерабатывается в эти периоды в различные формы личного опыта.

Каждая самоподдерживающаяся активность, возникающая от нового актуального образа восприятия, образует свой цикл мышления.

Для каждого цикла мышления отрабатывают те или иные функции – в зависимости от текущей ситуации и результатов прошлого шага мышления, обновляя общую информационную картину ситуации и ее изменения. Измененная же картина дает новые данные для следующего шага мыслительной обработки.

Получается следующая картина. Когда существо проснулось, у него – только самые общие представления о ситуации – в зависимости от состояния жизненных параметров. И его пока единственный цикл мышления (возникший от ситуации пробуждения) основывается на полученной картине самоощущения. Срабатывание мыслительных функций может выработать какое-то действие, ситуация изменится, наиболее актуальный объект внимания откроет опыт (есть несколько разных видов такого опыта) того, что это значило ранее и подскажет дальнейшие действия.

Общая информационная картина меняется с каждым действием и с каждым воспринимаемым последствием этого действия, образуя правила причин и следствий.

Правила запоминаются в основном виде опыта. Кроме того, ухудшение или улучшение состояния после совершения действий привязывает к образам воспринимаемого этот эффект, образуя другой вид опыта – значимости элементов образа восприятия и образов собственного действия. И еще один важный вид опыта привязывает каждый образ восприятия и действий к ленте кадров памяти о происходящем (эпизодической памяти), позволяя создавать модели значимости воспринимаемого, т.е. того, к чему в прошлом приводили те или иные воспринимаемые образы.

Могут возникать любые другие способы сохранения и использования опыта, эволюционно оставляя самые полезные.

Любое действие может порождать новый актуальный образ возникающих последствий, что воспринимается в виде постоянно изменяющейся информационной картины, которая и образует картину текущего самоощущения. Эта картина позволяет с каждым шагом мышления находить решений уже в новой ситуации.

Без циклов самоподдерживающейся активности принципиально невозможно было бы организовать мышление для поиска решения в постоянно меняющейся ситуации.

Они постепенно накапливаются с каждым новым впечатлением, но схожие конкурируют между собой, гася более слабые. В конце дня и даже раньше, их может накопиться так много, что они своей общей активностью начнут приносить больше вреда, чем пользы. Во сне они обрабатываются в тех местах, которые не было времени обдумать, образуя новые правила, значимости и модели понимания.

Только один новый цикл мышления обновляет общую информационную картину самоощущения, которая составляет наиболее общий контекст работы всех циклов мышления. Старые циклы становятся фоновыми и все, что в них происходит, называют подсознанием. Но, если в каком-то фоновом цикле возникнет актуальное решение, то он становится основным циклом со всеми правами осмысления и возникает явление инсайда, озарения, эвристического решения.

Если в главном цикле решение не находится с нескольких попыток, то возникает особая активность – Доминанта, которая становится постоянным источником нерешенной проблемы, заставляя думать об этом, когда только возможно (не мешает что-то более срочное). Доминанты могут находить решение в любом из циклов по методу аналогии, такой цикл становится главным, решение обдумывается и запускается на пробу.

В реализации Beast осуществлена намного более сложная организация циклов мышления, учитывающая множество различных аспектов.

Так, привила, сохраняющие причинную связь действия и последствий с эффектом улучшения или ухудшения, позволяют находить решения в данной ситуации методом GPT (fornit.ru/66139) – нахождением наиболее верного продолжения, исходя из уже совершаемых цепочек действий-результатов.

Но еще используются ментальные правила, сохраняющие причинную связь между активацией тех или иных информационных функций и полученным в результате эффектом. Это позволяет использовать такие правила уже для направления хода мышления все тем же принципом GPT.

Реализаций циклом мышления привела к появлению всем знакомых психических явлений, например, появлению навязчивых мыслей (крутящейся в голове мелодии, фразы и т.п.).

Описывать конкретику реализации совершенно бесполезно, код достаточно сложен сам по себе, несмотря на пространные комментарии, но он наилучшим образом позволяет разобраться в сделанном.

Все сделано с помощью общей функциональности уровней осознания.

На первом уровне для текущей ситуации определяется наличие наиболее привычного ответа и такой ответ проверяется на приемлемость в данных условиях с учетом того, чем грозит такое действие. Из опыта всех возможных действий в данных условиях выбирается самый безопасный и запускается. Это происходит очень быстро, как рефлекс.

Если привычной заготовки действия нет, то подключается второй уровень и методом GPTнаходится наиболее подходящий ответ по опыту правил.

Если и на втором уровне не находится решения, то запускается цикл мышления об этом, который активирует подходящие информационные функции. В текущей реализации Beast имеется 20 инфо-функций.

Одной из функций является нахождение пути мышления методом GPTпо опыту ментальных правил.

И, наконец, если в течении нескольких попыток решение не находится, то создается доминанта нерешенной проблемы и она пытается найти решения во всех случаях запуска привычных действий по аналогии.

Теперь должно стать понятным, почему так важен уже наработанный массив личного опыта, который формируется в критические периоды развития индивидуальной адаптивности. Этот массив используют функции мышления, без которого они бесполезны. 

Первым таким периодом развития психики является развитие базовых автоматизмов на основе рефлексов и случайных действий, что готовит базу для эмпатийного отзеркаливания чужого опыта.

Во втором периоде происходит подражание и формирование собственных автоматизмов на основе наблюдения чужих действий. Нарабатываются опыт правил причин и следствий, формируются массивы значимости воспринимаемых образов и их связь с кадрами памяти о событиях.

В третьем периоде начинается подвергание сомнению перенятых реакций и совершенствование своих собственных. Продолжает нарабатываться и корректироваться массив приобретенного опыта.

В пятом периоде все большую роль в поиске решений начинает играть творчество и развивается опыт применения творческого мышления (ментальные автоматизмы).

Еще: Схема процесса осознания Beast Можно уверенно сказать, что с циклами мышления по сути разобрались, они надежно организованы, и теперь там открывается самая большая и трудная работа.

Опрос https://anketolog.ru/s/727951/gNNogUoh 

Мы с Palarm кинули ГИТ и перешли на новую самодельную систему контроля версий.

Эх, я windows не видел 15 лет уже :(

Вы сделаете какую-то веб-версию браузера по проекту без магии авторизации? Или, может, будете переодически обновлять его на гит?

Я на гит версию вашего проекта натравливал chatgpt пару месяцев назад. Он лазил по проекту, изучал файлы, писал мне какую-то документацию, интересно было.

Всё забываю спросить. Вы не думали натравить существующие LLM сети на тренировку Beast?

Для этого, правда, нужен консольный интерфейс к Beast, а в остальном там, вроде, всё не сильно сложно должно быть. Тем более, что скоро Яндекс свою LLM в облако обещает выкатить. Я, правда, с ней не работал ещё. Запросил доступ к API, но его пока не дали.

Что-то в этом есть, согласитесь, LLM отыгрывает агента, который обучает гомеостатического робота :)

Прямо весь проект изучало? Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Это все равно, что натравить какую-то там сеть на воспитание ребенка.

Наработки по нейросетям можно было бы использовать для получения набора базовых рефлексов, которые мы пока забили вручную. То есть сымитировать процесс эволюции, когда методом случайного тыка подбирался нужный рефлекс. Только в этом случае эволюция заменена статистической обработкой огромных массивов данных, прошедших проверку реальным использованием - чтобы выявить простейшие рефлексы общего плана, которые можно было бы считать базовыми. И даже создать конфигурации для разных задач, типа разные виды существ с разным набором врожденных рефлексов.

Если же пытаться использовать нейросеть вместо родителя, получится примерно то, что проигрывали в фэнтезийных фильмах, когда например у робота сбилась программа, он перешел спонтанно в режим самообучения и решил изучить человека: схватил его, выпотрошил, и стал разбираться, как у него там все устроено. Или когда пришельцы похищают людей и начинают проводить над ними садисткие опыты.

То есть учитель Beast тоже должен быть "гомеостатическим", иметь аналогичную систему значимостей, иначе он его просто равнодушно "выпотрошит". А у нейросетей этого нет, там "расчлененка" произойдет "машинально". Тут видимо будет идти к тому, чтобы "однотипные" Beast учили других Beast. То есть не кошки собак, а кошки кошек, собаки собак и т. д. По сути речь о создании симуляции определенных групп социума Beast.

По факту уже на второй стадии возникают сложности. Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации). И даже ответные действия Beast тоже меняют его состояние. И получается, что воспитательные действия оператора воспринимаются им в отрыве от действий Beast потому, что они в разных состояниях - а должны быть в одном, чтобы образовать причинно-следственную цепочку. В итоге связи между действием и оценкой не образуется.

Для решения проблемы пришлось вводить особый контекст обучения - игровой режим, в котором Beast как бы заторможен и не реагирует изменением состояния на действия оператора. Хотя правильнее сказать, что отходчивый. Если ученик будет обижаться на замечания учителя - обучения не будет. Но так как в начальных стадиях бессмысленного реагирования невозможно осознанно прийти к такому пониманию потому, что сознания еще нет, остается только рефлекторно активировать игровой режим. Который кроме отходчивости подразумевает еще и авторитарность: действия учителя априори правильные.

>>> (Palarm) Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации).

Ну как бы да... 

Возможно, GPT4 нянька могла бы решать эти задачи, но вам тогда прийдётся мастерить из LLM полноценного агента. Есть кодовые базы типа AutoGPT, которые добавляют к LLM контекстную эпизодическую память (retrival), целеполагание и самокритику, ну и сам GPT4 из коробки решает Theory of Mind задачи лучше среднестатистического человека, то есть LLM, возможно, сможет верно вербально описать состояние гомеостатического робота и учесть это в принятии решения.

На сегодня есть масса эксперементов с агентами на базе LLM, вплоть до того, что создают целые виртуальные деревни, где живут существа с "желаниями", "целями", "эпизодической памятью", "рабочей памятью".

Вот запись жизни такой деревни (посмотри виртуальный мир, он красивый):

https://reverie.herokuapp.com/arXiv_Demo/#

Там можно посмотреть состояние каждого агента, его мысли, события в его жизни, планы, воспоминания etc.

Вот статья:

https://arxiv.org/abs/2304.03442

Вот очень хороший разбор на русском языке:

https://t.me/gonzo_ML/1481 - там длинный глубокий разбор на несколько постов.

Основная проблема в том, что GPT4 на сегодня очень дорогой инструмент. GPT4 нянька скорее всего обойдётся в несколько тысяч долларов в месяц и для доступа к ней нужна зарубежная дебетовая карта и сервер. ChatGPT в десятки раз дешевле, но не факт, что он сможет сколько нибудь адекватно симулировать гомеостатического робота (агентность). YandexGPT подойдёт разве что для уровня формирования примитивных рефлексов.

Но это сегодня так, всё меняется очень быстро.

В общем, я не утверждаю, что это правильный путь. Просто, хотел этот подход поместить в зону вашего внимания. Может в какой-то момент эти LLM c привинченной через пень колоду "агентностью" созреют до нужного вам уровня. Потому что, насколько я понимаю, людей на обучение Beast найти достаточно сложно.

>>> (Nan) Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Я тебе пришлю в телегу ссылки на генерации, когда смогу восстановить результаты. Сейчас они отключили у GPT4 это функцию, потому что модель воровала приватный платный контент на сайтах. 

Я месяца два назад дал GPT4  прочитать пару твоих статей через ссылки на них, попросил его ответить на пару вопросов. Он не просто читал статьи, а шастал в них по ссылкам, то есть робот читал тексты, на которые твоя статья ссылается. Потом дал ему ссылку на github ваш и попросил объяснить мне код с учетом тех статей, которые он прочитал. Он объяснял. Не всё получалось с первого раза, технология сырая, дорогая. Пользовался я интерфейсом chat.openai.com платной версией с моделью GPT4 имеющей доступ к интернет. 

Сорри, что редко пишу. Я вас больше читаю, чем пишу. Время такое, что силы остаются только на работу.

Только если подобное решение уже было кем-то решено и есть в базе. И это не есть теория разума. Такая теория в мире буксует уже на уровне понимания связи привычной части реагирования и формирования новых реакций. А эта связь определяет все остальное, без ее особенностей говорить о целях, ощущениях, смыслах совершенно не корректно. Да, можно что угодно просто назвать целью и играть с нею, ну, как К.Анохин просто назвал мозг когнитомом, и что с того в практическом плане? 

Есть сколько угодно компьютерных игрушек с разной степенб продвинутости ИИ, но все еще нет общепринятой интегральной теории разума. Вопрос в том, насколько адекватно все эти образования следуют основным принципам развития механизмов адаптивности - главный в верификации издения.

Ознакомился. "Записи в базе и умозаключения агента идут на естественном языке, " Язык вообще не имеет первичного значения в процессах нахождения варианта реагирования. Ошибка в том, что все основано на языке все еще довлеет. Ну и как же тут формально не использовать языковую модель? Опыт - это Правила типа причина - Следствие - Эффект для личности. И это - всего лишь начальный уровень осознания - до мышления. А вот если нет подходящего опыта?... тогда и начинается мышление.

Чтобы не биться о стекло нужно начинать с построения общей теории на основе данных о природной реализации и пробовать ее воплощать в конструкцию.

Да, спасибо, любые попытки воплотить разум интересны и их нужно изучать по сути пока не наткнешься на явный тупик. 

Вот это очень интересно, особенно вопрос как самим использовать такой инструмент? Какое ПО нужно? Нам очень нужно освоить верификатор кода целого проекта.

Если уж подключать к проекту нейросети, то правильнее было бы создавать с их помощью симуляторы реальности, в которые запускать Beast и пусть он пытается там адаптируясь выживать, что означает активацию поискового, пищевого, оборонительного, агрессивного и репликационного поведения. И тогда можно было бы моделировать эволюцию, проверяя и создавая адаптивные механизмы, не тратя на это миллионы лет.

Суть проекта - не создать максимально достоверную симуляцию какого то животного, а проверить правильность компоновки и последовательность развертывания адаптационных механизмов в процессе формирования живого субъекта. Ведь главная загадка жизни и разума - не то, как это работает, а как это появилось. И тут только эксперимент, имитирующий процесс эволюции, способен дать богатый материал для осмысления, а для этого должна быть теория, объясняющая принципы построения живых самоадаптирующихся систем.

Мы пытаемся подстегнуть интерес в этом направлении, предлагая прототип такой системы, которая последовательно, по стадийно, начинает разворачиваться от простейшего рефлекторного бессмысленного реагирования к осознанному. Это не Лунтик, который вылупившись из яйца сразу способен к осознанному реагированию. В реальности такого нет. Чем сложнее животное, тем примитивнее и беспомощнее у него детеныши. И на это есть причины.

Чем ниже стадия – тем более примитивны механизмы обучения. Потому, что чем проще механизм – тем он надежнее и стабильнее результат. И если надо уверенно закрепить базовые навыки, то эффективнее это делать на более низком уровне развития более простыми механизмами. Даже если при этом образуются лишние, заблокированные в процессе обучения реакции.

На начальных стадиях 1, 2, 3 автоматически активируется игровой режим обучения, когда Beast не реагирует изменением состояния на эффект действий кнопок, иначе образуется много неадекватных автоматизмов. Но в 4 стадии добавляются более продвинутые механизмы обучения, которым уже нужен переход из одного состояния в другое при действии кнопок, что является естественной реакцией. Поэтому  игровой режим в 4 стадии активируется произвольно специальной инфо-функцией (это пока еще не реализовано). Однако если нет базовых автоматизмов, на основе которых строятся более сложные, то попытка их создать в 4 стадии в обычном режиме приведет к еще большим негативным эффектам, чем в предыдущих. Здесь уже более отчетливо проявляется правило: чем проще автоматизм, тем на более низкой стадии он должен быть создан.

В данной версии реализации живого существа Beast существенно упрощена реализация двух механизмов, по причине их не принципиальности в плане точного соответствия реальным. Достаточно просто самого результата их работы. Это:

1. Способность распознавать простейшие примитивы в стимуле
2. Способность точно воспроизводить стимул – отзеркаливать внешние действия

В реальности, детеныш не создает вербальные сенсоры сразу же в виде точных распознавателей, а формирует сначала множество ошибочных, из которых статистической обработкой выделяет наиболее вероятные, которые не обязательно 100% правильные. При этом новые сенсоры создаются с учетом уже сформированных, например, если вместо звука «а» распознался и зафиксировался сенсор «я», то уже на слоги «ма» будут формироваться сенсоры «мя». Вот почему так сложно избавиться от акцента, изучая иностранный язык.

Еще более сложная проблема в природной реализации – повторить действие. Тут мало того, что нужно корректирующими рефлексами мозжечка правильно составить последовательность действий с нужной энергичностью, что делается не с первого раза, так и сами воспроизводимые действия не точны изначально, потому как распознаватели не точны. И кроме того, успешность повтора так же не точно оценивается. То что последствия после действия стали лучше, вовсе не значит, что действие точно такое, какое должно быть – оно может быть просто похожим и примерно допустимым.

В итоге получается, что в реальности, в первую очередь по причине невозможности точно отзеркалить внешний стимул, не возможны схемы обучения, которые рассмотрены для 1, 2, 3 стадий. Это идеальные условия, которые в реальности не возможны в принципе. Именно наличие вышеописанных проблем и приводит к тому, что из всей массы вариантов реагирования на стимулы в начальных стадиях в итоге фиксируются только простейшие реакции, как наиболее легко воспроизводимые и статистически устойчивые. А мы это просто повесили на Оператора.

Однако в программной реализации нет никаких проблем точно воспроизвести стимул – и нет проблем даже на 2 стадии создать любые автоматизмы, хоть со словами, хоть с фразами и предложениями. Что изначально приводит к «химеризации» Beast. Программная реализация –  это всегда построение существа иными, не природными средствами, но для развития эффективности адаптивных механизмов используются те же, что в природе, принципы. Программное существо имеет свое право на существование, как альтернативная конструкция, по многим свойствам не похожая на реальные био-конструкции и многие возможности в программной реализации несопоставимо выше, чем в природной, как если сравнивать природный глаз и фотоаппарат.

К сожалению, для тех, кто не в теме (т.е. буквально для всех) озвученное спорно и не очевидно. Нужен личный опыт работы в этой проблематике.