Тема форума: «Бот на ГО»

Про циклы мышления.

В настоящее время циклы мышления отработаны во всех принципиальных аспектах реализации Beast и могут контролироваться с помощью специальных страниц Пульта связи.

Циклы, участвующие в процессе осознания впервые описал А.Иваницкий (fornit.ru/10300), а основы философских принципов наиболее удачно сформулировал Дж.Тонони (fornit.ru/7589).

При разработке действующей модели существа Beast (fornit.ru/beast) циклы мышления были реализованы и отработаны во всех проявлениях адаптивной функциональности.

Вот какова их роль в процессе адаптации к новому, когда нет уверенных привычных реакций для данной ситуации, коротко и просто.

Если появился актуальный объект внимания, нужно удерживать его образ, даже если он временно пропадает из восприятия. Муха, скрывшись за травинкой, должна оставаться активным образом внимания так, чтобы не терять интерес и не упускать возможность животного поймать ее. Эволюция привела к зацикливанию активности образа с выхода на вход так, что образ оказывается самоподдерживающимся и может участвовать в обработке механизмами поиска решений даже на время пропадания из виду.

Каждый новый актуальный образ подключается к пошаговой последовательности функций обработки ситуации, а ранее возбужденные образы остаются в фоне.

Чем более эволюционно совершенно существо, тем все более эффективные функции поиска решения в данной ситуации в нем существуют, тем оказываются большими возможности найти верное действие. Все такие функции, по сути, это – наследственно предопределенные структуры. Именно от их набора и эффективности зависит то, насколько большими возможностями обладает данное существо для поиска решений, процесс которого называется мышлением. Если их не хватает, то никакой жизненный опыт уже не поможет достаточно эффективно мыслить.

При этом решающим оказываются продолжительность критических периодов развития и то, насколько много новой информации перерабатывается в эти периоды в различные формы личного опыта.

Каждая самоподдерживающаяся активность, возникающая от нового актуального образа восприятия, образует свой цикл мышления.

Для каждого цикла мышления отрабатывают те или иные функции – в зависимости от текущей ситуации и результатов прошлого шага мышления, обновляя общую информационную картину ситуации и ее изменения. Измененная же картина дает новые данные для следующего шага мыслительной обработки.

Получается следующая картина. Когда существо проснулось, у него – только самые общие представления о ситуации – в зависимости от состояния жизненных параметров. И его пока единственный цикл мышления (возникший от ситуации пробуждения) основывается на полученной картине самоощущения. Срабатывание мыслительных функций может выработать какое-то действие, ситуация изменится, наиболее актуальный объект внимания откроет опыт (есть несколько разных видов такого опыта) того, что это значило ранее и подскажет дальнейшие действия.

Общая информационная картина меняется с каждым действием и с каждым воспринимаемым последствием этого действия, образуя правила причин и следствий.

Правила запоминаются в основном виде опыта. Кроме того, ухудшение или улучшение состояния после совершения действий привязывает к образам воспринимаемого этот эффект, образуя другой вид опыта – значимости элементов образа восприятия и образов собственного действия. И еще один важный вид опыта привязывает каждый образ восприятия и действий к ленте кадров памяти о происходящем (эпизодической памяти), позволяя создавать модели значимости воспринимаемого, т.е. того, к чему в прошлом приводили те или иные воспринимаемые образы.

Могут возникать любые другие способы сохранения и использования опыта, эволюционно оставляя самые полезные.

Любое действие может порождать новый актуальный образ возникающих последствий, что воспринимается в виде постоянно изменяющейся информационной картины, которая и образует картину текущего самоощущения. Эта картина позволяет с каждым шагом мышления находить решений уже в новой ситуации.

Без циклов самоподдерживающейся активности принципиально невозможно было бы организовать мышление для поиска решения в постоянно меняющейся ситуации.

Они постепенно накапливаются с каждым новым впечатлением, но схожие конкурируют между собой, гася более слабые. В конце дня и даже раньше, их может накопиться так много, что они своей общей активностью начнут приносить больше вреда, чем пользы. Во сне они обрабатываются в тех местах, которые не было времени обдумать, образуя новые правила, значимости и модели понимания.

Только один новый цикл мышления обновляет общую информационную картину самоощущения, которая составляет наиболее общий контекст работы всех циклов мышления. Старые циклы становятся фоновыми и все, что в них происходит, называют подсознанием. Но, если в каком-то фоновом цикле возникнет актуальное решение, то он становится основным циклом со всеми правами осмысления и возникает явление инсайда, озарения, эвристического решения.

Если в главном цикле решение не находится с нескольких попыток, то возникает особая активность – Доминанта, которая становится постоянным источником нерешенной проблемы, заставляя думать об этом, когда только возможно (не мешает что-то более срочное). Доминанты могут находить решение в любом из циклов по методу аналогии, такой цикл становится главным, решение обдумывается и запускается на пробу.

В реализации Beast осуществлена намного более сложная организация циклов мышления, учитывающая множество различных аспектов.

Так, привила, сохраняющие причинную связь действия и последствий с эффектом улучшения или ухудшения, позволяют находить решения в данной ситуации методом GPT (fornit.ru/66139) – нахождением наиболее верного продолжения, исходя из уже совершаемых цепочек действий-результатов.

Но еще используются ментальные правила, сохраняющие причинную связь между активацией тех или иных информационных функций и полученным в результате эффектом. Это позволяет использовать такие правила уже для направления хода мышления все тем же принципом GPT.

Реализаций циклом мышления привела к появлению всем знакомых психических явлений, например, появлению навязчивых мыслей (крутящейся в голове мелодии, фразы и т.п.).

Описывать конкретику реализации совершенно бесполезно, код достаточно сложен сам по себе, несмотря на пространные комментарии, но он наилучшим образом позволяет разобраться в сделанном.

Все сделано с помощью общей функциональности уровней осознания.

На первом уровне для текущей ситуации определяется наличие наиболее привычного ответа и такой ответ проверяется на приемлемость в данных условиях с учетом того, чем грозит такое действие. Из опыта всех возможных действий в данных условиях выбирается самый безопасный и запускается. Это происходит очень быстро, как рефлекс.

Если привычной заготовки действия нет, то подключается второй уровень и методом GPTнаходится наиболее подходящий ответ по опыту правил.

Если и на втором уровне не находится решения, то запускается цикл мышления об этом, который активирует подходящие информационные функции. В текущей реализации Beast имеется 20 инфо-функций.

Одной из функций является нахождение пути мышления методом GPTпо опыту ментальных правил.

И, наконец, если в течении нескольких попыток решение не находится, то создается доминанта нерешенной проблемы и она пытается найти решения во всех случаях запуска привычных действий по аналогии.

Теперь должно стать понятным, почему так важен уже наработанный массив личного опыта, который формируется в критические периоды развития индивидуальной адаптивности. Этот массив используют функции мышления, без которого они бесполезны. 

Первым таким периодом развития психики является развитие базовых автоматизмов на основе рефлексов и случайных действий, что готовит базу для эмпатийного отзеркаливания чужого опыта.

Во втором периоде происходит подражание и формирование собственных автоматизмов на основе наблюдения чужих действий. Нарабатываются опыт правил причин и следствий, формируются массивы значимости воспринимаемых образов и их связь с кадрами памяти о событиях.

В третьем периоде начинается подвергание сомнению перенятых реакций и совершенствование своих собственных. Продолжает нарабатываться и корректироваться массив приобретенного опыта.

В пятом периоде все большую роль в поиске решений начинает играть творчество и развивается опыт применения творческого мышления (ментальные автоматизмы).

Еще: Схема процесса осознания Beast Можно уверенно сказать, что с циклами мышления по сути разобрались, они надежно организованы, и теперь там открывается самая большая и трудная работа.

Опрос https://anketolog.ru/s/727951/gNNogUoh 

Мы с Palarm кинули ГИТ и перешли на новую самодельную систему контроля версий.

Эх, я windows не видел 15 лет уже :(

Вы сделаете какую-то веб-версию браузера по проекту без магии авторизации? Или, может, будете переодически обновлять его на гит?

Я на гит версию вашего проекта натравливал chatgpt пару месяцев назад. Он лазил по проекту, изучал файлы, писал мне какую-то документацию, интересно было.

Всё забываю спросить. Вы не думали натравить существующие LLM сети на тренировку Beast?

Для этого, правда, нужен консольный интерфейс к Beast, а в остальном там, вроде, всё не сильно сложно должно быть. Тем более, что скоро Яндекс свою LLM в облако обещает выкатить. Я, правда, с ней не работал ещё. Запросил доступ к API, но его пока не дали.

Что-то в этом есть, согласитесь, LLM отыгрывает агента, который обучает гомеостатического робота :)

Прямо весь проект изучало? Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Это все равно, что натравить какую-то там сеть на воспитание ребенка.

Наработки по нейросетям можно было бы использовать для получения набора базовых рефлексов, которые мы пока забили вручную. То есть сымитировать процесс эволюции, когда методом случайного тыка подбирался нужный рефлекс. Только в этом случае эволюция заменена статистической обработкой огромных массивов данных, прошедших проверку реальным использованием - чтобы выявить простейшие рефлексы общего плана, которые можно было бы считать базовыми. И даже создать конфигурации для разных задач, типа разные виды существ с разным набором врожденных рефлексов.

Если же пытаться использовать нейросеть вместо родителя, получится примерно то, что проигрывали в фэнтезийных фильмах, когда например у робота сбилась программа, он перешел спонтанно в режим самообучения и решил изучить человека: схватил его, выпотрошил, и стал разбираться, как у него там все устроено. Или когда пришельцы похищают людей и начинают проводить над ними садисткие опыты.

То есть учитель Beast тоже должен быть "гомеостатическим", иметь аналогичную систему значимостей, иначе он его просто равнодушно "выпотрошит". А у нейросетей этого нет, там "расчлененка" произойдет "машинально". Тут видимо будет идти к тому, чтобы "однотипные" Beast учили других Beast. То есть не кошки собак, а кошки кошек, собаки собак и т. д. По сути речь о создании симуляции определенных групп социума Beast.

По факту уже на второй стадии возникают сложности. Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации). И даже ответные действия Beast тоже меняют его состояние. И получается, что воспитательные действия оператора воспринимаются им в отрыве от действий Beast потому, что они в разных состояниях - а должны быть в одном, чтобы образовать причинно-следственную цепочку. В итоге связи между действием и оценкой не образуется.

Для решения проблемы пришлось вводить особый контекст обучения - игровой режим, в котором Beast как бы заторможен и не реагирует изменением состояния на действия оператора. Хотя правильнее сказать, что отходчивый. Если ученик будет обижаться на замечания учителя - обучения не будет. Но так как в начальных стадиях бессмысленного реагирования невозможно осознанно прийти к такому пониманию потому, что сознания еще нет, остается только рефлекторно активировать игровой режим. Который кроме отходчивости подразумевает еще и авторитарность: действия учителя априори правильные.

>>> (Palarm) Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации).

Ну как бы да... 

Возможно, GPT4 нянька могла бы решать эти задачи, но вам тогда прийдётся мастерить из LLM полноценного агента. Есть кодовые базы типа AutoGPT, которые добавляют к LLM контекстную эпизодическую память (retrival), целеполагание и самокритику, ну и сам GPT4 из коробки решает Theory of Mind задачи лучше среднестатистического человека, то есть LLM, возможно, сможет верно вербально описать состояние гомеостатического робота и учесть это в принятии решения.

На сегодня есть масса эксперементов с агентами на базе LLM, вплоть до того, что создают целые виртуальные деревни, где живут существа с "желаниями", "целями", "эпизодической памятью", "рабочей памятью".

Вот запись жизни такой деревни (посмотри виртуальный мир, он красивый):

https://reverie.herokuapp.com/arXiv_Demo/#

Там можно посмотреть состояние каждого агента, его мысли, события в его жизни, планы, воспоминания etc.

Вот статья:

https://arxiv.org/abs/2304.03442

Вот очень хороший разбор на русском языке:

https://t.me/gonzo_ML/1481 - там длинный глубокий разбор на несколько постов.

Основная проблема в том, что GPT4 на сегодня очень дорогой инструмент. GPT4 нянька скорее всего обойдётся в несколько тысяч долларов в месяц и для доступа к ней нужна зарубежная дебетовая карта и сервер. ChatGPT в десятки раз дешевле, но не факт, что он сможет сколько нибудь адекватно симулировать гомеостатического робота (агентность). YandexGPT подойдёт разве что для уровня формирования примитивных рефлексов.

Но это сегодня так, всё меняется очень быстро.

В общем, я не утверждаю, что это правильный путь. Просто, хотел этот подход поместить в зону вашего внимания. Может в какой-то момент эти LLM c привинченной через пень колоду "агентностью" созреют до нужного вам уровня. Потому что, насколько я понимаю, людей на обучение Beast найти достаточно сложно.

>>> (Nan) Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Я тебе пришлю в телегу ссылки на генерации, когда смогу восстановить результаты. Сейчас они отключили у GPT4 это функцию, потому что модель воровала приватный платный контент на сайтах. 

Я месяца два назад дал GPT4  прочитать пару твоих статей через ссылки на них, попросил его ответить на пару вопросов. Он не просто читал статьи, а шастал в них по ссылкам, то есть робот читал тексты, на которые твоя статья ссылается. Потом дал ему ссылку на github ваш и попросил объяснить мне код с учетом тех статей, которые он прочитал. Он объяснял. Не всё получалось с первого раза, технология сырая, дорогая. Пользовался я интерфейсом chat.openai.com платной версией с моделью GPT4 имеющей доступ к интернет. 

Сорри, что редко пишу. Я вас больше читаю, чем пишу. Время такое, что силы остаются только на работу.

Только если подобное решение уже было кем-то решено и есть в базе. И это не есть теория разума. Такая теория в мире буксует уже на уровне понимания связи привычной части реагирования и формирования новых реакций. А эта связь определяет все остальное, без ее особенностей говорить о целях, ощущениях, смыслах совершенно не корректно. Да, можно что угодно просто назвать целью и играть с нею, ну, как К.Анохин просто назвал мозг когнитомом, и что с того в практическом плане? 

Есть сколько угодно компьютерных игрушек с разной степенб продвинутости ИИ, но все еще нет общепринятой интегральной теории разума. Вопрос в том, насколько адекватно все эти образования следуют основным принципам развития механизмов адаптивности - главный в верификации издения.

Ознакомился. "Записи в базе и умозаключения агента идут на естественном языке, " Язык вообще не имеет первичного значения в процессах нахождения варианта реагирования. Ошибка в том, что все основано на языке все еще довлеет. Ну и как же тут формально не использовать языковую модель? Опыт - это Правила типа причина - Следствие - Эффект для личности. И это - всего лишь начальный уровень осознания - до мышления. А вот если нет подходящего опыта?... тогда и начинается мышление.

Чтобы не биться о стекло нужно начинать с построения общей теории на основе данных о природной реализации и пробовать ее воплощать в конструкцию.

Да, спасибо, любые попытки воплотить разум интересны и их нужно изучать по сути пока не наткнешься на явный тупик. 

Вот это очень интересно, особенно вопрос как самим использовать такой инструмент? Какое ПО нужно? Нам очень нужно освоить верификатор кода целого проекта.

Если уж подключать к проекту нейросети, то правильнее было бы создавать с их помощью симуляторы реальности, в которые запускать Beast и пусть он пытается там адаптируясь выживать, что означает активацию поискового, пищевого, оборонительного, агрессивного и репликационного поведения. И тогда можно было бы моделировать эволюцию, проверяя и создавая адаптивные механизмы, не тратя на это миллионы лет.

Суть проекта - не создать максимально достоверную симуляцию какого то животного, а проверить правильность компоновки и последовательность развертывания адаптационных механизмов в процессе формирования живого субъекта. Ведь главная загадка жизни и разума - не то, как это работает, а как это появилось. И тут только эксперимент, имитирующий процесс эволюции, способен дать богатый материал для осмысления, а для этого должна быть теория, объясняющая принципы построения живых самоадаптирующихся систем.

Мы пытаемся подстегнуть интерес в этом направлении, предлагая прототип такой системы, которая последовательно, по стадийно, начинает разворачиваться от простейшего рефлекторного бессмысленного реагирования к осознанному. Это не Лунтик, который вылупившись из яйца сразу способен к осознанному реагированию. В реальности такого нет. Чем сложнее животное, тем примитивнее и беспомощнее у него детеныши. И на это есть причины.

Чем ниже стадия – тем более примитивны механизмы обучения. Потому, что чем проще механизм – тем он надежнее и стабильнее результат. И если надо уверенно закрепить базовые навыки, то эффективнее это делать на более низком уровне развития более простыми механизмами. Даже если при этом образуются лишние, заблокированные в процессе обучения реакции.

На начальных стадиях 1, 2, 3 автоматически активируется игровой режим обучения, когда Beast не реагирует изменением состояния на эффект действий кнопок, иначе образуется много неадекватных автоматизмов. Но в 4 стадии добавляются более продвинутые механизмы обучения, которым уже нужен переход из одного состояния в другое при действии кнопок, что является естественной реакцией. Поэтому  игровой режим в 4 стадии активируется произвольно специальной инфо-функцией (это пока еще не реализовано). Однако если нет базовых автоматизмов, на основе которых строятся более сложные, то попытка их создать в 4 стадии в обычном режиме приведет к еще большим негативным эффектам, чем в предыдущих. Здесь уже более отчетливо проявляется правило: чем проще автоматизм, тем на более низкой стадии он должен быть создан.

В данной версии реализации живого существа Beast существенно упрощена реализация двух механизмов, по причине их не принципиальности в плане точного соответствия реальным. Достаточно просто самого результата их работы. Это:

1. Способность распознавать простейшие примитивы в стимуле
2. Способность точно воспроизводить стимул – отзеркаливать внешние действия

В реальности, детеныш не создает вербальные сенсоры сразу же в виде точных распознавателей, а формирует сначала множество ошибочных, из которых статистической обработкой выделяет наиболее вероятные, которые не обязательно 100% правильные. При этом новые сенсоры создаются с учетом уже сформированных, например, если вместо звука «а» распознался и зафиксировался сенсор «я», то уже на слоги «ма» будут формироваться сенсоры «мя». Вот почему так сложно избавиться от акцента, изучая иностранный язык.

Еще более сложная проблема в природной реализации – повторить действие. Тут мало того, что нужно корректирующими рефлексами мозжечка правильно составить последовательность действий с нужной энергичностью, что делается не с первого раза, так и сами воспроизводимые действия не точны изначально, потому как распознаватели не точны. И кроме того, успешность повтора так же не точно оценивается. То что последствия после действия стали лучше, вовсе не значит, что действие точно такое, какое должно быть – оно может быть просто похожим и примерно допустимым.

В итоге получается, что в реальности, в первую очередь по причине невозможности точно отзеркалить внешний стимул, не возможны схемы обучения, которые рассмотрены для 1, 2, 3 стадий. Это идеальные условия, которые в реальности не возможны в принципе. Именно наличие вышеописанных проблем и приводит к тому, что из всей массы вариантов реагирования на стимулы в начальных стадиях в итоге фиксируются только простейшие реакции, как наиболее легко воспроизводимые и статистически устойчивые. А мы это просто повесили на Оператора.

Однако в программной реализации нет никаких проблем точно воспроизвести стимул – и нет проблем даже на 2 стадии создать любые автоматизмы, хоть со словами, хоть с фразами и предложениями. Что изначально приводит к «химеризации» Beast. Программная реализация –  это всегда построение существа иными, не природными средствами, но для развития эффективности адаптивных механизмов используются те же, что в природе, принципы. Программное существо имеет свое право на существование, как альтернативная конструкция, по многим свойствам не похожая на реальные био-конструкции и многие возможности в программной реализации несопоставимо выше, чем в природной, как если сравнивать природный глаз и фотоаппарат.

К сожалению, для тех, кто не в теме (т.е. буквально для всех) озвученное спорно и не очевидно. Нужен личный опыт работы в этой проблематике.

Годовой отчет по теме почти готов, но задерживается, т.к. ждем публикацию итоговой статьи в журнале.

Коротко можно сказать, что модель отработана во всех основных принципиальных механизмах адаптивности, исходный код доступен полностью (он был практически во всем оптимизирован), основные шаги воспитания описаны в Инструкции.

Самым важным явилась детальная отработка циклов мышления,  и там открылись неисчерпаемые перспективы для совершенствования в виде информационных функций, но мы с Palarm решили пока не углубляться в столь глубокие детали.

Очень интересным оказался вывод о повсеместной организации основных элементов памяти в виде древовидных структур.

А в вопросе организации процессов осознания и их субъективной стороне (квалиа) закрыты все непонятки (об этом изложено в ожидаемой публикации статье и пояснительном обобщении), причем, это уже не философские догадки и предположения. а отработанные на действующем прототипе, верифицированные принципы.

Мы очень критично подошли ко всем перечисленным аспектам и результирующим обобщениям, специально стараясь фальсифицировать модели представлений, обращаясь ко все новым фактическим данным исследвоаний по теме так, чтобы максимально не вводить себя в заблуждение уверенностью, но все очень надежно складывается в ясно складывающийся пазл.

В результате появились популярные статьи про суть субъективного самоощущения, обобщением которых стала статья Суть самоощущения, хотя это не сделало понимание сути сознания более легким, но оно стало определенно возможным.

Тема мало кого интересует в настоящее время перемен и массового одурения народа... что во многом выражается в профанации среди ученых академической науки. Но "трудная проблема сознания" приоткрыта и, как и предполагал К.Анохин (по "когнитому" Анохина готово обобщение и будет опубликовано после выхода ожидаемой статьи в журнале), теория, описывающая суть явления, основывается на простых и ясных принципах.

Когда-нибудь в мире удастся преодолеть множество негативных явлений, мешающих развитию культуры и науки, люди перестанут тратить огромные ресурсы на войны и конкуренцию, и тогда интересы с мелочного хайпа и узко-практичных сторон расширятся в область фундаментальных принципов. Люди станут интересоваться в самом деле значимыми идеями, как это уже было при коммунизме, когда очень многие выписывали научные и популярные журналы.

В общем, всему свое время :)

Для углубления понимания, почему схема Beast построена именно таким образом, сделано обобщение по системе гомеостаза: как в процессе филогенеза возникли базовые состояния, базовые контексты и почему интегральный пусковой стимул удобнее представлять в виде дерева.

Для наглядности понимания создана обзорная статья "Принцип процесса осознания" (fornit.ru/67865) c демо-анимацией (fornit.ru/an-book-21)

Лаборатория схемотехники адаптивных систем  МВАП  fornit.ru/67990