Тема форума: «Бот на ГО»

Без протухания в нем смысла нет никакого, рефлексы будут постоянно перецеплять пусковые стимулы, часть таких связей заклинит намертво - и все в итоге заглючит в сплошном неадеквате.

Я думал, что изначально древний вариант У-рефлекса, где просто фиксируются повторяющиеся пары стимулов, ты превратишь в более продвинутый, добавив эмоциональное подкрепление, что позволит перепрошивать пусковые стимулы от казалось бы никак не связанных раздражителей. То есть классический У-рефлекс тупо следит только за близлежащей по времени парой раздражителей, а продвинутый может это время растянуть сколь угодно далеко или вообще связать по своим "внутренним понятиям" что угодно. Суть останется все та же - перепрошивка пусковых стимулов, но появится возможность более широко трактовать понятия причина-следствие, что от чего можно перевязывать.

Основанием для такой модификации служит то, что не только насекомые, но и животные продолжают активно использовать У-рефлексы, включая человека. Ну и выше говорил про механизм первичной инициализации базовых понятий, который думаю только через У-рефлекс и реализуем, только уже с дополнительным, значимым подкреплением, чтобы не протухал так быстро. Но ты почему то ввел их только для галочки. Хотя они как минимум могут активировать доминирующие контексты, тем самым задавая тренд ветвления дерева понимания. Ведь именно в этом  как думается главная сложность борьбы с вредными привычками, когда сначала на рефлекторном уровне, без возможности как то этому помешать, запускается контекст и провоцирует запуск автоматизма в свое ключе. Отсюда эмпирически подмеченное правило "борьбы с страстями": не искушай, не провоцируй - не сможешь потом  остановить. Блокировать ее можно только более мощным конкурирующим контекстом, поэтому бывших алкоголиков не бывает: стоит только расслабиться, и все вернется.

То есть я думаю, У-рефлексы, в виде различных модификаций, широко используются в психических явлениях и от них в том числе надо отталкиваться для получения различных механизмов психики, добавляя к простому У-рефлексу какой то девайс, например произвольную выборку пары пусковых стимулов для перепрошивки.

Рефлексы формируются в третичной теменной коре, автоматизмы – в третичной лобной – совершенно разных местах. Третичная теменная оказывается поставщиком образов восприятия для лобной, здесь формируются распознаватели самых сложных сочетаний признаков восприятия, отсюда уже нет безусловных рефлексом, но есть условные, которые и используют эти сложные образы как стимулы для запуска, что дает возможность сформировать условный рефлекс по самому избирательному, уникальному образу. На этом возможности механизмов третичной теменной коры исчерпываются. Но с ее развитием параллельно идет развитие и третичной лобной коры с совершенно новым и более эффективным качеством адаптивности. Поначалу это – просто формирование автоматизмов в тех случаях, когда появился новый стимул, для которого нет рефлексов. Потом, с появлением собственного дерева образов (уже с произвольно формирующегося значимостью), даже если есть рефлексы, но еще нет осознанного результата реагирования (автоматизма), то начинается осмысление ситуации.

Но чтобы уровень рефлексов получился более убедительным, ты прав, наверное, стоит сделать рефлекс как можно более “правильным” с природной адекватностью. А в природе условный рефлекс угасает по трем причинам.

Долгое отсутствие пускового стимула (узла ветки, с которого он запускается) – это легко реализуется добавлением в структуру у.рефлекса lastActivationint– в числе пульсов и времени протухания истекших рефлексов;

Действие конкурентных раздражителей – т.е. подавление конкурентными рефлексами и автоматизмами – это труднее, но можно реализовать, т.е. если есть более значимый рефлекс или любой автоматизм на тот же пусковой стимул, то он блокирует у.рефлекс. Это сделано для автоматизмов, а для рефлексов придется добавлять веса значимости в структуру рефлекса.

При отсутствии “подкрепления” после появления пускового стимула – это труднее всего организовать, хотя и можно.

Тогда я прервусь с психикой и доделаю эти дела, но, м.б. последнее, если это будет слишком наворочено, не стану делать.

А что ты думаешь по поводу схемы инициализации первичных понятий через условный рефлекс, когда значимость действия с пульта переносится на фразу, которая сопровождает действие? В ней есть смысл?

Вообще-то такая функциональность не присуща условным рефлексам. Ты только что радел за чистоту моделирования, и убедил меня допилить у.рефлекс по феншую :) 

А к чему тогда она ближе и как ты предполагаешь учить Beast смыслу слов и фраз? Здесь ближе всего аналогия обучения слепо-глухо-немых детей, где суть методики была в многократных повторениях связки условный знак, обозначающий предмет и сам предмет, который давали в руки ребенку. Пока он не зафиксирует связь: всякий раз, когда в руках оказывался знакомый предмет, например мяч, оператор определенным образом складывал пыльцы ребенка. И когда ребенку захотелось мяч, всплывшая в его памяти связка объект - символ спровоцировала получения от оператора мяча. По моему тут тот же механизм У-рефлекса, только с эмоциональным подкреплением в виде достижения цели: захотелось мяч - сделал условный сигнал - получил мяч. Условный сигнал==мяч. Но ребенок не перебирал хаотично какие попало жесты, в выбрал из памяти связку жест-мяч, которая зафиксировалась простым У-рефлексом, который просто тупо запоминал пары часто возникающих друг за другом раздражителей, и закрепилась в его продвинутом варианте с подкреплением. То есть У-рефлекс в этой ситуации играл роль формирователя базы заготовок вариантов реакций.

У у.рефлекса главное – уже прошитое действие, унаследованное изначально с первичного б.рефлекса, а сам у.рефлекс символизирует причинную связь: условие -> действие -> сдедующее “подкрепление”. В твоем примере наоборот: сначала ребенок получал сенсорное ощущение, потом ему складывали пальцы. Наверно, можно сказать, что вырабатывается рефлекс причинной цепочки: мяч попал в руки (условие) + сложенные пальцы (доп.компонент условий) -> действия с мячом и -> “подкрепление”. Будет ли эффект в возрасте еще не развитого отзеркалияния? Вряд ли. И у у.рефлексов еще нет никакого смысла (осознания того, что это значит).

У того ребенка уже были цели в его текущем состоянии, раз была необходимость как-то дать знать, что он хочет получить мяч. Он понимал, что это не он сам, а взрослый складывал его пальцы, т.е. была ситуация именно отзеркаливания.

Еще до первых слов есть период экспериментов со своим телом, когда нарабатываются связи: действие – то, к чему оно приводит. Это прошито заранее в редакторе действий и более продвинуто – редакторе рефлексов. Это – первые ассоциации того, что в текущем самоощущении и его особенностях, приводящих к появлению потребности и цели может использоваться для экспериментов, дающих уже осознанную оценку значимости последствий. Это вырабатывает первые, самые тупые автоматизмы. Тут же возникают первые результаты отзеркаливания чужих ответных действий.

А вот на основе этого, когда есть автоматизм, но в условиях присутствует компонент значимой новизны, возникают попытки первых сопоставлений с уже имеющимися другими действиями, а это уже – начало произвольности.

БУ-рефлекс ,У-рефлекс - это обезличенное, бессмысленное действие. Можно по моей схеме добавить еще рефлексов, это ничего не изменит в схеме реагирования, она по прежнему будет строго алгоритмической. Для придания смысла действию нужно провести целевой эксперимент: поставить цель - попробовать действие - зафиксировать результат при текущих условиях. Тогда появится возможность выбирать действие согласно текущим целям, а не просто ветвиться по сформированным связям. Это будет уже принципиально другое реагирование. Осталось только понять, откуда берутся цели.

Судя по всему, основная, глобальная цель - приведение в норму базовых параметров. Но когда появляются механизмы прогнозирования, которые строят довольно длинные цепочки действий, предположительно ведущие к стабилизации БП - возникают промежуточные цели: построить эти цепочки, а затем оптимизировать. Они начинают конкурировать между собой и прямыми рефлекторными действиями для стабилизации БП: можно просто съесть сколько успеешь, пока не отберут и уйти, а можно, подавив голод, сначала утащить добычу в укромное место и спокойно съесть ее всю, еще и про запас закопать. Все это варится в общем котле текущих, отложенных, нерешенных целей, перемешиваясь, контрастируя - что создает постоянный фон каких то задач. Образно можно представить большой котел в который постоянно что то сыпется, все это варится, бурлит - и периодически всплывают и лопаются пузыри, аллегория актуализации и решения какой то проблемы. Выбор что и как решать - это произвольность. Но не случайно-хаотичная, а как и всякий физ. процесс подчиняющийся строгим физ. законам - так же строго закономерна. Другое дело, что выявить ее очень сложно, в смысле проследить путь конкретного пузыря, от начала его формирования и уничтожения, и практически не возможно предсказать, где когда какой пузырь появится.

Произвольный выбор какому пузырю надуваться, всплывать и лопаться формирует феномен свободы выбора. С одной стороны можно актуализировать любую проблему и начать ее решать, с другой стороны - самая идея, какую проблему решать, детерминирована текущим состоянием варева в котле, которое практически не возможно предсказать. И получается парадокс как в "матрице": если бы ты знал, что сейчас заденешь вазу, она упадет и разобьется - стал бы ты ее задевать? Ответ зависит от того, что ты хочешь в данный момент: чтобы она разбилась или нет.

В purpose_genetic.go уже заложены начала целеобразования.

Beast_chema.rar

Это схемы рефлекторной части проекта, который в принципе у меня с Nan общий, только с небольшими не принципиальными отличиями. Думается, так проще будет понять, что там происходит. А почему именно так, будет показано потом в пояснениях к проекту, когда он будет закончен.

Последняя версия: 2022_07_05.zip

Всего в проекте 5 деревьев:

1 – дерево слов

2 – дерево фраз

3 – дерево безусловных и условных рефлексов

3 – дерево автоматизмов

4 – дерево ментальных автоматизмов или дерево понимания.

Начинаю серьезно вязнуть :) уже даже компилятор Го довольно долго жужжит.

Дальнейшее развитие проекта (область ментальности) может быть более определенным только после некоторого реального наполнения рефлексами и начальными автоматизмами.

Подготовил проект к поэтапному развитию твари: 2022_07_13.zip

Сервер http://go/ с исполняемым файлом ГО: https://drive.google.com/file/d/1AlNMuDtoyeUkPVzt8QjFlK4BXwbxxfLy/view?usp=sharing

Блок-схема с описанием рефлекторной части: a.zip

Далее ссылки идут на локальный домен, определенный в сервере, который можно скачать по длинной ссылке (>3 гиг).

Что поменял.1)  Пришлось убрать кормление (запас еды) т.к. это потянуло за собой слишком неоправданные сложности (когда дается еда то никаких позитивных изменений не происходит пока ее не съесть и т.п.). 2) Сделал редактируемым зависимость Действия оператора (кнопки действий) - гомеостатический эффект – внизу страницы http://go/pages/gomeostaz.php 3) Зарезервировал ID обязательных  (могут быть прописаны в коде Го) действий твари от 1 до 29 и вынес этот блок наверх в http://go/pages/terminal_actions.php 3) Более наглядное добавление-редактирование б.рефлексов в http://go/pages/reflexes.php с описанием http://go/pages/reflexes_help.htm и http://go/pages/stadia_0.htm:

Чтобы заполнять таблицу было проще, над ней расположены все нужные данные и в каждом поле ввода справа есть иконка для выбора возможных значений. Кроме того, при щелчке на строке таблицы сверху-справа показывается полная расшифровка рефлекса: иерархия его условий и действий.

Но есть еще более простая и, пожалуй, более полезная фича: если включить Beast и начать менять условия (ползунки Базовых параметров и при этом нажимать на кнопки действий), то, в случае отсутствия рефлекса для данных условий, появится окошко диалога, позволяющее выбрать действия для данных условий. Так можно наделать много новых рефлексов.

Еще одна возможность есть, когда при срабатывании рефлекса в окошке действий Beast перед каждым действием будет видна иконка редактирования данного рефлекса и для него можно будет изменить действия.

4) На странице стадий развития http://go/pages/stages.php для каждой стадии предусмотрены подсказки-описания, которые будут уточняться по мере тестового развития стадий. Сейчас заполнена подсказка О стадии № 0 о том, как бы нужно развивать эту стадию. Все замеченные и исправленные лажы будут дополнять описание.

Если есть желание поучаствовать и возникнут замечания по установкам на http://go/pages/gomeostaz.php и http://go/pages/terminal_actions.php то мне нужно учесть их чтобы эти параметры были у нас одинаковы. Тогда б.рефлексы окажутся совместимыми.

Только после уверенного позитива тестового развития стадии 0 можно будет переходить к следующей – после корректировок замеченных лаж.

У меня возникает фото-перерыв с 25-го числа примерно дней на 10, ну и пред этим немало нужно готовиться, так что всерьез снова займусь проектом по возвращении.

Опубликован О программной реализации живого существа.

Проект в настоящее время полностью открыт для всех желающих соучастников или для самостоятельного продолжения разработки, коды схемы Beast и Пульта связи – доступны в виде репозиториев:

https://github.com/NickFornit/BEAST_GO

https://github.com/NickFornit/BEAST_PULT

Можно скачать коды Пульта и Beast с репозиториев и самим все скомпилировать. Линуксоидам придется изменить настройки проекта golang, но т.к. они все крутые, то сами организуют сайт и сами положат исполняемый на линуксе файл в корень сайта.

Чтобы посмотреть готовую реализацию, нужно запустить Пульт в виде локального сайта с исполняемым файлом, Beast скачав архив с Яндекс-диска (вариант для windows):
https://disk.yandex.ru/d/7az4UW4XG99kDQ

Достаточно просто разменстить папку из архива на любом диске компьютера, не переименовывая папку и прочесть как запустить сайт http:go на своем компьютере.

Соучастники очень нужны в качестве воспитателей Beast и это не требует понимания кода, но нужно хорошо понимать, что и как формируется на каждой стадии развития Beast.

В варианте, закаченном на Яндекс-диск, Beast развита методами избыточной искусственной накачки, что не является оптимальным. Но в Пульте есть возможность загрузить и другие этапы памяти или же вообще все начать с самого начала.

 :

Описание Пульта и схемы опубликованы:
https://scorcher.ru/adaptologiya/beast/beast_scheme/index.htm.

!!!!ОЧЕНЬ НУЖНЫ ВОСПИТАТЕЛИ ДЛЯ BEAST!!!!

По результатам программной реализации модели адаптивности живого существа (fornit.ru/65133) переписана книга “Что такое Я” (fornit.ru/40830), дополнившись новыми данными. Это значительно конкретизировало описываемые механизмы, сделало текст намного более понимаемым и ясным.

Если бы не соучастник разработки Palarm (Алексей Парусников), я бы даже не подумал об адаптации книги, и очень многое в книге осталось бы досадно морально устаревшим.

Лендинг-презентация Beast

Выяснилось, что популярное и информативное изложение результатов проекта создания системы индивидуальной адаптивности Beast вызывает затруднения и непонимание даже у специалистов. В том числе из-за того, что нужно внимательно прочесть весь немалый текст, чтобы составить общее представление.

Поэтому сделан предельно упрощенный вариант вхождения в виде лендинг-презентации, в которой на шести слайдах очень простым и понятным для всех языком изложено сделанное и, главное - назначение Beast.

На каждом текстовом блоке слайдов, внизу есть Пояснение, открывающее более обстоятельное, но краткое описание для специалистов.

Слайды удобно листаются с помощью стрелок Вверх-Вниз на клавиатуре или клавиш PageUp и PageDown,

Круглые картинки могут быть ссылками и тогда при подведении курсора появляется название документа.

Итак, Лендинг-презентация Beast и ее короткий адрес: fornit.ru/beast

Теперь удобно и нужно давать ссылку именно на такую презентацию там, где нужно упомянуть о Проекте Beast.

Когда выйдет научная статья в журнале ВАК по результатам разработки, она будет включена ссылкой в этот лендинг.

2_stadiya_obuchyeniya.rar

Получился интересный результат при попытке обучения Beast методом "кнута и пряника" на 2 стадии, позволяющий понять проблему дрессировки кошек.

На второй стадии есть механизм учитывания последствий реагирования, что означает: если после выполнения действия Beast ответная реакция Оператора вызвала негативный эффект, выполненный автоматизм Beast оценивается как неудачный и блокируется и в следующий раз при соответствующих пусковых стимулах не выполняется. А если ответ Оператора на действия Beast был оценен как положительный, то автоматизм закрепляется, повышая свой статус и получая тем самым приоритет при выборе в качестве ответного действия. На первый взгляд этого достаточно, для формирования адекватных пар стимул – ответ. Но в действительности есть существенная проблема: каждое действие Оператора меняет внутреннее состояние Beast, меняя тем самым изначальный контекст, и теперь ответное действие Beast будет привязано к нему, что при сильном отличие первичного и последующего состояний существенно усложняет формирование цепочки стимул – ответ в одном контексте. В итоге Beast воспринимает ответный стимул Оператора в отрыве от своей предыдущей реакции, хотя при этом оценка выполненного автоматизма происходит корректно. Вывод довольно неожиданный, ведь нам кажется очевидным, что методом кнута и пряника всегда можно доходчиво «объяснить», что требуется.

Есть принципиальная разница в мягкой дрессировке кошек и собак (жесткое формирование У-рефлекса не рассматриваем), зависящая от их образа жизни. Собаки стайные животные, у них развит инстинкт подчинения авторитету (вожаку). Поэтому основа успеха дрессуры собак – стать для нее «вожаком», тогда останется только «объяснить» ей, что от нее требуется, и она будет стремиться это выполнить. Кошки в естественной среде обитания ведут одиночный образ жизни, у них нет предрасположенности подчиняться более сильному, выполняя его требования. Поэтому метод «кнута и пряника» с кошками не работает, они не связывают наказания и поощрения со своими действиями. В мягкой дрессуре кошек акцент делается на другой подход – подражание. Чтобы побудить кошку что то сделать, она должна увидеть это действие на чужом примере, оценить подкрепление, соотнести со своими потребностями – и только тогда она может принять решение повторить его, чтобы получить аналогичное подкрепление. То есть для эффективной работы метода «кнут и пряник» нужен механизм удержания образа предыдущего состояния, чтобы сформировать цепочку стимул – ответ в одном контексте, чего у Beast во второй стадии еще нет. Этот механизм произвольного удержания образа у Beast становится доступным только с 4 стадии.

Моторный автоматизм создается через пробное использование существующего автоматизма, а в случае ее отсутствия активируется ориентировочный рефлекс 1 типа и делается простейшая  попытка создать новый автоматизм по следующему алгоритму:

• если ситуация опасна, то:
• ищется древнейший безусловный рефлекс на текущее состояние и клонируется в пробный автоматизм. Так реализован на этих стадиях принцип «отката» адаптации к более низкому рефлекторному уровню, когда реакция должна быть максимально быстрой и нет времени ни на какие эксперименты. Если действие оказалось успешным, автоматизм начинает повышать уверенность – закрепляться.
• если он не нашелся, то происходит попытка запустить случайной выборкой автоматизм из удачных – без привязки к текущему пусковому стимулу, просто повторить какое-нибудь удачное действие.
• если ситуация не опасна, то для случая активного контекста «поиск» или «игра» делается более смелая попытка найти пробный автоматизм – сгенерировать случайное действие, по умолчанию просто повторить стимул Оператора. Если же активны другие контексты, то эксперименты более осторожные, по алгоритму опасной ситуации: запустить случайной выборкой какой-нибудь из удачных автоматизмов.

Рассмотрим это на примере создания вербального автоматизма в контексте Поиск, Игра и базовом состоянии Норма.

Оператор: привет

Beast: здравствуй

1. Оператор пишет в окне ввода «Привет», жмет кнопку «Послать». Beast формирует автоматизм (стимул – ответ): Привет – Привет и выдает его на пульт. Как повтор стимула Оператора.
2. Оператор пишет в окне ввода «Здравствуй», жмет кнопку «Послать». Beast формирует автоматизм (стимул – ответ): Здравствуй – Здравствуй и выдает его на пульт. Как повтор стимула Оператора.Если зайти на вкладку «Автоматизмы», то увидим в таблице автоматизмов 2 новых созданных. При этом Полезность и Уровень Belief у обоих нулевой, что означает их пробный статус.
3. Оператор пишет в окне ввода «Привет», жмет кнопку «Послать». Beast уже имея автоматизм, созданный на первом шаге, активирует его, выдавая: «Привет» и выдает его на пульт.
4. Но это не верный ответ, Оператор применяет «кнут», посылая стимул «Наказать». Beast блокирует автоматизм, меняя его статус на -1.
5. Теперь в таблице Автоматизмов видим, что Belief автоматизма «Привет – Привет» стал -1, что означает его блокировку. Теперь он не будет активироваться на стимул «Привет», но может быть активирован на другой стимул.
6. Действия Оператора меняет состояние Beast до уровня Плохо, что провоцирует ответ Beast в виде соответствующей реакции «плачет». Ответная реакция Оператора будет привязана к состоянию Плохо и влиять на оценку последней реакции Beast.
7. Оператор возвращает начальное состояние Норма, чтобы вернуться в исходный контекст, для которого он пытается создать автоматизм, при этом возникает состояние Хорошо, которое будет длиться 50 сек. Чтобы этого не ждать, Оператор просто выключает Beast.
8. Оператор включает Beast и снова отправляет сообщение «Привет».
9. Но так как автоматизм на этот вербальный стимул заблокирован, Beast выдает пробник в виде действия второго автоматизма «Здравствуй», хотя он привязан к другому пусковому стимулу.
10. Оператор поощряет попытку Beast нажатием кнопки «Поощрить». В итоге формируется новый автоматизм «Привет – Здравствуй» с полезностью 1 и Belief 2.

Однако вместо 3 автоматизмов было создано 8, где 5 сформировались как пробные в результате реакций на изменения внутреннего состояния Beast, спровоцированные действиями Оператора. И такой процесс создания «мусорных автоматизмов» будет сопровождать каждую новую пару. Кроме того, механизм создания пробника для следующей пары, например «как дела – нормально», будет пытаться сначала подсунуть последний удачный автоматизм «здравствуй», а не «нормально», что еще больше увеличит время обучения и добавит мусора. И чем больше будет попыток создать новые автоматизмы, тем больше будет неудачных пробников, ведь Beast будет перебирать сначала все ранее удачные для других пусковых стимулов, и лишь в конце попытается подставить новый, с нулевой Полезностью и Belief.

Этот пример наглядно показывает, какие сложности возникают при обучении методом кнута и пряника, если нет механизма удержания образа предыдущего состояния. Оператору приходится искусственно возвращать состояние в начальный уровень и перезапускать Beast, и все равно это не решает проблему образования «мусора» и все возрастающего перебора «последних удачных вариантов». Для более успешного обучения нужен специфический механизм, позволяющий однозначно связывать нужные пары из пробных автоматизмов стимул – ответ, который активируется на 3 стадии в виде механизма отзеркаливания, либо в более сложном варианте, механизм произвольного удержания образа состояния, который есть у стайных животных, включая людей. Который позволяет «понимать», чем именно недоволен «вожак».