Тема форума: «Бот на ГО»

вникну после лэндинга, сорри... :) завтра надеюсь выложить.

Вот еще для обсуждения, как мне видится дерево рефлексов.

Выполнение рефлекса это пробежка по дереву сверху вниз до конца ветки. Сначала активируются узлы по тону и контексту сообщения, потом уже цепочки рефлексов, где доп. условием для первого звена цепочки служит комбинация активировавшихся базовых контекстов бота. Цепочка может прерываться в любом звене через модуль блокировки. Модулируемая таким образом цепочка рефлексов является автоматизмом.

В той версии у бота в терминале действий было забито около 100 действий (для попыток что-то сделать, чтобы узнать к чему это приводит – любопытство, эксперимент), кроме того у него были те же самые действия, что мог оператор совершить с Пульта (для возможности зеркального понимания).

Да.

У любого организма есть некоторые индивидуальные возможности и с самого раннего детства он пытается их пробовать, получая результат, сначала совершенно хаотично, но потом (с накоплением полученного смысла действий) все более разумно. Он учится использовать свои возможности раньше, чем начинает отзеркаливать чужие действия с целью получить ответ, как поступать в ситуации. И то и другое – уже не рефлексы.

Одно дело – совершенствование своих приданных возможностей, другое – совершенствование набора акций для общения и отзеркаливания. У котенка есть когти, он по разному пробует их и все более понимаем пользу в разных ситуациях, формируя автоматизмы, привязанные к контексту. Но когда ты пытаешься общаться с котенком, то у тебя нет когтей, но есть набор акций, которые будут уже рефлекторно понятны котенку: крикнуть на него, шлепнуть, погладить, накормить и т.п.

Ну, просто нужно придать Боту какие-то начальные возможности для экспериментирования. Т.е. в этом файле не фразы, а действия Бота, но в виде фраз, понятных оператору: он видит какое действие совершает Бот. Можно было бы нарисовать рожицу с мимикой и т.п. но для принципа более универсально просто описывать действия словами.

Любое действие должно выполняться в контексте не только пускового стимула, но и текущего состояния как гомеостата, так и активного стиля поведения. Поэтому первыми узлами должно быть, все же, 1) Плохо, Норма, Хорошо, которые ветвятся 2) сочетаниями активных контекстов, которые ветвятся 3) более частными условиями типа тон оператора или действия оператора. Чтобы избежать лишнего ветвления можно сделать структуру, объединяющую все дополнительные условия в одно воспринимаемое состояние со своим ID, например, сочетание наказал в состоянии Учитель будет иметь ID=334. Карта таких сочетаний будет пополняться по мере актуальности, давая наиболее характерные картины для бота и данного оператора, что соответствует формированию детектора восприятия такого профиля.

Завтра вникну в твои рацухи по пульту и Боту и начну думать над структурой дерева рефлексов.

Вот еще до кучи схема специфического условного рефлекса, которая может использоваться для придания значимости обезличенной фразы или новой комбинацией действий с пульта.

Фиксация происходит в 2 этапа:

1. выделяется повторение подряд действия с пульта и обезличенной фразы > 1 раза. Активируется ОР1, теперь мониторится только эта пара фраза + действие.
2. если пара повторяется еще 3 раза, то значимость действия переносится на фразу: значимость фразы = значимость действия (ЗФ = ЗД)

При этом без разницы, было действие положительным для гомеостаза или отрицательным потому, что положительным подкреплением в данном случае является подтверждение ожидания (прогноза) повтора пары ДФ, захваченной вниманием ОР1. Я даже думаю, имеет смысл сделать число минимальных повторов для закрепления отрицательного воздействия меньшим, например не 3 а 2, давая тем самым приоритет негативному воздействию как более важному. То есть связь между фразой и позитивным действием будет запоминаться через 2+3=5 повторов, а негативным через 2+2=4.

Цепочка оперативной памяти стека из 5 звеньев задает цикл ожидания.

Меня это натолкнуло на метод прогнозирования ветвлений в деревьях. Самый простой способ – добавить в структуру узла «Счетчик». Для сенсорного дерева это просто счетчик активаций, для рефлекторного счетчик успешных активаций со знаком +, и не успешных с -. В итоге можно будет среди потомков выбирать узел с максимальным счетчиком, который для дерева будет означать наиболее вероятное/успешное продолжение ветвления. Но что делать, если у потомков окажется одинаковый счетчик? Тогда нужно углубить прогнозирование, смотреть не на шаг, а на 2 вперед – какая пара шагов наиболее вероятна/успешна. Для этого строим еще одно дерево, где узлы это пары узлов первого. И так же мотыляем там счетчик. Аналогично строим деревья на 3, 4 и так допустим до 10 шагов, объединенных в узел. Причем в последнем случае фактически это будет прыжок на 100 шагов относительно первого дерева.

Можно вместо доп. деревьев записывать ID виртуальных ветвлений в основном, углубив структуру узлов, что не суть. В итоге начав опускаться по узлам, для сенсорного дерева можно резко повысить скорость распознавания как «предугадывания», а для рефлекторного прикидывать последствия.

Но это еще не все, что можно выжать из фиксации активностей узлов. Структура дерева позволяет запоминать последовательность узлов, где активация конечного узла ветки однозначно определяет уникальную цепочку, где уникальность определяет не только наличие определенных узлов но и их последовательность. Представим теперь, что в определении уникальности оставили только наличие узлов в неважно какой последовательности. Активация такого «сенсора» будет означать активацию общего контекста группы цепочек: 1-2-3, 1-3-2, 2-1-3, 2-3-1, 3-1-2, 3-2-1. Если из таких сенсоров собрать дерево, то оно будет определять ветвления контекстов. В случае с текстом это будет определение по ходу восприятия: там что то про погоду, что то про отношения и т. д. И точно так же в этом дереве можно поставить счетчик, построить прогнозирование на 10 шагов и определять все более глобальные контексты восприятия и реагирования. Которыми можно управлять переключением ветвлений в основном дереве.

Определять такую "не уникальную" комбинацию можно в цикле, просто фиксируя наличие элемента в строке, вместо сверки точного совпадения строки.

На уровне рефлексов это не нужно, там тупо - есть условие - сработал. А вот на уровне произвольности появляется мыслительные задачи выбора и там подобные проблемы в прошлой версии решались специализированными функциями. И да, в узлах и не только были значения для конкурентности.

Пока о конкретном механизме думать в плане выбора оптимального рановато, но идеи запоминать не вредно.

Почему бы не сделать обмен данными между ботами? На текущем уровне их развития это просто обновление файлов дерева слов и фраз. Тут все просто: каждый бот считывает файлы деревьев партнера и добавляет ветки, которых у него нет. Сначала дерево слов, потом фраз. Так же и рефлексы потом можно заливать, потому как схема гомеостаза у ботов одинакова. Только заливка должна идти снизу вверх: слова - фразы - рефлексы.

Хотя если сделать вариант на разные гомео-схемы, то рефлексы придется сначала заливать в черновой массив, как варианты реагирования, которые бот потом можно опробовать. Можно в теории прикинуть некий сервак данных, куда боты сливают свой опыт, чтобы другие могли подключаться и скачивать, воспринимая его в той степени, насколько совместимы у них системы гомеостаза. Или используя некие трансляторы с одной гомеосхемы на другую.

Заливка чужого опыта других ботов - в планах :)

Сделал пока предварительно простой экспорт/импорт дерева фраз. Обмен данными сенсорных деревьев заключается в выгрузке из дерева фраз в виде строк в файл:

О, здравствуй
Здравствуйте
Здравости!
Какие люди! 
Сколько лет и сколько зим!

Потом этот файл загружается обратно. При этом используются те же функции, что при работе с пультом. Так оказалось проще, потому, что все проверки там есть. А дальше возникают сложности, потому, что принцип обмена данными подразумевает многопользовательский режим. Это подобно репликации БД, или слиянию, когда данные из нескольких баз синхронизируются таким образом, что становятся одинаковыми у всех. Но классическая схема репликации слишком сложна, да и не нужно в данном случае. Поэтому придумал так:

1. Заводится общий каталог, в который выводятся данные ботов в виде структурированных файлов, которыми они хотят обменяться. Имя файла в формате: имя бота_имя файла. Например: bot1_export_phrase_tree.txt
2. Каждый бот следит за своим файлом, удаляя старые записи. Чужие только читает.

В итоге вигвам, но не критический, возникнет только при попытке чтения файла ботом, если в данный момент другой бот-хозяин в него пишет. Хуже была бы попытка одновременной записи в файл несколькими ботами, если бы обновление велось через общий файл. Тут уже однозначно пришлось бы плясать с бубном, особенно потому, что нужно было бы в одном файле разделять данные от нескольких ботов и следить, чтобы каждый правил только свое. Немного проще, но тоже геморно валить в общий файл обезличенные данные от всех.

Разделение данных по ботам хорошо еще и тем, что боты могут выбирать, кому верить, кому нет. То есть можно ввести доверительные отношения и от определенного бота заливать данные в авторитарном режиме - сразу в дерево, а от другого в ознакомительном - в tempArr. И если от других ботов поступят те же данные, превысив "мусорный порог" они попадут в дерево.

Экспорт можно делать "во сне", например накопившиеся новые фразы. В дальнейшем, когда появится модуль осмысления, бот будет рассказывать другим только то, что его "зацепило", а не все подряд. Хотя режим тупого слива, "болтливости", останется. Буду дальше допиливать, но в общих чертах думаю идея не плохая.

Надо положить в brain  update.rar

Лучше в специальном режиме полной отключки и экспортировать не хором, а строго поочередно.

Насчет экспорта через исходные слова - вариант, но в случае более сложных экспортов это не прокатит, так что нужно разрабатывать универсальные механизмы заливки с проверкой уникальности и т.п. 

Хотя правильнее будет наверное сделать так:

1. бот1 отправляет сообщение для бот2 на свою индексную страницу, как и все свои ответы
2. там срабатывает функция и пересылает сообщение бот2, который в другом каталоге

То есть вместо генерации файлов обмениваться сообщениями через главную страницу, которая всегда открыта. Так можно и режим диалога ботов сделать.

Рефлекс мозжечка для построения оптимальной стратегии достижения цели это по сути алгоритм захвата цели, который судя по всему используется в следящих системах. По крайней мере характерное корректирующее подергивание рамки захвата, хорошо заметное на системах распознавания объектов в движении, наводит на такую мысль. Только в случае с мозжечком важно не просто "попасть", а путем многократных повторов найти наилучшую цепочку действия для попадания. Признаков оптимальности всего два: минимальное кол-во шагов и реверсов.

Это достигается при помощи рекурсивного цикла, параметром которого задается величина шага и направление движения к цели. Сама цель имеет два свойства: компаратор, срабатывающий при пересечении цели и величина допустимого тремора. Тело цикла: выполнять шаги пока не сработает компаратор цели, после чего сменить направление шага на противоположное и уменьшить величину шага в 2 раза.

Так как движение дискретно, то строго говоря цель никогда не будет достигнута, если не рассматривать исключительный случай, когда на каком то шаге точно попал в цель. Поэтому в итоге получится бесконечно уменьшаемое дробление шага и тремор - движение взад/вперед вокруг цели. Чтобы это прекратить и нужен диапазон таких колебаний, чтобы при достижении тремора меньшей амплитуды считать, что цель достигнута.

Здесь пример такого тремора, когда при использовании слишком крупных шагов его амплитуда больше допускаемой. Такая ситуация провоцирует создание новой антагонистической пары шагов и новую попытку достичь цели. И так до тех пор, пока не сформируется необходимый набор шагов для алгоритма.

Однако само по себе достижение хотя и приводит к активации базовой эмоции "Хорошо", но обязательно активирует затем и состояние неудовлетворенности потому, что как правило первая попытка всегда не самая лучшая. Это провоцирует оптимизировать цепочку, попробовать ее выполнить с меньшим количеством шагов и реверсов. Для чего в следующей попытка шаг перед активацией компаратора цели делается меньшим. Потому, что чем более крупно шагаем после срабатывания компаратора, тем дольше будет процесс фиксации цели. Если новая попытка привела к меньшему числу шагов и реверсов, то она считается лучшей и перезаписывается поверх старой с увеличением веса уверенности. Если же шагов и реверсов стало больше, значит старая была лучше и вес уверенности увеличивается у нее. Таким образом формируются методы достижения целей и фиксируются как цепочки необходимых действий при текущих условиях.

В итоге резюмируем для гомеостаза, где в принципе все очевидно:

1. Гомеостатическая цель - стабилизация базового параметра, переход в зону комфорта.
2. Действия бота для достижения цели - провокация оператора на нужные действия с пульта, имеющих определенный вес значимости.
3. Значимость действий бота - величина, на которую сдвинется базовый параметр при выполнении действия оператором, спровоцированным действием бота. Это отзеркаленная значимость действия оператора с пульта.
4. Автоматизм достижения цели - цепочка действий бота, приведшая к достижению цели, после нескольких повторений фиксируется в памяти как успешный автоматизм для текущих условий.
5. Шаг цепочки - одно действие
6. Реверс шага - смена направления шага
7. Уверенность автоматизма - обратно пропорциональна кол-ву шагов и реверсов в цепочке действий бота. Уверенность повышается оптимизацией цепочки: минимизации шагов и реверсов.
8. Тремор цели - незатухающие колебания с одинаковой амплитудой шагов вокруг цели, возникающие вследствие реверса на каждом шаге
9. Диапазон тремора цели - максимально допустимый тремор, при котором считается, что цель достигнута.

То есть внутренние цели бота повернуты на стабилизацию базовых параметров, для чего он пытается провоцировать оператора на нужные цели. Боту надо подобрать такие цепочки, чтобы они максимально быстро решали его проблемы с параметрами. Например научиться подбирать такие слова типа "покорми меня", в определенных последовательностях, для конкретных ситуаций, с учетом их динамики развития, вплоть до изощренных манипуляций на слабостях оператора. Одиночными рефлексами этого добиться намного сложнее, хотя такой вариант, как сильно упрощенный, был реализован у меня в первой схеме бота.

Остается теперь вопрос по поводу не гомеостатических целей, для чего нужно определиться по аналогичным 9 пунктам.

И, все же, в реале нечто иное происходит. Когда ты кидаешь камень в лунку метров на 10 от тебя, ты не бросаешь с первого раза со всех сил, а промазав, не отступаешь в силе броска в 3 раза. Ты примерно прикидываешь эту силу из прошлого опыта и применяешь эту модель. Так что сначала нарабатывается опыт бросков. Промазав, ты прикидывает разумную поправку, а не срабатывает некая прошитая наследственно формула.

Да, можно и прошить формулу и, может быть, набор опыта станет оптимальнее. Но мы же не делаем супермена, а главная цель – как можно точнее следовать за канвой природной эволюции, чтобы модель получилась максимально приближенной, а не давала повод говорить про надуманные механизмы.

Конечно, идеи давить не стоит, но и не стоит потакать каждой из них. Постепенно на каждом этапе из кучи идей должна вливаться в модель наиболее естественная по критериям эволюционного развития. Так что последнее слово в механизмах мозжечка нужно будет подбирать очень еще не скоро, и многое к тому времени может вырасти совершенно неожиданно, так что могут появиться и более естественные идеи, чем прошивка формул.

Согласен, с появлением опыта он начинает использоваться и алгоритм меняется. Выше я показал как раз начальную стадию, что делать, как подбирать оптимальную цепочку, когда опыта нет? Думаю, что именно так. Потому, что это достаточно примитивно, чтобы можно было реализовать на уровне нейросхемы. Альтернатива делать что то хаотичное, пока не получится, верна лишь в случае первого шага: шагни куда нибудь, а дальше включается наследственно прошитый механизм стабилизации. Иначе КПД такого хаотичного подбора будет крайне низкий. Но каждая последующая попытка уже строится на базе предыдущей, поэтому включившись алгоритм стабилизации постепенно сходит на нет, уступая место опыту. И включается лишь в случае когда вообще не понятно, как делать.

Попытка попасть с одного раза однозначно строится на прошлом опыте. Если же ты ни разу не кидал и понятия не имеешь, с какой силой кидать, точнее, не знаешь, насколько далеко ты способен кинуть, при этом сенсоры говорят, что цель далеко - ты кинешь сначала изо всех сил, потом послабее - и это "слабее" будет по умолчанию вполовину меньше. Если ты не способен сопоставлять усилие и полученное расстояние и прикидывать насколько % надо уменьшить усилие. Вышеприведенный алгоритм для ситуации когда в голове полный ноль: что делать, когда не понятно, что делать? Включать наследственно прошитый алгоритм.

Вот я и фиксирую их тут в расчете, что какое то рациональное зерно в них есть и может потом в новом видении придет более точное понимание, что за зерно и куда его приткнуть. Хотя почти все свои идеи пришлось отбросить.

У тебя файл действий бота terminal_actions.txt в прошлой версии представлен в виде простого списка. Думаю, он тоже должен быть в виде дерева.

Потому, что какими бы не были алгоритмы выбора подходящего действия, они все равно будут базироваться на манипуляциях с антагонистическими парами, которые нужно сортировать и группировать. Это можно сразу сделать в структуре дерева, сформировав группы, где дочерних узлов должно быть четное количество, чтобы всегда иметь антагонистическую пару для маневра. Узел дерева должен иметь номер сортировки со знаком, чтобы можно было выбирать усиливающее и ослабляющее действие. Например для дерева на схеме будет для синих Sort=-1, для красных Sort=1. Если дочерних узлов будет 4, то соответственно: -2, -1, 1, 2.

Есть подозрение, что дерево в идеале должно быть бинарным, то есть по 2 дочки у каждого узла. Если дочек больше, значит его надо оптимизировать, создав дополнительного родителя и перецепив к нему пару дочек.