Тема форума: «Бот на ГО»

Изначально у меня была схема безусловного реагирования с привязкой к текущему уровню энергии. Конкретно сейчас это сделано так: при попадании в зону пониженной энергии порции потери энергии при пульсации уменьшаются, при попадании в зону повышенной - увеличиваются. Кроме того, раз у меня заложена инициализация сенсоров как питательные-токсичные, то в зоне пониженной энергии игнорируются токсичные, в зоне повышенной питательные. Это имитирует процесс "поедания", чтобы не "глотать" отнимающие энергию сенсоры, когда ее и так мало, а только питательные и наоборот. Это моторные рефлексы в твоем понимании? Если да, то дальше я предполагал, что алгоритм поиска в тексте макросенсоров с многоуровневым перебором в дальнейшем будет использоваться при исследовательском поведении. То есть из нюханья, пробования на вкус разовьется рефлекс осмысливания. Но ты все это раскритиковал. А теперь выходит это не так уже и не правильно?

То есть ты предлагаешь собирать условные рефлексы из моторных? В реальности оно так и есть, но в случае с ботом опять встает вопрос, что считать моторными. Нужно собрать какие то простейшие реакции, типа возгласов - а потом из них сформировать слова и предложения? Потому как из изменения пульсации вряд ли какая фраза родится. А из короткой фразы другую короткую фразу ты не сформируешь - только более длинную.

У меня был такой вариант: собрать в ассоциативной группе строку слов-рефлексов. На внешний контекст условий активируется группа, потом смотрится текущий уровень энергии и по нему активируется рефлекс в строке. Для этого они должны быть отсортированы по адекватности уровню энергии. То есть сначала активируется нейрон с большим рецептивным охватом, выбирая стиль реагирования, потом уже конкретный рефлекс в этом стиле. Тут уже двойное управление выбором: внешние условия активируют стиль, внутренние - рефлекс стиля. Но ты это тоже раскритиковал. Ну или мы опять друг друга не поняли.

Или ты имеешь в виду, что более частные рефлексы должны кроме внешних сенсоров учитывать внутреннее состояние. У меня так и предполагалось, что уровень энергии в разной степени влияет практически на все стили реагирования.

А вообще, мне кажется мы делаем не совсем правильно, пытаясь вывести такую сложную рефлексию как осмысленную речь из безусловных рефлексов. Точнее, пытаясь ее сформировать без участия лобных долей. Без них будет только агу-агу, уа-уа - и все. А мы пытаемся младенцев научить говорить как попугая. Но попугай ведь тоже будучи птенцом не может имитировать человечью речь, ему тоже нужно сначала полностью сформироваться. Может не стоит пихать в безусловные рефлексы текстовые фразы? Здесь нужно как то извернуться, пойти не совсем "по природному". Почему я и предложил считать безусловным рефлексом стиль реагирования. Вот там можно подвести реакцию под примитивное мычание, а потом уже на его базе развить реагирование словами. А сейчас получается, что туго запеленав младенца, поместив его в сурдокамеру, лишив живого многоканального общения и дав лишь один примитивный канал восприятия мы пытаемся вырастить из него полноценного человека. Но по факту получится даже не Маугли, а что то еще более тупое.

"Автоматическое ветвление" рефлексов означает, что есть группа внешних сенсоров, запускающая стиль реагирования. Стиль - это группа рефлексов, расположенная под энергетической линейкой. Активируется группа, затем по текущему уровню энергии активируется рефлекс. Причем, что интересно: если добавить в группу новый рефлекс, он как бы "раздвинет" соседние с ним рефлексы в строке. Теперь они будут активироваться на чуть меньшее - чуть большее значение энергии. Это значит, что привязка их к итоговому суммарному внешне - внутреннему контексту динамическая, а не жесткая.

Но рефлексы должны быть отсортированы в строке в соответствии со шкалой энергии. То есть можно попытаться организовать реагирование через динамические диапазоны, а не жесткой привязкой. Этим можно добиться эффекта, когда новый рефлекс как бы блокирует старый, хотя на самом деле он его отталкивает в сторону.

"Энергетическая линейка" это как один из вариантов управления ветвлением. Можно вместо нее использовать другой диапазон, где активация рефлекса в его строке будет аналогично указывать, какую позицию в модулируемой им строке активировать. Идея сумбурная, но стоит ее наверное осмыслить - вдруг она косвенно натолкнет на действительно интересный механизм.

Бурхус Скиннер в ходе своих опытов над голубями установил, что если, независимо от поведения голубей в клетке, им подкладывать регулярно пищу, то наблюдается интересная закономерность. Постепенно голуби начинают повторять те действия, которые чаще всего проделывали в момент появления пищи. Они начинали бегать по клетке, вращать головой. Повторяя регулярно эти действия, голуби связали их выполнение с появлением пищи. 

А у меня нарисовался определитель нового сенсора с автоматическим присвоением значимости. И это в принципе похоже на то, что у тебя вышло.

Оператор вводит фразы: "привет, как дела?"  "привет, как делишки?"  "привет"  "как дела?" "как делишки?" - и ставит у всех тон "доброжелательный". Бот фиксирует новые макросенсоры с соответствующим флагом значимости. Потом оператор вводит: "привет, сволочь, как дела?" и ставит тон "агрессивный". Бот так же фиксирует новый макросенсор со своей теперь уже негативной значимостью, но дополнительно происходит следующее:

алгоритм разбора введенных оператором фраз обнаруживает в них уже известные положительные по значимости "привет"  "как дела?", и получает остаток "сволочь". Так как сам новый макросенсор помечен как "негативный", то остаток сохраняется как новый сенсор с такой же негативной оценкой. Он будет как ложка дегтя. В итоге получается, что если потом оператор введет:  "привет, сволочь, как дела?"  "привет, как делишки, сволочь?" и поставит нейтральный тон - оба новых макросенсора определятся как негативные (негатив имеет приоритет при суммарной оценке фразы), хотя в базе бота их нет. Получается автоопределение/сохранение сочетаний сенсоров на базе имеющихся - как бы то самое автоветвление, второй слой.

Тогда до кучи алгоритм ветвления мыслительных автоматизмов. Допустим нарисовались у тебя несколько рефлексов, нужно выбрать правильный. Это значит методом тыка активировать такой, который приведёт к состоянию "лучше". У всех рефлексов есть какая то значимость. Располагаем их по возрастанию в строку. Затем запускаем цикл:

Активируем центральный, если не то - удаляем его.

В итоге получается что с каждым шагом цикла активируется все более отличающийся от исходного по модулю значимости и при этом попеременно меняется знак отклонения. Идёт как бы раскачка с увеличением амплитуды.

Например оператор спрашивает: как дела? Варианты ответа отсортированные по значимости: отвратительно, так себе, нормально, отлично, восхитительно. Первый ответ: нормально. Если не угадал, он удаляется и далее по шагам цикла: так себе, отлично, отвратительно, восхитительно.

Я по такому принципу думаю сделать подброс вариантов при формировании безусловных рефлексов, типа имитация эволюции: сделай чуть лучше, сделай чуть хуже. Но подумалось: а "размышление", "анализ", "поиск решения" не по такому ли принципу идёт? И скорей всего идея слишком простая, чтобы до неё не догадались раньше в какой нибудь теории игр. 

То есть ты потом предполагаешь скармливать боту тексты (1), для выявления закономерностей ветвления фраз в тексте (2). Потом попытки бота на базе этих закономерностей воткнуть свои реплики (3) и оценка их оператором. С учетом поправок новые более сложные попытки (4) и оценка оператором. Затем самостоятельные постановки тем для диалога (5).

А как ты предполагаешь прошивать безусловные рефлексы? Я сейчас отрабатываю схему, когда оператор дает фразу и список правильных реакций на нее в виде  диапазона от негатива к позитиву. Для проверки идеи, что диалог это спаринг. Типа:

"Привет, как дела?||мерзко-так себе-нормально-отлично-восхитительно"

Для безусловно-рефлекторной реакции выбирается рефлекс в зависимости от текущего уровня энергии бота, для этого и задается диапазон.

А что ты называешь целями? Я понимаю так: есть например базовая потребность восполнять потери энергии. Сработал датчик - увидел добычу - попытался её схватить - она стала убегать - погнался за ней. Появилась цель догнать. Сама по себе она не способствует повышению энергии, даже наоборот, но опосредованно способствует этому. И так вся рефлексия: есть базовые потребности - и есть сложные, смотря по развитости нервной системы стратегии их удовлетворения с промежуточными целями.

Ещё интересная мысль: эволюция это не только закрепление удачных мутаций, но и провоцирование развития нервной системы при неудачных. У уродливой особи появились проблемы, она их стала решать, и нашла удачную стратегию применения своего уродства. Похожую мысль уже высказывали исследователи, что многие результаты эволюции это как бы побочный эффект каких то мутауий, которые изначально не были нацелены на формирование этого признака 

Хочешь сказать, что этапы формирования нужно отменить? Все отделы начинают одновременно функционировать?