Тема форума: «Бот на ГО»

Сделал контрастирование по принципу, что выше написал:

есть файл ассоциаций в виде строк сенсоров, где каждая строка - группа ассоциаций. Один сенсор может входить в разные группы, но с разным весом. Вес определяется как положение сенсора в строке в размере от 1 до 100.

При активации сенсора активируются связанные с ним группы ассоциаций. Они сводятся в пучок и контрастируются через латеральное торможение по схеме "все против одного", то есть схемы тормозных связей как таковой нет, они просто свалены в кучу и перелинкованы между собой. В итоге часть групп ассоциаций "гасится" и меняется расклад весов между оставшимися. Расчет делается методом итераций. Это все для одного сенсора. Далее нужно сделать контрастирование для групп сенсоров, если введено более одного слова. И тут уже думаю сваливать все в кучу не пойдет, нужна схема перетекания одного контекста в другой, например по схеме "контекстной пирамиды". То есть сначала контрастируются группы ассоциаций для каждого слова, выделяются наиболее значимые группы, потом они контрастируются в предложении. И вот тут уже будет иметь значение, в каком порядке рассчитывать веса, то есть в каком порядке слова в предложении. Так как от этого зависит какой нейрон первым будет выключен и тем самым перестанет тормозить других. На снимках два варианта контекстного ответа с минимальным и максимальным торможением. В скобках вес группы.

 Корни, которые выводятся на пульт, это первые сенсоры группы в списке, условно - обозначение контекста. А сами сенсоры в группах это по сути ответные рефлексы в виде слов, то, что активируется в ответ на сенсор раздражитель. Бот тем самым показывает изменение своего состояния. Чтобы получилось более осмысленное предложение, нужно прикрутить модуль, который на основе этих контекстов будет выдавать стандартную заготовку фразу или собирать слова по синтаксическим правилам. Но это думаю еще дальний космос и заморачиваться им не стоит. Сейчас главное получить "осмысленную" ответную иерархию контекстов.

Гомеостаз по идее должен воздействовать на этом уровне на контрастирование, для этого в функции торможения участвуют параметры порог и вес тормозной связи. Их пока не связывал с гомеостазом. Потом тебе сброшу, как еще доработаю с весами.

Как мне видится дальнейшее развитие схемы безусловных рефлексов, организация "ветвлений". При этом имеется в виду, что сеть безусловных рефлексов полностью сформированная и "ветвления" означают переключение одного пути рефлекса на другой. По аналогии с ЖД-узлом, где можно только стрелки переключать, но нет возможности прокладывать новую колею. Для этого есть более продвинутая адаптация - условные рефлексы.

То есть нейросеть безусловных рефлексов это как бы все возможные варианты реагирования на определенные условия. Понятно, что такая система ограничена тем, что невозможно развивать ее бесконечно, в какой то момент она станет неподъемной. Кроме того, если жестко прописывать рефлексы строго на определенные условия, то она еще и не модифицируема на уровне жизни особи. Единственный способ улучшения - случайная мутация, новое ветвление, оказавшееся успешным. Но на самом деле такая вроде бы жестко структурированная сеть тоже может изгибаться в некоторых пределах допуская тем самым вариабельность реагирования.

Собственно про вариабельность такого рода уже говорил - просто чуть сдвигаем параметры сетки и она показывает другой эффекторный рисунок - при тех же связях и весах. Но оставался вопрос - что "двигает ползунок" параметров. В самом простейшем случае его можно просто связать с текущим состоянием гомеостаза, но поразмыслив я думаю это будет масло-масляное. Это не особо улучшит адаптацию, и не даст вариабельности кроме той, что просто добавится зависимость реагирования от гомеостаза. Но в полноценном понимании адаптации должен быть датчик новизны, который возбуждается на изменение привычного окружения и провоцирует поиск нового решения.

Новизна на уровне безусловных рефлексов определяется путем сравнения прогностического рефлекса в цепочке реагирования с реальным. То есть система пытается предсказать, каким будет следующий раздражитель, и если не угадала - включается детектор новизны. Например для бота это будет выглядеть так: "привет, как дела?" "привет, как поживаешь?" Здесь 2 фразы общего смыслового контекста. Бот последовательно активирует рефлексы на сенсоры "привет", "как" и далее ожидает например, что следующим будет сенсор "дела", но вместо него активируется сенсор "поживаешь". Это расхождение и активирует датчик новизны - расхождение прогноза с реальностью.

Чтобы организовать такой механизм потребуется стек, который уже ввел Nan. Там как раз хранится код предыдущего и последующего нейрона цепочки. Это значит, если согласно установленным связям нейрон возбуждает другой нейрон, то они фиксируют коды друг друга в своих  стеках. И так можно делать до какого то уровня вложения, чтобы например запомнить варианты: как дела, как поживаешь, как делишки, как ваше ничего и т. д. Обучение означает, что при активации новизны записывались коды пары нейронов в их стэки и например случайным образом сдвигались параметры сети, чтобы получить немного другой рефлекс. Оценка учителя плохо/хорошо закрепляет этот вариант, или отменяет его, побуждая сдвинуть параметры сети еще больше. И так до какого то уровня, пока не получится "хорошо".

То есть безусловно-рефлекторную нейросеть модифицировать нельзя по определению, но можно получить с нее конфигурации реагирования изменением параметров сети. Датчик новизны для запуска такой псевдо-модификации реализуется при помощи стека памяти предыдущего и последующего нейрона в цепочке.

Интересно Nan, насколько это совпадает с тем, что ты сейчас делаешь по поводу рефлексов и для того ли ты ввел стек?

>>насколько это совпадает с тем, что ты сейчас делаешь по поводу рефлексов и для того ли ты ввел стек?

Это совпадает в основе, в принципе, но стек у меня не задействован, а новизна определяется по отсутствию предопределенной реакции на данное сочетание признаков, главные из которых - состояние базовых контекстов.

Вообще то новизна в любом случае это обработка прерывания в опросе если...то..., когда все предыдущие если/то пройдены и ни одно не подходит и надо писать новое "если". И в случае со стеком точно так же, только у тебя пока распознается статическое сочетание признаков, а с использованием стека можно различать динамическое. То есть фразы привет, как дела - как дела, привет - дела как, привет - при статическом распознавании будут считаться одинаковыми, потому как сенсоры там одни и те же, а при динамическом дополнительно распознается порядок слов при помощи стека.

Интересно, что при контрастировании имеет значение порядок активации сенсоров, стало быть и безо всяких стеков распознавание при разном порядке слов будет отличаться. Уже сейчас получаются разные веса распознанных групп ассоциаций и даже сами группы могут меняться. Получается, что можно пока и не заморачиваться стеком, раз оно и без него работает.

Как прикидывать качество новизны.

Есть набор предопределенных реакций в зависимости от отклонения гомеостаза от нормы (актуальные потребности). Какие бы другие условия не появлялись, эти реакции должны отрабатывать потому как особенности условий пока не известны. Но как только в результате реакции появляется НЕГАТИВ, то она должна быть заблокирована для распознанного сочетания условий (условный рефлекс избегания). И вот тогда оказывается ситуация, когда базовая потребность (значимость) есть и высока, нужно реагировать, но реакции не происходят. Вот это уже – актуальная новизна, которая требует сосредоточить внимание на данной ситуации и придумать решение – уровень осознания.

Тут решающим становится определение плохо/хорошо для бота. Для этого нужно, чтобы слова воздействовали на его гомеостаз как будто это реальные сущности, или точнее - как будто они отражают воздействие виртуальной реальности на бота. Но помню по этому поводу так ни к чему и не пришли.

Я думаю, тут только один вариант: назначать словам свойства, в каком % они плохо/хорошо влияют на гомеостаз бота. Тут могут помочь ассоциации. Если взять ассоциации к слову "Плохо" - то все они однозначно негативно влияют на состояние бота. Потому, что ассоциации отражают нашу человечью нейросеть, где уже выделены и закреплены правильные реакции на слова, в данном случае варианты негативного реагирования на слово "Плохо". Чтобы понять насколько негативно - нужно определить вес негатива-сенсора. Это опять же можно сделать эмпирически. И вообще по другому это никак не сделать - только спрашивая самого себя, что ассоциируется и на сколько точно. Мы же бот делаем как копию нашего человечьего восприятия реальности. По умному тут надо провести масштабный сбор данных с группами добровольцев или воспользоваться готовыми словарями. Я такие словари и использую, причем там при беглом взгляде еще и сортировка имеется. То есть чем ближе слово в группе к началу списка, тем больший у нее вес. Но так как вряд ли возможно все 30 000 сенсоров разбить по двум группам Плохо/Хорошо, вернее это сведет всю реакцию бота на примитивное двухуровневое реагирование, лучше 2 базовые группы разбить на подгруппы, их еще и т. д. - в итоге получится дерево ассоциаций, где в основании пирамиды множество мелких контекстов, активация которых приводит к возникновению цепочек-ветвлений снизу вверх. В итоге прийти к вершине, где начальная пара плохо/хорошо, можно множеством путей-ветвлений, а это дает еще дополнительную вариабельность реагирования: не просто плохо - а почему конкретно плохо. Я думаю, если мы доберемся до высшей нервной деятельности, то такие пирамиды будут служить основой для более сложной организации мыслительных автоматизмов, потому как они служат грубой разметкой для них.

Хотя конечно, все зависит от ГО. В каком месте он начнет отчаянно тупить и виснуть. Пока что удается придумать обходные маневры, но они не универсальны, а только для текстового бота. Например словарь ассоциаций это прыжок на километр вперед, даже файл сенсоров - это ведь не рецепторы в буквальном понимании, а уже сформированный слой эффекторов-корней.

В скинутой тебе текущей версии - другой вариант, но интересно, что получится и из твоего.

А я пока все пытаюсь разнести все 30 000 сенсоров на несколько десятков или хотя бы сотен ассоциативных групп. Идея вроде бы очевидная в своей простоте - какой бы сенсор не активировался, он активирует какую то из групп - это и будет контекст, базовая реакция. Ведь если ассоциация это ответный образ, возникающий у нас в голове, то их можно сгруппировать, обозвав каким то общим словом, потом опять сгруппировать - и так прийти к базовым понятиям, которые по идее всего два слова: плохо/хорошо. На деле все просто, а по факту - все равно что придумать "таблицу Менделеева" для ассоциаций.

Это может быть полезным ТОЛЬКО на уровне создания безусловных рефлексов - для облегчения самого общего вида реагирования.

А вот контекст значимости из этого, на мой взгляд, делать не стоит. Контекст значимости в своей основе - детектор состояния параметров гомеостаза, а не того, что сказал собеседник. У нас это оценивается уже на уровне осознания, когда мы придаем определенный смысл, произвольную значимость сказанному. Но тут не так просто. Насекомое, увидев признаки еды, не изменяет этим контекст значимости пока не поест, но эти признаки могут приводить к срабатыванию предопределенной реакции. Т.е. не базовый контекст, а условие срабатывания реакции может содержать слова и их синонимы. 

В случае условного рефлекса да, новый контекст образуется уже с участием совокупности воспринятого при фиксировании новой связи с программой реагирования или при торможении ранее закрепленной с базовым контекстов безусловной реакции.

В первую очередь, в основе, воспринятое не следует использовать для модуляции базовых контекстов.

Я пока что их и имею в виду. Вот что сейчас получается с твое фразой:

номер группы | обозначение группы (сенсор в группе с макс. весом)

Группой я называю ассоциации на одно слово, которое служит ее именем. Можно с натяжкой назвать это контекстом, так как по сути это "укрупненные рефлексы" реагирования. Задача была на условно 30 000 сенсоров сделать например несколько десятков или сотен базовых реакций. В моем понимании иерархическое реагирование строится по принципу: быстрая реакция общего плана - уточненная реакция, если не решилась проблема - еще более уточненная и т. д. Основание для такого понимания:

1. развитие нервной системы шло от простого сложного путем наслоения усложняемых реакций поверх простых.

2. реакции общего плана ресурсно менее затратные (в смысле вычислительных мощностей) и логичнее попробовать сначала их. То есть сначала отпрыгнуть в сторону, а потом уже рассмотреть, что там было. Эволюционный отбор показал, что это оптимальная стратегия.

Такие быстрые реакции являются безусловными рефлексами, потому как эволюционно более ранние. Я их назвал контекстами, потому что сначала они срабатывают, а потом уже, на основании полученного результата уточняющие, если нужно. Например по фразе:

приветствую - ПРИВЕТСТВИЕ - не нужно уточнения

вас  - ВЫ - не нужно уточнения

дорогие - ЧЕЛОВЕК - нужно уточнить, какой конкретно человек или люди

наши - ОБЩИЙ - нужно уточнить, общий вообще или для какой то группы

и т. д.

Такие уточнения я предполагал делать при помощи ассоциативного дерева, а управлять ветвлением в нем при помощи параметров нейросети, например торможением, которое связано с гомеостазом. Например на каждом шаге обхода дерева обратная связь от гомеостаза будет корректировать ветвление так, чтобы кривая пути стремилась к центру дерева, так как там находятся наиболее комфортные ассоциации - средний уровень гомеостаза.

Думалось так проще будет, но пока факту, что мой, что твой подход одинаково геморные. В моем случае надо правильно разнести ассоциации по группам и в дереве, и в каждой группе отсортировать их по весу. В твоем надо вручную прописывать рефлексы. Что распутывать клубок, что заматывать по схеме - один хрен возни будет порядком.

Это - хорошая идея. У меня сейчас все предопределенные рефлексы как бы одного уровня и я думал устроить им конкуренцию только на основе веса значимости контекста, в котором они зашиты.

Но весь в природе и в самом деле все реакции формируются на основе предыдущих, если есть более молодая реакция, то более общая не срабатывает. И это легко можно организовать просто сначала опрашивая более общие реакции, потом следующий уровень (с более узкими условиями) и потом уровень еще более узких условий (число таких уровней можно не задавать, а строить по необходимости). И тогда последняя реакция будет - на выполнение, перекрывая предыдущую. Реализовать это можно и другими способами, уже не принципиально как.

Я представляю это так: у червяка есть тактильный сенсор, при активации которого происходит выброс гормона, провоцирующего резкие судорожные движения, вроде эпилептических припадков. Какой то процент хищников это отпугивало. Но вот случилась мутация, появился новый слой рецепторов, способных определять, с какой стороны было касание. Он провоцирует усиление сокращения определённой группы мышц, в результате получилось уползание в сторону. Каждый новый рецептор отвечает за свое направление. Теперь система работает так: если кто то коснулся сбоку, активируется старый рецептор, выбрасывая гормон и новый, задающий направление уползания. Если клюнули сверху включается только старый и отрабатывает прежние хаотичные движения. Теперь старый служит фоновым и я его называю контекстным, потому что он задаёт общую реакцию, которая раньше была основной. Точно так же рецепторы уползания станут фоновыми для нового слоя, если там сформируются ещё более детализируюшие и т. Д. Я понимаю контекст как группировку активностей нейронов по логике ИЛИ, только как бы вывернутую наоборот. Вершина веера связей не группирует сигналы, а испускает их. Она автоматически возникает потому что на раздражитель активируются как старый так и новый рецепторы и в результате они образуют связи. Старый теперь посылает веером сигналы на новые, он как бы подогревает их, повышая им чувствительность и являясь фоновым. То есть он не сам блокируется, а только частично его связь, например к мотонейрону, если она была, но не к выбросу гормона. А реагирует он по прежнему активно.

По сути, формируя ассоциативную пирамиду, где каждый узел это группа сенсоров, я создаю виртуальную вселенную бота. Так как узлы распределяются по степени своего негативно-позитивного влияния на бота. Ведь вершина пирамиды это два узла плохо-хорошо в максимальном значении, а все прочие по сторонам от них показывают степень этих свойств. Тем самым я для каждого сенсора задаю тип и уровень его воздействия на бота, без чего невозможна никакая адаптация. В реальности это получалось бы само собой, так как например 2 первичных датчика черно-белое отличали бы только ночь от дня и задавали бы грубо когда спать, когда кормиться. Потом появились бы датчики сумерек, рассвета и т. Д, более точно устанавливающие рамки. Но все они просто уточняли бы в какой степени спать/жрать. Вся адаптация крутится вокруг граничных условий, которые сначала просто делят реальность пополам, потом ещё пополам и т. Д насколько получится её детализировать, точнее насколько это нужно для конкретной особи. Но какой бы огромной не была пирамида, все её узлы всегда делятся на две части - базовый, начальный диапазон адаптации, переход границ которых означает смерть, а середина оптимум. Адаптация нужна чтобы максимально точно его определить, для того и дробятся узлы.

Смысл жизни, в её абсолютном абстрагированном понимании точно показали жабы в мульте про дюймовочку: ну вот поели, можно и поспать. Ну вот поспали, можно и поесть. Это не даёт заглохнуть генератору колебаний гомеостаза. 

Сделал примеры последовательного развертывания нейросети для распознавания диапазонов реагирования. Распознаватель 3 диапазонов, распознаватель 5 диапазонов.

Теперь становится более понятно, как нужно группировать сенсоры, и как автоматически ветвятся контексты. Не зря мне свербило, что на уровне безусловных рефлексов не может быть никаких обучений с учителем, кроме наипростейших стимуляций. И с учетом принципа наследования, когда каждый последующий слой не отменяет функциональность предыдущих, а дополняет - должен быть какой то совсем примитивный принцип построения адаптационных схем. По сути, это все равно как если в рабочий прибор, не перепаивая ничего, просто воткнуть новую плату, нажать кнопку - и он заработал по новому. И так до бесконечности. Казалось бы, как такое возможно? Но именно так и происходит адаптация. Единственная аналогия, которая подходит под такой алгоритм - дробление. Разрезал пополам, потом еще пополам - и таки да, такой ерундой можно заниматься теоретически бесконечно, всякий раз получая все более мелкие сенсоры, улучшающие качество распознавание и как следствие - все более сложную адаптацию. При этом старые, более крупные грубые сенсоры как работали так и работают.

Касаемо бота выходит надо отсортировать сенсоры так, чтобы получились участки группы (рецептивные поля для нейронов), но обязательно с перекрытием. А потом простым двухшаговым циклом прогнать обучение нейронов, последовательно добавляя слова. В итоге развернется нейросеть, которая автоматически будет переключаться при возрастании/убывании на нее воздействия на все более мелкие диапазоны, а при широком диапазоне воздействия включать более низкоуровневые активации. В итоге получается автоматическое ветвление.

Очень хорошая аллегория! 

Вот здесь у меня другое мнение, но ни в коем случае не стану отговаривать :) посмотрим, что дальше будет. У нас получается проверка двух разных концепций на двух проектах.