Тема форума: «Бот на ГО»

Я думаю, тут скорей всего один концепт, сформулированный по разному, или один из них частный случай другого. Попробую собрать схему из 5 рецепторов по тому же алгоритму. Если получится - тогда останется уже алгоритм в прогу забить и окончательно проверить концепт на верность.

При построении схем по такому алгоритму возникло несколько интересных вопросов:

1. в схеме с 3 рецепторами нейрон №3 в конечном итоге вышел из игры. Его заблокировали тормозными связями нейроны со второго и третьего слоев. Стало быть схема не оптимизирована, алгоритм способствует возникновению лишних связей. Имеет смысл ввести понятие оптимизации, убрав после обучения такие нейроны с их связями.
2. смущает образование тормозных связей от нового слоя к старым. Ведь там нейроны уже полностью сформированы и вроде как не должны ни с чем связываться. Но без таких связей схема не работоспособна, новый слой должен подавлять старый. В качестве гипотезы предположу, что глушение нейронов тормозными связями и есть тот механизм, который переводит слой в статус сформированного. В самом деле, если попытка активироваться на определенный диапазон активно гасится нейронами нового слоя, это просится как тригер запуска какого то специфического процесса в теле нейрона, переводящего его из режима обучения в статус зрелого. По крайней мере это объясняет, почему вроде бы созревший нейрон продолжает образовывать пусть и тормозные но связи. А он и не созрел вовсе - растущие тормозные связи от нового слоя постепенно запускают необратимый процесс гашения пейсмейкерной активности.
3. нейрон №6 я расположил на 3 слое, хотя он в принципе вполне может принадлежать и второму. Так даже логичнее будет, ведь он так же связывается с парой перекрывающихся рецептивных полей. Но тогда получается, что тормозные связи возникают не только межслойные, но и внутри слойные. В принципе это подтверждается данными исследований. Горизонтальные нейроны действительно широко распространены в природной нейросети. И тогда развивая вышеприведенную гипотезу можно предположить, что они так же служат триггером выключения пейсмейкерной активности нейронов своего слоя. То есть те, кто первым начал синхронно активироваться на рецепторы (больше продвинулись в процессе обучения), начинают огребать тормозные связи от тех, кто еще только начал синхронизироваться.
4. важным правилом в алгоритме  является перекрытие диапазона реагирования рецепторов. Вообще, строго говоря, их правильнее называть группой рецепторов, а диапазон - рецептивным полем нейрона, который связывается с ней. И тут возникает вопрос - каким образом задавать сдвиг диапазона? Точнее как это организовано в природной нейросети. Тут сразу приходит в голову ДНК. В самом деле, геном кодирует белки, которые собственно и отвечают за свойство рецептора. Стало быть, записав в геном последовательность кода белков мы и получаем последовательное возникновение сдвинутых по фазе групп рецепторов. Таким образом имеет смысл ввести в модель бота модуль ДНК, где и прописать по шагам, какой рецептор после какого возникает, с каким диапазоном и с каким сдвигом. Так мы получим аналогичный природному механизм наследования признаков, в данном случае дисперсию распределения импульсов детектирования параметра, которая будет задавать боту его специализацию.
5. когда впервые задумался о наследовании поведения, то сразу возник вопрос: как вообще можно передавать по наследству реагирование? У Nan есть статья, где показано, что геном лишь часть процесса передачи, другим важным фактором является окружающая среда. Поэтому одни и те же виды живых организмов в разных условиях вырастают существенно разными. Но вопрос о передаче информации ветвления через геном так и остался открытым. Очевидно, что как то передается ветвление аксонов, причем например в случае с насекомыми это основной способ формирования их поведенческих реакций. Мне казалось очевидным, что должен быть какой то простейший алгоритм, который как фрактал разворачивает изначально простейшую схему из нескольких нейронов в очень сложную, и он как то управляется геномом. И вот думается как минимум часть этого алгоритма и показана в примерах.

Для искусственной нейросети это все без разницы, главное правильный алгоритм развертывания новых слоев, не нарушающий логику работы предыдущих. Но понять его можно только опираясь на природную реализацию, поэтому думаю имеет смысл ставить такие вопросы, чтобы понять, как оно устроено в работающей природной модели.

Буквально несколькими постами выше я убеждал тебя, что "старый теперь посылает веером сигналы на новые, он как бы подогревает их, повышая им чувствительность и являясь фоновым", и тут же практически следом "нейроны нового слоя гасят тормозными связи нейроны предыдущего". Так гасят или подогревают? И кто кого гасит/подогревает? Сейчас у меня вроде как убедительно выходит что новые гасят старые, а у тебя судя по всему, что старые греют новые. Но самое интересное будет, если обе версии окажутся верными, но в своих границах. Например для ситуации созревания первичных слоев в первую очередь работает концепт торможения, а для развития динамики реагирования с помощью межслойных активных связей на передний план выходит уже концепт подогрева.

Вовсе ничего не обязано кодироваться в геноме :) вот как раз в статье про наследование признаков показывается почему именно и как получается, что на каждом этапе экспрессии генов возникает своя специфическая картина белков-строителей. Ты не вкурил принцип :) Геном может и предопределяет практически всю сложность существа, но при условии определенной среды.

Со средой все понятно, ЖД-колея, переключение путей, предопределяют куда поедет поезд. Но в то же время локомотив движется с какой то скоростью, которая не имеет никакого отношения к ЖД-инфраструктуре. Вот я про это имел в виду. А ты про то же самое как то туманно "может и предопределяет, но при условии...". У меня вопрос был: что конкретно, какую часть процесса формирования берет на себя геном, и как конкретно это делается. Если мы будем прикручивать искусственный геном в проект, это ведь надо предельно ясно понимать.

Погонял вручную алгоритм на разных кол-во рецепторов и теперь практически ясно вырисовывается принцип формирования распознавателей диапазонов. Алгоритм в итоге очень простой:

1. возникает группа рецепторов с какими то диапазонами реагирования. Если диапазоны перекрываются, то величина перекрытия по сути будет дополнительным рецептором и теоретически можно сделать очень острое реагирование до 1 ед на каких то участках шкалы детектируемого параметра. По этой причине например диапазоны зрительных рецепторов в сетчатке довольно сильно плавают - чтобы было больше перекрытий. И максимально их получается в фовеоле, где они очень плотно упакованы.
2. возникает слой эффекторов и при внешнем раздражении рецепторов начинается обучение по схеме: между рецепторами и эффекторами протягивается активирующая связь, а между соседними эффекторами тормозная. Веса связей распределяются по принципу: порог срабатывания / кол-во связей.
3. Сеть считается обученной, если на каждый диапазон активируется только один уникальный нейрон.

И вот тут начинается самое интересное. Практически невозможно предсказать, сколько потребуется нейронов для формирования всех возможных диапазонов реагирования и как протянутся активирующие тормозные связи. Это зависит от последовательности активации рецепторов. Вот тут как раз просится масштабное исследование, чтобы прогнать все мыслимые варианты и посмотреть графики. Но можно сразу предположить, что чем больше рецепторов, тем более запутанная и сумбурная получится сеть. Она даже может вообще не получиться и улететь в бесконечный цикл формирования. У меня например получалось, что нейрон, успешно научившийся распознавать свой диапазон, в итоге оказывался задушенным тормозными связями от новых формирующихся нейронов и часть линейки снова оказывалась не детектируемой. А если еще учесть, что в реальности нейроны не строго одновременно рождаются, созревают - это добавит еще больше хаоса. Вообщем уже эксперименты с конструктором дают повод сказать, что природная нейросеть крайне сумбурно-хаотичная и просто тупо запускать природный алгоритм явно не катит. Будет очень много лишних, бестолковых связей, никак не учавствующих в процессе распознавания но забирающих на себя вычислительные ресурсы. Как например нейрон №3 в схеме с 3 рецепторами. В процессе обучения нейроны могут менять свою специализацию или вообще выключаться из процесса, становясь "лишними". Для природной нейросети это может и пофиг, но в программной это потребует запускать спец. цикл оптимизации схемы, для поиска таких нейронов и удаления. При этом может оказаться, что вроде бы "не нужный" нейрон после удаления оказывался участником какой то запутанной схемы торможения и придется заново прогонять цикл обучения, получая новые "лишние" и дополнительные нейроны. Еще тот винегрет. Думаю, по этому поводу будет целый раздел нейро-инженерии.

Причем эта проблема не только для искусственной нейросети. Логично предположить, что особи нащупавшие некий более быстрый алгоритм формирования градуированной шкалы диапазонов получали фору перед другими с более бестолковым алгоритмом. Такая оптимизация означает введение дополнительных правил. Например, протягивать тормозные связи не ко всем активным нейронам вокруг созревающего, а только к нейронам предыдущего слоя. Я проверил оба варианта: если гасить только предыдущий слой а не все вокруг, это существенно уменьшает кол-во нейронов для формирования линейки значений параметра. С 3-4 рецепторами это делается даже за один прогон. А вот если тормозить все активности, то уже с 5 рецепторами начинается нагромождение слоев, которые нужно для того, чтобы группировать активности с предыдущих. Ведь гашение нейрона означает отключение его тормозных связей, что откатывает процесс обучения назад и получается бестолковое топтание: шаг вперед - два назад, два вперед - один назад. И это может затянуться на очень долго.

Другой интересный момент - последовательность формирования распознавателей. Тут опять же, интуитивно подумалось: сначала нужно научиться распознавать ноты, а потом уже аккорды. И действительно, если на первом слое формируются только связи с одиночными рецепторами и никаких торможений, а на втором фиксируются перекрытия диапазонов с торможением нейронов первого слоя - в случае с 3 рецепторами линейка формируется на двух слоях и в один прогон. Это показано на примерах выше. То есть учиться сначала тыкать одним пальцем по клавишам пианино, и только потом аккорды - эффективнее и быстрее, чем сразу аккорды. Возникает вопрос - всяко природа к этому тоже пришла, но как это реализуется? Никто же не будет тебе сначала показывать короткие отрезки, а потом длинные ломанные. Как родился - сразу учись на том окружении, что есть, а там всего намешано. И тут вспомнилась давнишняя идея, которая возникла еще при экспериментах с первым нейроконструктором - фоновая засветка. В самом деле, если напротив рецепторной матрицы расположить матрицу эффекторов, потом активировать все рецепторы одновременно, то эффекторы автоматически привяжутся каждый к своему рецептивному полю по логике ИЛИ. Это значит, что они как бы разлинуют рецепторную матрицу на участки. Если каждый участок представить на схеме как одиночный рецептор с диапазоном реагирования, то и получится нужная связь 1 к 1 на первом слое. Вот для чего нужна решетка связей на первом слое - для оптимизации обучения. И первый слой в таком случае может формироваться еще в утробе, потому как для фоновой засветки не нужно внешнее раздражение, можно это сделать просто возбудив все рецепторы каким то химикалием.

Но к сожалению, все это только интуитивные догадки. Конкретные цифры можно получить только после масштабных экспериментов. А оптимальный алгоритм нужен уже сейчас. Придется двигаться на ощупь, по наитию.

Собрал схему из 5 рецепторов на 9 диапазонов. Пришлось делать 3 прогона, чтобы свести детектирование к одному нейрону.

• 1  прогон - 2 слоя. Остались не оптимизированы диапазоны 25-30, 45-55, 55-60, 60-75, 75-80
• 2 прогон - 3 слоя. Остались не оптимизированы диапазоны 45-55, 60-75
• 3 прогон - 4 слоя. Все диапазоны закрылись.

Пришлось протягивать тормозные связи не только к предыдущему слою, но иногда и к более ранним, вплоть до 1. Но зато выдержан одинаковый алгоритм: от рецепторов активирующие связи, к предыдущим слоям тормозные. То есть добавляется новый эффектор, связывается с рецепторами и гасятся все эффекторы, которые активируются на тот же диапазон от прежних связей. После их гашения иногда включаются другие эффекторы и цикл надо повторять. Например при формировании 4 слоя пришлось трижды прогонять его, чтобы сначала загасить нейроны 3, потом второго, потом первого. Назвать итоговую схему оптимальной как то язык не поворачивается. Тем более, что если на 9 диапазонов потребовалось 19 нейронов, то 5 из них явно лишние. Но не факт, что выкинув их из схемы вся конструкция не посыпется как карточный домик и опять придется запускать алгоритм обучения, который снова потребует наращивания слоев.

А вот эту схему не удается свернуть до активности одиночных нейронов на выходе. Потому, что там изменил алгоритм: активные связи от предыдущего слоя, тормозные только внутри слоя. В итоге правая часть перестала сворачиваться. Отсюда можно сделать вывод, что одним лишь внутрислойным торможением не удастся свернуть как минимум некоторые схемы. А в предыдущем примере получается, что одним лишь межслойным торможением некоторые можно. Стало быть, надо использовать оба типа торможения и скорей всего два типа активных связей: между соседними слоями и сквозные, между несколькими слоями. Программно более выгодно получить больше связей и меньше нейронов, а в природной реализации скорее всего наоборот. Потому как тормозная связь делается опосредованно при помощи вставочных тормозных нейронов, которые примерно равномерно распределены внутри слоев и между ними. Их число не бесконечно и в какой то момент может оказаться что нечем тормозить.

Интересно еще проверить, возможно ли просто многократно прогоняя цикл торможения активностей внутри слоя свернуть его до одиночных активностей? Понятно, что тут нужны масштабные, а не одиночные эксперименты, но думаю, вполне возможны ситуации, когда произойдет закольцовка по типу: гашение нейрона выключает его тормозные связи, включаются ранее заторможенные нейроны, их гашение в повторном цикле оптимизации выключает их тормозные связи, которые тормозили предыдущий заторможенный нейрон. Потеряв их торможение он проснулся - и т. д.

В этой схеме я сразу начал обучение с первого слоя без всяких фоновых засветок. Получается, они все таки не нужны, потому как в предыдущем примере "лишние" нейроны как раз и были нейроны первого слоя, кроме крайних.

В статье Наследование признаков все описано конкретно именно с интересной тебе точки зрения. Начни читать с предложения: "Все это происходит только потому, что начальное состояние вещества в данных условиях с неизбежностью приводят к развитию такого результата."

>>к сожалению, все это только интуитивные догадки. Конкретные цифры можно получить только после масштабных экспериментов.

То, что уже с самого начала начались непонятки – серьезный сигнал. Ты разделяешь слова сенсора по синонимам? Но синонимы – очень далекая фича на уровне субъективных моделей и поэтому входной сенсор не должен на них основываться. Другое дело, когда ты синонимы используешь для подсказки, что вот такое слово является == такой-то группе слов.

Я уже использовал синонимы именно для такой цели и мне не подошли все те синонимы, что дает ресурс онлайн, я выбираю в группы только в самом деле тождественные слова (в самом общем представлении, каковым является входной сенсор, где еще нет никаких значимостей и смыслов).

Мне кажется, что если у тебя не возникает гениальной идеи как выкрутиться из твоего начинания, то лучше перестать терять на это время потому как кроме тебя никто не сделает “масштабные эксперименты”.

Не хочу привносить соревновательность, но просто к сведению, у меня уже готова система безусловных рефлексов базового и последующих уровней (по твоей идее – реакции на основе реакций), что является заделом уже для безусловных.

Я набил несколько тестовых рефлексов, которые срабатывают при определенном сочетании базовых контекстов значимости с присвоенными им весами значимостей. Вот реальный пример. Когда забиваешь фразу: “сделаю больно” в условиях нехватки энергии и сопутствующем стрессе, то бот в ответ тоже делает больно и пишет: “Мне больно!”.

ФОТО 

На основе этого рефлекса сделан такой, что если при тех же условий написать: “сделаю больно шучу”, т.е. добавить еще одно новое услове, то срабатывает это ветвление более общего контекста и бот пишет: “Прикольно!” и смеется.

ФОТО 

Попутно получился детектор нового и определитель наиболее актуального контекста реагирования – для ориентировочной реакции.

Так же сделаны кратковременно доминирующие контексты эмпатии при передаче боту своего состояния (несколько кнопок на пульте: “Передать свое настроение”), что уже является основой для отзеркаливания чужого опыта.

Короче, все идет по феншую, уверенность увеличивается.

Я их не использую. Вместо этого запал на ассоциации. Уже говорил суть своей стратегии:

ассоциации - готовые рефлексы, ответные реакции на  слова-сенсоры, но собранные до кучи от разных ситуаций. Если удастся разложить их по полочкам и группам, чтобы было понятно, какая ассоциация для какой ситуации уместна - получим диалог в стиле Эллочки-людоедки. Потом останется на его основе сгенерить более похожие на человечьи ответы. То есть я исхожу из того, что база ассоциаций это прошедшие обработку во множестве реальных мозгов слова-сенсоры. И можно не заморачиваться, почему дом, квартира, конура, кибитка - это все жилище. Потому что так уже забито в базе.

Получается по сути чуть не одноуровневая сеть и надо просто настроить распознаватели. И вот тут возникают проблемы. Если на каждое слово забить файл ассоциаций - она раздуется до сотен тысяч слов, потому, что одни и те же слова входят в разные группы, но расположенные в разных местах ряда. Положение в группе определяет вес соответствия слова этой группе при нейтральном состоянии. А при других состояниях слово сдвигается в какую то сторону, становясь более или менее соответствующем группе.

В итоге тупой вариант: просто набить базу ассоциаций на каждое слово - это будут группы соответствующих реакций. Причем даже не надо перебирать все 27 000 слов основного файла, потому как некоторые списки ассоциаций включают в себя более 1000 слов. Но многое зависит от того, насколько точна эта БД.

Другой вариант - прикинуть как в природной реализации происходит группировка. Тогда с учетом перекрытия диапазонов групп-списков нужных групп можно забить существенно меньше. Но тут надо понять, по какому алгоритму формируются связи с группами. Чем я и занимался. В принципе сразу было понятно, что активирующие-тормозные связи внутри слоя, между слоями выстраивают дерево ветвлений в сети. Но что с чем в какой степени, и главное - по какому приницу-алгоритму они формируются? Я исходил из того, что он должен быть предельно простым и общим для всех слоев. А не так, как в сверточных сетях, где свертка происходит настройкой множества фильтров.

То есть главное расхождение - ты пишешь рефлексы от простого к сложному, а я решил схитрить и использовать готовую базу рефлексов. Ветвления при выборе я предполагаю сделать меняя параметры процедуры торможения.

По моей схеме, если она получится, это просто перекрытие двух разных диапазонов ассоциаций, которое активирует другой эффектор. То есть я пытаюсь построить глобальное ассоциативное дерево ветвлений, чтобы какую бы фразу не вбил - оно чего то выдало. И управлять дополнительно его ветвлением например торможением. Это будет тупое насекомое с чисто безусловными рефлексами. Но для этого надо разгадать принцип, по которому строятся деревья связей в реальных мозгах.

Удручает правда, что как ни крути - а нейронов дофига получается, и там уже надо полноценное торможение, а не упрощенное, как сейчас у меня сделано. Это быстро сожрет ресурсы  и все повиснет. И есть подозрение, что я слишком доверился БД с сайта. Я ее тщательно не проверял, но если ты говоришь, что синонимы там косячные, может статься что и ассоциации такие же. А у  меня все на них повязано. На крайняк сделаю вручную небольшую базу, чтобы хотя бы принцип проверить.

Твое упорство восхищает. Желаю чтобы, как минимум, получились интересные результаты.

Интерфейс смотрится оптимистично. Будет ли эта штука доступна для экспериментов?

PS Освоил в Го общий синтаксис, срезы и функции. Интерфейсы, методы и более сложные вещи ещё не трогал. Надо ещё подкачаться?

Пока работаем в локале, потом вынесем на реальный сайт. Я тебе в чате дал инструкции.

Подкачаться лучше всего в реальном деле :)

Вроде нащупал оптимальный алгоритм свертки рецепторной активности до активаций одиночных эффекторов. Делается в два этапа:

• от активных на шаге обучения рецепторов протягиваются связи к эффекторам, веса определяются как порог/кол-во рецепторов. И так проходится весь диапазон линейки параметра.
• затем опять проходится последовательно диапазон от 0 до 100 по шагам, но теперь эффектор, имеющий связи от активных на шаге рецепторов душит все остальные эффекторы, если они возбуждаются от его рецепторов. Может потребоваться несколько раз так сделать, потому, что выключенный эффектор отменяет свои тормозные связи и может всплыть другой, который тоже надо задушить.

В итоге правильный алгоритм: сначала быстрое арпеджио по всему диапазону для протягивания связей, потом уже простукать конкретно каждую ноту. Оказалось с точностью до наоборот, как я думал поначалу.

С безусловными рефлексами у меня пазл сложился: Звено ветвления безусловных рефлексов, ветвление безусловных рефлексов. В описании подробно показан принцип, по которому они формируются и ветвятся. Не понадобилось ни фоновых засветок, ни регулировочных ползунков, чтобы получить теоретически работающую самонастраиваемую нейросеть. Адаптирующуюся эволюционным путем разумеется, но в нашем программном случае эволюция мгновенная. Это просто добавить пару сенсор - нейрон и запустить 2-уровневую процедуру обучения. И я не нашёл в моей интерпретации каких то серьёзных отклонений от твоей теории. Всё то же наследование, построение нового на базе старого, причем это даже жёсткое правило, а не рекомендация. Иначе схема быстро запутывается и разрушается.

Nan, можешь прокомментировать, насколько это совпадает/не совпадает с твоим пониманием?

>>гомеостаз можно представить графически в виде постоянных колебаний вокруг оси оптимума. При этом иногда амплитуда колебаний выходит за пределы оптимальных значений и требуются компенсирующие меры для ее возврата.

Не могу с этим согласиться и уже писал, что колебания равновесного процесса зависят только от величины задержки обратной связи, если она оказывается такой, что вместо отрицательной, на какое-то время связь становится положительной. Пример – тремор рук, если стараться сознательно отслеживать и контролировать движение: на осознание тратиться время и получается пропуск момента компенсирующего воздействия.

Можно сделать водяной термостат так, что греющая лампочка будет то зажигаться, то гаснуть, а можно так, что лампочка примет усредненный для баланса накал, без крайностей. Нужно только ввести задержку в регулятор нагрева.

Есть люди, которым прописано питаться 8 раз в день и у них практически нет голода, а поддержание едой проходит ровно, без колебаний. Так же с дыханием.

Мне кажется, тебе стоит убрать это непринципиальное звено в рассуждениях о ветвлении.

>>новые рефлексы вовсе не случайно-хаотичны, а всегда строятся на базе предыдущих, являясь их продолжением.

Вот это -основа. Осталось определить, а что делают новые рефлексы в дополнении к старым, не просто “Рефлекс R2 это клон рефлекса R1, но с более низкой активностью.”.

Действие вторичного рефлекса вообще может никак не коррелировать с действием базового и вот почему.

Предположим, базовый рефлекс “потянуться за едой” возникает, когда в восприятии есть еда и есть голод.

И тут появляется еще одно условие: еда болтается на рыболовном крючке. Если схватишь, получишь травму (в лучшем случае) когда можно запомнить ситуацию: если при двух первых рефлексах появился крючок – то не хватать еду, а в дальнейшем еще и найти удачное решение чтобы еду, все-таки добыть в таких условиях. Рефлекс появился в базовом контексте двух условий, но добавилось третье и действие должно стать совершенно иным.

Сначала в новых условия старый рефлекс просто должен заблокироваться. Потом начинаются поиск решений и если будет найдено удачное, то в этом контексте закрепиться действие.

Вот как должны ветвиться рефлексы.

Прикинь, что по сути имеем дело с универсальной функцией, которая должна вызывать сама себя чтобы проверять, если в данном наборе условий блокировка действий или новое действие. Если есть – проверять глубже на наличие еще каких-то условий, если нет – то вот она конечная реакция.

И для программной реализации такого совершенно не нужны и даже очень вредны нейроны с последовательным сканированием их состояний.

Вот в чем я очень четко убедился, что нефиг в программной реализации эмулировать дискретные элементы. Это только забирает ресурсы и ничего не дает. У меня больше нет нейронов в проекте и все принципы выполняются программно. В частности, после уровня самых базовых рефлексов, для всей иерархи последующих рефлексов на базе рефлексов, для проверки вложенных более узких контекстов (сочетаний условий и наличия реакций для них) используется единственная рекурсивная функция. Она уже отработана, в том числе, и для условных рефлексов.