Тема форума: «Нейросимулятор»

Это ты замахнулся на очень сложную систему, там немало нюансов. 

Это никак не относится к реальный природным нейросетям.

Добавил  график состояний эффекторов. Теперь можно наглядно в динамике наблюдать как скачут веса. Дальше попробую определить область значений параметров, при которых сетка устойчиво работает в некотором диапазоне. Под устойчивостью имею в виду, что двигая ползунки в некотором диапазоне картинка эффекторного рисунка не меняется - значит сетка имеет помехоустойчивость реагирования. Это думаю важно, иначе не получится получить стабильные переключения моделей поведения - нужен участок "плато" реагирования. Как я предположил, а nan вроде как подтвердил, механизм смены стилей поведения в древних системах делался путем смещения параметров сетки (у симулятора это порог и основной и тормозной вес). И судя по всему, этот механизм так и остался в качестве рабочего в наследие от них - для первичных структур.

Но для получения нескольких переключений нужно иметь несколько "плато" - и это предстоит выяснить, сколько их на самом деле и при каких условиях может быть. А если выяснится, что разные рисунки дают разные возможности конфигураций стилей поведения? То есть один детектируемый образ позволяет создать несколько моделей реагирования, а другой нет? Не окажется ли это объяснением, почему одни реакции способны модифицироваться а другие нет? Природа однозначно игралась с параметрами, закрепляя удачные находки. Но очевидно, что такой механизм ограничен в плане масштабирования реакций.

Grafik.rar

Похоже я дал не верное определение устойчивого состояния сети, которое можно использовать как вариант реагирования. Нужно только, чтобы при определенном рецепторном рисунке сеть давала в виде отклика один и тот же эффекторный рисунок. Это значит, что она предсказуемо стабильно реагирует на раздражитель. Однако мне попадались ситуации, когда при отжатии/нажатии рецептора рисунка сеть давала по 2 и даже 3 варианта отклика. Возможно она была в состоянии неустойчивого равновесия, когда при итерациях расчета весов практически равно-вероятны были несколько вариантов переключения рисунка. То есть чувствительность была сравнима с погрешностью расчета. В реальной природной сети такое тоже может быть, ведь нейроны имеют некоторый диапазон флуктуации своих параметров, вроде "дрейфа нуля" или "ток утечки" у электронных компонентов. Но скорей всего такие хаотичные реагирования просто не фиксировались ввиду отсутствия необходимого для закрепления числа повторяемости, отчего сетки с такими параметрами выбраковывались.

То есть предварительно такой вывод:

пляска графика эффекторного рисунка при изменении параметров показывает, сколько примерно возможных конфигураций реагирования можно создать на один раздражитель только лишь подкрутив "ручки настроек". Если управление регуляторами связать с другой сеткой, детектирующей например состояние гомеостаза - мы получим переключение контекстов реагирования в зависимости от гомеостаза. Комбинируя три параметра можно думается довольно много вариантов создать в период созревания сети - и такой механизм до сих пор используется в первичных зонах.

Возникла еще одна идея для применения особенности нейросети выдавать несколько ответных эффекторных рисунков на один рецепторный - это можно использовать для создания стабилизатора какого то параметра.

Обычно стабилизация параметра делается по схеме использования 2 датчиков конечных состояний. Один сигналит при выходе за нижний предел, другой - за верхний. А если оба молчат - то параметр в норме. Сигналы с датчиков запускают программы возращения в норму: нижний детектор запускает повышающую параметр программу, верхний понижающую. То есть тут стабилизация подразумевает 2 типа сигнала, что ограничивает ее функциональность. Сетка же позволяет выдавать больше 2 сигналов на один раздражитель - через настройку ее параметров. А это соответственно больше вариантов реагирования. Это как если бы не один концевик, а несколько по концам диапазона поставить, что даст дополнительные варианты реагирования.

В прицепе "№ конфигурации" показывает, сколько переключений сетки происходит - столько возможных реакций возможно при данных весах и тормозном влиянии. Можно по идее график составить в виде 3D кривой (три параметра уравнения кривой) для каждого рецепторного рисунка - как его характеристику в плане реагирования. "№ конфигурации" - это просто номера активных эффекторов собранных как строка - уникальный идентификатор эффекторного рисунка.

Konfiguratcii.rar

Gashyeniye_bokovyh_affyektorov.rar

На видео показано, как происходит гашение боковых эффекторов при активации самого нагруженного (весомого). Добавляя ползунком основного веса на синапсы видно, что суммарный вес центрального и связанных с ним тормозными связями других эффекторов, на которые тоже воздействуют активные рецепторы, сначала пропорционально растут. Но как только самый нагруженный достигает порога срабатывания - он начинает их тормозить, вплоть до того, что задавливает в минус. Я специально поставил коэфф. тормозного влияния 0,6, чтобы после активации центральный заминусовал боковые. Происходит как бы резкий его "отрыв" от остальных - контрастирование возбуждения одиночного эффектора. Самый нагруженный "выстреливает", недогруженные "притапливаются".

Пока что не очень наглядно и как бы неинтересно поэтому. Все же нужен какой-то более узнаваемый образ для демонстрации. Если показывать подавление помех, то сделать эти помехи вместе с полезным образом. Если контрастирование -то чтобы видно было как увеличивается контрастность и т.п.

Я сейчас как раз делаю подробное описание симулятора взаимного торможения, потом добавлю видео. По сеткам уже сделал.

Макет изменил с целью размещения на экране без прокрутки матрицы и графика, чтобы сразу было видно, как интерактивно меняется график при изменении состояния матрицы.

Правда вскрылся еще один косяк связанный с запросом-источником, хотя на работе сетки он не сказывается - она отражает точно те значения, которые я представлял себе при ручной проверке весов. Палево вышло с попыткой программно задать статус рецептора, то есть установить какой нибудь рисунок. Это связано с тем, что эффектор может иметь более одной связи с рецепторами и при текущем источнике данных получается неоднозначность с программным определением рецептора. Это поправлю после того, как сделаю описание схемы. Потому как help по ней мне думается более актуальная задача, потому, что

И я так думаю. Мне сетка совершенно банальна и я уже без всяких итераций могу сразу сказать где какой вес будет и почему. Но другим, которых так не зацепило, видимо многое не понятно а потому не интересно - иначе завалили бы вопросами.

Впал я так сказать в глубокую задумчивость по поводу адекватности расчета весов методом итераций. Речь о расчете неопределенных ситуаций, когда например три эффектора одинаково нагружены весами от рецепторов и по идее должны равномерно притормозить друг друга. Так и происходит, но лишь в случае, если итоговый вес все еще больше порога. А вот если ниже - тут возникает интересный момент, кто кого придушит первым. Строго математически, если три ковбоя стали в круг и направили друг на друга револьверы - погибнут все, так как шансы у всех равны. Но в реальности кто то обычно оказывается проворнее и выживает. То же самое и с сеткой. По картинке, все три эффектора должны получить вес 0,48 (при параметрах: порог 0,4, веса основной и тормозной 0,2) равномерно придушив друг друга. А на деле №27 выбыл из игры. В данном случае потому, что при расчете идет последовательный опрос эффекторов по возрастанию номеров - вот ему первому и прилетела пули от остальных.

И возникает вопрос: а в реальном прототипе, например на микросхемах, где веса не итерациями а физическими взаимодействиями устанавливаются - там как будет? С одной стороны там ведь все равно будут какие то флуктуации и стало быть кто то так же окажется ловчее и выстрелит первым. А строго по математике, если бы например веса считались по формуле - все равны. Вот и думаю: понятно, что в таких примитивах при таких параметрах кто то будет гаситься - но строго по теории то не должен! То есть в симуляторе примитив прямая разваливается на пунктирную линию - а при расчете по формуле веса просто равномерно понизятся - вплоть до того, что при достаточно сильном тормозном воздействии примитив вообще погаснет, весь целиком! А в симуляторе прямая распадется на отрезки и там уже сколько не крути ручки тормозов - они так и останутся отрезками. Не сходняк однако. Но он интересен тем, что... так и должно быть. То есть строгая формула не годится. И вот думаю - по этому поводу будет сильное бодание с оппонентами. Как так - правильная формула не правильна?!

Я пока склоняюсь к тому, что расчет через формулу идеальной равновесной нейросети невозможен. Потому, как если включенные рецепторы затормозят эффекторы до уровня ниже порога - они выключатся. Но при этом пропадет их тормозное влияние - они включатся. Опять затормозят - выключатся - включатся - и т.д. Получаем неустойчивое состояние, которое в физическом симуляторе перейдет в автоколебания, так как имеем обратную связь. Но в том же реальном симуляторе чуть разбалансировать например веса или пороги эффекторов - и неопределенность пропадет. В природной нейросети так и происходит - там нет строго установленных параметров нейронов. Поэтом стоит ее толкнуть - и она сваливается в какое то из устойчивых состояний. В данном программном симуляторе неоднозначность устраняется через задание очередности прохода эффекторов при расчете.

Вообщем, сдается мне, что я изобретаю велосипед, заново переоткрыл какую то теорию расчета равновесных систем. Где понятно, что в идеализированной системе может быть область решений, а для инженерных расчетов просто вводится доп. параметр разбалансировки, который всегда присутствует в реальных системах, чтобы вывести систему из неопределенного состояния. В итоге в данном симуляторе всегда будет выключаться 27 эффектор, а вот в его физическом аналоге это может быть какой то из них, но тоже всегда один и тот же. В принципе, это никак не влияет на распознавание. Главное ведь не получить какой то конкретный эффекторный рисунок, а получать всегда один и тот же рисунок на один и тот же раздражитель - при заданных параметрах.

Что меня зацепило в этой истории: обычно мы думаем, что обсчитавшись в расчетах мы получили бы верное решение, имей мы точную формулу. Но в случае расчета нейросетей оказывается это еще спорный вопрос - будет ли она точнее определена по формуле. Итерации оказывается дают более близкую к реальной картину. И это не привычно, на первый взгляд даже абсурдно выглядит.

Это - не типичный случай в нейросети. Даже если такое вдруг случиться, то это будет очень частный глюк. Лучше не входить в разные варианты возможностей, а находиться в контексте системной модели нейросети.

В симуляторе условно принято, что все веса одинаковы - я думал, так будет проще показать эффекты возникающие от торможения, потому что проще показать примеры расчета весов. Но оказалось, это приводит к их неожиданному раскладу и неопределенностям. В реальной нейросети конечно же веса от рецепторов практически всегда разные, смотря по тому, как они зафиксировались при самообучении.

Вот если бы №21, 31, 30 передавали бы вес не 0,2 а 0,15 - тогда эффектор №27 получил бы от них суммарный вес 0,45 а №117, 126 - по 0,5. Взаимное торможение с весом 0,2 тогда распределилось бы так:

на №27 пришло бы 0,05*2=0,1 а на №117, 126 0,05+0,045=0,095. В итоге их суммарные веса бы стали:

№27: 0,45-0,1=0,35 - ниже порога 0,4

№117, 126: 0,5-0,095=0,405 - выше порога 0,4

И тогда уже без всяких флуктуаций №27 закрылся бы, его торможение пропало  и веса №117, 126 пересчитались бы как от только взаимного влияния №117, 126 = 0,48.

Теперь понятно, зачем ты в своем примере вводил статусы рецепторов не просто ВКЛ/ВЫКЛ (как у меня) а градацией от 1 до 10 - так ты симулировал реальное проецирование примитива на рецепторное поле в виде уровней сигналов от рецепторов, которое практически никогда не бывает равномерным, что собственно и устраняет не однозначность расчета. Придется и мне их вводить, чтобы объяснять состояние нейросети без привлечения стреляющих друг в друга ковбоев.

Хотя тогда придется все равно объяснять, почему при одинаковых уровнях из тройки эффекторов выключается тот что с наименьшим номером, а при неодинаковых - с наименьшим весом. Это уже результат опроса по возрастанию при расчете сети. Но и в реальной сети тоже один из трех одинаково нагруженных вырубится - но уже из за флуктуаций. Получается, строго говоря есть две причины, почему искусственная нейросеть так распределяет веса: из за особенностей расчета и неравномерности рецепторного поля. А в природной то же самое происходит из за флуктуаций параметров и неравномерности рецепторного поля. Не будет ли это слишком сложным для понимания? Можно конечно тупнем прикинуться и просто показывать только не равновесные примитивы, и на них уже объяснять контрастирование исключительно по причине неравного распределения весов. Но вот кто нибудь нажмет одинаковые веса и ткнет пальцем: а тут тогда почему контрастирование происходит? Метод итераций  ведь не позволит избавиться от этого эффекта. А тот же самый эффект на физическом симуляторе вызовет аналогичный вопрос: тут же нет итераций, возбуждение рецепторов равномерное - откуда тогда "контрастирование"? И вот как тут объяснить, что на самом деле имеет место довольно сложный эффект из флуктуаций, особенностей расчета и собственно самого контрастирования? Когда в разных ситуациях работают их разные комбинации - но выглядит все похоже.

Это значит кое что не договаривать, чтобы не сбивать с толку. В смысле не врать, а не усложнять.

Сделал возможность задавать разные веса для рецепторных связей. Точнее оно и раньше было, но сделал как у Nan - через клик по рецептору: левой кнопкой вес растет до 0,9 - правой опускается до 0. В итоге равновесие вернулось :) На первом рисунке эффекторы при равномерной нагрузке равно напряглись, на втором - задавили центральный, так как на него меньший вес пришел от рецепторов. Итерации, флуктуации - выходит нет этой проблемы, или скорей всего постепенное наращивание весов ее ослабило. Если она и будет вылазить, то при достаточно больших тормозных влияниях. Ссори...

Добавил описание модели латерального торможения

Теперь  мне стало намного понятнее, как это работает и для чего это нужно. По ходу дела возникало множество мыслей, некоторые из них изложил в описании, другие все же думаю требуют сначала экспериментальной проверки. Вообще, этот симулятор, хотя и кажется простым и очевидным, лично мне помог намного глубже въехать в тему взаимного торможения. Я бы настоятельно советовал, если у кого есть непонятки по этому поводу, хорошенько поиграться с симулятором, чтобы не осталось вопросов, как и почему распределяются веса. Латеральное торможение настолько удачная и важная находка эволюции, что используется на всех уровнях нейросети, выполняя функции контрастирования, конфигурирования, стабилизирования и наверное еще много чего.  Казалось бы такое простое дело - выделить самые слабо-заторможенные эффекторы - но какие интересные эффекты при этом возникают.