Тема форума: «Эксклюзивные занятия по МВАП: Первые управляющие структуры организмов на основе распознавателя.»

1. Обучил первый слой, создал второй. Выбрал там "Set3", выбираю "все" для нейронов второго слоя - сбрасывается вся схема связей второго слоя. В итоге не обучается второй слой.

2. Не понятно, как ты закрываешь слой для обучения - второй по идее должен открываться только после закрытия первого.

3. Ты ничего не объяснил по поводу алгоритма формирования веса синапса - а по идее надо, без этого не будет понимания, что собственно происходит при обучении. И вообще надо бы примеры с пояснениями.

4. Второй слой сейчас у меня сгруппирует активные нейроны первого слоя в одну группу - то есть все РАЗНЫЕ примитивы будут распознаны как ОДИНАКОВЫЕ. В моем понимании обучение распознавать например вертикальные линии разной длины, толщины как ВЕРТИКАЛЬНЫЙ примитив на втором слое возможно лишь в случае, если на сенсорной матрице нарисованы будут только они - тогда они и соберутся в одну группу. Иначе теряется смысл в разбивании распознавания по слоям.

автор: Palarm сообщение № 46381:

1. Обучил первый слой, создал второй. Выбрал там "Set3", выбираю "все" для нейронов второго слоя - сбрасывается вся схема связей второго слоя. В итоге не обучается второй слой.

Что-то не подтверждается. Возможно у тебя сохранился кеш предыдыущей версии, очисть кеш браузера.

автор: Palarm сообщение № 46381:

2. Не понятно, как ты закрываешь слой для обучения - второй по идее должен открываться только после закрытия первого.

Если первый обучился, то уже не может специализироваться, это - сделано, а если там остались недоспециализированные нейроны, то они продолжат обучение. Наверное просто нужно для каждого слоя сделать свою кнопку Начать обучение.

автор: Palarm сообщение № 46381:

3. Ты ничего не объяснил по поводу алгоритма формирования веса синапса - а по идее надо, без этого не будет понимания, что собственно происходит при обучении. И вообще надо бы примеры с пояснениями.

Да, еще не сделал.

автор: Palarm сообщение № 46381:

В моем понимании обучение распознавать например вертикальные линии разной длины, толщины как ВЕРТИКАЛЬНЫЙ примитив на втором слое возможно лишь в случае, если на сенсорной матрице нарисованы будут только они - тогда они и соберутся в одну группу.

То, что ты рисуешь на матрице и воспринмаешь как фигуру, для слоя нейронов (в ряд один за одним) не является какой-то вообще фигурой, им пофиг, будут обучаться реагировать на любую имеющуюся в матрице комбинацию, становясь детектором ее появления.

автор: nan сообщение № 46382:

Что-то не подтверждается.

2_sloya.rar

автор: nan сообщение № 46382:

будут обучаться реагировать на любую имеющуюся в матрице комбинацию, становясь детектором ее появления.

Если на экране нарисовать несколько разных примитивов и начать обучение, то получится:

 

1. При одновременном или поочередном показе всех примитивов первый слой научиться их детектировать отдельными нейронами по логике И потому, что один нейрон физически не может охватить всю матрицу, а в нашем случае просто заложено ограничение 5 связей на один нейрон. 

2. Но на втором уже слое возникают  2 варианта: если продолжать одновременно показывать разные примитивы на матрице – они детектируются одним нейроном по логике И, а если показывать поочередно – по логике ИЛИ. В первом случае детектируется некий общий признак явления (по какой то причине они появлялись все разом – и это повторялось достаточно часто чтобы зафиксироваться), во втором уже можно говорить о неком общем признаке объекта, так как появляясь поочередно они возбуждают один и тот же нейрон второго слоя.

 

Стало быть, есть разница, как демонстрировать объекты на матрице – обучение будет различным. Поэтому имеет смысл ввести такой режим мультиплицирования примитивов. Еще думаю стоит убрать зеленый фон с матрицы результата для нейронов «АВТО» - а то они плохо отличаются от обученных.

автор: Palarm сообщение № 46383:

2_sloya.rar

Да, исправил.

автор: Palarm сообщение № 46383:

Стало быть, есть разница, как демонстрировать объекты на матрице – обучение будет различным.

Если хочешь выделить специализации разных образов, нужно к каждому образу подводить свои связи группы распознавателей. И тогда каждая группа специализируется на своем образе.

автор: Palarm сообщение № 46383:

стоит убрать зеленый фон с матрицы результата для нейронов «АВТО» - а то они плохо отличаются от обученных.

Сделал для авто более блеклый.

автор: nan сообщение № 46384:

И тогда каждая группа специализируется на своем образе.

Тогда при самообучении сначала нужно прицепить связь от ближайшего нейрона к активным рецепторам, а потом уже веса наращивать.

автор: nan сообщение № 46384:

Если хочешь выделить специализации разных образов

Я предполагал так: показываем на матрице таблицу вроде той, что раньше для настройки телевизоров была - и первый слой формирует распознаватели. Вопрос был лишь как показывать: просто картинку или мультик из меняющихся фигур. То есть найти оптимальный в плане качества и скорости самообучения вариант экспозиции.

Сделал обучение распознаванию квадрата. 3 нейрона на втором слое работают по логике "И", что как бы не имеет смысла. Что они детектируют? Вот если бы там была пара нейронов с логикой "ИЛИ", где каждый реагировал бы на появление одного из вертикальных/горизонтальных отрезков - тогда бы получили как надо: первый слой - примитивы, второй - группу примитивов и т. д.
Вообщем, как здесь формируется логика "ИЛИ" - не понятно.

автор: Palarm сообщение № 46385:

при самообучении сначала нужно прицепить связь от ближайшего нейрона к активным рецепторам, а потом уже веса наращивать.

Да, можно взять и самому протянуть связи, а потом запустить обучение. И тогда если связи шли от одного нейрона, он станет детектором образа. 

Но 3 вариант связей эмулируют реальное прорастание дендритов от ряда нейронов в слое к активным рецепторам с перекрытием. И поэтому возникает пятно детекторов, во многом дублирующих друг дружку. 

Вот, кстати: https://www.nkj.ru/news/37708/

Т.е. в отличие от цифровой логики, где возникал бы единственный детектор, в натуре возникает целое пятно детекторов и повреждение одного мало что портит.

автор: nan сообщение № 46387:

Да, можно взять и самому протянуть связи

Это уже не будет самообучение. Я имел в виду, что в природной реализации дендриты часто промахиваются и связи перекрываются, потому как никто не будет показывать "настроечные таблицы" для юстировки первичных примитивов - все происходит в динамике, с кучей помех и как получится. Правда в итоге эта каша оказалась полезной в плане надежности. И все же: мы в отличие от природы можем точно выстрелить отростком к нужному рецептору. То есть в алгоритме самообучения первым шагом будет создание связи между активной ячейкой рецептора и активным нейроном, и только потом уже набор веса синапса - а не ручное проставление связи. Так мы можем значительно уменьшить бардак в связях.

 

Тут думаю вопрос оптимизации, что эффективнее: использовать множественный перехлест связей как в природной сети или точный подвод с заданным перекрытием (совсем без перехлеста думаю все же нельзя). Короче надо экспериментировать.

Обнаружил еще лажу при обучении для второго слоя. Буду исправлять, потом дополню описание, в том числе, как ты предложил, алгоритмами обучения, латерального торможения и т.п. (в том числе нужно написать, почему перекрываются нейроны в трех предложенных вариантах сваязей).

Лажу исправил. 

Вот как я понимаю распознавание «прямоугольника» (palarm_kwadrat):

На первом слое нейроны 1, 13 и 6, 8 распознают пары горизонтальных и вертикальных отрезков по логике «И». На втором слое 6 и 7 нейроны группируют их по группам по логике «ИЛИ». Кроме этого 8 нейрон группирует все активные нейроны первого слоя в одну группу.

В итоге получается: при появлении по отдельности этих вертикальных полос на экране на втором слое будут возбуждаться нейроны 6 и 7, показывая к какой группе («вертикальный» или «горизонтальный») принадлежит примитив. А возбуждение нейрона 8 второго слоя покажет, что все они принадлежат группе «отрезок». В итоге определяются «вертикальный отрезок» или «горизонтальный отрезок». Хотя понятно, что если строго, то правильнее назвать это более размыто: «группа 1» и «группа 2» к примеру. Понятие «отрезок», «дуга» и т.д. будет присваиваться в других слоях.

 

Схема точно распознает только эти пары отрезков и не реагирует на другие комбинации сенсоров в этой области экрана.

Запустил самообучение для квадрата ("palarm_kwadrat_learn") - выдало фигню. Оно и понятно, нет логики "ИЛИ" для второго слоя. Стало быть, надо что то выдумывать для ее формирования.

Оказалось все совсем не так, как я представлял. Специализация первичных примитивов первого слоя получается автоматически за счет перехлеста связей нейронов. Мне удалось легко обучить первый слой распознавать горизонтальные примитивы просто закрасив весь фрагмент матрицы сенсоров. Получается, первичные примитивы формируются раздражающим сигналом типа «сплошной  фон». А разбиение на отрезки происходит автоматом за счет перекрытия связей и взаимного торможения. Походу это возможно сделать еще в утробе без контакта с реальностью, просто искусственно подавая/выключая фон, так сказать предстартовая подготовка. А я все не мог понять, как же задаются первичные настройки. Ведь чтобы начать группировать признаки нужно уметь их выделять, иметь уже сформированные первичные распознаватели - как же этому научиться еще не родившись. Оказалось вот так. И точно так же все прочие сенсорные настройки предустанавливаются: просто вкл/выкл фоновый сигнал на матрицу.

Аналогично простой фоновой экспозицией одновременно распознаются горизонтальные и вертикальные примитивы (palarm_HW). Если бы таблица была побольше можно и наклонные 45 град туда же ввести.

 

На видео видно, что первый слой после обучения распознает только вертикальные отрезки в заданном секторе матрицы. А в "palarm_HW" также отдельно распознаются и вертикальные.

Pyervichnyy_primitiv.rar

PS:

стрелки вверх/вниз в поле ввода веса только мешаются.

Это ты ушел несколько в сторону :) Обучение фоном показало прикольные результаты, но это не то, что должно быть именно с установлением связей от аквтиных образов и затем использования этих связей... 

Т.е. нужно создать сначала несколько образов, установить максимум перекрестных связей и начать предъявлять отдельные образы с разной частотой. Должны укрепляться наиболее повторяющиеся места.

И тем не менее думаю стоит иметь в виду, что предрасположенность к распознаванию простейших примитивов устанавливается через связи. Для зрительного восприятия критически важно точно определять вертикальность и горизонтальность линий. Тогда первым делом при восприятии образов будут формироваться точные короткие ортогональные отрезки, а потом уже из них складываться более длинные ломанные линии. Это все равно как чертить образы по линейке или просто вручную. В первом случае без труда можно прикинуть степень "вертикальности" кривой просто сравнив кол-во вертикальных и горизонтальных отрезков в ней. А в ручном режиме все изгибы плавные и придется еще условно принимать какой то из них как наиболее прямой - и вот тут вопрос: а что есть "вертикальность" для нейросети которая не знает вообще ничего? Вообщем, если предварительно "разлиновать" сенсорную матрицу получим явную фору при создании начальных примитивов. Я думаю, в природной реализации это имеет место быть в какой то мере. Нужны начальные установки в виде предрасположенность воспринимать образы через предустановленные связи - надо же от чего отталкиваться.

автор: Palarm сообщение № 46394:

предрасположенность к распознаванию простейших примитивов устанавливается через связи

Это запросто может быть уже на уровне предварительной обработки, до первичной зрительной коры потому, как те структуры очень древние, задолго дорефлексовые и даже до вообще тех животных, которые имеют новую кору. Так что это, в самом деле, может быть наследственная предрасположенность типа первых сочетаний рецепторов с эффекторами. Данных по этому делу я толком не встречал.