Тема форума: «Эксклюзивные занятия по МВАП: Первые управляющие структуры организмов на основе распознавателя.»

что-то не подтвердилось, скопировал в Liniya_222 и завершил там обучение второго слоя. Может сказать последовательность действий, приводящую к глюку?

надо оба примитива показать на матрице, то есть исходную прямую - тогда на первом слое одновременно будут активны два детектора которые соберутся в кучу на втором слое.

Вообще, тебе надо было нарисовать одну большую линию, которая разобьется на более простые составляющие на первом слое. То есть нейросеть сама должна дробить на части примитив, группировать их и "придумывать" им свойства и признаки.

Untitled_Project.rar

Не заметил, что речь идет о копировании образов, сорри, исправил.

Она "научилась" распознавать их только потому, что связи были установлены " по горизонтапи". То есть, один нейрон охватывает рецепторы 0...4, другой 3...7 и т. д. Поэтому даже если просто засветить всю матрицу, каждый из них "научится" распознавать свой участок рецепторов. С горизонтальными или наклонными примитивами сложнее при такой расстановке связей, так как там уже получится практически один нейрон на один рецептор. А вот если дополнительно сделать аналогичные связи по вертикали, под углом, чтобы один нейрон охватывал рецепторы из разных рядов то при фоновой засветке получим "разбиение" матрицы на горизонтальные, вертикальные и наклонные примитивы. И такая схема связей логически приводит к схеме шестигранник.

у тебя одна линия детектируются на первом слое парой нейронов, а на втором - одним. Если обучить нейрон второго слоя распознавать только ее - то зачем вообще тогда второй слой? Можно было также свести все связи к одному нейрону на первом.

Ты сейчас ставишь связи вручную - это не  есть самообучение, так как ты задаешь сети сразу нужную связь которая закономерно при включении режима самообучения нарастит веса до порога срабатывания. А надо, чтобы матрица просто имела изначально универсальную решетку - и тогда при проецировании на нее примитива и активации самообучения произойдет именно самообучение, ведь ты ничего не рисовала и не устанавливала, а просто "показывала" ей примитив. Вопрос в том, какая решетка связей в таком случае наиболее универсальна, в смысле позволяет например при экспозиции на матрице квадрата самообучаться распознавать его пары вертикальных и горизонтальных примитивов? А при экспозиции звезды еще и наклонные линии? Я думаю, что шестигранник, где нейрон в центре как паук охватывает сразу все рецепторы вокруг себя до каких может дотянуться, тем самым он способен специализироваться к фрагментам горизонтальных, вертикальных и наклонных примитивов.

То есть ты сейчас прописываешь связи вручную. Но лучше будет выбрать одну из заготовок (s1...s3) нарисовать примитив, запустить самообучение и смотреть что получится. Надо экспериментировать с одним из вариантов решеток связей (s1...s3), а не рисовать связи вручную и тем более не проставляя вручную веса. Иначе это не будет самообучением нейросети, а простым ее проектированием.

так это и есть разбиение. Как ты связи создашь, так примитив и разобьется. Если сделаешь связи к трем нейронам, где каждый из них будет охватывать свою часть примитива - он и "разобьется" на 3 части. Сделаешь к одному - не разобьется, будет детектироваться одним нейроном. В реальной нейросети разбиение неизбежно потому, что один нейрон физически не может охватывать всю матрицу. Ведь в ней могут быть миллионы рецепторов, и она по сравнению с нейроном как футбольное поле и мяч.

Nan, я тут умничаю, а ты молчишь, никак не комментируешь. Может я все вру и ввожу народ в заблуждение? Например, мое предположение, что группировка на втором слое нейронов первого (логика ИЛИ) формирует первичные абстрактные свойства экспонируемого на матрицу примитива - оно верно и соответствует твоей концепции?

Тут такой момент. Связи, найденные в ходе эволюции - как раз такие как если задавать вручную. Они могут быть какими угодно, если в результате - преимущество. А самообучение - это поздняя находка эволюции с появлением новой коры мозга. Так что тут два радикально разныз метода адаптивности: 1) наследственно предопределенная - на основе опыта всего вида и 2) индивидуальная адаптивность к конкретным условиям развития особи.

У тебя очень неплохо получается, но, конечно, есть на что обратить внимание, я не специально отстраняюсь, у меня полоса цейтнотов, сорри.

Тут очень много нюансов, залазим в область вторичных и третичных (контекстных) структур мозга, в принципе у тебя рассуждения очень даже здравые.

Тогда получается, имеет смысл смоделировать для начала несколько вариантов нейросети типа "модель поведения бабочки". Задавая вручную связи и веса. Примитивы на матрице - разные типы рецепторов. Например один реагирует на повышение температуры, другой на понижение, третий на свет (день), четвертый на темноту (ночь) и т. д. Соединяя их разным образом на разных слоях можно получить модель управления насекомым. А потом уже пофантазировать, как такие связи могли бы самообразоваться и закрепиться. Я думаю, тут не совсем случайный тык, а есть некоторые предопределенности.

В любом случае появилась наконец возможность для творческого экспериментирования, чтобы понимание пришло через руки. Оно не придет через размышления. Если только читать и осмысливать - в голове будет просто каша.

 PS:

Кстати, я потом проверил: если в примере с видео "квадрат-линия" обучать второй слой поочередной демонстрацией квадратов - там созреют  2 нейрона, которые будут детектировать  каждый свою пару горизонтальных примитивов. То есть будет то же самое, и даже лучше, если бы как в видео показывать в мультирежиме сами примитивы. А это еще ближе к реальному обучению, как в природной нейросети. И вот кто бы мог подумать, что распознавание простейших примитивов надо проводить в динамике? Ведь вроде как очевидно, что надо просто показать статические отрезки для их фиксации нейронами - они и созреют. Но как потом сгруппировать их? Только в динамике. Такая мысль стало быстро очевидной при практических экспериментах, но вряд ли до нее можно было так же легко додуматься просто размышляя. Думаю, эксперименты приведут еще к множеству неожиданных открытий.

>>> (Pararm) И вот кто бы мог подумать, что распознавание простейших примитивов надо проводить в динамике?

Я об этом писал осенью в теме о первичных зонах:

https://scorcher.ru/forum/index.php?topic=1938#msg46197

В первичных зонах рецептивное поле узкое, котёнок, даже если спокойно сидит, совершает микросаккадные движения глазами, голова немного, да шевелится, соответственно, перед первичной зоной экспонируется некое статистическое распределение, а не стабильный объект, который зависнет на достаточное время перед группой нейронов.

Спасибо тебе за инструмент. :)

Это да. Но когда просто прочитал и согласился - то тут же и забыл, потому как значимость не особо важна была. А вот когда промучился как следует и к тому же самому пришел - тогда совсем другое дело.

Я лишь подтолкнул nan к его созданию, кодил то он.