Ознакомьтесь с Условиями пребывания на сайте Форнит Игнорирование означет безусловное согласие. СОГЛАСЕН
ВХОД
 
 
Короткий адрес страницы: fornit.ru/43328
Вернуться к исходному документу
Обсуждение netz_1
Страницы: 1 2 ВСЕ 
  linuxoid список всех сообщенийSr. PosterРод: Мужской Сообщений: 125  Сообщение № 16166 показать
ответ -только после авторизации

Слои не указаны или это у меня глюки? Мне и так ясно, где какие зоны, но есть ещё замечания по обучению такой нейросети.

 

Как я понял, для формирования конфигурации слоёв 1, 2 (нейроны с 1-го по 5-й) нам нужно либо всё время экспонировать примитив с R1 по R5, либо поочерёдно примитивы R5, R4 || R4, R3, R2 || R2, R1. Не совсем ясно: слои 1, 2 считаются за один и начинают проявлять пейсмеккерную активность одновременно или же второй созревает только после первого? Пока посчитаем, что одновременно. Если по завершению специализации продолжать экспонировать примитив с R1 по R5, во вторичной зоне образуется логика И, то есть будет просто сведение всех к одному, что неэффективно. Следовательно, надо использовать второй вариант предъявления примитивов. Но если с примитивом R4, R3, R2 нет проблем: связь N2-N11 образуется по логике ИЛИ и станет максимальной, то нейронами 10 и 12 возникает затруднение: раз специализация слоя завершена, то нейроны 3 и 5 (либо 1 и 4) будут возбуждаться одновременно -- возникнет логика И. Учитывая, что 1, 2 -- это один слой и нейроны слоя 2 механически ближе, N10 протянет дендриты к N3 и N5 одновременно.

 

Значит, вероятно, слои 1, 2 должны считаться отдельными и созревать поочерёдно. Тогда, по идее, должна образоваться несколько другая конфигурация связей: при предъявлении примитива R5, R4 после созревания слоя 1 нейроны R4 и N3 будут срабатывать одновременно, так что должны образоваться связи не 4 и 2, а 3 и 3. Решается проблема установления связей ко вторичным зонам: по идее, N10 протянет дендриты сначала к N3, т. к. N5 ещё не созрел, а пока дендриты прорастут к N5, N3 своей активностью успеет сформировать максимальную проводимость, так что получится логика ИЛИ.



23.08.2020г. 10:47:53
 
   Palarm список всех сообщенийИмеет права полного администратора сайта - админ Качества Palarm, оцененные другими пользователями Оценок: 6 Род: Мужской Сообщений: 2761  Сообщение № 16167 показать
ответ -только после авторизации

автор: linuxoid сообщение № 16166:
Слои не указаны или это у меня глюки?

Вообще то были указаны, потом слетели. Может в запаре нажал сбросить. Восстановил.

автор: linuxoid сообщение № 16166:
Не совсем ясно: слои 1, 2 считаются за один и начинают проявлять пейсмеккерную активность одновременно или же второй созревает только после первого?

Слои созревают поочередно: 1-2-3 и т.д. Но как я показал в теме про нейросимулятор, если просто формировать слои друг за другом по логике "И" то в итоге все связи сведутся к одному нейрону, что имеет мало смысла. Стало быть, если задача стоит в том, чтобы с каждым новым слоем увеличивать вариабельность реагирования, то единственный вариант - сделать дополнительные связи не только между соседними слоями, но и с предыдущими соседним. То есть: 1-2, 2-3, 1-3. В данной схеме например нейрон N3 первого слоя связан с рецептором R4, с ним связан N5 второго слоя - и он же с рецептором R4. Слои 1-2 это первичная зона. Их может быть и 100, связи могут быть между соседними, через один слой, через 2. Могу предположить, что есть какое то ограничение, чтобы не образовывалось слишком глубоких связей, но то, что они должны быть не только межслойными - в этмо уверен. Только "перемешиванием" связей можно добиться увеличения вариабельности. Задача первичной зоны - получить как можно больше вариантов реагирования на разных слоях, чтобы потом их можно было сгруппировать во вторичной зоне.

 

Образование "через-слойных связей" я думаю происходит потому, что нет какой то особой команды завершения специализации слоя. Нейроны созревают не все строго одновременно, новый слой так же не строго одномоментно начинает пейсмейкерную активность, в итоге после "завершения специализации" какие то нейроны продолжают обучение, к ним тянутся отростки с предыдущего слоя, которые могут перехватиться или продублироваться новым растущим слоем.

 

В схеме расставлены веса условно, просто чтобы показать, что связи могут быть не только между соседними слоями, но и через слои. Так же весами показано, что на во вторичной зоне происходит группировка примитивов первичной. Сигналы со вторичной поступают в ассоциативную зону, и туда же сигналы с зоны гомеостаза. Смешиваясь они возбуждают моторные нейроны - конечные эффекторы. В итоге получаем: первичная зона дефрагментировала рецепторный рисунок, вторичная сложила фрагменты по группам, ассоциативная под управлением гомеостатической значимости выделила наиболее "актуальную" из них (с позиции гомеостаза) - и активировала соответствующие моторные нейроны. Фактически это означает, что например вертикально стоящая швабра вызывает разные реакции утром и вечером, при сытости и голоде и т. д. 1 и 2 вторая зона совместно  выделили признак "вертикальности", гомеостаз наделил его "смыслом". Это как бы начальный уровень абстрагирования, самый примитивный, позволяющий тем не менее создавать ветвления рефлекторных цепочек в зависимости от гомеостатической значимости.

 

Каким образом происходит самообучение и расставляются веса в такой схеме - это еще надо определить. Я пытаюсь это сделать в симуляторе.



23.08.2020г. 14:49:06
 
  linuxoid список всех сообщенийSr. PosterРод: Мужской Сообщений: 125  Сообщение № 16168 показать
ответ -только после авторизации

В МНС я не видел возможности образования межслойных связей, так что просто нарисовал схему на бумаге и попробовал представить, как сформируются связи. Отсюда пришёл к выводу, что слои 1, 2 должны созревать поочерёдно, иначе пара N3 N5 (аналогично внизу N1 N4) будет возбуждаться одновременно, а дендриты N10 уже присоединятся и синапсы сформируются, так что во вторичной зоне получится логика И вместо ИЛИ.

автор: Palarm сообщение № 16167:
Образование "через-слойных связей" я думаю происходит потому, что нет какой то особой команды завершения специализации слоя.

Аксон вполне может протянуться на несколько слоёв вперёд, если это заложено в генетическом коде, и тогда дендриты на каждом слое будут тянуться к нему и образовывать синапсы.

Ещё Нан говорил, что гомеостатическая значимость влияет начиная со вторичных зон мозга, а в третичных уже сходятся все виды внешней рецепции и значимости. Я как-то не проверил это утверждение, надо посмотреть в аксиоматике.



23.08.2020г. 19:42:22
 
  nan список всех сообщений История редактирования (1)
Имеет права полного администратора сайта - админ Качества nan, оцененные другими пользователями Оценок: 39 Род: Мужской Сообщений: 12219 E-Mail  Сообщение № 16169 показать
ответ -только после авторизации

По схеме могу сказать вот что. 

>>если бы не было дополнительных межслойных связей то иерархическая связь по логике И свелась бы в итоге к одному нейрону на последнем слое

Уже показывал, что это – неверное утверждение. Количество нейронов на втором слое может не отличаться от первого слоя и даже больше, и они точно так же веерно будут ветвить дендриты.  Но да, не вижу никаких препятствий для того, чтобы дендриты прорастали к предыдущему слою – в принципиальном плане (это не противоречит ни срокам, ни последовательности созревания слоев), а возможно или нет такое в природе – не знаю.

В схеме нейроны M5 и M6 можно посчитать вторичной зоной (а не вторым слоем), если они отрабатывают по разным модальностям рецепторов (скажем R5, R4 – зрительные, а R4? R2 – слуховые) и если они расположены значительно дальше в коре от первичной зоны и тогда уже они не протянут дендриты точно.

Так что лучше, если ко вторичной зоне отнести N31-N33 – со входами от гомеостатической значимости, а E1 bE2 – третичная зона, но и туда должны подходить выхода рецепторов значимости, образуя контексты (пример), хотя в принципе контексты могу формироваться уже на уровне вторичной зоны..

автор: linuxoid сообщение № 16168:

Аксон вполне может протянуться на несколько слоёв вперёд, если это заложено в генетическом коде, и тогда дендриты на каждом слое будут тянуться к нему и образовывать синапсы.

Древние отделы характерны длинными аксонами, а вот в первичной и вторичной зонах аксоны коры и нацелены на следующий слой. Что не отменяет отдельные мутации с длинными аксонами и от новой коры.

автор: linuxoid сообщение № 16168:

Ещё Нан говорил, что гомеостатическая значимость влияет начиная со вторичных зон мозга, а в третичных уже сходятся все виды внешней рецепции и значимости. Я как-то не проверил это утверждение, надо посмотреть в аксиоматике.

Это достаточно хорошо показано, например в исследованиях А.Иваницкого. Циклы удержания стимула проходят со вторичной коры, далее через ассоциативну, замыкаяст гиппокампом на значимости.

 

Еще один момент пока игнорируется: что со стороны эффекторов тоже образуется иерархия первичной-вторичной коры и они сходятся на уровне ассоциативной (третичной зоны).

 

 



25.08.2020г. 18:43:21


p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
 
   Palarm список всех сообщенийИмеет права полного администратора сайта - админ Качества Palarm, оцененные другими пользователями Оценок: 6 Род: Мужской Сообщений: 2761  Сообщение № 16175 показать
ответ -только после авторизации

автор: nan сообщение № 16169:
Уже показывал, что это неверное утверждение.

Ты имеешь в виду такой вариант?



25.08.2020г. 18:22:00
 
  nan список всех сообщенийИмеет права полного администратора сайта - админ Качества nan, оцененные другими пользователями Оценок: 39 Род: Мужской Сообщений: 12219 E-Mail  Сообщение № 16176 показать
ответ -только после авторизации

Это один из возможных вариантов. Все усугубляется тем, что в новой коре нейроны не распределены как в пресептроне слой за слоем, а образуют колонки. И важно понять какую функицональность они выполняют, какие дают преимущества колоночной организации.



25.08.2020г. 18:46:26


p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
 
   Palarm список всех сообщенийИмеет права полного администратора сайта - админ Качества Palarm, оцененные другими пользователями Оценок: 6 Род: Мужской Сообщений: 2761  Сообщение № 16177 показать
ответ -только после авторизации

Ты же приводил пример системы фильтров для отсеивания конкретной фракции. Я так понял, что колонки и есть такая система. Если показывать вращающийся примитив, например прямую, то колонка при обучении зафиксирует на каждом своем уровне ее отдельные положения - сделает раскадровку. Это позволит в итоге распознавать угол наклона.

Я правда не понял - чем колонка отличается от системы слоев. Там ведь по сути тоже слои фильтры один за другим.



25.08.2020г. 19:33:07
 
  nan список всех сообщенийИмеет права полного администратора сайта - админ Качества nan, оцененные другими пользователями Оценок: 39 Род: Мужской Сообщений: 12219 E-Mail  Сообщение № 16178 показать
ответ -только после авторизации

То, что я говорил - пока только предположения, попытка выдать то, что кажется правдоподобным, но еще нет эмпирических подтверждений и колонкой очень бы стоило плотно заняться.



25.08.2020г. 19:42:35


p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
 
   Palarm список всех сообщенийИмеет права полного администратора сайта - админ Качества Palarm, оцененные другими пользователями Оценок: 6 Род: Мужской Сообщений: 2761  Сообщение № 16179 показать
ответ -только после авторизации

Ну вот например детектирование толщины. Тут правда есть косяк: комбинация R2-3 ничего не активирует. Хотя может это и правильно. Колонки я думаю возникли на базе детектирования движения, а толщина, направление и скорость движения - это уже дальнейшее развитие распознавания.

Я так понял, что колонка от обычных схем слоев отличается тем, что каждый слой колонки связан со слоем рецепторов. То есть там нет межслойных связей.



25.08.2020г. 20:01:39
 
  nan список всех сообщенийИмеет права полного администратора сайта - админ Качества nan, оцененные другими пользователями Оценок: 39 Род: Мужской Сообщений: 12219 E-Mail  Сообщение № 16180 показать
ответ -только после авторизации

Готовлю обобщающую статью по колонкам с подборкой аксиоматики.



27.08.2020г. 18:16:48


p.s. Допускаю, что мое утверждение может быть неверно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
 
Страницы: 1 2 ВСЕ 

Чтобы оставлять сообщеня нужно аворизоваться.

! Сообщение пропало?! посмотреть причины...

Написать простое сообщение (только текст)

Написать сообщение полноценным редактором



Последняя активность на сайте >>