Первичные зоны

(Айк) В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. 
(Nan) Вот пример: ты не имеешь сформированного представления, как специализируются нейроны в природной реализации, но делаешь уверенные конечные утверждения. Чего стоят они?
(Айк) То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 
(Nan) Ты вообще не в теме, Айк. Нахватался отдельных фрагментов разных авторов и торопишься вынести заключение.
 
 
Nan, я попробую начать обсуждение. 
 
Для начала: я не делаю никаких уверенных утверждений. 
 
Ровно наоборот, я задаю вопросы: “детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены”.
 
Более того, я поясняю, что вызывает у меня затруднения. Вот текст полностью:
 
“В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. На сегодня не вполне понятно, как формируются первичные распознователи, какова регулирующая роль генов и эпигенетических факторов. Известно, например, что при переключении первичных слуховых и визуальных зон у эмбрионов животных (переключении между собой входов в эти зоны) ничего страшного не происходит, вырастают вполне адекватные животные. У таких животных есть некоторые проблемы со зрением и со слухом, но не серьёзные.
 
То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 
 
[…]
 
Это верно и для биологических сетей. Если ты не будешь показывать котёнку горизонтальных линий и зафиксируешь его так, чтобы он не мог шевелиться, то у него не сформируются горизонтальные распознаватели. У него есть генетическая склонность к формированию таких распознователей, но если не будет стимуляции со стороны среды, то в результате прунинга эти распознаватели отключатся.”
 
Что я предпологаю:
Я предпологаю, что существует некий общий универсальный алгоритм “обучения без учителя” для всех первичных зон. То есть развёртывание первичных зон не закодировано жестко для каждой из модальностей, а носит гораздо более универсальный характер и зависит от внешних эпигенетических факторов (стимуляции зон в пренатальном периоде и первых месяцев жизни организма).
 
 
 
Попробую пояснить чужими словами:
 
Unsupervised learning models of primary cortical receptive fields and receptive field plasticity, 2011
 
Recent reviews of the experimental literature regarding the functional consequences of plasticity have remarked on the surprising similarity in plasticity outcomes across sensory cortices [8, 9]. These empirical results raise the possibility that a single phenomenological model of plasticity (a “learning algorithm” in our terminology) might account for receptive field properties independent of modality. Finding such a model, if it exists, could yield broad insight into early sensory processing strategies. As an initial step in this direction, we evaluate the match between current unsupervised learning algorithms and receptive field properties in visual, auditory, and somatosensory cortex. We find that many current algorithms achieve qualitatively similar matches to receptive field properties in all three modalities, though differences between the models and experimental data remain. 
 
[…]
 
In this work we focus on that component of adaptation which occurs during an organism’s life-time, and show that a number of unsupervised feature learning algorithms can account for features of normal receptive field properties across multiple primary sensory cortices. Furthermore, we show that the same algorithms account for altered receptive field properties in response to experimentally altered environmental statistics. Based on these modeling results we propose these models as phenomenological models of receptive field plasticity during an organism’s life-time. Finally, due to the success of the same models in multiple sensory areas, we suggest that these algorithms may provide a constructive realization of the theory, first proposed by Mountcastle [1], that a qualitatively similar learning algorithm acts throughout primary sensory cortices. 
 
 
 
Насколько я могу судить, в этой работе нет биологически правдоподобных алгоритмов обучения без учителя. 
 
 
Мне по-прежнему непонятно, как идёт развёртывание первичных зон. Но не понятно не в общих словах, а в деталях - я хочу увидеть биологически правдоподобную модель, алгоритм того, как это происходит, симуляцию.
 
 
Возможно, такой алгоритм уже описали и мне просто не везёт - я его не встретил. В работе 2011 года его явно ещё никто не знает.

https://arxiv.org/pdf/1601.00701.pdf - 2016, Nonlinear Hebbian learning as a unifying principle in receptive field formation

Возможно эта работа шаг в нужном направлении?

>>я задаю вопросы: “детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены”.

Кем именно плохо изучены? Тусовкой академических нейрофизиологов, которые не шарят в схемотехнике? На самом деле собрана обширная аксиоматика, в совокупности при сопоставлении однозначно обобщаемая в модель природной организации первичных сенсорных зон мозга.

>>В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. 

Да, изначально они никак не предобучены.

>>На сегодня не вполне понятно, как формируются первичные распознователи, какова регулирующая роль генов и эпигенетических факторов. 

И первое и второе очень хорошо и детально отражено в данных исследований.

>>так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований.

Нет достоверных и подтверждаемых данных исследований о том, что в первичных зонах есть какое-то обучение “с учителем”, если не считать таковым рецептируемую среду. И “без учителя” не есть предопределенное обучение, они ничем не предопределено кроме того, как в момент обучения располагаются дендриты и их синапсы, но и это автоматизировано т.к. данные показывают, что дендриты активно растут в сторону ближайшей рецепторной (в широком смысле) активности.

>>детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. 

В лекциях приводятся материалы, показывающие как именно это происходит.

>>Я предпологаю, что существует некий общий универсальный алгоритм “обучения без учителя” для всех первичных зон.

Верно. Точнее, не алгоритм, а механизм организации специализации нейронов первичных зон и их взаимодействии в этом процессе (боковое взаимное торможение – чрезвычайно важный фактор).

>>развёртывание первичных зон не закодировано жестко для каждой из модальностей, а носит гораздо более универсальный характер и зависит от внешних эпигенетических факторов (стимуляции зон в пренатальном периоде и первых месяцев жизни организма).

Да, не закодировано жестко, и, конечно, предопределено генетическим факторами как вообще все в организме, НО если есть нейрон, перед которым в достаточной близости есть аксоны рецепторов и в период созревания нейрона есть активность этих аксонов, а сам нейрон имеет пейсмеккерную активность в силу отсутствия каких-либо связей, то дендриты отрастут впритык и начнут образовываться связи. Все эти моменты генетически предопределены.

>>Попробую пояснить чужими словами

Словосочетание “алгоритм обучения” – неприменимо к данному процессу даже в кавычках, никакой такой алгоритм нигде не зашит и не реализовывается неким интерпретатором. Так же как нет алгоритмов в радиоприемнике. Недопустимо путать эти понятия т.к. это приводит к появлению неадекватных выводов, следующих за понятием алгоритма и его свойствами. Таких свойств нет в природной нейросети. Тут схемотехника, а не программный продукт. И нет никаких “стратегий сенсорной обработки”. Если допускать такие интерпретации, то неизбежно сам себя загонишь в неверные ассоциации и представления.

Но хорошо, что общий     вывод – о независимости механизмов обучения в первичной коре от сенсорной модальности, он в самом деле универсален и даже более, чем для только первичных зон. Да, “качественно подобный механизм обучения действует во всех первичных сенсорных коре”.

>>в этой работе нет биологически правдоподобных алгоритмов обучения без учителя. 

Как раз-таки в приведенных цитатах нет и тени какого-то учителя.

>>Мне по-прежнему непонятно, как идёт развёртывание первичных зон. Но не понятно не в общих словах, а в деталях - я хочу увидеть биологически правдоподобную модель, алгоритм того, как это происходит, симуляцию. Возможно, такой алгоритм уже описали и мне просто не везёт - я его не встретил.

Этот механизм очень подробно со всеми обоснованиями первичных работ, описан в лекциях, и ты меня сильно удивляешь, что ничего такого как бы в упор не заметил.

В теме "Развитие функциональности клетки – элементарной структурной единицы организма" ты пишешь:

>>> (nan) Уже на этом уровне видно, насколько плохо исследованы механизмы формирования распознавателей, насколько отсутствуют фактические данные именно по упомянутым в теме принципам, которые напрямую показывают, на чем нужно было бы сосредоточить усилия в исследованиях природной реализации.

В моей теме "Первичные зоны", на мой текст:

>>> (Айк) Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены. [...] Я хочу увидеть биологически правдоподобную модель, алгоритм того, как это происходит, симуляцию. Возможно, такой алгоритм уже описали и мне просто не везёт - я его не встретил.

Ты пишешь:

>>> (nan) Кем именно плохо изучены? Тусовкой академических нейрофизиологов, которые не шарят в схемотехнике? На самом деле собрана обширная аксиоматика, в совокупности при сопоставлении однозначно обобщаемая в модель природной организации первичных сенсорных зон мозга. [...] Этот механизм очень подробно со всеми обоснованиями первичных работ, описан в лекциях, и ты меня сильно удивляешь, что ничего такого как бы в упор не заметил.

По-моему, ты сам себе противоречишь. 

>>> (nan) Давайте представим себе созревший нейрон к которому подходят выходы некоторой матрицы от зрительного нерва, т.е. какой-то небольшой участок сетчатки проецирует свои аксоны, скажем 100х100. И вот, этот нейрон созрел, особь начинает пялить глаза и нейронные контакты начинают постепенно становится проводящими. Происходит что-то вроде фотопластинки у старомодного фотографа: участки с более частой засветкой темнеют (становятся все более проводящими) и вырисовывается какая-то примитивная картинка. Особь это время находится примерно в одном месте и пялится примерно на одно и то же. Предположим, что за минутку вырисовалось что-то вроде косой линии (такая не выраженная по краям, пятнообразная, но явно линия) – котенок сидит перед шваброй, прислонившейся к двери.
Если достаточно быстро нейрон запретит дальнейшее экспонирование своих контактов, то он станет теперь реагировать когда в поле зрения появится такая линия: примерно такой толщины и такого наклона.
 

Механизм, который ты описываешь есть, но я не понимаю, как у тебя на базе механизма импринтинга получатся кортикальные миниколонки и гиперколонки:

Колонка кортекса (также называется гиперколонкой или кортикальным модулем)[1] — это группа нейронов, расположенная в коре головного мозга перпендикулярно его поверхности. В пределах одной миниколонки нейроны имеют одинаковое предназначение, тогда как гиперколонка «означает всё множество значений для любого множества параметров, данного рецепторами»
 

Из описанного тобой алгоритма, по-моему, нельзя предсказать существование миниколонок и гиперколонок, которые, насколько я понимаю, мы по факту наблюдаем в новой коре.

(nan) Предположим, что за минутку вырисовалось что-то вроде косой линии (такая не выраженная по краям, пятнообразная, но явно линия) – котенок сидит перед шваброй, прислонившейся к двери.

И ещё, я не понимаю, что такое линия в данном случае. Грубо говоря, у нас есть вертикальный объект (колонна, швабра у двери), которую котёнок будет распознавать в мультимодальной коре в контексте объект-действие, а есть линия в контексте первичных зон и это вообще не одно и то же.

В первичных зонах рецептивное поле узкое, котёнок, даже если спокойно сидит, совершает микросаккадные движения глазами, голова немного, да шевелится, соответственно, перед первичной зоной экспонируется некое статистическое распределение, а не стабильный объект, который зависнет на достаточное время перед группой нейронов. Группа нейронов на базе этого статистического распределения должна попытаться выделить базовые примитивы (линии разных наклонов, углы, кресты), из которых потом через несколько уровней абстракции котёнок когда-то сможет распознать вертикальный объект, если ему посчастливится встретить его достаточное число раз и повзаимодействовать с ним.

Вот что подумалось по поводу, зачем нужны саккады глаз. Глаз совершает микродвижения, чтобы удержать проекцию картинки в центральной ямке сетчатки. Они нужны потому, что иначе будет невозможно организовать механизм коррекции ее положения. По аналогии с ЧПУ-станком: когда задается движение от одной точки к другой, стойка движется не прямолинейно, а пилообразно, с шагом 5 мкм. При каждом микроперемещении происходит расчет разницы между фактической координатой и расчетной, и определяется направление для следующего движения, чтобы компенсировать погрешность. В итоге стойка рисует пилообразную траекторию движения, где средняя линия - расчетная траектория.

Такой механизм в глазе легко реализуем простейшей корректирующей схемой с обратной связью. Изображение как бы "дрожит" и "дрейфует" в области центральной ямки, но как только достигает ее края, что показывает частичное пропадание сигнала с рецепторов сетчатки, возникает короткое рефлекторное движение в сторону, противоположную дрейфу - изображение резко "отскакивает" от края ямки.

Аналогично реализуется рефлекс "слежения" - только в этом случае происходят согласованные с саккадами "длинные" движения глаз и головы.

Айк, ты можешь показать, что кортикальные колонки - это принцип, независящий от реализации? 

Вот в мозге есть глия, без которой невозможна работа нейронов, это - принципиально? Или у насекомых нет новой коры, где только и бывают эти колонки, но у них есть развитые распознавательные функции.

Ты куда-то спешишь :)

>>> (Palarm) Глаз совершает микродвижения, чтобы удержать проекцию картинки в центральной ямке сетчатки. Они нужны потому, что иначе будет невозможно организовать механизм коррекции ее положения. 

Да, но у саккад есть и другие функции. Саккады позволяют детально исследовать сцену и гипотетические объекты на ней, наводя центральную ямку сетчатки на значимые части сцены. Центральная ямка сетчатки обладает наилучшей разрешающей способностью и позволяет разглядеть наиболее важные детали объектов.  

Саккады тесно связаны с вниманием и прогнозом касательно распознаваемых объектов.

Примеры:

Саккады помогают эффективно обновлять визуальные сцены, делать значимые изменения в визуальных сценах доступными для осознания.

Мы никогда не воспринимаем сцену полностью, наше зрение не матрица фотоаппарата. У нас есть ощущение, что мы наблюдаем некую стабильную картинку, но на деле мы всегда обновляем лишь какую-то часть сцены, остальная часть сцены кажется неизменной при осознании. Опять же, нужно понимать, что мы  осознанно не видим растровой картинки, а осознаём некую модель сцены. У нас есть некая иллюзия цельного виденья происходящего, цельной сцены, но на самом деле мы имеем актуальную информацию о гораздо меньшем куске сцены, чем нам кажется; саккады участвуют в обновлении и уточнении потенциально значимых элементов визуальной сцены.

https://en.wikipedia.org/wiki/Change_blindness - слепота к изменениям в визуальной сцене. 

>>> (nan) Или у насекомых нет новой коры, где только и бывают эти колонки, но у них есть развитые распознавательные функции.

Хороший аргумент. Начал читать статьи по нейронам детекторам в визуальных ганглиях насекомых. Спасибо.

Руководство по физиологии органов чувств насекомых / Оптические ганглии и механизмы предварительной обработки зрительной информации, 1977

Сначала у позвоночных, затем у насекомых были открыты тангенциальные ганглиозные нейроны, избирательно реагирующие на определенные параметры зрительного стимула: размер, характер движения, цвет и т. п. (рис. 49). Такие, иногда чрезвычайно узкоспециализированные интернейроны получили название детекторов. Детекторы возникли у животных как способ экономного описания внешнего мира и передачи в высшие ассоциативные центры только существенной для опознания объектов информации, отфильтрованной от ее избытка. Нет сомнения в том, что у низших животных, у насекомых в особенности, сигналов некоторых видов детекторов достаточно для запуска врожденных стереотипных реакций. 

У мух, бабочек, жуков во II и III оптических ганглиях, а также в средней части переднего мозга при электрофизиологических исследованиях обнаружено много видов зрительных детекторов с разнообразными свойствами. Их рецептивные поля варьируют от 1-6° до размера поля зрения целого глаза и могут быть как монокулярными, так и бинокулярными. В последнем случае одновременная стимуляция левого и правого глаз нередко вызывает в нейронах реципрокно-тормозной ответ. Одни детекторы длительно реагируют на продолжительную стимуляцию, другие обладают "привыканием", но наиболее замечательное свойство большинства их - дирекциональная (направленная) чувствительность к движению: реакция в основном или исключительно на те стимулы, которые движутся в строго определенном направлении. Движение в "предпочитаемом" направлении возбуждает нейрон, а в прямо противоположном подавляет его фоновую активность.

Импульсная активность нейронов-детекторов направления движения в зрительной системе стрекозы Aeschna viridis (по Зенкину, Пигареву, 1969): а, б - реакция нейрона на движение соответственно черной или белой полосы снизу вверх; в - реакция того же нейрона на выключение света; г - реакция нейрона 'с привыканием' на движение темного пятна диаметром 3° (вторая стимуляция следовала через 20 с после первой); д - реакция off-элемента (детектора затемнения) на выключение света; е, ж - реакции предыдущего нейрона на движение темной полосы к центру и от центра рецептивного поля глаза; з - реакция off-элемента на изменение освещения. Стрелками показано направление движения тестовых объектов; калибровка-100 мкв; отметка времени - 0,5 с

Не понимаю, как один нейрон может быть детектором движения. Нужно последовательное срабатывание цепочки нейронов, каждый из которых связан со своим сектором на сенсорной матрице, причем сектора должны быть расположены последовательно. Не одновременное срабатывание цепочки покажет, что было движение, порядок срабатывание крайних звеньев - направление. Стало быть, детекторный нейрон служит детектором срабатывания такой цепочки.

Хотя это не принципиально. Для ИИ можно просто функцию придумать, которая будет сканировать матрицу и обрабатывать полученные сигналы с ячеек с тактовой частотой.