(Айк) В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова.
(Nan) Вот пример: ты не имеешь сформированного представления, как специализируются нейроны в природной реализации, но делаешь уверенные конечные утверждения. Чего стоят они?
(Айк) То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены.
(Nan) Ты вообще не в теме, Айк. Нахватался отдельных фрагментов разных авторов и торопишься вынести заключение.
Nan, я попробую начать обсуждение.
Для начала: я не делаю никаких уверенных утверждений.
Ровно наоборот, я задаю вопросы: “детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены”.
Более того, я поясняю, что вызывает у меня затруднения. Вот текст полностью:
“В мозге первичные распознаватели тоже не являются предобученным в строгом смысле слова. На сегодня не вполне понятно, как формируются первичные распознователи, какова регулирующая роль генов и эпигенетических факторов. Известно, например, что при переключении первичных слуховых и визуальных зон у эмбрионов животных (переключении между собой входов в эти зоны) ничего страшного не происходит, вырастают вполне адекватные животные. У таких животных есть некоторые проблемы со зрением и со слухом, но не серьёзные.
То есть так называемое "обучение без учителя" (другое название: "предопределенное обучение" - (c) Марвин Минский) в первичных зонах - это тема для дальнейших исследований. Верно, что в итоге в этих областях распознаются базовые примитивы, но детали того, как происходит формирование этих распознавателей, по-моему, плохо изучены.
[…]
Это верно и для биологических сетей. Если ты не будешь показывать котёнку горизонтальных линий и зафиксируешь его так, чтобы он не мог шевелиться, то у него не сформируются горизонтальные распознаватели. У него есть генетическая склонность к формированию таких распознователей, но если не будет стимуляции со стороны среды, то в результате прунинга эти распознаватели отключатся.”
Что я предпологаю:
Я предпологаю, что существует некий общий универсальный алгоритм “обучения без учителя” для всех первичных зон. То есть развёртывание первичных зон не закодировано жестко для каждой из модальностей, а носит гораздо более универсальный характер и зависит от внешних эпигенетических факторов (стимуляции зон в пренатальном периоде и первых месяцев жизни организма).
Попробую пояснить чужими словами:
Unsupervised learning models of primary cortical receptive fields and receptive field plasticity, 2011
Recent reviews of the experimental literature regarding the functional consequences of plasticity have remarked on the surprising similarity in plasticity outcomes across sensory cortices [8, 9]. These empirical results raise the possibility that a single phenomenological model of plasticity (a “learning algorithm” in our terminology) might account for receptive field properties independent of modality. Finding such a model, if it exists, could yield broad insight into early sensory processing strategies. As an initial step in this direction, we evaluate the match between current unsupervised learning algorithms and receptive field properties in visual, auditory, and somatosensory cortex. We find that many current algorithms achieve qualitatively similar matches to receptive field properties in all three modalities, though differences between the models and experimental data remain.
[…]
In this work we focus on that component of adaptation which occurs during an organism’s life-time, and show that a number of unsupervised feature learning algorithms can account for features of normal receptive field properties across multiple primary sensory cortices. Furthermore, we show that the same algorithms account for altered receptive field properties in response to experimentally altered environmental statistics. Based on these modeling results we propose these models as phenomenological models of receptive field plasticity during an organism’s life-time. Finally, due to the success of the same models in multiple sensory areas, we suggest that these algorithms may provide a constructive realization of the theory, first proposed by Mountcastle [1], that a qualitatively similar learning algorithm acts throughout primary sensory cortices.
Насколько я могу судить, в этой работе нет биологически правдоподобных алгоритмов обучения без учителя.
Мне по-прежнему непонятно, как идёт развёртывание первичных зон. Но не понятно не в общих словах, а в деталях - я хочу увидеть биологически правдоподобную модель, алгоритм того, как это происходит, симуляцию.
Возможно, такой алгоритм уже описали и мне просто не везёт - я его не встретил. В работе 2011 года его явно ещё никто не знает.
https://arxiv.org/pdf/1601.00701.pdf - 2016, Nonlinear Hebbian learning as a unifying principle in receptive field formation
Возможно эта работа шаг в нужном направлении?