Свойства нейросети
Самообучение нейросети распознавать примитив можно сравнить с фотографией (с некоторой оговоркой, о чем будет сказано ниже), так как в обоих случаях происходит запечатление образа, через его экспонирование на сенсорную матрицу. И точно так же как при фотосъемке, для фиксации эффекторами рецепторного рисунка необходимо условие: образ должен быть «неподвижен» относительно рецепторов в течение некоторого времени. В природной нейросети это необходимо для того, чтобы нейроны могли зафиксировать связи с активными рецепторами, что не может произойти мгновенно. Но такая задержка принципиально нужна и в искусственной реализации, где нет проблем с быстрой записью чего либо. Потому, что фиксация статических или периодических сигналов означает по сути выделение повторяющихся раздражителей, или иначе говоря – из хаоса внешних сигналов в первую очередь выделяются стабильно-повторяемые, происходит фиксация закономерностей для последующей адаптации к ним. Адаптация всегда подразумевает в первую очередь выявление повторений событий, потому что к хаосу адаптироваться принципиально не возможно.
Представим, что фото-матрица освещается хаотичными сигналами в виде каких то сполохов, но среди них есть точечный, неподвижный источник света. Если некоторое время воздействовать на матрицу таким образом а потом замерить, сколько энергии получили ее пиксели, то выяснится, что больше всех досталось тем, что засвечивались неподвижным точечным источником. Причину не сложно понять даже из бытовой логики: одно дело махать рукой над огнем, и совсем другое держать ее над ним неподвижно. Тот же эффект перераспределения энергии в пользу детекторов неподвижного источника будет и при его мерцании с какой то частотой – главное, чтобы он не носился хаотично по всему матричному полю, а стоял неподвижно, передавая максимум энергии конкретным рецепторам, а не всем. Таким образом, выделение из общего хаоса сигналов отдельных, наиболее мощных/периодических/стабильных происходит уже за счет естественного неравномерного распределения заряда на сенсорной матрице в сторону наиболее активных раздражителей, который потом можно детектировать эффекторным слоем.
Другое свойство природной нейросети, вытекающее из ее физической реализации – невозможность одним нейроном детектировать всю рецепторную матрицу. В самом деле, обучение ограничено по времени и нейрон тянется своими отростками лишь к ближайшему активному рецептору. В итоге получается охват лишь некоторой области вокруг нейрона, что означает: если на рецепторную матрицу будет проецироваться объект размерами больше области охвата нейроном рецепторов, он будет детектироваться более чем одним нейроном. Произошло автоматическое разбиение большого детектируемого примитива на более мелкие, и это принципиальная особенность природной нейросети, которую надо учитывать при проектировании ее прототипа: распознавание образа всегда, на всех уровнях будет происходить через первичное распознавание его частей, а не всего образа целиком.
Кроме того, если отростки нейрона тянутся лишь к активным рецепторам, то это задает вектор распределения связей. Они не хаотично охватывают все ближайшие вокруг эффектора рецепторы, а только те, что на момент обучения были активны. И веса связей будут устанавливаться в соответствии со степенью активности рецепторов.
Из вышесказанного следует, что любая, даже простейшая природная нейросеть из одной пары рецепторно-эффекторного слоя всегда имеет следующие свойства:
- Способность выделять периодические сигналы из общего сигнального фона
- Разбивать большие примитивы на более мелкие
- Фиксировать связи только с активными на момент обучения рецепторами
Эти свойства позволяют автоматически формировать структуру нейросети при раздражении ее рецепторного слоя, устанавливая связи с весами, то есть обучаться без учителя.
Дополнительным свойством нейросети, эволюционно возникшем позднее, так как и без него сеть была способна функционировать (иначе на базе чего бы оно возникло, если не на более примитивной нервной системе), является латеральное торможение между активными эффекторами, которое позволяет контрастировать детектируемые примитивы. Это позволяет уже на первом слое более четко выделять условные признаки примитивов, из которых потом будут определяться их свойства.
В принципе уже первых двух свойств достаточно для генерации уникальных пар рецепторно-эффекторных рисунков с некоторой точностью. В самом деле, если изначально связать элементы нейросети по какой то схеме и расставить одинаковые веса, то получим вполне рабочую нейросеть. Например, так сделано в дуплексной решетке связей рецептор/эффектор по схеме 6/3: один эффектор охватывает 6 рецепторов, один рецептор - 3 эффектора. Это как если бы мы обучали такую сеть равномерной засветкой эффекторов, поэтому связи выстроились равномерно распределенными с одинаковыми весами по схеме шестигранника, как в пчелиных сотах. Я думаю, можно вполне обоснованно предположить, что в природной реализации такое может возникнуть на самых начальных этапах формирования нервной системы. Например, в период созревания плода/зародыша. В самом деле, как иначе могут возникнуть самые первые распознаватели в организме, кроме как обучением простейшей фоновой засветкой равномерно структурированной решетки?
Особенности самообучения природной нейросети
Природная нейросеть обучается послойно, формируя постепенно иерархическую структуру распознавания. Нейроны специализировавшегося слоя становятся «рецепторами» для следующего слоя, который аналогично после своего обучения также служит рецепторной матрицей для эффекторов нового растущего слоя и т. д. Для запуска процесса обучения необходима спонтанная (пейсмейкерная) активность нейрона, его способность быстро возбуждаться от малейшего сигнала (гипервозбудимость вплоть до случайно-хаотичных активаций), а так же активность рецептора. Отростки нейрона тянутся ко всем ближайшим активным рецепторам, устанавливая связи с ними с весами, соответствующие активности рецепторов на момент обучения. После обучения нейрон перестает хаотически реагировать, отвечая только на сигналы со стороны связанных с ним рецепторов при условии, что суммарный вес всех зафиксированных связей превышает порог его возбуждения. В конечном итоге получается, что на каждую группу активных рецепторов (рецепторный рисунок) активируется определенная группа нейронов, создавая ответный эффекторный рисунок. Уникальность этих пар рисунков и определяет точность детектирования. То есть в идеале на каждый рецепторный рисунок может быть только один ответный эффекторный – при одинаковых параметрах сети.
Принципиально важной особенностью природной нейросети является то, что новый слой начинает специализироваться только после того, как обучился предыдущий, который после обучения уже не модифицируется. Ведь если первый слой детектировал рецепторную матрицу выделив первичные примитивы, после чего они стали рецепторным рисунком для следующего слоя, то снова «автоматически получается», что эффекторный рисунок второго слоя строится на базе полученного рисунка первого, а не первичного рецепторного слоя. Это можно сравнить с постройкой здания, когда на фундамент ставится первый этаж, на него второй и т.д. Если после этого начать переделывать фундамент то развалится все здание, так как оно стоит на нем. Аналогично изменение любого этажа означает изменения во всех вышестоящих.
То, что оценка образа происходит именно иерархически, прямо вытекает из свойств нейросети, о которых говорилось выше. Эффекторный рисунок создается путем разбиения на фрагменты детектируемого им рецепторного рисунка и выделение из них наиболее активных. Наименьший фрагмент определяется охватом эффектора и взаимным торможением, в некоторых случаях выключающем соседние эффекторы, что показано на модели латерального торможения. То есть на первом слое формируются «единицы измерения», с помощью которых на последующих слоях происходит уточнение свойств образа. Из этого вытекает наша «логика мышления» не позволяющая оценить что либо иначе, как сравнив его с каким то условным эталоном: длина – в метрах, вес – в килограммах. Мы не можем понять свойство, не обозначив его через какой то эталон потому, что по такому принципу строится распознавание в нашей нейросети. А этот принцип строится на ее свойствах.