Раздел «Тема 4. Основной принцип организации природных нейросетей»
Модель произвольной адаптивности МВАПДоступ для всех
Темактика: Лекторий для «Модель произвольной адаптивности МВАП»
Лекторий школы «Модель произвольной адаптивности МВАП»
Тема 4. Основной принцип организации природных нейросетей
Краткое резюме по прошедшим занятиям.
Мы рассмотрели свойства токов в проводниках, в том числе электролитах среды реального мозга и то, как нейрон обеспечивает передачу эти токов.
Мы рассмотрели свойства сопротивления токам и то, как синапсы реализуют эти сопротивления.
Далее рассмотрели принцип персептрона и как он может моделироваться сопротивлениями на его входе, реализующими коэффициенты передачи сигнала в данной связи (или вес связи в терминах персептрона). В искусственных нейросетях персептроны моделируются программно (за счет условных описаний объектов класса Синапс и объекта класса Нейрон с параметрами значений весов синапсов). От способа реализации персептрона не зависит его принцип и его функциональность.
Понятно, в реальном мозге реализация не является программной, а осуществляется именно с помощью токов и потенциалов, т.е. схемотехнически. Но даже схемотехника может быть очень разной и нам важно выделить только то, что отвечает причинам и следствиям в процессах адаптивного управления, а то, что мозг именно на этом специализирован как орган управления эффекторами по сигналам входных рецепторов, никто сегодня не сомневается среди ведущих ученых, изучающих мозг.
В этой теме занятий необходимо сопоставить полученные сведения и данные фактических исследований мозга, обобщив их в те аксиоматические основы, на которые мы будем полагаться в развитии уровней усложнения систем адаптации, реализованных управляющими структурами мозга. Т.е. мы должно настолько убедительно для себя определить основополагающие принципы, чтобы они стали надежной опорой всех дальнейших построений.
При этом схемотехнические описания, так и химический контекст, а также отдельные принципы алгоритмического описания (программирования) будут постоянно проявляться на всех уровнях модели. Мы рассмотрим переключатели, ветвления, обратные связи сигналов в мозге, сдвиговые регистры цепочек реагирования, наводки ритмических электротоков мозга, которым исследователи придают столь высокое значение, рассмотрим реализацию принципа стека памяти в мозге и т.п.
Поехали...
В любой природной нейросети можно выделить три основных блока: рецепторы (сенсорные датчики, специализированные на выделение определенных параметров внешней и внутренней среды), эффекторы (конечные устройства, выполняющие определенные действия при их активации) и нейросеть (промежуточные структуры между рецепторами и эффекторами), которые управляют эффекторами в зависимости от активности рецепторов.
Самые простые функции нейросети – непосредственная связь от рецепторов к эффекторам. Рецепторы выступают в качестве селективного выделения сигналов изменения параметров внешней и внутренней среды, подчас настолько слабых, что их бы не хватило для непосредственной активации эффекторов, которым требует довольно высокий активирующий потенциал. Но рецепторы бывают настолько чувствительны, что активируются даже при очень слабых сигналах. Так, зрительному рецептору бывает достаточно всего одного фотона.
Чтобы улитка втянула в себя выступающие глаза, бывает достаточно очень слабого, но характерного прикосновения, т.е. защитное втягивание срабатывает достаточно избирательно, что и обеспечивают рецепторы: срабатывание тактильных рецепторов при ползании игнорируется, а вот активность в определенных зонах в упрежденных обстоятельствах порождает общую защитную реакцию. И это – уже не просто связь от стимула к действию, а работа целой группы нейронов, которая при распознавании возможной опасности заставляет активироваться стандартную программу втягивания в себя уязвимых отростков. Эта же программа может быть запущена и сигналами других датчиков, например химического воздействия. Схема такого управления для схемотехников совершенно очевидна и не вызывает никакой трудности в моделировании. Так же очевидно, что именно схемотехнический принцип (а не программный или механический или какой-то еще вообразимый) реализован в организации управления. При этом важно учитывать, что в природной реализации можно констатировать правило необходимости и достаточности, что регулируется механизмами адаптации, реализующей необходимость и дезадаптации, освобождающей от излишнего. Эти критерии, среди других доводов, помогут выделить принципиально важное в системе адаптивности среди второстепенного, т.е. относящегося к особенностям реализации.
Никакие другие воображаемые способы реализации кроме схемотехнического не могут обеспечить подобный алгоритм управления в естественных условиях развития. Хотя программно и возможно так же воспроизвести такую логику, но любая программа это – эмулятор действительности, это – условное представление реальных причин и следствий в уже имеющейся конструкции, способной запускать программу, т.е. программа требует уровня собственно организации программного механизма и только потом – уровня реализации программы на нем, что уже выходит за рамки необходимого и является избыточным как по ресурсам, так и по времени эволюции, отведенному на решение вопроса адаптации. Впрочем, это уже отвлечение на философию, сорри, но показательное отвлечение для демонстрации действенности проявила необходимости и достаточности.
В принципе, и в программной реализации есть резон т.к. в любом случае реализуется принципиальная основа адаптивности. Так, чтобы встроить программное управление необходимо иметь блок абстрагирования от реальности в область условных данных, алгоритмически обработать их и затем опять использовать преобразователь условных данных в уже реальные действия.
Именно это и происходит: рецепторы переводят сигналы в условную форму активностей, затем происходит их алгоритмическая обработка по определенной схеме и, наконец, получившиеся активности опять преобразуются уже в реальное воздействия. Так же как и в компьютере сигналы в нейросети совершенно одинаковы – электрические импульсы и их значение определяется тем, каким рецептором они вызваны так же как и значение в компьютере: от микрофона ли, от видеокамеры или клавиатуры, сканера или мыши или это – уже блок памяти, имеющий условные назначения каждому элементу активности.
Неважно как именно и с помощью каких деталей (нейронов или транзисторов) организована схемотехника управления, она выполняет определенный алгоритм обработки условно значащих активностей.
Архитектора такого обработчика может быть самой разной, от строгой последовательности обработки в порядке очередности или максимальной параллельности, не требующих никаких очередей, это – не принципиально.
В природной нейросети реализована децентрализованная обработка всех сигналов именно так, как обычно работают электрические схемотехнические устройства.
Если взять любую простую нейросеть в природе (улитка, бабочка и т.п.), то становится очевидным то, что взаимодействие нейронов в ней всегда следует принципу схемотехнического управления эффекторами в зависимости от состояния рецепторов. Эта схема легко может быть повторена искусственна на транзисторах или более сложных и удобных деталях. Она легко понимаема в своей организации, настолько, что можно для тренировки начать создавать свои схемы ответа на стимулы и проверять их адекватность в каких-то моделях. На этот счет есть анимация: Простейшая нейросеть управления крыльями бабочки.
В вопроснике будет просьба нарисовать простую нейросеть.
Мы имеем дело с одним из самых фундаментальных принципов эволюции полезной адаптивности: те элементы, которые оказываются наиболее эффективными, т.е. обеспечивают преимущество особям с ними, начинают обкатываться до высочайшей точности и эффективности.
Принцип кодирования последовательности синтеза белков в зависимости от условий привел к доминированию генетического аппарата, который стал использоваться во всех более сложных организмов потому, что он придал им качественно более высокое преимущество.
Появление клетки привело к тому, что все более сложные организмы стали клеточными потому, что это – результат наиболее выгодной организации.
Появление промежуточных между рецепторами и эффекторами клеток, способных активироваться при превышении порога и распознавать профиль активности на входе, привел к повсеместному использованию нейронов в мозге.
Принцип схемотехнического (алгоритм взаимодействий элементов электрической схемы) построения управления от рецепторов к эффекторам стал единственным из-за качественного преимущества перед любыми другими принципами (ну, например, измысливаются гипотезы, что все нейроны – самостоятельные организмы со своими целями, а не связанные в схемотехнические системы алгоритмов электро-элементы).
Поэтому можно быть уверенными: на любом уровне сложности организации мозга используется именно схемотехника нейросетей и все отдельные механизмы адаптивности мозга поддаются именно такому схемотехническому описанию и моделированию так, что достаточно уверенно можно представить, как именно осуществлен алгоритм того или иного механизма.
Это означает главное: при описании работы мозга необходимо оставаться в системе понимания схемотехнической организации, а не какой-то другой, скажем, механические устройства, или голографическая суперпозиция или квантовые взаимодействия.
Электро-схемотехническая система реализации – необходима и достаточна. Все остальное приводит к повышению сложности реализации, – как бывает при выборе неудачной системы представлений для описания и понимания.
Древнегреческий Зенон задавался вопросом: “Почему мы считаем, что Земля неподвижна, а стрела, которая представляется нам летящей, движется? Почему бы не остановить стрелу и двинуть Землю?”. Понятно, к каким сложностям и неправильным выводам это привело бы. Вывод: систему отсчёта для любого явления нельзя принимать произвольно. Её нужно связывать с сутью причинно-следственных процессов, в которых это явление рассматривается.
Когда появляются фактические данные исследований того или иного механизма на нейронном уровне описания, всякий раз это – именно схемотехнический механизм. Примером можно привести любое такое описание: самоподдерживающиеся образы за счет ревербераций в различных участках мозга, выполняющих функциональность удержания активностей, нейрональные механизмы условных рефлексов, организация карт местности в мозге, организация латерального торможения, селективности, детекция значимых признаков, различные виды иллюзий, системы возбуждения и торможения, доминанта, механизм прогностического “опережающего возбуждения”, организация цепочки поведенческой реакции и т.п.
Это не доказывает, что никаких других базовых принципов организации нейросети нет в мозге. Но никаких таких принципов не обнаруживается ни в каких своих проявлениях. Они никем не описывались даже в качестве правдоподобной гипотезы, т.е. не просто сфантазированы, а были бы обоснованы реальными фактами.
При этом многие исследователи упорно пытаются найти какие-то такое принципы и новые подходы системного описания, даже не представляя хоть что-то, намекающее на это. Они уверены, что есть нечто такое сакраментально недостижимое пока в понимании, что способно ответить на такие немыслимые вопросы как связь души и тела, как то, почему мысль способна оказывать воздействие на материальное? Как материя мозга рождает субъективное явление?
Все такие вопросы показывают, что нет достаточно определенных представлений о самих используемых в этих вопросах понятиях (т.е. сама постановка вопроса некорректна), что нет главного: хоть сколько-то определенного понимания функции механизмов мозга, порождающих эти сакраментальные явления, ведь для чего-то все это понадобилось, показав свои преимущества в эволюционной конкуренции. Не видя таких адаптивных преимуществ (точнее, даже не задумываясь о таком критерии), многие исследователи объявляют важнейшие явления психики побочным продуктом деятельности мозга.
Свойства нейрона
Можно сопоставить несколько эвристических принципов для оценки правдоподобности того, что в нейросети мозга главным является использование функции персептрона, но в его наиболее простой и незатейливой форме.
1. Нейрон активируется по тому же принципу, что и клетки мышц, только нейроны при этом не сокращаются, а выдают электрический сигнал о своей активации. И мышечную клетку, и нейрон можно возбудить, подведя электродом ток достаточно высокого потенциала. Оба вида клеток одинаковым принципом организуют свои мембранные потенциалы, возбуждаются при их превышении и регенерируют, восстанавливая разность мембранных потенциалов, распространяют возбуждение по всему волокну.
В лекции 2 было сказано об особенностях специализации клеток тела и, в частности, мозга:
...стоит заметить, что в живом теле разные клетки приспособились к различным таким строго выраженным специализациям и все они развиваются из одних “стволовых”, неспециализированных клеток, которые формируют свою специализацию в зависимости от окружающих условий (такая зависимость начального наследственного кода от условий описана в статье).
Клетки различных рецепторов способны реагировать на какие-то воздействия, выдавая, как нейрон, импульсы тока и в простейших организмах, где нет нейронов, прямо от них сокращаются мышечные клетки или выделяются нужные вещества. Таких видов рецепторов много: клетки, реагирующие на фотоны света, клетки, активирующиеся от разных видов химических веществ, чувствительные к механическим колебаниям специализируются на рецепторы звуковых колебаний, на рецепторы прикосновений, на рецепторы сокращения мышц и т.д.
Нет каких-то хитрых скрытых других функций кроме тех, что явно проистекают из специализации.
Вот и клетки нейронов, как и клетки рецепторов в результате своей функции выдают импульсы тока на раздражение, только раздражителями для них являются заряды, возникающие на синапсах, покрывающих тело нейрона. А эти заряды появляются в ответ на электрические токи предшественников: рецепторов или таких же нейронов.
Вот почему все нейроны – такие рецепторы, функцией которых является реагирование на состояние предшествующих им клеток. Так же все нейроны воздействуют на последующие эффекторы – тоже нейроны или уже мышечные (или продуцирующие гормоны) клетки, называемые эффекторами.
Получается, что все слои связанных в сеть нейронов – эффекторы по отношению к предыдущим и, в то же время, они же – рецепторы для последующих, это – условно нами выделяемые роли в нейросети.
Само по себе это не доказывает, что нейрон – только лишь схемотехническое устройство для распознавания суммарного профиля активности по своим входам и выдачи результата распознавания далее.
2. Все простейшие нейронные сети у живых существ с очевидностью построены как схемы управления эффекторами в зависимости от состояния рецепторов. Эта логика прослеживается однозначно.
3. Нет никаких оснований думать, что природа не продолжала развивать нейросети по схемотехническому принципу, никто не нашел и показал что-то, отличающиеся от него.
4. Если явление работы мозга можно описать как схемотехническое устройство, а не нечто более сложное и непонятное, а природа изначально использовала именно схемотехнику управления, то нет причин делать что-то более сложное в принципе действия. Т.е. если мы смогли описать даже самые сложные психические явления как схемы взаимодействия более простых схем, то незачем предполагать что-то сложнее. Уже практически доказано: сколь угодно сложную систему распознавания и управления, вплоть до самоадаптирующейся к новому возможно сделать на основе всего одного конструктивного элемента: персептрона. Это – необходимое и достаточное условие, не требующее появления чего-то еще для целей управляющих структур мозга. Природа нашла именно такой элемент и использовала его в мозге, имея возможность на его основе организовывать любые уровни адаптивности к новому.
Если каждый из перечисленных доводов оценки сам по себе и не является достаточно убедительным, то совместно убедительность возрастает так, как это описано в прикидке вероятности того или иного события, - т.е. возрастает очень резко: см. Эвристика вероятности, в частности, метод Байса.
Такого сопоставления до сих пор никто не делал в достаточно явном виде. Но теперь, при должном понимании и сопоставлении приведенных доводов, нет никакого основания допускать в основном принципе организации природной нейросети, что-то еще кроме схемотехнических принципов, если не говорить о множестве побочных эффектов в особенностях реализации этих принципов. Современные искусственные нейросети так же могут реализовываться схемотехнически на электро-элементах и это была бы более эффективная реализация (об этом позже), но их начали делать программно на устройствах, сделанных схемотехнически, причем устройствах громоздких из-за требующихся невероятно больших ресурсов для таких вычислений.
И, все равно, строго говоря, это – не доказательство, т.к. есть ненулевая вероятность иного и т.п. Но в плане формирования модели это очень хорошо согласуется с критериями полноты и верности, начиная с самого фундаментального каркаса модели и поддерживается всеми последующими взаимно согласованными звеньями в общем пазле картины представлений.
Поэтому и Базовая функция нейрона и то, как взаимодействуют нейроны на любых уровнях организации мозга, определены однозначно. Пожалуйста, ознакомьтесь со статьей по ссылке.
Именно на этой схемотехнической основе и будут рассматриваться все усложняющиеся механизмы реализации модели МВАП.
Т.к. нейрон на выходе имеет значение да-нет (он или возбужден, или нет), то можно было бы предположить, что в нейросетях используется двоичная логика и в полной мере применима булева алгебра. Но нейрон еще может возбуждаться коротко или длительно (изменяя частоту импульсации от уровня своего возбуждения).
Так что именно кодирует нейрон? Об этом до сих пор ведутся споры и делаются самые фантастические предположения.
В первую очередь нейрон, являясь рецептором, кодирует то, что в восприятии есть некий профиль (совокупность признаков) элементарных компонентов первичных рецепторов, профиль, отражающий выделенную (абстрагированную) особенность воспринимаемого. Нейрон является распознавателем (детектором) специфического профиля активности на своих входах. Есть такой профиль – есть активность нейрона.
Во-вторых, нейрон активен столько времени, сколько активен и профиль на входе (в реальности до своего истощения), т.е. он длительностью активности отражает длительность воздействия профиля, если только нейрон не тормозится соседями или специально.
В природной нейросети нейрон меняет частоту импульсов от редкой при слабом распознавании до максимальной – при точном распознавании, но это – скорее неидеальность, мешающая логике распознавания, размывающая эту логику (хотя и в этом есть свои плюсы). Поэтому не будем считать это свойство системным.
Более нейрон в принципе не может ничего другого кодировать. Он – просто специфический рецептор.
Сразу же можно заметить принципиальные различия между принципами строения искусственных нейросетей (в частности, “глубокие сети” (глубокие – т.е. имеющие много внутренних слоев): 1, 2, 3, 4):
|
Искусственная нейросеть |
Природная нейросеть мозга |
|
Многослойный персептрон с общей функцией распознавания для всей сети, в котором объединены все профили рецепторов. Связь типа все – со всеми. |
Состоит из однослойных персептронов, каждый из которых формирует свою собственную функцию распознавания, связанных с последующими слой за слоем. |
|
Формируется сразу и обучается вся сеть сразу. |
Формируется строго поочередно (сначала созревает очередной слой и начинает специализироваться), начиная с самых простейших примитивов распознавания, на каждый слой которых выделяется определенное время (критический период развития). У человека на завершение развития всех слоев используется 25-30 лет. |
|
Может обучиться очень точному распознаванию, улавливая самые незаметные общности в явлении – при условии достаточного числа (сотни тысяч и более) предъявляемых примеров с имеющейся оценкой верности каждого из них. |
Очень неточное распознавание, но зато очень небольшого числа входных признаков для каждого специализирующегося персептрона. Влияние соседних персептронов для контрастирования общего (для участка слоя) профиля на входах. Каждый отдельный персептрон обучается “без учителя”, просто специализируясь на наиболее частом профиле возбуждения за время его обучения. |
В области слоев первичных примитивов зрительного восприятия нет никаких линий, кругов, семерок и других выделяемых нами по смыслу фигур. Есть самые разные неравномерности яркости и цвета, которые нам бы показались похожими на линии, круги, семерки и другие символы. Значимость этих фигур ассоциируется уже в третичной зоне теменной коры, а смысл – в префронтальной лобной коре. Но это слишком преждевременное забегание вперед. Важно понять, что с примитивами первичной коры не связаны никакие значимости и смыслы, они просто есть как некая коллекция, более изощренно выделенная рецепция, которую можно как-то использовать потому, что она выделяет из самых первичных элементов восприятия некие фигуры и с этими фигурами теперь можно связывать какие-то реакции, например, при появлении длинных, извилистых фигур – реакцию избегания и страха.
Условия образования связей между нейронами
Главным механизмом формирования специфики распознавания является условия образования связей между нейронами.
То, какая связь вообще в принципе может образоваться, в первую очередь зависит от того, как, в каком направлении и какой длины вырастет выходной отросток нейрона – аксон. Это определяется наследственно, плюс условия развития.
Входные отростки находит свои мишени для роста более просто: их рост стимулируют активирующиеся предшествующие нейроны, которые при этом специфически меняют состав электролита вокруг себя, и рост дендритов следует направлению к таким местам.
В формировании и развитии нейронной сети, в точности как и при развитии любой ткани тела, определяющую роль играет последовательность выработки специфических белков (строительных и способствующих формированию данного вида ткани) – т.н. экспрессия генов. Генетический код устроен так, что выработка тех или иных белков происходит в строго определенных условиях. Если появляется такое химическое окружение, то начинается такая экспрессия. В других – другая. Так прото-клетка определяет, во что ей специализироваться при развитии и делении.
Принципы наследования и реализации наследственного кода описаны в статье: Наследование признаков, с которой необходимо ознакомиться и ясно понять эти принципы потому, что эта логика непосредственно отражается в развитии всех последующих усложнений мозга. Именно поэтому развитие организма повторяет развитие вида в каждой своей стадии. Именно поэтому и усложняются механизмы мозга на основе предыдущих так, как это было заложено в последовательности экспрессии наследственного кода.
Отсюда возникает еще одно фундаментальное для нейросети свойство: определенная последовательность развития нейрона, когда он находит свое место в нейросети, созревает до стадии возможности образования связей и завершает свое развитие стадией завершенной специализации. Этот период формирования специализации определен генетически для каждого слоя последовательно созревающих нейронов и называется критическим периодом развития. Существует общая закономерность: более поздние критические периоды имеют большую продолжительность, что обусловлено тем, что более сложные примитивы распознавания встречаются реже в восприятии и их нужно успеть зафиксировать. Кроме того, у каждого вида животных оптимизируется свои продолжительности критических периодов. У человека они – наиболее продолжительны (последние формируются годами). Следующим после человека по продолжительности таких периодов оказываются высшие обезьяны.
Генетический код способен кодировать только продуцирование белков в окружении специфики также белкового характера, но, конечно же, не интервалы времени. И поэтому последовательность созревания слоев организуется в точности по тому же принципу, как и последовательность формирования тканей: по метаболическому признаку завершения (или достаточной активности) предыдущего периода. Это значит, что после достаточно долгой экспозиции слоя рецепторами, возникают условия для созревания и готовности к специализации следующего.
Принципиально нет смысла продолжать что-то менять в предыдущем слое, когда уже специализировался последующий, ведь эти изменения уже не смогут повлиять на последующий слой. Значит, вырабатывается какой-то метаболический признак завершения специализации слоя. Как именно это проделывается пока не известно. Но все более долго экспонируемые слои требуют, чтобы был такой механизм. Этим обусловлено и то, что завершившаяся специализация в первичных зонах мозга уже не может быть изменена в норме, а потеря распознавателей уже не может быть восполнена в этой зоне, а только – косвенно в поздних, еще пластичных слоях.
С точки зрения системных представлений нам не нужны эти детали, но они позволяют убеждаться в общей логике развития нейросети. Достаточно отследить, как именно в природе возникают все более совершенные уровни механизмов адаптивности к новым условиям. Поэтому будем рассматривать принципиально важные особенности развития природной нейросети. Выделим три важнейших принципа, сопровождающих формирование природной нейросети:
1. Спонтанная активность нейрона, развившегося до стадии возможности образования связей.
2. Условия образования связей.
3. Строгая последовательность развития слоев специализирующихся нейронов, отражающая эволюционную последовательность усложнения вида данного животного.
Спонтанная активность нейрона
Есть несколько механизмов спонтанной активности в нейросети, нас интересует конкретно спонтанная активность нейрона, не имеющего тормозных связей, что подтверждается большим числом фактических данных исследований.
Причем, понимание механизма генерации спонтанной активности в развивающихся нейросетях представляется фундаментальной научной задачей, поскольку, как было показано, явление не является особенностью какой-то одной структуры, а отражает общую тенденцию. (источник).
Новые нейроны, которые появляются в мозге, обладают особыми свойствами. Например, они являются гипервозбудимыми, и именно благодаря такой своей гипервозбудимости они и способны каким-то образом модифицировать память (источник).
Одиночный пейсмейкер “состоит из одного нейрона, в котором возникает внутриклеточная реверберация импульса.”. Причем, эта активность проявляется даже после специализации, если связи вдруг оказываются оборваны, например, при патологии слухового нерва возникает шум в ушах.
Другой эффект – фантомная боль:
Если поврежден непосредственно периферический нерв, ниже узла заднего корешка, то центральная нервная система продолжает получать афферентную импульсацию из самого периферического нерва, выше места повреждения и из эктопических источников ее генерации. В этом случае всегда возникает патологическая сенсорная афферентация с развитием периферических невропатических болей. (источник).
...вышедшие из под тормозного контроля нейроны, теряют свои прежние функциональные характеристики и образуют новую группу, которая становится ядром нейронной популяции генератора (источник).
Л. Тауц и Г. М. Гершепфельд 11960] обнаружили, что соматическая мембрана нейронов моллюсков, не имеющая на своей поверхности сипаптических окончаний, обладает высокой чувствительностью к медиаторным веществам и, следовательно, имеет молекулярные хемоуправляемые структуры, свойственные иостсинаптической мембране. Наличие внесинантической реценции показывает возможность модуляции пейсмеккерной активности диффузным действием выделяющихся ме-диаторных веществ. (источник).
Известно, что растущие нейроны с какого-то момента начинают проявлять активность: в культуре клеток возникает возбуждение, которое распространяется по всей колонии. Такое поведение нервных клеток обычно сопряжено с обучением и запоминанием, но нейроны начинают вести себя так, когда ни обучение, ни запоминание ещё невозможны в принципе — клеток слишком мало. По словам исследователей из (Нидерланды), экспериментировавших с культурами нейронов молодых крыс, начинается эта активность у клеток на первой неделе роста и никакой иной причины, кроме этого самого роста, не имеет. (источник).
Спонтанная активность оказывается фактором, обеспечивающим образование связи, начиная с самого раннего этапа развития.
После появления человека на свет на его мозг обрушивается бесчисленное количество раздражителей. Считается, что все эти стимулы из внешней среды в значительной мере помогают сформировать архитектуру мозга в постнатальный период: нейроны получают сигнал, образуют или убирают синапсы и так далее. Однако не так давно сразу в нескольких нейробиологических лабораториях было показано, что огромную роль в формировании нейронных сетей играет так называемая спонтанная активность мозга, которая впервые проявляется ещё до рождения и которая не требует для своего возникновения внешних стимулов.
Исследования этой спонтанной активности продолжаются и приносят довольно любопытные результаты. Так, нейрофизиологи из (США) сообщают, что для правильного формирования нейронных путей между глазом и мозгом необходима строгая очерёдность проявления спонтанной нейронной активности в глазах в первые дни жизни. (источник).
Первые связи между рецепторами и эффекторами возникают в результате спонтанной активности эффекторов.
Исследования на обоих этих объектах показывают, что ранняя сенсорная стимуляция мозга обеспечивается эндогенными механизмами - спонтанными миоклоническими подергиваниями в соматосенсорной системе и спонтанными волнами сетчатки в зрительной системе. (источник).
Условия образования связей
Условия образования связей выполняются на всех уровнях организации мозга. Это – одно из фундаментальных опор, определяющих самый общий контекст развития нейросетей. Так, в соответствии с этими условиями уже от самых первых рецепторов возникают связи с эффекторами. Конкретизируем эти условия.
Данных фактических исследований этого достаточно много, начиная от экспериментов с отдельными нейронами (т.е. в предельно выделенной от влияния чего-либо условиях).
Были сформулированы основные правила образования связей между нейронами:
Если два нейрона неоднократно активируются одновременно, связи между ними усиливаются в обоих направлениях.
Если два нейрона неоднократно активируются последовательно, усиливается связь, направленная от одного ко второму.
в обоих правилах предполагается, что связи усиливаются навсегда или, по крайней мере, надолго: так ассоциация закрепляется в памяти. (источник).
Условием, при которой начинается увеличение проводимости в синапсе, является достаточно длительная активность с двух сторон (около получаса) от синапса. Она может прерываться, но важно, чтобы вокруг такой активности возникали метаболиты, способствующие формированию проводимости синапсов данного вида. За это время повторяющиеся активности сформируют устойчивые связи, а случайные будут погашены латеральным торможеным. Сформируется вполне определенный профиль возбуждения данного нейрона.
Так образуются все рефлексы, начиная от простейших:
одним из условий выработки оперантных моторных условных рефлексов является обязательное включение в систему раздражителей импульсации, возникшей спонтанно или вызванной активным или пассивным движением. (источник).
Итак, в случае образования простейшей связи типа стимул-ответ (от рецептора к эффектору) из-за пейсмекерной активности начинают подрагивать отдельные волокна мышц, а если рядом есть аксон от возбуждающегося одновременно рецептора, то образуются первые связи от рецепторов к эффекторам.
Этот механизм реализуется на ранних стадиях активности, например, подергивания плода человека в утробе как раз и способствуют наработке первичных связей, на основе которых будут формироваться все остальные.
Даже новые нейроны гиппокампа (нейрогенез во взрослом состоянии) при созревании проявляют повышенную активность без каких-либо связей.
Возникает следующая картина.
Когда нейрон созрел он проявляет спонтанную активность. Это не постоянная интенсивная активность, а, как описывалось в приводимых работах, спайки (импульсы на выходе) возникают, когда складывается определенный провоцирующий метаболическим накоплением разности концентраций между мембраной нейрона до его срабатывания. При разряде разница концентраций электролитов выравнивается и потенциал опять становится низким. Т.е. Импульсы возникают бессистемно время от времени (визуально это ощущают беременные женщины как толчки плода при такого рода активности мотонейронов в мышцах).
Когда такая активность совпадает с активностью предшествующего рецептора (или первичного или уже сформированного нейрона), начинает укрепляться связь так, что активность на выходе все в большей степени начинает отслеживать рецепторную. Получается нечто вроде синхронизации укреплением связей. Нейрон выдает импульсы уже не просто хаотически и редко, а все более чаще и в соответствии с активностью рецепторов на своем входе (по ту сторону его синапсов).
Это – еще одно отличие от поведения персептрона:
совокупность параметров стимула кодируется нейроном-детектором в виде частоты потенциалов действия, при этом нейроны-детекторы обладают избирательной чувствительностью по отношению к отдельным сенсорным параметрам (источник). Чем больше точность соответствия все более специализированного нейрона, тем более активно и полноценно он реагирует интенсивностью своей активности. Т.е. нейрон проявляет не пороговый характер распознавания, но чем точнее распознавание, тем сильнее он влияет на последующие нейроны.
Экспозиционный характер обучения во время действия специфического профиля рецепторов на входе дополняется латеральным торможением соседних детекторов, что, с одной стороны, делает распознавание еще более определенным, а, с другой стороны, тормозное влияние уже надежно запирает нейрон, не позволяя ему самопроизвольную активность, хотя при полном отсутствии сенсорных сигналов появляется такая активность в виде шумов.
Это можно заметить прямо на себе. Если нет ничего в восприятии, то его острота нарастает (соседние рецепторы не заглушают) вплоть до появления отдельных иллюзорных ощущений. Так, вдруг может зачесаться что-то на коже даже если ничего это не провоцирует. Мы чешем это место, заставляя активироваться соседей и приглушая иллюзорную активность.
Так можно очень зримо прочувствовать динамику этого механизма.
Особенности природной реализации по-своему реализуют, все же, основной принцип персептрона, который вообще не зависит от того, каким именно способом выходной сигнал отражает верность распознавания: хоть частотой импульсов, хоть пороговым да-нет для алгоритмической реализации, хоть пороговым потенциалом – для схемотехнической модели на электродеталях. В любом случае главное – специализация функции распознавания профиля активности на входах за счет изменения веса, привносимого каждым из входом в общий отклик. Но имеющийся способ реагирования определяет контекст реализации нейросети и ее функционирования. Поэтому, рассматривая природные механизмы, всегда будем иметь в виду особенности именно природной реализации, что, как в этом можно будет убедится, не помешает нам моделировать эти механизмы чисто схемотехническими условностями.
Вот дополнительная подборка материалов по проявляемой активности нейрона (необязательная, но полезная): Функции нейрона. Очень важно не просто поверить мне или кому-то, а самому увидеть причины-следствия процессов так, чтобы понять: вот так это происходит. Одним из пунктов вопросника этого занятия будет попытка опровергнуть описанную модель формирования связей между нейронами.
3. Строгая последовательность развития слоев
Это уже упоминалось ранее: “Отсюда возникает еще одно фундаментальное для нейросети свойство: определенная последовательность развития нейрона, когда он находит свое место в нейросети, созревает до стадии возможности образования связей и завершает свое развитие стадией завершенной специализации. Этот период формирования специализации определен генетически для каждого слоя последовательно созревающих нейронов и называется критическим периодом развития. Существует общая закономерность: более поздние критические периоды имеют большую продолжительность, что обусловлена тем, что более сложные примитивы распознавания требуют встречаются реже в восприятии и их нужно успеть зафиксировать.”.
Подборка материалов фактических данных исследований:
Развитие и регенерация нейросети
Можно выделить три наиболее общих и качественно различающихся по функциональности зоны мозга, отражающие последовательность эволюционных скачков механизмов адаптивности: первичные, вторичные и третичные зоны мозга. Каждая их них так же подразделяется на свои периоды последовательного развития (источник).
Последние периоды развития мозга человека возникают после 21 года (источник).
Условия образования связей – способ обучения, специализации нейрона (у любого персептрона есть свой способ изменение проводимости, весов связей). Искусственная нейросеть обучается совершенно иным образом: при данном профиле на ее входах она ждет сигнала о том, является ли этот случай правильным распознаванием данной специфики или нет, и такой сигнал ей дают извне, “учителя”. Поэтому дополним таблицу различий еще одним пунктом:
|
Искусственная нейросеть |
Природная нейросеть мозга |
|
Обучается учителем, обычно заранее заготовленной последовательностью примеров верных или неверных распознавания в очень большом количестве (пропорциональном сложности объекта распознавания в отличиях вариантов правильного и неправильного распознавания). |
Обучается без учителя, при экспонировании профиля активности на время, достаточное, чтобы некоторые совпадающие активности оказывались более рельефными, чем случайные, что так же контрастируется латеральным торможением. Время экспонирования равно времени собственной активности нейрона (пейсмекерной или вынужденной из-за возбуждения по других входам) обучающегося нейрона. |
На самом деле “учитель” в природной нейросети есть, но это организовано совершенно не так, как в искусственной и есть два основных уровня такой организации, достигнутых эволюцией: подкрепление в условных рефлексах и произвольность оценки в осознаваемо формируемых автоматизмах.
Это различие делает обучение нейрона нетипичным для персептронов, но принцип персептрона остается актуальным.
Слова это – такие условности, зависящие от контекста и вкладываемого смысла, так что как будет назван объект внимания не меняет его сущность: можно называть нейрон с системой своих синапсов персептроном, но при этом возникает немалое число озадачивающих различий. Но лучше называть его по бесспорно проявляемой функции – распознаватель профиля активности на своем входе или детектор. Мы будем называть его распознавателем во всех ипостасях его участия в нейросети.
Рефлексы
Самые простейшие реакции от рецепторов к эффекторам называются таксисами, а те, что связаны с активным выбором направления действия - топотаксисы. Такие простейшие реакции являются основой для всех более сложных безусловных и, на их основе, условных рефлексов. В области еще большего усложнения на их основе, с участием осознанной произвольности формируются неосознаваемые автоматизмы.
Различие в качестве этих видов реакций является то, каким образом осуществляется их формирование и закрепление.
Таксисы и безусловные рефлексы формируются за счет отбраковки особей в условиях естественного отбора: те, который выживают из-за случайной мутации формирования связей (при важном условии – флуктуации ветвления аксонов до формирования связей) или те, у которых уже есть спасительная реакция (как негативного избегания опасностей, так и позитивного стремления к поддерживающим факторам). Учителем здесь является естественный отбор. На данном уровне негативность или позитивность (вред или польза) никак не оцениваются, а просто является результатами случайных мутаций. Такие рефлексы могут быть довольно сложными, образуя длинные цепочки, создаваясь на основе более простых, с учетом реагирования на дополнительные стимулы. В принципе ничто не ограничивает сложность таких реакций и даже на уровне муравьев и пчел они поражают исследователей своей сложностью и точностью.
Т.н. безусловный “ориентировочный рефлекс” оказался тем важнейшим механизмом, который обеспечивает основы осознанного внимания, что будет отслежено досконально позже.
Условные же рефлексы возникают как индивидуальная адаптивность к новым условиям, и они используют распознавания вреда или пользы. Для этого в организме есть специальные распознаватели от рецепторов отклонений жизненных параметров организма (вред) и возврат этих параметров в норму (польза).
Как это происходит и почему вообще стало происходить, мы рассмотрим на следующем занятии.
Видео:
11-07 – гипервозбудимость новых нейронов