Раздел «Тема 5. Начальные связи нейронов»
Модель произвольной адаптивности МВАПДоступ для всех
Темактика: Лекторий для «Модель произвольной адаптивности МВАП»
Лекторий школы «Модель произвольной адаптивности МВАП»
Тема 5. Начальные связи нейронов
Перед тем как перейти к рассмотрения последовательностей эволюционных апгрейтов природной нейросети, необходимо окончательно уточнить основы.
Вспомним занятие про модели нейрона. Реальный нейрон по сравнению с моделью во второй теме не имеет никакого потенциала на выходе в состоянии покоя, т.е. как бы оборвана цепь по току, а на схеме
он имеет низкий потенциал, что оказывало бы разряжающее влияние на конденсатор модели последующего нейрона (но не в природной нейросети, где синапсы не реагировали бы на это). Это совершенно не трудно обеспечить схемотехнически:
(Вместо резисторов положительной обратной связи (10мегаом и 10килоом), просто нарисуем значок гистерезиса на компараторе.)
В схеме просто к выходу подключили диод – электродеталь, которая пропускает ток только в одном направлении: по стрелке его обозначения, в данном случае он пропускает только если на его входе будет + больше, чем потенциал на выходе (понятно, что если там будет такой же или + потенциал, то он закроется). При положительном импульсе диод резко станет проводником и плюс тут же окажется на его выходе. Но когда на его входе будет низкий потенциал, он выключится и разорвет цепь. Потенциал на его выходе станет полностью зависеть от последующей цепи. Пологий спад говорит о том, что на выходе есть что-то, сначала зарядившееся от положительного импульса, но после обрыва цепи постепенно разрядившееся (как резистор связи, подключенный к емкости конденсатора).
И тогда схема тормозного нейрона:
В дальнейшем мы будем просто использовать условное обозначение этой схемы в виде кружка со стрелками связей к нему и от него как это показывалось раньше:
А если важно показать его профиль возбуждения, то, изобразим его в виде таблички, как это уже делалось в теме 2:
Вид выходного сигнала для нас в условных моделях нейрона, реализующих принцип персептрона, перестает иметь значение: хоть импульсный, хоть постоянного тока, модели будут работать одинаково и демонстрировать все свойства нейронных соединений.
Для формирования связей необходимо выполнение условия образования связей и готовность последующего от рецептора нейрона к образованию связей своей в виде спонтанной или вырванной чем-то активности. Таким образом может быть два случая: 1) модифицируются связи уже специализированного нейрона, при этом будет меняться его специализация и он станет распознавателем уже другого образа на его входах и 2) образуется новый распознаватель, для чего нужно, чтобы в этом месте появился и созрел до функциональности пейсмейкера новый нейрон.
Если позже (по времени) такого нейрона была уже сформирована сеть распознавателей на его основе, т.е. предыдущие элементы использовались для профиля распознавания последующих, то в обоих случаях описанной модификации все последующие распознаватели, потеряют свою специализацию, скорее всего начнут реагировать беспорядочно или никак потому, что для адекватного какой-то задаче реагирования нужно переучивать все последующие слои распознавателей.
Это должно быть очевидно для всех, ясно представляющих себе логику такой взаимосвязи.
Такое случается в реальном мозге, когда оказываются поврежденными какие-то промежуточные распознаватели и конечная функция оказывается потеряна. Вот почему в зонах мозга не бывает новых нейронов после того, как там уже закончилась специализация слоев после прохождения очередного критического периода развития. Такого механизма для переучивания всех последовательностей слоев в природе не существует потому, что гораздо проще начать с нуля – с нового организма.
Но последний критический период развития у высших животных продолжается всю жизнь, обеспечивая возможность адаптации к новому, в том числе для случае потери рецепторов (в том числе внутренних распознавателей) или приобретения новых терминалов: освоение палки, катания на коньках и т.п.. И в зонах мозга, где это происходит (район гиппокампа и префронтальная лобная кора), возникают новые нейроны с определенной периодичностью, пропорциональной частоте необходимой адаптации к новому.
Таким образом, есть еще одно дополнение в таблицу различий моделей искусственных глубоких нейросетей от реальных:
|
Искусственная нейросеть |
Природная нейросеть мозга |
|
Способность только переобучаться за счет уже имеющейся архитектуры слоев, без добавления или убавления рецепторов и эффекторов. |
Способность развивать новые распознаватели для адаптации к новым условиям даже при потере каких-то внутренних распознавателей или потери рецепторов и эффекторов или приобретения новых эффекторов (рост, регенерация мышечной ткани). |
Клетки с функциональностью нейронов находятся не только в головном мозге, но и в мышцах (водитель ритма сердца) и вообще в стенках внутренних органов, обладающих сократительной активностью, гладкие мышцы, сосудистая и капиллярная сеть, эндокринные и иммунные образования. Такие включения названы метасимпатической нервной системой. Так что регуляция, использующая свойства нейронов, буквально повсеместна. Связи, образованные такой регуляцией древние, но постоянно эволюционируют, как эволюционирует вообще все в организмах.
С самого раннего периода эволюционного развития организмов, находка эволюции в виде нейронов используется повсеместно, где от нее есть польза организму. Даже самодостаточные образования, но зависимые от более общей управляющей нервной модуляции (типа водителя ритма) имеют свои датчики условий (рецепторы), которые влияют на работу нейронов для управления эффекторами. И такие связи, образуясь по общему принципу, возникают в соответствии с последовательностью запрограммированной в генах экспрессии генов, вовремя обеспечивая нужную функциональность.
Причинно-следственная последовательность образования связей
С момента первого деления первой клетки организма на геном влияет окружающая данную клетку среда, определяя какой именно участок генома в этих условиях должен быть активным (определяя момент экспрессии генов в этих условиях). Одна клетка, две клетки, четыре клетки могут мало менять среду, хотя соседство клеток меняется, и клетки просто делятся, увеличивая количество. С некоторого момента окружения условия меняются настолько, что возникает следующая по эволюционной цепочке, записанной в геном, экспрессия генов и масса клеток приобретает различия в свойствах и функции уже измененной ткани.
Так, с каждым новым воплощением последовательности развития вида, с каждым новым условием, в которых оказывается каждая из клеток организма, все они включают свою, соответствующую последовательность генов и при делении возникает уже нечто иное. Т.е. каждая клетка активна в том участке своего генома, который распознает специфику окружающих условий. Это порождает все многообразие органов и свойств организма.
Влияют не только внутренние условия, но и внешние, если это как-то предусмотрено и распознается в геноме. Так, деревья, высаженные в высокогорье или в холодных зонах, приобретают кустарниковую или карликовую форму.
Внешние условия могут оказаться такими, что вообще для них не окажется предусмотренными никакие участки генома и тогда организм не будет развиваться.
Важно понять, что сами по себе гены не определяют то, что из них развивается, а буквально на всех стадиях влияют окружающие условия. Это важно для представления о том, что связи так же не образуются только по программе генетического кода. В первую очередь это влияет на то, как и куда прорастают аксоны нейронов в зависимости от того, где эти нейроны начали развиваться. А проросшие нейроны могут образовывать связи, если аксон оказывается возле дендрита другого нейрона, когда совпадают их активности.
Таким образом, в одних условиях связи могут оказаться существенно иными, чем в других: если эти условия распознаются геномом, то такая связь образуется, если нет, то она не реализуется даже на уровне прорастания аксонов.
Это означает, что даже базовые, простейшие связи в нейронной сети могут существенно различаться в зависимости от специфики условий, в которых развивается организм, даже если первоначальные геномы были идентичны (однояйцевые близнецы). И чем более усложняется нейросеть, образуя на основе первых базовых связей более сложные, тем различия будут все более нарастать. Но в матке условия развития плодов одинаковы, как и, обычно, в первые годы жизни, так что и безусловные рефлексы возникают одни и те же. Геном вида предусматривает, что практически во всех матках условия достаточно схожи для реализации жизнеспособного организма, и поэтому в норме у всех организмов безусловные рефлексы не сформируются только если возникают мутации в этих участках генома у родителей, или в организме матери возникает несовместимыя с реализацией данного участка кода условия (болезнь, сильнейшее истощение, алкоголизм, наркомания и т.п.).
Есть данные о формировании не только безусловных, но даже условных рефлексов лишь изменением условий экспрессии генов.
Этологические представления о том, что безусловные рефлексы определяются только генетически, породили статьи, показывающие, что даже молодые, неопытные обезьяны боятся предметов, похожих на змей, что детеныша сразу способны распознавать образы хищников и т.п.
Источник: “На сегодняшний день считается, что некоторые защитные реакции, например способность цыплят различать хищных и нехищных птиц, запрограммированы генетически, в то время как большинство вырабатывается в течение жизни. Самым малоизученным остается элемент воспитания – передачи знаний от знакомых с хищником особей”.
Формирование представлений о предпочтительном партнере: “Девушки могут не признавать, что их выбор партнера зависит от отношений с отцом, но новое исследование доказало правдивость этой теории”.
Язык формирует восприятие цвета: “Наши слова буквально — форма категоризации того, что мы наблюдаем в окружающем нас мире”. Еще об этом: “Развитие речи совершенно неожиданным образом сказывается на умении ребёнка различать цвета.”.
Формирование эмоций - как жизненный опыт: “способность радоваться общению с близким человеком, по-видимому, формируется в первые месяцы жизни. Малыши, лишенные в течение этого критического периода самого главного — контакта с родителями, — могут на всю жизнь остаться эмоционально обедненными, им будет трудно адаптироваться в обществе и создать полноценную семью ”.
Для строительства гнезда птицы используют приобретаемый опыт: “Если птицы строят свои гнёзда в соответствии с генетическим шаблоном, должно ожидать, что все птахи данного вида создают обиталища каждый раз одинаково. Но перед нами не тот случай”. Это – очень сильный довод: в самом деле, если реакция полностью определяется наследственно, то она должна быть строго однообразной. Но этого не наблюдается во многих случаях, описанных этологами.
В самом деле, в геноме не запрограммировано никакой реакции (на такую детализую не хватит никакой емкости памяти генома), а запрограммирован только момент активации фрагмента генома в случае определенной химии окружающей среды. Реакция же затрагивает множество нейронных связей, управляющих мышцами в определенной последовательности в зависимости от воспринимаемого. Это – даже не простейшие виды связей, а целые цепочки, возникающие на основе имеющихся набора простейших связей, и такие цепочки формируются так же в зависимости от наличия определенных условий: реагирования не по сигналам первичных рецепторов, а уже сложных образов, состоящих из иерархии последовательного усложнения примитивов восприятия. Стоит не сформироваться каким-то примитивам восприятия (например, из-за депривации вертикальных линий) и цепочка даже предопределенных ветвлением аксонов реакции не сформируется.
Гены лишь предопределяют, дают (не)возможность возникнуть связям в мозге, но возникнет ли она в реальности зависит от условий: Развитие мозга рыб почти не зависит от генов.
Инстинкты оказались не врожденными: “нейронные контуры, отвечающие за распознавание полов, не совсем врожденные. Они не могут сформироваться без социального опыта, то есть без общения с самками. Это неожиданное открытие, поскольку «нейроны распознавания пола» расположены в очень древней области мозга.”.
Каждый сам по себе довод по ссылкам, конечно, не обеспечивает полную уверенность, но в общем сопоставлении и в контексте сказанного в теме “Основной принцип организации природных нейросетей” образуют очень надежный каркас представлений. Главное, возникает очевидность причинно-следственной картины в явлении формирования природной нейросети.
Если бы не выделялись примитивы восприятия, то просто картинка на основе поля изображения сетчатки глаза была бы очень мало информативна. Вот у насекомых грубо фасеточные глаза потому, что нет смысла в большей детализации при такой низкой информативности. Быстро меняется освещенность – значит что-то явно приближается, нужно резко сваливать. Меняется пятно освещенности по полю зрения – что-то летит, ползет неподалеку, верхняя часть потемнела – помеха сверху, кто-то бьет по мухе мухобойкой и т.п. Никаких линий, кругов, не говоря про более сложные образы.
Но даже первый слой примитивов дает новое качество разнообразия отслеживаемых форм, на которые можно уже гораздо избирательнее реагировать. И чем больше слоев, тем большее разнообразие. Вот почему каждый слой распознавателей можно считать новым качеством рецепторов, как если бы кроме сетчатки глаза появились дополнительные рецепторы сложных образов.
На основе первичных рецепторов и конечных эффекторов в ходе развития возникают сначала непосредственные связи между ними, а потом и опосредованные, позволяющие, с одной стороны, выделить характерные сочетания элементов первичных рецепторов распознавателями таких сочетаний, а, с другой стороны, сформировать нейроны, управляющие сочетаниями первичных эффекторов.
Распознаватели сочетаний рецепторов принимают на себя роль специализированных рецепторов образа данного сочетания, а со стороны эффекторов, распознаватели необходимости сочетаний эффекторов принимают роль специализированных эффекторов.
Распознаватель необходимости действия – нейрон в ипостаси эффектора. Тот же нейрон в ипостаси рецептора распознает сочетание активностей, при которых нужно запускать действие. Даже мышечную клетку можно назвать распознавателем необходимости сокращаться, когда на нее придет возбуждающий сигнал. Так что концепцию распознавателей мы будем применять во всей нейросети без исключения.
Со стороны рецепторов формируются все более сложные распознаватели, использующие сочетания активностей предыдущих распознавателей, а со стороны эффекторов точно так же последовательно, слой за слоем развиваются все более сложные распознаватели необходимости действия.
Между теми и другими на всех уровнях возможны связи, образующиеся при условии их возникновения: одновременно активности по обе стороны установленного аксоном синапса. И так далее со стороны рецепторов и со стороны эффекторов.
Этот процесс поочередной специализации приводит к появлению все более специализированных распознавателей на основе более простых примитивов (см. анимацию). Как со стороны рецепторов, так и со стороны эффекторов созревают слои нейронов и формируются иерархии специализированных распознавателей.
При этом возникают связи на всех уровнях от рецепторных к эффекторным элементам. Многие такие связи остаются действующими даже в очень сложных организмах, обеспечивая основу возникновения более сложных связей.
Далее при усложнении (обусловленном генетически как находки эволюции вида), на основе более простых связей образуются цепочки, в которых последующие звенья срабатывают при условии активности предыдущей и сигнале рецептора об окончании действия предыдущего звена (фазы работы цепочки). Так организуется последовательность элементарных действий в зависимости от актуальности срабатывания каждого звена, которое распознает момент актуальности свей активности.
Звеном такой цепочки может быть как элементарное действие (мышечное и любого другого эффектора, включая нейрон), так и начала других цепочек действия – ветвления основной цепочки.
Цепочки реакции запускается распознавателем актуальности ее работы – пусковым сигналом и ее звенья начинают последовательно срабатывать.
В схемотехнике такие цепочки последовательного срабатывания звеньев реализуются регистром сдвига (сдвиговым регистром).
Вот типичная схема:
Каждый из элементов 1-4 это – триггер, т.е. устройство, которое переключает сигнал на выходе 1 или 0. Чтобы на триггере 1 появился сигнал 1 (высокий потенциал) нужно чтобы на его входе появился пусковой сигнал 1 и нужно чтобы на другом, синхронизирующем входе возник перепад с 0 в 1 (т.е. триггер изменяет состояние на выходе в момент перепада (по фронту перепада), а не по потенциалу).
Пока нет пускового сигнала, то импульсы синхронизации никак не влияют на выход триггера. Но как только появился пусковой потенциал, то с первым же перепадом синхроимпульса, на выходе 1 с некоторой небольшой задержкой появится 1.
Но кода 1 появился на входе 2, то перепад синхроимпульса уже прошел и 2 не сработает. Зато второй перепад его включит. И т.д. последовательно откроются все триггера по цепочке.
Нейроны не срабатывают по фронту, хотя такое действие и можно было бы осуществить в принципе схемкой из четырех нейронов, но это привносит нестабильность потому, что нужен не только фронт, но задержка чуть большая, чем фронт. Даже на уровне транзисторных схем такие “гонки” могут вызвать сбои при повышенном уровне помех или нестабильности задержки, а в условиях природной нейросети это – заведомо неприемлемый вариант. Все организуется очень надежно, напрямую, дубово.
Представим вариант организации регистра сдвига без фронтов и задержек:
Здесь в цепочке стоят “нейроны”, для запуска которых нужно два сигнала: пусковой стимул и условие, разрешающее работу данного звена. Можно это организовать через веса входов каждый по 0,5 от максимума, но это вряд ли так делается (вообще природные синапсы слабо градуированы по коэффициенту пропускания, обычно они или проводящий или нет, ну, еще может быть проводящим только при наличии нужного нейромедиатора). Надежнее условие срабатывания сделать тормозным, когда срабатывание не нужно. Т.е. вход “условие срабатывания” является тормозным пока нет условий для запуска цепочки. К первому нейрону подключен еще один тормоз красного цвета, но он вначале неактивен и тормозит только когда успешно выполниться первое действие.
Итак, элемент 1 сработает, когда есть условия для такой реакции и когда наступает актуальность реагирования в этих условиях.
По его сигналу совершается действие 1. Около эффектора действия 1 есть рецептор, откликающийся на успешность совершения этого действия (такие рецепторы называют проприорецепторами), сигнал которого создает условия для срабатывания элемента 2 и через тормозной нейрон закрывает элемент 1. И далее – по такой схеме работы.
На самом деле, как правило, такие цепочки содержат больше элементов, которые могут организовывать процесс очень разными способами, но это сейчас не принципиально для модели понимания явления.
Такой в принципе действия регистр я организовал в схеме управления последовательностью действий ультразвукового расходометра на водной реке (точнее на мелиоративном канале) в Киргизии. Нужно было распознавать и учитывать реально возникающие ситуации, изменяя режимы работы и расчетов. На берегах реки были затоплены стойки по 10 пьезо-датчиков на каждой, донный слой воды мог иметь разную пропускающую способность от ила, которого было тем больше, чем больше температура воды и еще по времени суток потому, как примерно к обеду с гор приходила мутная вода от усиленного таяния ледников, на порядок ухудшая прохождения лучей. Могли проплывать мешающие предметы и т.п. Вообще требовалась неторопливая и обстоятельная оценка условий без всяких гонок и влияния помех. Получилось что-то вроде нервной системы простейшего насекомого.
Именно так организованы цепочки последовательностей фаз мышечного сокращения. Сигналы при этом могут корректироваться на отдельных стадиях процесса запуска цепочки. Часть мозга, называемая мозжечок, специализируется на таких корректировках, причем не только мышечных, он накапливает опыт корректировок последствий различных неточностей и иллюзий.
Для такой работы нужны рецепторы ошибок. Но что можно посчитать ошибкой? Кто или что может быть судьей правильности или неправильности реакции? Это возможно только после совершения действий, когда организм этим ухудшит или улучшит свое состояние, и датчики, регистрирующие это и есть рецепторы ошибок и их исправления. Следующее занятие будет посвящено теме: “Базовый механизм поддержания жизнеспособности”.
Структура цепочек реагирования эволюционирует с приобретением все новых адаптирующих механизмов, приобретая все новые свойства и функции, вплоть до организации цепочек последовательных действий и возможность прогноза, см. анимацию.
Видео: