Тема форума: «Саморегуляция синапса»

 Действительно, вот эти утверждения уже говорят о том, что antonov_v_m очень далёк от реального положения дел: «Перцептроны и нейронные сети отвергли сами американцы Пайперт и Минский, доказавшие, что хаос подобных структур не способен сам собой упорядочиться. ... Теория распознавания образов предполагает, что работа мозга состоит из двух этапов: на первом этапе происходит распознавание ситуации, а на втором - принимается соответствующее решение. Мы пришли к выводу, что живой мозг сразу же принимает решения (без какого-либо распознавания), и саморегуляция синапса - тому подтверждение. ... Отличительной особенностью нейронных сетей, по нашему мнению, является приписываемая им способность анализировать ситуации и принимать решения. Говоря простым языком, в них прячутся, своего рода, гномы-анализаторы и гномы-менеджеры (нейроны-распознаватели и нейроны-управленцы). Ничего такого в мозге нет. … Напоминаю ещё раз, что слово "сеть" неприменимо в разговоре о мозге.»

О Минском и Пайперте было написано ранее, и работа нейронных сетей давно проверена на практике. Что касается «гномов-анализаторов и гномов-менеджеров (нейронов-распознавателей и нейронов-управленцев)», то их в нейронной сети нет и они там не нужны, как нет и неких строго разделённых этапов «распознавание — выработка реакции». Все деления процесса функционирования нейронной сети на строго специализированные части и этапы более или менее условны. Сеть переводит возбуждение на входе в возбуждение на выходе, и делает это всей своей структурой, просто по мере прохождения возбуждения от входа сети до выхода. Поэтому разделение процесса прохождения возбуждения на этапы понимается только в контексте этой общей функции, а не как присущее неким частям сети самим по себе. Например, мы разделяем тепло от лампочки и свет от лампочки, но с точки зрения физики — это всё электромагнитное излучение разной частоты. Приблизительно также и в нейронной сети: упрощённо говоря, нейрон на входе — это нейрон-распознаватель, тот же нейрон на выходе — это мотонейрон.

Конечно, вдаваясь в подробности, существует множество типов нейронов, а у каждого типа есть индивидуальные черты — например, конкретное количество связей и их архитектура в составе сети. Но эти отличия не принципиальны — все нейроны вносят свой вклад в перевод возбуждения, функционируя по одному и тому же принципу: приём и передача возбуждения. Вообще, делить сеть на части приходится для изучения работы мозга — изучать мозг как целое затруднительно, мягко говоря. В более общем смысле, любое разделение реальности на части более или менее субъективно, но в данном случае «более», так как «части» нейронной сети слишком функционально схожи и взаимосвязанны, чтобы приписывать им специфические функции как присущие им самим по себе.

***

Тем не менее, несмотря на ошибки, обвинять аntonov_v_m-а в том, что его модель работает по принципу «стимул-ответ» не совсем верно. аntonov_v_m пишет о том, что в его модели синапсы под влиянием рецепторного возбуждения изменяются — то есть его «модель мышления» подразумевает обучение. Но именно обучение и именно как изменение веса связи под стимулирующим влиянием возбуждения и отличает нейронную сеть от моделей функционирующих по принципу «стимул-реакция». То есть в нейронной сети «между» стимулом и реакцией есть этап обучения. То есть, по сути, в своей модели antonov_v_m описал принцип обучения нейронной сети (в упрощённом и искажённом виде, конечно).

«Синаптическая пластичность — это возможность изменения силы синапса (величины изменения трансмембранного потенциала) в ответ на активацию постсинаптических рецепторов[1]. Она считается основным механизмом, с помощью которого реализуется феномен памяти и обучения. Этот механизм характерен для всех организмов, обладающих нервной системой и способных хотя бы ненадолго чему-либо научиться.» Синаптическая пластичность. Википедия Также биологические нейронные сети — за счёт обратных связей, подразумевают сложную нейродинамику (в результате чего, например, можно вспоминать, планировать и т. п.), но означенного принципа обучения это не отменяет.

При этом биологические сети — как и организм вообще — развиваются, то есть их структура формируется в процессе взросления животного и изменяется в процессе дальнейшей жизни (например, растут новые связи между нейронами). Процесс развития нейронной сети и процесс её обучения в точности друг от друга неотделимы. В конце концов изменение синапса — это и изменение структуры нейронной сети (синапс — это часть нейрона, то есть часть структуры сети). То есть и процесс развития, и процесс обучения нейронной сети можно назвать и обучением, и развитием одновременно. К тому же и развитие сети, и обучение сети подразумевают сочетание наследственной детерминанты и влияния среды. Тем не менее разделять необходимо, иначе, например, получится, что искусственные нейронные сети не обучаются — ведь обучение там происходит только за счёт изменения весов связей.

Поясню написанное цитатой из своей статьи: «Однако точнее процесс мышления выглядит по-другому. В едином организме можно выделить два взаимосвязанных уровня самоорганизации. Это самоорганизация организма в целом, включая и нейронную сеть, в процессе чего развивается и поддерживается упорядоченная структура организма, и уровень самоорганизации активности нейронов в сети. То есть помимо того, что нейронная сеть как часть единого организма развивается и существует как диссипативная система, нейронная сеть как взаимосвязь нейронов также воплощает в себе диссипативную систему, через архитектуру и пластичность связей задающую общий контекст для упорядочения активности нейронов в ней. Таким образом, уточнение устройства нейронной сети сообразно среде в процессе обучения — это усложнение упорядоченной организации нейронной сети сообразно среде. Например, можно заметить, что активность мышц всегда взаимосвязана в едином порядке с воспринимаемым — от перистальтики, дыхания, сердечной деятельности и общего тонуса мышц, до поддержания равновесия, предметных действий и речи. И чем более опыт, тем более сложные зависимости в условиях распознаются, и тем сложнее порядок работы мышц.»

Рассмотрим ячейки Бенара, на примере которых можно понять особенности нейронных сетей как самоорганизующихся систем. Ячейки Бенара. Википедия

В интенсивно нагреваемой воде в динамике её молекул возникает упорядоченность. В некоторый момент движение воды приобретает форму цилиндрических валов, которые переносят нагретую жидкость вверх и остывшую вниз (есть и другие проявления «ячеек»). При увеличении температуры структура усложняется — каждый вал распадается на два вала меньшего размера и в пределе возникает турбулентный хаос. Движение мириадов молекул воды никто специально в валы не организовывает, возникновение в воде упорядоченной макроструктуры — это самоорганизация (некоторые подробности почему происходит самоорганизация — в статье).

Несмотря на то, что в воде может быть сразу несколько валов, ни один из них, естественно, не существует сам по себе, вал нельзя «вытащить», разделить их перегородками, не разрушив порядок, вся система — это одно неделимое целое. Поэтому если изменить количество воды в сосуде, изменить форму сосуда или изменить интенсивность нагрева, то и упорядоченная структура воды тоже будет меняться, хотя и нелинейно. Например, плавное изменение означенных факторов вначале заметно не повлияет на структуру движения воды — просто будет более или менее плавно изменяться форма валов или их динамика, так как до определённого момента силы гомеостаза будут поддерживать существующий порядок, противостоя возмущениям. Затем, сразу и более или менее со всех концов системы, то есть нелинейно — неадекватно плавному изменению управляющего фактора, произойдёт переход к новой упорядоченной структуре или к хаосу.

«Сразу и со всех концов» — потому что флуктуации, ведущие в конечном итоге к разрушению старого порядка, постепенно нарастают во всех концах системы, и в какой-то момент изменяется порядок сразу всей системы как целого. Поддержание же своего упорядоченного состояния диссипативной системой, несмотря на интенсивное взаимодействие со средой, — это гомеостаз. Который, естественно, также не есть функция неких отдельных частей системы.

***

В принципиальном смысле то же происходит и в организме в целом, и в нейронной сети в частности, которые также являются самоорганизующимися системами. Архитектура сети — это «форма сосуда», которая задаёт общий контекст самоорганизации (синхронизации) динамики нейронов. Сигналы рецепторов при этом возмущают порядок активности нейронов, но не разрушают его — приблизительно так же как малые изменения внутренних или внешних факторов изменяют форму или динамику валов в воде, но не разрушают их. Тем самым поведение — то есть порядок активности всех мышц и желёз — изменяется, но его общий смысл и само наличие упорядоченности остаётся неизменным. А изменения связей нейронов под стимулирующим воздействием возбуждения позволяет нейронной сети запоминать возникшие изменения. То есть изменять свою структуру, задавая новый и всё более точный относительно внешних условий контекст для дальнейшего уточнения порядка активности мышц и желёз. При этом, насколько мне известно, в нервной системе человека нет совсем не обучаемых нейронов (хотя возможности к обучению разных нейронов в сети неодинаковы, и вообще в формировании опыта много непонятного).

Происходящие в сети процессы точно так же зависят от всех факторов системы как и в случае упорядочения воды. Поэтому так же как валы в воде неотделимы друг от друга, в том же смысле нет отдельных процессов в нейронной сети, активность каждого нейрона всегда более или менее зависит и от среды, и от активности всех остальных нейронов сети. В ином случае в нейронной сети должен быть гомункулус, который будет знать, когда надо подключать отдельные части нейронной сети — но тогда все вопросы просто переносятся на уровень устройства этого гомункулуса. 

А более древние структуры мозга не являются такими "гомункулусами" по отношению к более молодым? Насколько верна такая аналогия?

Суть работы нейронных сетей — за счёт архитектуры связей нейронов и весов их связей, преобразовать входящее возбуждение в исходящее, по мере его прохождения по сети от входа к выходу. Возбуждение поступая на нейроны на входе распределяется по всей сети, так как все нейроны в сети взаимосвязаны. В результате возбуждение обобщается на нейронах сети само с собою (конвергенция и дивергенция). Из-за чего в контексте структуры сети какие-то составляющие рецепторного возбуждения масштабируются, какие-то нивелируются, то есть в условиях выделяются некие «эффективные» признаки, что соответствующим образом отражается на выходе сети.

Это, например, значит, что ближе ко входу сети эти признаки ещё выделены слабо, то есть нижние слои сети распознают в условиях что-то общее и приблизительное, а верхние уже уточняют всё окончательно. То есть уровень абстракций постепенно повышается от уровня к уровню (абстракций — потому что из «реального» рецепторного сигнала выделяются некие составляющие). Очевидно также, если сеть изменить — например, изменить архитектуру сети, веса связей или количество нейронов, то возбуждение будет обобщаться само с собой уже по-другому. То есть сеть всегда работает как одно целое, любое изменение более или менее отразиться на выходе. Почему, например, если к одной нейронной сети присоединить ещё одну сеть, то получится одна новая нейронная сеть.

В то же время разные нейроны в зависимости от их положения в сети, их связей с другими участками сети и конкретной конфигурации рецепторного сигнала, по-разному участвуют в преобразовании рецепторного возбуждения. То есть в сети есть участки разного опыта в составе общей функции. Например, как написано выше, ближе ко входу сети будет один опыт, ближе к выходу другой.

Но тем не менее понятно, что ни один нейрон сам по себе не обладает опытом распознавания чего-либо общего или частного — все нейроны только принимают и передают возбуждение, а те или иные «специфические» функции возникают у них только в составе конкретной сети, и только потому, что нейроны находятся в той или иной её части. Следовательно, специфические внутрисетевые функции любого нейрона принадлежат всей сети сразу и не могут быть строго на этом нейроне локализованы. Другими словами, можно говорить только о большей или меньшей локализации какого-либо опыта/функций в пространстве сети, но не о строгом его разделении. Обратные связи добавят сети связности, усилив взаимозависимость нейронов.

Как видите, в сети нет места для гомункулусов, нейронная сеть всегда одно целое.

***

То же происходит и в ячейках Бенара, и в любой самоорганизующейся системе. Возникший порядок в динамике элементов задаёт элементам специфические внутрисистемные функции, которые элемент не имеет сам по себе. Которые «размазаны» по всей системе, так как в ином случае упорядоченная организация системы не смогла бы поддерживаться.

Другими словами, в упорядоченном состоянии у системы возникает «новое качество» — система превращается в «целое», так как, чтобы динамика элементов системы была согласованной, они должны быть обобщены. Что в принципиальном смысле можно связать с появлением сознания, эмерджентность которого — это эмерджентность порядка, обобщающего уровень отдельных элементов системы. Например, считается, что механизм внимания связан с селективной синхронизацией ансамблей нейронов. К примеру, нейроны зрительной коры, рецептивное поле которых содержит объект внимания, синхронизированы сильнее, чем нейроны, реагирующие на объекты вне внимания.

Кошкин, где об этом почитать по подробней? Дай ссылку, плиз. Или сам напиши, у тебя отлично получается.

С самоорганизацией получилось слишком загадочно. Самоорганизация как этап перехода от хаоса к порядку или как динамика уже самоорганизованных систем (гомеостаз) ограниченно предсказуема ввиду сильной нелинейности, но принципиальных загадок в самоорганизации нет. Интенсивное взаимодействие системы со средой приводит систему в состояние неравновесия. Это значит, что в системе постоянно возникают флуктуации, вызывающие активную хаотическую динамику элементов системы. В какой-то момент на разных концах системы случайно возникают совпадающие сильные флуктуации, предположим, закручивающие движение элементов в одну сторону. Тем самым они подчиняют себе динамику окружающих элементов, те других, и так все элементы системы фактически одновременно и со всех концов системы приходят в упорядоченное движение. К которое, естественно, коррелирует с условиями: интенсивностью взаимодействия со средой, свойством самих элементов, формой сосуда, если речь о жидкости, и т. п..

В итоге теперь уже все другие флуктуации, возникающие в системе и противоположные возникшему движению, будут подавляться количеством двигающихся согласованно элементов. Тем самым, за счёт взаимодействия со средой, поставляющей энергию, порядок будет поддерживаться сколько бы большой система ни была. При воздействии на систему, за счёт того, что её существование построено на хаосе, неравновесии и флуктуациях, реакции системы будут нелинейными, то есть реагировать система будет с одной стороны упорядоченно, с другой, в зависимости от того, как сложится ситуация с флуктуациями в данный момент — что просчитать невозможно.

Увеличение интенсивности взаимодействия со средой приведёт к увеличению количества и силы флуктуаций, соответственно, к разрушению старого порядка и хаосу или к появлению нового порядка — более сложного, так как, помимо «случайной», «закономерная» составляющая самоорганизации — это распределять энергию по системе, и простой порядок с этим не справится. Есть более частные составляющие явления самоорганизации, но принципиально они описанного не меняют.

То есть ничего загадочного, «сознательного» в самоорганизации как таковой вроде бы нет, кроме «подозрительного» совпадения эмерджентности порядка и эмерджентности психического восприятия, и того, что и упорядоченная активность нейронов, и сознание есть в мозге. Плюс ещё одно «подозрительное совпадение» в виде описанной выше ситуации с селективной синхронизацией нейронов. Если сознание связано с упорядочением активности нейронов, то самая яркая часть сознаваемого очевидно должна быть связана с наиболее синхронизированными нейронными ансамблями. Что и наблюдается в действительности.

В итоге вывод, вероятно: сознание как внутренний системный фактор взаимодействия множества элементов, «качественно» отличается от любой наблюдаемой реальности — системы можно наблюдать только снаружи. И потому в той же степени «качественно», то есть «принципиально», невозможно приблизиться к пониманию «сущности» сознания.

Синхронизация (нейробиология), а также статья — там своими словами, и её обсуждение — там есть другие ссылки.

У меня нет ничего на примете. Но, думаю, всё есть в книге «Нейронные сети. Полный курс» — ссылка на неё есть на первой странице этого обсуждения.