Саморегуляция синапса

Саморегуляция синапса выражается в том, что при правильном ходе обучения в нём наращиваются белковые молекулы (и увеличивается проводимость синапса), а при неправильном - они разрушаются (и проводимость его уменьшается).

Интенсивность наращивания или разрушения белков определяется двумя факторами: количеством выдавленной в синапс управляющей жидкости (возбуждением соответствующего рецептора) и потоком эмоветора, поступающего на синапс извне.

Эмоветоры бывают одобрительные (вырабатываемые эмоционными железами при правильном ходе обучения) и огорчительные (при неправильном ходе). Эмоветоры омывают все синапсы в равной степени.

Все неверно, учите матчасть. Садитесь, два.

Прежде чем заявлять о саморегуляции синапса, мы долгое время изучали перцептрон Розенблатта, нейронные сети и теорию распознавания образов, пока не пришли к выводу, что все эти направления никак не связаны с устройством и работой живого мозга.

Перцептроны и нейронные сети отвергли сами американцы Пайперт и Минский, доказавшие, что хаос подобных структур не способен сам собой упорядочиться.

Теория распознавания образов предполагает, что работа мозга состоит из двух этапов: на первом этапе происходит распознавание ситуации, а на втором - принимается соответствующее решение.

Мы пришли к выводу, что живой мозг сразу же принимает решения (без какого-либо распознавания), и саморегуляция синапса - тому подтверждение. Каждый синапс пропускает через себя свою порцию управляющего сигнала конкретной мышцы; эта порция формируется возбуждением соответствующего рецептора, и этому формированию не предшествует никакая иная процедура.

Такому мозгу совсем не требуется анализ с целью выявления доминантного стимулятора (распознавателя).

Я был бы вам благодарен, если бы вы привели пример математической модели подобного мозга с приведением расчетов: как идет обучение сети, как она работает для тестовых исходных данных.

usr писал:

"Я был бы вам благодарен, если бы вы привели пример математической модели подобного мозга с приведением расчётов как идёт обучение сети, как она работает для тестовых исходных данных."

У нас - не нейронная сеть, а матрица со строками (сенсонейронами, связанными с рецепторами очувствления) и столбцами (мотонейронами, подающими сигналы на исполнительные мышцы). На пересечении строк и столбцов - саморегулируемые синапсы.

Математическая модель мозга с выводом его алгоритма обучения представлена в учебнике по адресу

http://technic.itizdat.ru/docs/antonov_v_m/FIL14502671980N305156001/

То же самое с примерами обучения можно найти в другом учебнике

http://technic.itizdat.ru/docs/antonov_v_m/FIL13649007870N750999001/

Если пожелаете, можно рассмотреть простейший пример обучения прямо здесь. Для этого необходимо задать две ситуации с простейшим набором чисел и желаемыми сигналами управления (тоже - чисел) в них. 

Минский и Пайперт нейронные сети всё же не отвергали, речь шла о персептроне в известных тогда вариантах. В 1969 году Минский и Пайперт доказали, что персептрон в определении Розенблата внутренне не способен на глобальные обобщения на базе локальных примеров обучения. Например, сеть должна узнавать образ, который ранее предъявлялся только одним её входам, даже если образ будет предъявлен другим её входам. Персептрон же на такое «чистое обобщение» не способен.

Почему так происходит можно просто объяснить следующим образом. Дело в том, что наибольшее перемешивание данных происходит только ближе к выходу сети, но это значит, что нижние слои в большей степени обучаются не на всех данных, а только на тех которые им непосредственно были предъявлены. В результате разные части сети обучаются по-разному, и один и тот же образ предъявленный разным частям сети распознаётся ей по-разному.

Вот, что писали Минский и Пайперт: 

«Тем не менее мы рассматриваем его как важный объект исследований, для того чтобы обосновать (или отвергнуть) наш интуитивный приговор: расширение персептрона в сторону многослойных систем потенциально безрезультатно.»

Тем не менее:

«Однако история показала, что предположение, высказанное Минским и Пейпертом, было бездоказательным. В настоящее время мы имеем ряд усовершенствованных форм нейронных сетей, которые с вычислительной точки зрения мощнее персептрона Розенблата. Например, многослойные персептроны обучаемые с помощью обратного распространения ошибки (глава 4), сети на основе радиальных базисных функций (глава 5) и машины опорных векторов (глава 6) преодолевают вычислительные ограничения однослойного персептрона различными способами.» Нейронные сети. Полный курс. Стр. 210. (про хаос и упорядочение в сетях в этой книге тоже написано)

«После периода, известного как «Зима искусственного интеллекта», интерес к кибернетическим моделям возродился в 1980-х годах, так как сторонники символьного подхода в ИИ так и не смогли подобраться к решению вопросов о «Понимании» и «Значении», из-за чего машинный перевод и техническое распознавание образов до сих пор обладает неустранимыми недостатками. Сам Минский публично выразил сожаление, что его выступление нанесло урон концепции перцептронов, хотя книга лишь показывала недостатки отдельно взятого устройства и некоторых его вариаций.» Персептрон. Википедия

Ну а более всего из известных сетей, мозгу, считается, соответствуют рекуррентные архитектуры — с обратными связями. Например, обратные связи способны непосредственно изменять вход в соответствии с выходом, тем самым потенциально обобщая разное обучение разных частей сети. Также эти сети могут вырабатывать алгоритмы действий, исходя из контекста ранее поступавших данных. Правда, и их полноценными моделями мозга тоже назвать нельзя, минимум, по двум причинам: данные архитектуры мало изучены, ввиду их сложности, и в самом мозге слишком много непонятного.

Что касается вашей модели, то вполне возможно, что в ней есть разумное, я просто не берусь её оценивать.  

Кошкин:

"Что касается вашей модели, то вполне возможно, что в ней есть разумное, я просто не берусь её оценивать."

И на том спасибо!

Подробное обоснование матричного мозга приведено в учебнике "Мозг. Русская теория", 2015 г.

Уважаемый antonov_v_m, вижу в конце учебника примеры. Попробую сам их прорешать. Как управлюсь --- сообщу. Я думаю, что здесь тоже имеет смысл выложить пример обучения вашей нейронной сети для тех, кто не захочет скачивать и читать учебник.

Ещё раз обращаю Ваше внимание на то, что у нас - не нейронная сеть, а матрица со строками и столбцами.

Сигнал управления каждой отдельной мышцей e определяется как сумма произведений возбуждений рецепторов b_i на проводимости соответствующих синапсов c_i :

e = сумма (b_i c_i)

Как только подготовлю пример расчёта, выложу его здесь.

(У меня к Вам "техническая" просьба: научите меня "Цитировать" и "Копировать", только с подробностями - какие кнопки нажимать. Спасибо!)

Я сознательно пишу "нейронная сеть", потому что граф сети можно представить в виде взвешенной матрицы смежности, что вы и сделали. Так что математически это одно и то же.

1. Выделите мышью текст, который хотите цитировать.

2. Нажмите "Цитировать" сверху.

3. Появится окно редактора, в котором цитированный текст будет выделен в розовый блок.

Как математику Вам виднее.

Вполне возможно, что называть структуру живого мозга - матричной тоже не очень правильно, но пока - так. Главное, что все строки выходят на каждый столбец отдельно, и столбцы между собой не связаны. И уж, конечно, нет никаких косых связей. Впрочем, из самой схемы мозга (как она представлена в учебнике "Обучаемые системы управления") видны связи рецепторов с мотонейронами.

(За техническую подсказку - спасибо!)

Обращаю внимание посетителей на то, что проводимости синапсов изменяются не избирательно (по модальности очувствления), а всех и по простому правилу: чем сильнее возбуждение соответствующего рецептора, тем больше изменяется проводимость его синапса. Очувствление - обезличено.

Не понимаю, что это значит математически. Пожалуйста, приведите пример с формулами и работой алгоритма по смене проводимости синапсов.

Алгоритм обучения и работы мозга очень похож на алгоритм Качмажа для решения системы линейных алгебраических уравнений.

Алгоритм мозга приведён в работе "Матричная модель мозга", а его вывод - в работе "Мозг. Русская теория".

В предыдущем сообщении изображён фрагмент матричной структуры мозга с выходом на одну мышцу. Эта схема нисколько не похожа на нейронные сети.

Алгоритм обучения матричного мозга.

1)  E_f = сумма (b_i c_i)

E_f - фактический сигнал управления; b_i  - возбуждение рецептора; c_i - проводимость соответствующего синапса.

2) dE = E_j - E_f 

dE - ошибка сигнала управления; E_j - требуемый сигнал управления.

3) dc_i = dE b_i / сумма (b_i²)

dc_i - поправка проводимости i-го синапса.

4) c_i = c_i + dc_i

Конечно сразу и мозг это совсем не Я.

Меня просили и я обещал привести здесь простейший пример обучения по указанному алгоритму.

Пример.

Пусть очувствление состоит только из двух рецепторов и пусть будут только две ситуации:

1-ая ситуация: b1 = 1;   b2 = 3; сигнал управления E1 = 1

2-ая ситуация: b1 = 3;   b2 = 1; сигнал управления E2 = 2

Исходные проводимости синапсов: c1 = 0; c2 = 0.

Посмотрим - как будут формироваться эти проводимости в процессе обучения.

Цикл 1-ый; ситуация 1-ая (1.1.).

E_f = 1*0 + 3*0 = 0;  dE = 1-0 = 1; dc1 = 1*1/(1²+3²) = 0,1; dc2 = 1*3/(1²+3²) = 0,3; c1 = 0+0,1 = 0,1; c2 = 0+0,3 = 0,3.

1.2. E_f = 3*0,1+1*0,3 = 0,6; dE = 2-0,6 = 1,4; dc1 = 1,4*0,3 = 0,42; dc2 = 1,4*0,1 = 0,14; c1 = 0,1+0,42 = 0,52; c2 = 0,3+0,14 = 0,44.

2.1. Опустим вычисления. E_f = 1,84; dE = -0,84; dc1 = -0,084; dc2 = -0,252; c1 = 0,436; c2 = 0,188.

2.2. E_f = 1,496; dE = 0,504; dc1 = 0,1512; dc2 = 0,0504; c1 = 0,5872; c2 = 0,2384.

И так далее. После четырёх циклов обучения получим c1 = 0,620; c2 = 0,1397.

Контрольная проверка: в 1-ой ситуации E_f = 1*0,620+3*0,1397 = 1,039; во 2-ой ситуации E_f = 3*0,620+1*0,1397 = 1,999. 

И это - результат саморегуляции синапсов.

Уважаемый antonov_v_m, спасибо за пример. Разобрал сам вручную на бумаге за вами.

Я думаю, к вашему алгоритму изменения проводимости синапсов стоит добавить еще 1 параметр:

epsilon - порог отклонения реального сигнала управления на данный мотонейрон Ef от желаемого Ej.

А также в конец цикла обучения добавить сравнение по модулю фактического и желаемого отклика:

if(|Ej - Ef| > epsilon)

    continue educational cycle

else

    stop //достигнуто желаемое значение с заданной точностью

Живой мозг (а тема посвящена ему) ни на минуту не прекращает своё обучение, совмещая его с работой. Поэтому всякие ограничения и остановки у него не предусмотрены.

Но с чисто программной позиции - Вы правы.

Я только не понял, почему у вас в пункте 1.2 в качестве bi и E взяты данные для 2 ситуации?

Если обучать для ситаций последовательно по вашему алгоритму, то для обеих ситуаций процесс сходится на 2 шаге обучения, давая коэффициенты:

I: (0,1 0,3): 1*0,1 + 3*0,3 = 0,1 + 0,9 = 1

1 - E1 = 1 - 1 = 0 - цель достигнута

II: (0,6 0,2): 3*0,6 + 1*0,2 = 1,8 + 0,2 = 2

2 - E2 = 2 - 2 = 0 - цель достигнута

Пункт 1.2. означает: цикл 1-ый, ситуация 2-ая.

Насколько я понял, в хотите, чтобы при подаче в систему исходных данных вида:

(1, 3) Выход: 1
(3, 1) Выход: 2

То есть, мы имеем систему из 2-х линейный уравнений с двумя неизвестными:

1*x1 + 3*x2 = 1
3*x1 + 1*x2 = 2

Решив её аналитически, мы получим: x1 = 0,625; x2 = 0,125.

Проверка для 1 ситуации: 1* 0,625 + 3*0,125 = 0,625 + 0,375 = 1 (верно)
Проверка для 2 ситуации: 3* 0,625 + 1*0,125 = 1,875 + 0,125 = 2 (верно)

Вы решаете задачу методом последовательных приближений. Но мы должны учитывать, что ситуаций обучения не может быть больше числа уравнений. Иначе, если прямые не пересекаются в одной точке, мы не получим решения.

Также может быть случай, когда прямые параллельны и решения нет. Тогда процесс не сойдется.

1. Перед нейрофизиологами стоит задача не нахождение оптимального алгоритма решения системы линейных уравнений, а раскрыть секрет - как делает это живой мозг.

2. И критерии решаемости (сходимости) у нейрофизиологов - иные, чем у математиков (хотя они отражают одно и то же). Число слагаемых в уравнениях системы равно числу рецепторов очувствления и переваливает за миллиарды. А число ситуаций может быть каким угодно: от единиц до бесконечности.

У живого мозга нет понятия нулевой сходимости; оно заменяется допустимым отклонением. Алгебраические исследования процесса обучения мозга по указанному алгоритму показывают, что отношение погрешности обучения в конкретной ситуации последующего цикла к той же погрешности предыдущего цикла - величина постоянная, характеризующая степень сходства ситуаций: dE(T) = s*dE(T-1) (В рассмотренном примере обучения она равнялась 0,36.) Так как степень сходства ситуаций - всегда меньше единицы , то, следовательно, процесс обучения - всегда сходящийся. Исключением могло быть полное сходство ситуаций (когда s = 1), ("когда прямые параллельны и решения нет" - как говорите Вы), но мы вправе принимать такие ситуации за одну повторяющуюся. 

Работы живого мозга предлагаю не касаться пока, оставаясь исключительно в рамках нашей математической модели. Предлагаю использовать математическую терминологию, а не нейрофизиологическую.

Расскажите подробнее, пожалуйста, как получена эта формула и что такое s.

Откровенно сказать, математическую терминологию я порядком уже подзабыл; давно это было.

Степень сходства ситуаций (образов) s возникает в процессе обучения по приведённому алгоритму. Для двух ситуаций она имеет вид

s = (сумма (b1*b2))² / ((сумма b1²)*(сумма b2²))

b1 и b2 - возбуждения рецепторов соответственно в 1-ой и во 2-ой ситуациях.

Хочу вернуться к этим словам.

Если нейронные сети настолько универсальны, что схемы матричного мозга являются их разновидностями, то, может быть, и схемы телевизоров (и мобильных телефонов, и чего угодно) можно также считать их разновидностями?

Не нужно сарказма. Во всех этих приложениях (включая электрические схемы) мы имеем дело с графами того или иного вида. См. теорию графов.

Какой же здесь сарказм? Ваш ответ - однозначен: любая схема (включая электрические) является графом того или иного вида. Следовательно, любая схема может считаться также нейронной сетью.

Такой формальный подход не устраивает специалистов; матричная схема мозга (сообщение 43463) не имеет ничего общего со схемами нейронных сетей. И для исследования мозга больше подходит не теория графов (или теория нейронных сетей), а образная математика.

Отличительной особенностью нейронных сетей, по нашему мнению, является приписываемая им способность анализировать ситуации и принимать решения. Говоря простым языком. в них прячутся, своего рода, гномы-анализаторы и гномы-менеджеры (нейроны-распознаватели и нейроны-управленцы).

Ничего такого в мозге нет.

И только осознание того, что нейронные сети вводят только в заблуждение, позволило в своё время напрочь отказаться от них и перейти к матричной структуре мозга с саморегулируемыми синапсами.

Да, если она состоит из конечного и дискретного множества элементов и связей между ними.

Наоборот, граф --- более широкое понятие по сравнению с понятием "нейронная сеть".

Ваша матрица --- это матрица смежности полносвязного графа, где узлами являются рецепторы и эффекторы.

ответ

Правда, в матричной модели мозга не менее важными (кроме рецепторов очувствления  и исполнительных мышц) являются саморегулируемые синапсы. Именно они определяют механизм обучения.

Синапсы --- это связи между узлами, каждой связи приписан определенный вес. Он и записан в вашей матрице.

Есть ли у вас еще какие-нибудь математические результаты помимо алгоритма обучения сети?

ответ

Принципиально важно то, что проводимость синапса (его весовой коэффициент) не задаётся извне (не приписана), а непрерывно формируется самим синапсом в зависимости от возбуждения соответствующего рецептора: чем сильнее возбуждение, тем больше изменяется проводимость синапса.

Из закономерностей матричного мозга можно упомянуть удельные образы очувствления, коэффициенты приведения одного образа к другому, степень сходства образов, функцию последования (сходимости обучения), вид синаптического образа после T циклов обучения и многое другое. Все эти закономерности выявляются в процессе обучения. Ну и нельзя не отметить появление образной математики, крайне необходимой для исследования мозга.

(Напоминаю ещё раз, что слово "сеть" неприменимо в разговоре о мозге. Структурная матрица и сеть - разные понятия.) 

Я считаю что матричная модель мозга намного менее эффективна нежели нейронная модель. Поясню на примере моей несостоятельной идее заменить процессор схемой памяти. Процессор принимает сигналы на вход и выдает на выход - казалось бы можно это свести к таблице истинности, записать эту таблицу в схему памяти, и схема памяти заменит процессор. Это своего рода матричная модель процессора, можно так выразиться. И собственно память с однотипными элементами намного проще в производстве, как бы примитивнее. И подобная штука действительно реализована, называется ПЛИС (программируемая логическая интегральная схема), но используется в основном для проектирования. Потому что есть проблема.

Пусть у нас есть процессор с 64 разрядами данных, 64 разряда адреса, 64 разряда команд, это на вход. Ну и на выходе тоже 64 разряда данных, 64 разряда адреса, 64 разряда команд. И вот этот процессор мы заменяем на простую матрицу, то есть на схему памяти. Память можно заполнить так что схема будет вести себя в точности как процессор. Каков должен быть размер памяти? Ячеек должно быть 2^3*64=2¹⁹². В каждой ячейке должно быть 64*3=192 бит. 192=8*24, это 24 байта. То есть нам вместо каждой 192-битной ячейки нужно 24 однобайтовых ячеек. То есть нам нужна память в размере 24*2¹⁹². Терабайт это 2⁴⁰. Значит 2¹⁹²=2¹⁵²⁺⁴⁰=2⁴⁰*2¹⁵². Значит нам нужно сколько терабайт? Это 24*2¹⁵²=1,37*10⁴⁷. То есть можно выкинуть из компьютера процессор и вставить вместо него схему на 1,37*10⁴⁷ терабайт памяти. Невооруженным глазом видно что здесь что-то не то, процессор намного эффективнее и компактнее чем аналогичная по поведению память.

Думаю аналогично нейронная сетевая архитектура намного эффективнее и компактнее чем аналогичная по свойствам матрица. Тем более что я рассматривал случай когда состояние зависит только от входа в данный момент без учета входа в предыдущий момент. В действительности предыдущий момент тоже учитывается, как процессором так и мозгом. Что должно добавить ещё дополнительный множитель к предыдущему расчету. Итог - матрица не является самой компактной и эффективной схемой. Иногда есть смысл в более хитро закрученных схемах, ради эффективности.

ответ

 Перед нейрофизиологами стоит задача не поиск самой компактной и эффективной схемы управления, а раскрыть секрет - как делает это живой мозг. А у живого мозга - матричная структура.

Нет, ваша модель по уровню сложности и близко не изоморфна реальному мозгу.

usr, что-то ты затеял долгое разбирательство с математической точки зрения. Конечно же, принятая модель будет работать, она выполнит согласование между рецепторами и эффекторами в той части, в которой эволюционно формировались реакции типа "стимул - ответ" - самый примитивный уровень реагирования. Даже на нем можно создавать какие-то "роботы". Вообще в мире очень много того, что имеет причинно-следственную зависимость и роботы можно создавать на чем угодно, как в мультиках, когда шарик попадал на весы, они выливали воду, которая по жёлобу сливалась в емкость и там что-то всплывало.

Но у предложенной модели, в отличие даже от самой примитивной нейросети нет тормозных влияний, только утечки, которые должны быть значительно слабее, чем активирующее влияние, иначе последнее станет невозможным. Это значит, что все, что требует торможения оказывается с недопустимо большими задержками выполнения, от задачи контрастирования при восприятии до блокировок и ветвления вариантов воздействия. Т.е. модель - хуже, чем реализация типа "стимул - ответ". И она, в принципе, являясь одним из видов однослойного персептрона, в сравнении с ним оказывается функционально избыточна настолько, что, как наглядно показал Ярославль, просто не реализует даже ограниченный функционал, не говоря о времени его формирования. Есть и другие минусы реализация связи "все со всеми", которые рассматривались в различных работах уже давно, в том числе и на этом сайте. Кстати, про утверждение, что эта "матрица" никакой вообще не персептрон, так в чем конкретно принципиальная разница?

Конечно же, заявлять, что именно так сделана природная реализация мозга при всем накопленном массиве данных фактических исследований - такой же нонсенс, как сегодня заявлять о плоскости Земли, причем, не приводя никаких достаточно корректных обоснований кроме заявлений типа: "мы еще 30 лет назад исследовали и убедились...". Ни в каких его представленных текстах нет никакого корректного обоснования, зато есть признаки подтасовки типа фото гистологической структуры мозга, где автор модели утверждает некие микротрубки. Вот все исследователи выделяют связи между нейронами в виде аксонов через синапсы и дендриты, а у автора есть микротрубки. Все исследователи давно изучили и описали послойное созревание функциональности мозга, на что человекообразным нужно до 25 лет, а у автора все однослойное.

Самая главная психопатологическая беда автора - наличие сверхценной идеи, в которую он ни в чем не готов усомниться, что делает обсуждение с ним невозможными просто потому, что он не видит всего того, что может противоречить идее, т.е. его возможность воспринять доводы чрезвычайно ограничена, см. Идея-фикс. Это позволяет ему думать, что только он прав в идее, а все нейрофизиологи просто еще не дошли в понимании до нее. То, что он очень далек не только от математики, но и нейрофизиологии - достаточно очевидно.

 Действительно, вот эти утверждения уже говорят о том, что antonov_v_m очень далёк от реального положения дел: «Перцептроны и нейронные сети отвергли сами американцы Пайперт и Минский, доказавшие, что хаос подобных структур не способен сам собой упорядочиться. ... Теория распознавания образов предполагает, что работа мозга состоит из двух этапов: на первом этапе происходит распознавание ситуации, а на втором - принимается соответствующее решение. Мы пришли к выводу, что живой мозг сразу же принимает решения (без какого-либо распознавания), и саморегуляция синапса - тому подтверждение. ... Отличительной особенностью нейронных сетей, по нашему мнению, является приписываемая им способность анализировать ситуации и принимать решения. Говоря простым языком, в них прячутся, своего рода, гномы-анализаторы и гномы-менеджеры (нейроны-распознаватели и нейроны-управленцы). Ничего такого в мозге нет. … Напоминаю ещё раз, что слово "сеть" неприменимо в разговоре о мозге.»

О Минском и Пайперте было написано ранее, и работа нейронных сетей давно проверена на практике. Что касается «гномов-анализаторов и гномов-менеджеров (нейронов-распознавателей и нейронов-управленцев)», то их в нейронной сети нет и они там не нужны, как нет и неких строго разделённых этапов «распознавание — выработка реакции». Все деления процесса функционирования нейронной сети на строго специализированные части и этапы более или менее условны. Сеть переводит возбуждение на входе в возбуждение на выходе, и делает это всей своей структурой, просто по мере прохождения возбуждения от входа сети до выхода. Поэтому разделение процесса прохождения возбуждения на этапы понимается только в контексте этой общей функции, а не как присущее неким частям сети самим по себе. Например, мы разделяем тепло от лампочки и свет от лампочки, но с точки зрения физики — это всё электромагнитное излучение разной частоты. Приблизительно также и в нейронной сети: упрощённо говоря, нейрон на входе — это нейрон-распознаватель, тот же нейрон на выходе — это мотонейрон.

Конечно, вдаваясь в подробности, существует множество типов нейронов, а у каждого типа есть индивидуальные черты — например, конкретное количество связей и их архитектура в составе сети. Но эти отличия не принципиальны — все нейроны вносят свой вклад в перевод возбуждения, функционируя по одному и тому же принципу: приём и передача возбуждения. Вообще, делить сеть на части приходится для изучения работы мозга — изучать мозг как целое затруднительно, мягко говоря. В более общем смысле, любое разделение реальности на части более или менее субъективно, но в данном случае «более», так как «части» нейронной сети слишком функционально схожи и взаимосвязанны, чтобы приписывать им специфические функции как присущие им самим по себе.

***

Тем не менее, несмотря на ошибки, обвинять аntonov_v_m-а в том, что его модель работает по принципу «стимул-ответ» не совсем верно. аntonov_v_m пишет о том, что в его модели синапсы под влиянием рецепторного возбуждения изменяются — то есть его «модель мышления» подразумевает обучение. Но именно обучение и именно как изменение веса связи под стимулирующим влиянием возбуждения и отличает нейронную сеть от моделей функционирующих по принципу «стимул-реакция». То есть в нейронной сети «между» стимулом и реакцией есть этап обучения. То есть, по сути, в своей модели antonov_v_m описал принцип обучения нейронной сети (в упрощённом и искажённом виде, конечно).

«Синаптическая пластичность — это возможность изменения силы синапса (величины изменения трансмембранного потенциала) в ответ на активацию постсинаптических рецепторов[1]. Она считается основным механизмом, с помощью которого реализуется феномен памяти и обучения. Этот механизм характерен для всех организмов, обладающих нервной системой и способных хотя бы ненадолго чему-либо научиться.» Синаптическая пластичность. Википедия Также биологические нейронные сети — за счёт обратных связей, подразумевают сложную нейродинамику (в результате чего, например, можно вспоминать, планировать и т. п.), но означенного принципа обучения это не отменяет.

При этом биологические сети — как и организм вообще — развиваются, то есть их структура формируется в процессе взросления животного и изменяется в процессе дальнейшей жизни (например, растут новые связи между нейронами). Процесс развития нейронной сети и процесс её обучения в точности друг от друга неотделимы. В конце концов изменение синапса — это и изменение структуры нейронной сети (синапс — это часть нейрона, то есть часть структуры сети). То есть и процесс развития, и процесс обучения нейронной сети можно назвать и обучением, и развитием одновременно. К тому же и развитие сети, и обучение сети подразумевают сочетание наследственной детерминанты и влияния среды. Тем не менее разделять необходимо, иначе, например, получится, что искусственные нейронные сети не обучаются — ведь обучение там происходит только за счёт изменения весов связей.

Поясню написанное цитатой из своей статьи: «Однако точнее процесс мышления выглядит по-другому. В едином организме можно выделить два взаимосвязанных уровня самоорганизации. Это самоорганизация организма в целом, включая и нейронную сеть, в процессе чего развивается и поддерживается упорядоченная структура организма, и уровень самоорганизации активности нейронов в сети. То есть помимо того, что нейронная сеть как часть единого организма развивается и существует как диссипативная система, нейронная сеть как взаимосвязь нейронов также воплощает в себе диссипативную систему, через архитектуру и пластичность связей задающую общий контекст для упорядочения активности нейронов в ней. Таким образом, уточнение устройства нейронной сети сообразно среде в процессе обучения — это усложнение упорядоченной организации нейронной сети сообразно среде. Например, можно заметить, что активность мышц всегда взаимосвязана в едином порядке с воспринимаемым — от перистальтики, дыхания, сердечной деятельности и общего тонуса мышц, до поддержания равновесия, предметных действий и речи. И чем более опыт, тем более сложные зависимости в условиях распознаются, и тем сложнее порядок работы мышц.»

ответ

Наиболее полно и устройство матричного мозга и его работа отражены в учебнике "Мозг. Русская теория". А здесь, на этом форуме изложены лишь отдельные его черты, по которым трудно составить целостное представление.

ответ

По нашему мнению, у живого мозга нет "тормозных влияний", а есть - уменьшение сигнала управления, зависящее от ситуации (сменилась ситуация - изменился сигнал управления). Мы искали тормозные и релейные механизмы в мозге, но не нашли их там. А навязывать их ему - не входило в нашу задачу.

Ступенчатость сигнала управления достигается в двуступенчатом мозге (подробно об этом говорится в учебнике "Мозг. Русская теория). Достигается это путём включения мимики (мимических мышц) в систему управления.

автор: nan сообщение 43494:ца? 

Кстати, про утверждение, что эта "матрица" никакой вообще не персептрон, так в чем конкретно принципиальная разница? 

ответ:

Матричная структура мозга отличается от перцептрона и назначением, и устройством, и способом обучения, и работой. Перцептрон предназначен для распознавания; матричный мозг - для непосредственного управления. Различное устройство отчётливо видно при сравнении схем. Схема матричного мозга сравнительно легко реализуется электрическими средствами и особенно легко - с помощью компьютера (вычислительными методами). Реализация перцептрона - под вопросом. Матричный мозг - самообучается по воздействием одобрения/наказания; перцептрон нуждается в искусственном алгоритме. Работа матричного мозга - в формировании непосредственного сигнала управления мышцами; перцептрон такой сигнал не создаёт в принципе. Ктомуже, у матричного мозга обучение и работа - совмещены, а у перцептрона - разделены.

автор: nan сообщение 43494:

Ни в каких его представленных текстах нет никакого корректного обоснования...

ответ:

Полноценное обоснование устройства и работы матричного мозга представлено в работе "Мозг. Русская теория". Здесь, на форуме - только фрагменты.

автор: nan сообщение 43494:

зато есть признаки подтасовки типа фото гистологической структуры мозга, где автор модели утверждает некие микротрубки.

ответ:

Микрофотография, на которую намекает nan, взята из монографии Д. Хьюбел "Глаз, мозг, зрение", стр23. В чём подтасовка - не понятно. 

О самих микротрубочках подробно говорится в пункте "Микротрубочки и микрофиламенты" монографии Г. Шеперда "Нейробиология 1", стр. 93, 94:

"...микротрубочки (20...30 нм), нейрофиламенты (10 нм), микрофиламенты (5 нм)... Микротрубочки состоят из длинных неразветвлённых трубочек разной длины... Наличие микротрубочек и нейрофиламентов в аксонах и дендритах естественно навело на мысль, что они, возможно, участвуют в транспорте разных веществ, и множество биохимических работ... подтверждают это представление."

. 

>>Микрофотография, на которую намекает nan, взята из монографии Д. Хьюбел "Глаз, мозг, зрение", стр23. В чём подтасовка - не понятно.

Смотрим, в чем заключается подтасовка прямо у Д. Хьюбел: Глаз, мозг, зрение: "Рис. 11. ... В аксоне видны (в поперечном сечении) органеллы, называемые микротрубочками."

В поперечном, Карл! а не продольном. И они там упомянуты единственный раз как локальные органеллы, не имеющие функции придачи возбуждения. А в вашем тексте: "Диаметры микротрубочек, действительно, крайне малы, но длина их может быть достаточно большой. Нужно иметь в виду, что поставляется управляющая жидкость от мозга (от головы) до самых отдалённых мышц животного, на расстояние метра и даже более (представьте себе – у слона или у жирафа).". Это ли не подтасовка, высосанная из пальца? Кстати, ссылку на ваш текст я давал, так что не нужно говорить, что с ним незнакомы, там нет никаких корректных обоснований, кроме вот таких отрывочных измышлений. Вот такие там перлы: "Элементарные нервные волокна, по микротрубочкам которых перемещается управляющая жидкость, принято называть нейронами".

>>у живого мозга нет "тормозных влияний"

В той же книге Хьюела: "Будет ли данный синапс возбуждающим или тормозным, зависит от того, какой в нем высвобождается медиатор и каковы здесь рецепторные молекулы. Ацетилхолин, самый известный медиатор, в некоторых синапсах оказывает возбуждающее действие, а в других — тормозное, он возбуждает мышцы конечностей и туловища, но тормозит сокращения сердца." В отличие от микротрубочек тормозное влияние в тексте упоминается постоянно, множество раз.

Про микротрубочки кто только не пишет из серьезных исследователей просто потому, что капилляры и другие трубчатые образования - очень распространены не только в мозге, а в любой ткани, но никто из них не пишет про них как о передатчиках возбуждения между нейронами.

>>Реализация перцептрона - под вопросом.

Еще одно одиозное, если не сказать наглое утверждение... Персептрон реализован тысячи практических раз как схемотехнически, так и программно, в том числе в демоверсии двух видов распознавателей на этом сайте: 1 и 2. Сказать такое - просто продемонстрировать свое, прямо скажем, дремучее невежество. Но само по себе невежество, неискушенность - не порок и не порицается на этом сайте, а вот активно зомбирующие доверчивых людей невежество, с подтасовками и выраженной идеей-фикс - зло, несовместимое с участием на сайте.

>>Перцептрон предназначен для распознавания

Персептрон - модель, а его реализация в мозге вовсе не предназначена для распознавания, нет такой самоцели, а является промежуточным и универсальным элементом для адаптивного управления.

Путаница в определениях, точнее попытки оправдаться, вывернуться - характерны для фиксанутого и именно это препятствует конструктивному, а не деструктивному обсуждению. Препирательства такого стиля могут быть бесконечны, и они никому не нужны кроме самого фиксанутого. Важные утверждения без малейших обоснований, тем более настойчиво повторяющиеся (он пытался открыть еще две темы для такого же самопиара) являются грубейшим нарушением правил обсуждений. Поэтому я прекращаю возможность оставлять сообщения аntonov_v_m здесь. Его модель была рассмотрена внимательно более, чем того заслуживает, это вполне достаточно, а навязывать свои представления никто здесь не будет.

Явный этап обучения не является обязательным критерием для реакций типа "стимул - ответ". В самом совершенном мозге такие реакции есть и активно используются, это характеризует все первичные и вторичные зоны мозга. Так организуются микродвижения глаз, базовая регулировка гомеостаза, баланс нейромедиаторов и гормонов, адаптивный стресс и многое другое. Главное отличие - отсутствие мотивирующей компоненты, того, что направляет развитие именно такой, а не иной реакции индивидуальной системой значимости. Но вопрос далеко выходит за рамки этого обсуждения.

Существует множество активностей, не связанных непосредственно с рецепторами. Это видно при наблюдении на визуализаторе: области мозга активируются достаточно локально, не охватывая весь мозг от первичной зоны до эффекторов. В самом деле, мы может мыслить, не совершая действия, и наши мысли могут продуцировать другие мысли, а не непосредственная сенсорика внешнего.

Рассмотрим ячейки Бенара, на примере которых можно понять особенности нейронных сетей как самоорганизующихся систем. Ячейки Бенара. Википедия

В интенсивно нагреваемой воде в динамике её молекул возникает упорядоченность. В некоторый момент движение воды приобретает форму цилиндрических валов, которые переносят нагретую жидкость вверх и остывшую вниз (есть и другие проявления «ячеек»). При увеличении температуры структура усложняется — каждый вал распадается на два вала меньшего размера и в пределе возникает турбулентный хаос. Движение мириадов молекул воды никто специально в валы не организовывает, возникновение в воде упорядоченной макроструктуры — это самоорганизация (некоторые подробности почему происходит самоорганизация — в статье).

Несмотря на то, что в воде может быть сразу несколько валов, ни один из них, естественно, не существует сам по себе, вал нельзя «вытащить», разделить их перегородками, не разрушив порядок, вся система — это одно неделимое целое. Поэтому если изменить количество воды в сосуде, изменить форму сосуда или изменить интенсивность нагрева, то и упорядоченная структура воды тоже будет меняться, хотя и нелинейно. Например, плавное изменение означенных факторов вначале заметно не повлияет на структуру движения воды — просто будет более или менее плавно изменяться форма валов или их динамика, так как до определённого момента силы гомеостаза будут поддерживать существующий порядок, противостоя возмущениям. Затем, сразу и более или менее со всех концов системы, то есть нелинейно — неадекватно плавному изменению управляющего фактора, произойдёт переход к новой упорядоченной структуре или к хаосу.

«Сразу и со всех концов» — потому что флуктуации, ведущие в конечном итоге к разрушению старого порядка, постепенно нарастают во всех концах системы, и в какой-то момент изменяется порядок сразу всей системы как целого. Поддержание же своего упорядоченного состояния диссипативной системой, несмотря на интенсивное взаимодействие со средой, — это гомеостаз. Который, естественно, также не есть функция неких отдельных частей системы.

***

В принципиальном смысле то же происходит и в организме в целом, и в нейронной сети в частности, которые также являются самоорганизующимися системами. Архитектура сети — это «форма сосуда», которая задаёт общий контекст самоорганизации (синхронизации) динамики нейронов. Сигналы рецепторов при этом возмущают порядок активности нейронов, но не разрушают его — приблизительно так же как малые изменения внутренних или внешних факторов изменяют форму или динамику валов в воде, но не разрушают их. Тем самым поведение — то есть порядок активности всех мышц и желёз — изменяется, но его общий смысл и само наличие упорядоченности остаётся неизменным. А изменения связей нейронов под стимулирующим воздействием возбуждения позволяет нейронной сети запоминать возникшие изменения. То есть изменять свою структуру, задавая новый и всё более точный относительно внешних условий контекст для дальнейшего уточнения порядка активности мышц и желёз. При этом, насколько мне известно, в нервной системе человека нет совсем не обучаемых нейронов (хотя возможности к обучению разных нейронов в сети неодинаковы, и вообще в формировании опыта много непонятного).

Происходящие в сети процессы точно так же зависят от всех факторов системы как и в случае упорядочения воды. Поэтому так же как валы в воде неотделимы друг от друга, в том же смысле нет отдельных процессов в нейронной сети, активность каждого нейрона всегда более или менее зависит и от среды, и от активности всех остальных нейронов сети. В ином случае в нейронной сети должен быть гомункулус, который будет знать, когда надо подключать отдельные части нейронной сети — но тогда все вопросы просто переносятся на уровень устройства этого гомункулуса. 

А более древние структуры мозга не являются такими "гомункулусами" по отношению к более молодым? Насколько верна такая аналогия?

Суть работы нейронных сетей — за счёт архитектуры связей нейронов и весов их связей, преобразовать входящее возбуждение в исходящее, по мере его прохождения по сети от входа к выходу. Возбуждение поступая на нейроны на входе распределяется по всей сети, так как все нейроны в сети взаимосвязаны. В результате возбуждение обобщается на нейронах сети само с собою (конвергенция и дивергенция). Из-за чего в контексте структуры сети какие-то составляющие рецепторного возбуждения масштабируются, какие-то нивелируются, то есть в условиях выделяются некие «эффективные» признаки, что соответствующим образом отражается на выходе сети.

Это, например, значит, что ближе ко входу сети эти признаки ещё выделены слабо, то есть нижние слои сети распознают в условиях что-то общее и приблизительное, а верхние уже уточняют всё окончательно. То есть уровень абстракций постепенно повышается от уровня к уровню (абстракций — потому что из «реального» рецепторного сигнала выделяются некие составляющие). Очевидно также, если сеть изменить — например, изменить архитектуру сети, веса связей или количество нейронов, то возбуждение будет обобщаться само с собой уже по-другому. То есть сеть всегда работает как одно целое, любое изменение более или менее отразиться на выходе. Почему, например, если к одной нейронной сети присоединить ещё одну сеть, то получится одна новая нейронная сеть.

В то же время разные нейроны в зависимости от их положения в сети, их связей с другими участками сети и конкретной конфигурации рецепторного сигнала, по-разному участвуют в преобразовании рецепторного возбуждения. То есть в сети есть участки разного опыта в составе общей функции. Например, как написано выше, ближе ко входу сети будет один опыт, ближе к выходу другой.

Но тем не менее понятно, что ни один нейрон сам по себе не обладает опытом распознавания чего-либо общего или частного — все нейроны только принимают и передают возбуждение, а те или иные «специфические» функции возникают у них только в составе конкретной сети, и только потому, что нейроны находятся в той или иной её части. Следовательно, специфические внутрисетевые функции любого нейрона принадлежат всей сети сразу и не могут быть строго на этом нейроне локализованы. Другими словами, можно говорить только о большей или меньшей локализации какого-либо опыта/функций в пространстве сети, но не о строгом его разделении. Обратные связи добавят сети связности, усилив взаимозависимость нейронов.

Как видите, в сети нет места для гомункулусов, нейронная сеть всегда одно целое.

***

То же происходит и в ячейках Бенара, и в любой самоорганизующейся системе. Возникший порядок в динамике элементов задаёт элементам специфические внутрисистемные функции, которые элемент не имеет сам по себе. Которые «размазаны» по всей системе, так как в ином случае упорядоченная организация системы не смогла бы поддерживаться.

Другими словами, в упорядоченном состоянии у системы возникает «новое качество» — система превращается в «целое», так как, чтобы динамика элементов системы была согласованной, они должны быть обобщены. Что в принципиальном смысле можно связать с появлением сознания, эмерджентность которого — это эмерджентность порядка, обобщающего уровень отдельных элементов системы. Например, считается, что механизм внимания связан с селективной синхронизацией ансамблей нейронов. К примеру, нейроны зрительной коры, рецептивное поле которых содержит объект внимания, синхронизированы сильнее, чем нейроны, реагирующие на объекты вне внимания.

Кошкин, где об этом почитать по подробней? Дай ссылку, плиз. Или сам напиши, у тебя отлично получается.

С самоорганизацией получилось слишком загадочно. Самоорганизация как этап перехода от хаоса к порядку или как динамика уже самоорганизованных систем (гомеостаз) ограниченно предсказуема ввиду сильной нелинейности, но принципиальных загадок в самоорганизации нет. Интенсивное взаимодействие системы со средой приводит систему в состояние неравновесия. Это значит, что в системе постоянно возникают флуктуации, вызывающие активную хаотическую динамику элементов системы. В какой-то момент на разных концах системы случайно возникают совпадающие сильные флуктуации, предположим, закручивающие движение элементов в одну сторону. Тем самым они подчиняют себе динамику окружающих элементов, те других, и так все элементы системы фактически одновременно и со всех концов системы приходят в упорядоченное движение. К которое, естественно, коррелирует с условиями: интенсивностью взаимодействия со средой, свойством самих элементов, формой сосуда, если речь о жидкости, и т. п..

В итоге теперь уже все другие флуктуации, возникающие в системе и противоположные возникшему движению, будут подавляться количеством двигающихся согласованно элементов. Тем самым, за счёт взаимодействия со средой, поставляющей энергию, порядок будет поддерживаться сколько бы большой система ни была. При воздействии на систему, за счёт того, что её существование построено на хаосе, неравновесии и флуктуациях, реакции системы будут нелинейными, то есть реагировать система будет с одной стороны упорядоченно, с другой, в зависимости от того, как сложится ситуация с флуктуациями в данный момент — что просчитать невозможно.

Увеличение интенсивности взаимодействия со средой приведёт к увеличению количества и силы флуктуаций, соответственно, к разрушению старого порядка и хаосу или к появлению нового порядка — более сложного, так как, помимо «случайной», «закономерная» составляющая самоорганизации — это распределять энергию по системе, и простой порядок с этим не справится. Есть более частные составляющие явления самоорганизации, но принципиально они описанного не меняют.

То есть ничего загадочного, «сознательного» в самоорганизации как таковой вроде бы нет, кроме «подозрительного» совпадения эмерджентности порядка и эмерджентности психического восприятия, и того, что и упорядоченная активность нейронов, и сознание есть в мозге. Плюс ещё одно «подозрительное совпадение» в виде описанной выше ситуации с селективной синхронизацией нейронов. Если сознание связано с упорядочением активности нейронов, то самая яркая часть сознаваемого очевидно должна быть связана с наиболее синхронизированными нейронными ансамблями. Что и наблюдается в действительности.

В итоге вывод, вероятно: сознание как внутренний системный фактор взаимодействия множества элементов, «качественно» отличается от любой наблюдаемой реальности — системы можно наблюдать только снаружи. И потому в той же степени «качественно», то есть «принципиально», невозможно приблизиться к пониманию «сущности» сознания.

Синхронизация (нейробиология), а также статья — там своими словами, и её обсуждение — там есть другие ссылки.

Кошкин, дайте какую-нибудь математическую модель нейросети для меня (поиграть).

У меня нет ничего на примете. Но, думаю, всё есть в книге «Нейронные сети. Полный курс» — ссылка на неё есть на первой странице этого обсуждения.