Моделирование нейронных сетей мозга

Изложение будет крайне лаконичным с учетом огромного количества поясняющих материалов по теме организации механизмов индивидуальной и произвольной адаптивности на сайте.

В отличие от т.н. “искусственных” нейронных сетей, которые не имеют ничего общего с принципами организации природных нейросетей мозга, предлагаемая Модель Нейронных Сетей (МНС) эмулирует реальные принципы организации и развития нейронных структур мозга.

Если искусственные нейросети (любых известных видов) представляют собой идеальный многослойный персептрон со связями между рецепторами и первым слоем типа все со всеми и ничего кроме очень хорошего распознавания заранее обученных образов не могут, а попытка придать им функции личностной оценки и произвольности приводят к тупику, то МНС является основой для целостной концепции организации индивидуальной произвольности  МВАП .

МНС основана на обширных научных данных исследований, в основе формализованных в виде подборки аксиоматики по нейросистемам, но самым главным является схемотехнический подход, позволивший выстроить систему взаимосвязанных принципов самоорганизации нейросетей мозга, что ускользает от любых исследователей, не имеющий достаточный опыт и навык схемотехнического мышления.

МНС как раз и разработана для того, чтобы такой навык развить в специфическом направлении схемотехники нейросетей. На занятиях по этой схемотехнике возникла актуальная задача наглядной демонстрации совокупности принципов, которые формулируются последовательно и доказательно на этих занятиях. Эту актуальность выявил участник под логином Palarm и если бы не он, модели бы не было, за что ему – особая благодарность. В целом МНС позволяет зримо сопровождать и другие занятия по освоению системы  МВАП .

Перед тем как приступить к описанию модели, с ней легко можно ознакомиться на странице Моделирования нейронных сетей, прочтя “Быстрое знакомство”.

Далее будет важное обоснование адекватности МНС реальным нейросетям природного мозга в принципиальной основе, не зависящей от способов реализации.

Почему определяюще важен схемотехнический подход

Чем отличается схемотехническое мышление от обыденного? Вот простое сопоставление.

Человек пользуется гаджетом, не зная как он устроен, для него это неважно. Он просто доверяет производителям, но, как следствие, он ничего не может сделать даже в случае незначительных отклонений работы, он полностью бессилен потому, что не знает как устроен механизм взаимодействий причин и следствий составляющих компонентов. Знание такого механизма или схемы работы и оперирование этим для различных задач и проблем – и есть схемотехническое мышление. И это относится не только к электротехнике, а к любым схемам последовательностей причин и следствий.

Предположим, что человеку, не склонному к схемотехническому мышлению поручено изучить работу компьютера с задачей суметь создать такой же. Это – хорошая аналогия с задачей изучить мозг. Исследователь становится очень хорошим специалистом по тому, что находится в компьютере и какие проводки откуда и куда идут. Он снимает ЭЭГ работы системного блока и даже вводит щуп для получения наводок в непосредственной близости к отдельным элементам, документируя явные отличия режимов работы. Он делает предположения об устройстве элементов, разбирая их под микроскопом. Он пишет научные отчеты и строит теории, но задача никак не дается. Все его предположения основаны на обособленных фактах, не являющихся системой и поэтому разные исследовали предполагают очень различные гипотезы, в силу своей фантазии и личным особенностям. Но все они далеки от адекватности реальности.

Теперь самое интересное. Этим исследователям попался специалист – схемотехник компьютерных систем. И тут начинается самое чудесное: все попытки схемотехника что-то объяснить исследователям компьютера упираются в стену непонимания, ведь те не потратили время на освоение принципов конструирования компьютеров и не понимают даже самые простые вещи и принципы.

Из этого, если задуматься, следует очень много очень важных выводов…

О сути схемотехнического подхода есть статья: Особенности понимания схемотехнических систем и проводятся занятия: Эксклюзивные занятия по  МВАП : СХЕМОТЕХНИКА.

Система основополагающих принципов

Краткий перечень основных схемотехнических принципов, которые взаимодействуют в системе нейросети:

• Принцип превышения порога – встречается повсеместно.
• Компарирование или принцип использования результата сравнения – важнейший для организации управляющих последовательностей, связанный с принципом превышения порога.
• Обратная связь, положительная и отрицательная.
• Отсюда напрямую следуют принципы условия автогенерации и затухания. И прямое использование: если вы видите автоколебания любого вида и любой реализации, то там есть положительная обратная связь. 
• Закон Ома, как это ни покажется странным, применим для любых систем, где есть движущий потенциал, есть то, что им движется и есть сопротивление (или обратное явление проводимости) этому движению. 
• Принцип выделения составляющих элементов воздействующих факторов (чем на большее число составляющих разбить параметр восприятия, тем точнее и правильнее восприятие) так же дает практическое правило: самое главное – выделить важные признаки в окружающем, чтобы не махать кулаками вслепую.
• Принцип наиболее универсального распознавания – так же незаменим для эффективных систем управления и он показывает, как следует обучаться, чтобы не пропустить важные звенья понимания, без чего остается только верить уже готовым рецептам или пробовать методом тыка.

Эти строчки несхемотехниками воспринимаются как бессмыслица, как очевидный для них абсурд, но то, как возникают и как обеспечивают причинность эти принципы очень наглядно и последовательно показывается на занятиях. И, самое главное, использование этих принципов позволяет целостно и корректно обобщить огромное множество данных исследований в достаточно определенную модель того, что происходит в нейросетях.

Для нейросети получается следующая картина.

1. Нейрон как специализированная клетка сформировался на основе имевшихся ранее рецепторных клеток, которые способны выдавать электрический сигнал на раздражение и на основе эффекторных клеток, которые в ответ на электрический сигнал совершают некое действие (мышечное сокращение или продуцирование гормонов). Нейрон стал промежуточным элементом управления на основе схем непосредственного воздействия рецепторов на эффекторы.

2. Как и любая клетка, нейрон проходит стадию развития до созревания, когда он становится способен проявлять нужную функциональность, а именно: под воздействием электрического сигнала (потенциала на его мембране, запускающего регенеративную трансформацию) он выдает так же электрический сигнал и в этом похож на функции электротехнических устройств управления. И, так же как и в электротехнике в случае с чувствительными элементами, он оказывается в нестабильном состоянии, если его входы ни с чем не соединены. Это похоже на коромысло чувствительных весов, на концах которых нет никаких грузов. Такой нейрон проявляет спонтанную электрическую активность, что подтверждается данными исследований. Это – очень важное свойство.

3. Когда нейрон формируется, он выпускает отростки в сторону рецепторов, проявляющих электрическую активность и, тем самым, характерно меняющим химический состов вокруг. Эти отростки или дендриты непосредственно касаются аксонов рецепторов и на месте контанта возникают синапсы – потенциальные электрические соединители. Это – первый этап адаптивности к условиям среды, которая проявляется в активности рецепторов.
При этом образующиеся потенциальные связи перекрываются для соседних нейронов слоя. Это – очень важный момент: в результате возникают не единичные нейроны-детекторы, а сразу ряд детекторов, частично или даже полностью дополняющих один другого. В отличие от классических схем управления, где каждое звено оказывается единственным и его повреждение - фатальным, в нейросети возникает множественное дублирование. В представленной модели это осуществляется заданными профилями вкладки SET” где нейроны перекрывают связями соседей.

4. Синапсы постепенно увеличивают электрическую эффективность в случае, если по обе стороны их щели есть электрическая активность. Это – простейшее условие образования связи. Нейрон на стадии пейсмеккерной активности самопроизвольно генерирует сигналы и если это совпадает с активностью рецепторов, связанных с ними, то нарастает эффективность связи (за счет увеличения количества нейромедиаторных пузырьков, но природный механизм не принципиален). Важно то, что процесс идет не моментально, а требует времени и за это время связь усиливается.

5. Из-за двойственной роли нейронов, он выполняет роль эффектора для предыдущего слоя рецепторов и, одновременно, роль рецептора – для последующих.

6. Во всех слоях рецепторов и эффекторов оказалось эволюционно эффективно наличие дополнительных нейронов между ними, которые обеспечивают взаимное торможение активных соседних нейронов (боковое или латеральное торможение). Это дает качественные преимущества при специализации.

7. Следующий слой созревает после того, как специализировался предыдущий. Это – принципиально важно. В природной нейросети каждый последующий слой имеет критический период развития, превышающий предыдущий потому, что частота стимулов на этом уровне оказывается значительно меньше (и еще по некоторым причинам).

Дополнительно важно то, что все выходные сигналы любых рецепторов идентичны (как в природной нейросети, так и в МНС) и сами по себе ничего не кодируют, различаясь лишь продолжительностью активности и своевременностью. Их назначение в том, откуда они вышли и куда пришли, в точности, как сигналы в цифровых устройствах.

Эта концепция автоформирования специализации.

Это все и моделируется в МНС.

Как работает МНС

Любые изменения в интерфейсе страницы тут же сохраняются без перезагрузки и сразу же отображается результат изменений.

Хотя свою модель можно показать другому, просто сообщив ее имя для загрузки, другой не сможет ее модифицировать и ему следует сохранить модель как свою, под другим именем, после чего будет доступна ее функциональность.

Первой идет таблица “Матрица сенсоров”, которая одна для всех слоев. Для упрощения здесь не реализован механизм латерального торможения, который обеспечивает изменение чувствительности сенсоров и контраст профиля активности.

В матрице сенсоров можно нащелкать сочетания активных (зеленых) сенсоров и запомнить этот образ (число образов не лимитировано). Смысл того или иного сенсора можно условно задать любой, например, несколько верхних – зрительный образ, а внизу – слуховой и т.п.

Следующей идет таблица связей. С помощью вкладки SET с выпадающим списком можно задать уже готовую конфигурацию связей или сделать свою, вводя в каждой ячейке номер сеанса, затем номер нейрона в слое и задавая эффективность (вес) связи сразу.

Матрица слоя нейронов изначально вся серая, что говорит о несозревших нейронах, не готовых к специализации. Можно нащелкать те, которые задумано сделать созревшими (нейроны в слое так же имеют не одинаковое время созревания, что играет определенную роль) или же, щелкнув по вкладке ВСЕ, сделать готовыми всю матрицу.

В случае задания сразу весов связей, будут тут же получены результаты, которые можно увидеть в графической интерпретации системы внизу. В этом случае можно формировать готовые конфигурации распознавания образов и послойно строить схему управления.

К сожалению, из соображений компактности общее число возможных связей ограничено 60.

Или же можно связи не задавать, а запустить режим обучения, нажав кнопку “Начать обучение” после чего начнется отсчет времени обучения и буду показываться происходящие изменения. Обучение можно прервать в любое время той же кнопкой или оно само остановится когда все нейроны специализируются. При этом каждый специализировавшийся нейрон будет прекращать обучение после некоторого превышения своего порога срабатывания, что будет означать, что за время обучения связи в достаточной степени стали эффективны в той мере и пропорции своих весов, которые обеспечивают распознавание данного профиля активности на входе нейрона.

Активные нецйроны в сети взаимно подтормаживают соседние, и степень такого влияния можно оптимизировать, задавая величину “Взаимное торможение соседей”. Это довольно малоизученный, но очень значительнвый фактор.

Так же можно задавать общий порог срабатывания нейронов в слое, который в природе зависит от некоторых факторов и очень важен для точной работы нейросети (именно поэтому особенно тщательно поддерживается постоянство среды мозга).

Если теперь изменять активность на матрице сенсоров, будет видно, какие именно функции распознавании сформировались.

Наиболее приближенные к реальности результаты можно получить, если задать слой перекрывающихся связей, задать несколько образов сенсорной матрицы и во время обучения начать переключать их, имитируя реальное появление тех или иных образов.

В отличие от персептронных моделей искусственных нейросетей, здесь не могут задаваться отрицательные (тормозные связи), что соответствуют природной нейросети при формировании профиля распознавания в первичных зонах. На занятиях подробно пояснялись принципы того, почему именно так происходит (принцип сита, котором можно просеивать только более мелкое, чем диаметр отверстия т.е. сито обладает только положительным параметром селекции, но набор разных сит обеспечивает селекцию нужной фракции).

Алгоритмы

Вот как происходит процесс обучения.
При запуска начинает работать таймер 1 сек (чтобы было видно как проходит обучение и, в тоже время, не спамился сервер частыми запросами). Между активными рецепторами и эффекторами с имеющимися потенциальными или недозавершенными связями начинают добавляться порции веса связи, равными 0,01 условной единицы (относительно единицы порога срабатывания), что видно на графической части модели в низу.
как только общий вес связи (показывается в кружке нейрона) превысит порог срабатывания на некую величину (в модели в 1.5 раза), то данный нейрон теряет способность к дальнейшей специализации, переставая быть пейсмеккером, а другие продолжают обучение.
Таким образом, нейрон фиксирует тот профиль своего возбуждения, который был достигнут и становится детектором сочетания активностей своих рецепторов.
Когда перестанут изменяться состояния всех нейронов в слое, обучение прекращается. Или оно может быть прервано повторным щелчком по кнопке запуска обучения.

Вот как организовано взаимное торможение соседних нейронов в слое.
Эффект взаимного торможения возникает когда нейрон становится активным и начинает влиять торможением на своих соседей (в природе это организуется за свет "вставочных" тормозных нейронов).
Это - равновесный процесс и поэтому его алгоритм выполнен в виде итерации постепенного взаимовлияния в цикле 20 проходов с постепенным увеличением величины взаимного тормозного влияния. Процесс итерации сходится при условии не превышения величины общего тормозного взаимовлияния и поэтому оно оптимизировано пропорционально заданной величине "Взаимное торможение соседей", а так же величине дискрета каждой итерации, который вычисляется из максимальной величины взаимного торможения, деленной на 20 (число итераций).

Модель не может эмулировать все условия реального появления стимулов и обучения и поэтому функция латерального торможения минимизирована. Было бы более естественно, если бы оно организовывалось уже на уровне сенсоров и учитывало последовательность появления активностей: тогда первые активности имели бы преимущество. Но в модели важно организовать взаимное торможение для статической картины активностей.

Итак, Моделирование нейронных сетей.