Тема форума: «Нейросимулятор»

Попробовал сделать простейшую однослойную сеть по аналогии с природной реализацией. Сеть состоит из сенсорной матрицы 3х3 и одного слоя нейронов.

Пока что реализовано:

1. Установка чувствительности сенсоров
2. Установка порога срабатывания нейрона
3. Установка логики нейрона И/ИЛИ

еть настроена на распознавание простейших примитивов типа «прямой отрезок» - 6 видов: 3 горизонтальных и 3 вертикальных. Возможно расширить функциональность сети простым добавлением данных (без перепрограммирования):

1. Увеличить размерность матрицы – теоретически до бесконечности
2. Научить ее распознавать оставшиеся начальные примитивы (наклонные линии, дуги) – в принципе что угодно, но начального уровня, потому как сеть однослойная

Визуальная оболочка не делалась, хотя это не сложно прикрутить для большей наглядности. Но пока был интерес просто попробовать сделать что то реальное и проверить правильность своего понимания: в чем отличие природной реализации нейросети от того, что сейчас называют нейросетями.

Дальнейшее предполагаемое развитие:

1. самообучение
2. многослойная сеть
3. автоматический рост сети

Среда разработки - MSSQLServer. Просто он был под рукой и не хотелось заморачиваться с визуализацией. Кроме того, данные по весам синапсов и настройкам надо где то хранить, а сама СУБД кроме хранения подразумевает и обработку данных на сервере через T-SQL и триггеры. Я изначально предполагал минимум кода на клиенте, кроме отправки данных (внешних воздействий) и получение отклика – как оно и есть в реальности. Пока что клиентского кода вообще нет, удалось простейшую логику реализовать на одном триггере и свойствах таблиц.

Таблицы

Sensor_layer_1 - сенсорная матрица. В ней кодируются данные сенсоров.

Поля таблицы:

• ID_R(int) – внутренний ключ таблицы
• R(smallint) – рецептор. Принимает значение внешнего сигнала в виде целочисленных положительных и отрицательных значений.
• Limit_sensor(smallint) – задает чувствительность сенсора в виде целочисленных положительных и отрицательных значений.
• AKS_sensor(bit) – выдает реакцию сенсора в виде двух значений: 0 – нулевой сигнал, 1 – не нулевой сигнал.

Neuro_synapse – данные по весам синапсов нейронов и ключи для связи с сенсорной матрицей и нейроном. Эта таблица вместе с таблицей Neuron реализуют функционал нейрона. Сделал 2 таблицы из соображений оптимизации схемы БД, можно было нейрон реализовать в одной, но это не совсем по фэншую было бы (повторяющиеся данные).

Поля таблицы:

• ID_S (int) – внутренний ключ таблицы
• ID_R (int) – внешний ключ таблицы для связи с Sensor_layer_1
• ID_N (int) – внешний ключ таблицы для связи с Neuron
• Snp (smallint) – вес синапса в виде целочисленных положительных и отрицательных значений.

Neuron – нейрон, вернее та его часть, что реагирует на внешние воздействие.

Поля таблицы:

• ID_N (int) – внутренний ключ таблицы
• Limit_neuro (smallint) – задает порог срабатывания нейрона в виде в виде целочисленных положительных значений.
• AKS_neuro (bit) – выдает сигнал с нейрона в виде двух значений: 0 – нулевой сигнал, 1 – не нулевой сигнал.

Проверить работу сети можно при помощи скрипта SQLQuery_1. Он подает сигналы на матрицу на ее рецепторы 1, 2, 3 что означает примитив «горизонтальная прямая». Так же обнуляет все остальные рецепторы сенсора. Потом через «Select…» выводит данные по таблицам. В итоге видим, что если подать на эти три входа сигнал в 2 единицы, что соответствует предустановленной чувствительности сенсоров – сработает нейрон с ID_N=1 - на выходе (AKS_neuro) получим 1. Это работа логики И. А вот если поставить порог срабатывания нейрона ID_N=1 не 3, а 1 – то получим логику ИЛИ, так как для срабатывания будет достаточно потенциала от одного синапса, а не трех.

То есть порог срабатывания нейрона (Limit_neuro) задается исходя из суммы получаемых на его синапсы весов, что позволяет легко переобувать его с И на ИЛИ просто меняя его порог. А количество синапсов нейрона задается в таблице Neuro_synapse –здесь через связь «многие ко многим» задаются отношения таблиц синапсов и сенсоров к нейронам, то есть их связи. Так как одна запись в таблице сенсоров, синапсов и нейронов формирует соответственно один рецептор, синапс, нейрон – то простым добавлением записей можно легко масштабировать сеть.

PS:

В описании много непонятного для тех, кто не работал с СУБД, но объяснение терминологии слишком далеко увело бы от сути. Если будут вопросы, постараюсь перевести с птичьего на человечий. А пока для начала интересно, что думает Nan по этому поводу – насколько правильное попадание в его фэншуй.

Nyeyrosimulyator.rar

Syensornaya_matritca___svyazi.png

Народ затруднится с запуском... У меня тоже нет оболочки MSSQLServer и не хочу ее ставить. По тексту вижу sql-запросы :)

Тогда придется больше картинок и видео с захватом экрана. Вот так выглядят забитые таблицы для распознавания примитива линия (1-2-3 сенсоры).

А вообще появилась наконец возможность более предметно разговаривать. Видимо придется переводить БД на локальную версию кодить логику и прикручивать визуализацию.

Sensor_layer_1 - в записях 1-2-3 (поле ID_R) видим, что на рецепторы (R) поступили сигналы с уровнем 3, что равно порогу срабатывания сенсора (Limit_sensor) и он сработал, выдав True (AKS_sensor). Это срабатывание выполнил триггер, реагирующий на изменение данных в поле (R) - он записал уровень 1(True) в поле выхода сенсора. И он же отправил в таблицу синапсов (Neuro_synapse) этот же уровень с весом 1 (пока не заморачиваемся дроблеными весами) в ее поле (Snp). Там он нашел нужные записи для обновления по кодам ID_N и ID_R - это таблица связей. ID_R - код записи таблицы сенсоров, ID_N - нейронов. И после этого тот же тригер сложив эти три веса и сравнив их с уровнем порога нейрона (Limit_neuro) в его таблице прописал на его выходе (AKS_neuro) уровень 1(True) - вот и вся примитивная логика. Но уже она позволяет играться с чувствительностью сенсоров, порогами нейронов и связями между нейронами и матрицей - и тем самым настраивать сеть на распознавание примитивов.

Реализация переключения режима нейрона (И/ИЛИ) делается очень просто: нужно лишь поставить его порог 1 - тогда сумма весов синапсов всегда будет его открывать - стало быть это ИЛИ. А если порог больше 1 - тогда нужно соответствующее кол-во синапсов с весами не меньше 1.

Nyeyrosimulyator_1.rar

Да, в таком виде это никого не затронет, а визуализировать лучше всего средствами серверного формирования html Если ты всерьез захочешь написать демо, я помогу его так реализовать и выложить на сайте.

Но, м.б. это пока еще преждевременно потому как будет еще немало очень интересных и важных следствий из схемотехническуого подхода, которые однозначно показывают те или иные принципы реализации, но мы пока застряли в самом начале, не говоря про то, чтобы описывать практически полезные следствия организации механизмов психики.

Просто все больше прихожу к выводу, что разобраться с работой нейросети не получится иначе как реализовав ее прототип. Вот например как распознавать простейшие примитивы уже почти очевидно, но как потом собрать их до кучи, из отдельных отрезков нужные фигуры, чтобы отрезки "склеились" нужными местами друг с другом? Толщины, размытости, яркости, цвета - про это уже говорил, смутно вроде бы представляю, но вот именно что "вроде бы".

Я представляю пока себе это так: экран-матрица, по нему водишь мышкой, рисуя примитивы а потом и фигуры - рядом другой экран где выводится распознанный примитив/фигура + тех. информация в виде таблиц, графиков, показывающая как это происходит. На это можно навернуть самообучение - проецировать на матрицу примитивы с разной периодичностью и смотреть как нейросимулятор их учится сам распознавать - и что, какой минимум для этого нужен. Тут вообще можно исследования замутить, определяя мин. условия при которых происходит уверенное распознавание: с какой частотой и степенью хаоса, за какое время и с какой точностью можно обучиться.

Да пофигу. Я думал, что можно в принципе к удаленному серваку подрубаться, как мы это делали с нашими магазинами, но это не камильфо - открывать сервак. Можно было бы локальную БД юзать, тот же Access через ADO, но если можно сделать симулято на сайте с интерактивным интерфейсом - будет еще прикольнее. Только насчет БД не понял - ты имеешь в виду перевести ее на MySQL?

Это скрипт БД. Если есть MS SQL - открываешь в ней скрипт, жмешь выполнить - он генерит БД с таблицами и триггером.

Я зацепился за БД потому как ассоциация с нейросетью прям таки бросается в глаза, хотя возможно лишь в мои дилетантские.

С сервером нет проблем, у меня - выделенный, очень мощный сервер.

Да, mysql, если вообще есть смысл тормозиться запросами к БД вместо использования массивов. В БД можно записывать исходные и конечные конфигурации.

Эмулировать стоит, исходя из свойств нейрона и условий формирования связей, но еще важно эти связи предопределить: что подходит к данному нейрону, как он тянется в торону активностей дендритами, что важно, что успевает за время периода обучения или нейрон активируется контекстно и за это время формирует связи как это происходит в третичной коре. В целом создать эмуляцию, представляющую интерес как инструмент-симулятор, адекватный реальным принципам, очень не просто. Именно поэтому я не покушался на столь объемную модель.

Можно ведь и меньшую по объемам попробовать. Кстати, подумалось, что моя идея задавать логику нейрона через установку порога его срабатывания не только простая, но и близка к реальности. Только тут порог в не совсем моем привычном понимании, как сумма потенциалов на входе. Иначе получится, что скажем пришли на 10 входов по +5V - и тогда порог срабатывания +50V? Имхо бред. А если на каждом входе по 0,5V - это уже по сути нули - опять фигня. Если бы это была цифровая микросхема, тогда понятно, что просто комбинация 0 и 1 - а тут одни 1 да еше и с весами. Это сбивало с толку.  А сейчас думаю так:

на нейрон одновременно приходят сигналы на несколько его синапсов с уровнем 1 - синаптические пузырьки впрыскивают нейромедиаторы (в объеме зависящем от уровня сигнала), нейрон возбуждается. И при этом запоминается именно этот коктейль со своей концентрацией катализаторов (может фиксируется объем пузырьков или состав их смесей). Получается, что теперь только при поступлении сигналов на нужное кол-во синапсов нейрон сработает, так как только тогда выделится нужное для возбуждения кол-во нейромедиаторов.

Так и в моей схеме: надо сделать "И" для пяти синапсов нейрона - ставим порог 5, надо сделать "ИЛИ" при тех же синапсах - ставим 1.

А еще основная мотивация сделать относительно простой симулятор - понять, как собираются примитивы более высокого уровня. Ведь если просто сложить в кучу пару горизонтальных и вертикальных линий - получим кроме прямоугольника еще и варианты разных крестиков. Стало быть, нужно концы с концами соединять. Но в моей схеме я специально сделал не принципиальным нумерацию синапсов, она только для схемы в БД нужна. То есть в моей реализации сети у палки нет понятия конец и начало - есть просто палка. А складывать то их как то надо. И я подозреваю в природной нейросети так же происходит, потому как нейрон в принципе не может определить какой конкретно синапс получил сигнал - у него же нет bat-таблицы синапсов, там просто сумма весов без разницы в каком порядке и каких. Значит эти концы определяются потом, видимо на других слоях. Я думаю, что в многослойном персептроне как раз присутствует нумерация связей, что естественно для программиста - какой же дурак будет вычислять номер записи если уже изначально есть ее код в таблице. А потом начинаются пляски с бубном как из этой кучи получить распознавание. И это резко уводит в сторону от природной реализации и как результат - к затупу дальнейшего развития. Это моя гипотеза такая.

Все равно ведь где то надо хранить схему связей, пороги срабатывания - тут однозначно таблицы просятся, они на это заточены. А бегать циклами по массивам - имхо моветон для БД-шника, мужики не поймут :). 

Ты про логи? Оно прикольно, но память ведь иначе работает, не как прямая запись всего подряд. Если только для нужд исследований, историю модификации сети - тогда да.

>>понять, как собираются примитивы более высокого уровня

Вот подумай над одним из вариантв: если по ИЛИ собрать выходы разных детекторов линий (разные наклоны, толщины, длины, цвета), то получим один детектор: “Это - линия”. – уже абстракций вне масшатов и т.п. Такой детектор может возникнуть не в случае автогенерации созревшего нейрона, а в случае, если нейрон уже установил связи с неким контекстным параметром необходимости детекции линий и, возбудясь им, начинает устанавливать связи по ИЛИ со всеми случаями активности линий. Это – реальный механизм контекстного формирования детекторов абстракций примитивов.

>>где то надо хранить схему связей, пороги срабатывания

Статически заданный массив для данной эмуляции.

>>бегать циклами по массивам - имхо моветон для БД-шника, мужики не поймут :).

Это, может, у вас в анклаве БД-шников такие понятия, а у более безграничных программеров этого прикола нет :) Если массив более эффективен, то он используется.

Это да, хороший вариант для формирования обобщений примитивов на основании контекста восприятия. Но это никак не поможет отличить более толстую линию от менее толстой, или сложить примитивы наклонных линий в длинную кривую, а не в бесформенного ежика. Интуитивно что то крутится у меня в голове по этому поводу, но не прорвалось еще на уровень озвучки. Думаю, собака порылась как раз в многослойном распознавании. Это думаю принципиально, иначе опять персептрон получится.

В смысле? Сервак понятно дело молотит не переставая. Ты предлагаешь загрузить в оперативку массив? А потом ВЫКЛ - и сеть сдохла до уровня начальных параметров. В моем понимании статические параметры хранятся в файлах, но никак не в динамике. 

Однажды мне довелось допиливать за таким умником прогу. Делал ее какой то VB-шник, судя по всем никогда не имевшим дело с БД. Там у него сплошные массивы вместо таблиц, которые получали данные из форм-редакторов и каких то модулей с константами и пробежки циклами вместо селектов. Все работало, пока эта виртуальная БД не раздулась и не стала колом. И даже на Аксе она взлетела соколом, потому как реально данных там всего на тьфу было. Ведь в массиве нет индексов, поиск самый тупой - перебором.

Да нет же :) html выдается сервером на основе скриптов, скажем, на PHP. И вот там может быть записн какой угодно массив или куча массивов. БД так же на сервере находятся в виде файлов, но,учитывая огромную нагроможденность интерфейса, обращение к фалу скрипта всегда быстрее и эффективнее. Я часто разгружаю mysql вставками на файлах и это не моветон, хотя в любом находятся те, кто считает иначе :)

Кажется я понял. Начальные примитивы вовсе не складываются в каком то строгом порядке и нужными концами, а просто группируются и сравниваются. То есть все линии группируются по общим признакам типа: прямая, наклонная, градус наклона, длина с некоторым допуском расхождения. При восприятии объекта все эти признаки групп активируются и происходит выборка из них наиболее активных.

Например мы видим нечто, что провоцирует активность признаков группы прямая, наклонная - они в свою очередь объединены в группу ломанная. Возникает уверенность, что мы видим что то ломанное. Начинаем уточнять, рассматривая фрагмент объекта - активируются группы наклон 35, 45, 55 градусов - среди них наиболее активна группа 45. Смотрим на объект еще внимательнее - активируются группы длина 9, 10, 11 см - с наиболее активной среди них 10 группой - и вот мы получили параметры для отрисовки прямой в полярных координатах, методом приближения среди выборки многоуровневых группировок объекта.

При этом понятия градус, мм - тоже группировки созданные при сравнении с неким внутренним эталоном, начальным примитивом меры длины и угла. Дискретность групп зависит от этой "внутренней линейки", от нее зависит что считать кучей, 1, 2 или 3 ореха, какая куча больше или меньше и насколько. Мы можем уверенно отличить какой отрезок больше/меньше, но вот с понятием длины уже намного хуже - отличить метровую палку от двухметровой легко, но по факту, после измерения рулеткой окажется, что к примеру метровая это 1,25м а двухметровая 2,33м.

Выходит, действительно можно распознавать объекты не заморачиваясь где у палки начало, конец или координаты опорных точек. На самом деле начало, конец, координата - это тоже группы признаков объекта. Сами по себе эти параметры не нужны для распознавания, это просто наши условности, по которым делается группировка.

PS:

если головастики в своих многослойных персептронах действительно шаманят с координатами опорных точек - они страшно далеки от реальности и ясень пень не имеют ни малейшего понятия, что там у них в слоях распознается (и что они имеют в виду под "слоем"?). А тут все более чем очевидно. Можно легко выгрузить логи, показывающие точные шаги активации группировок

Мой опыт работы с тырнетом ограничивается парой сайтов, один на html, где через "инклуды" вставлял местами динамические фрагменты, другой на php. И вот там обратил внимание, что в шапке php прописываются вызовы других php, где например сидят глобальные функции. Ты видимо так грузишь свои массивы в страницу?

Есть такая мысля: если я тебе дам в личку строку подключения к БД на серваке, то ты тогда сможешь параллельно лабать интерфейс а я буду своим серваком заниматься. Тебе пока что надо просто в таблицу сенсоров втыкать данные самым примитивным инсертом - вся обработка будет на серваке.

Да, это можно замутить. Вопрос только в том, что я достаточно плотно пригружен и могу поддержать только конкретно составленное ТЗ. Т.е. если ты распишешь как что должно работать, то ч могу взяться реализовать это в виде страницы на сайте.