Книги сайта: «Мировоззрение», «Познай себя», «Основы адаптологии»,
«Вне привычного», Лекторий МВАП и «Что такое Я».
 
Привет! Правила | Свежее | Чат | Подписка
Чтобы оставлять сообщения нужно авторизоваться.
Авторизация пользователя
Регистрация нового пользователя

Тема форума: «Нейросимулятор»

Сообщений: 164 Просмотров: 3807 | Вся тема для печати
Страницы: 1 2 3 4 5 6 7 8 9 10 11
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46844 показать отдельно Июнь 10, 2020, 01:41:12 PM
ответ -только после авторизации

Сделал режим с двумя матрицами. Не стал пока скрывать не активные элементы, потому как вылезла одна фигня. В новом режиме связи сохранил от дуплексной решетки - в итоге получилось не совсем гут, потому как кол-во ячеек по вертикали для в исходной дуплексной решетки не одинаково для столбцов - там шахматный порядок. Это приводит к "растягиванию" рисунков по горизонтали. В принципе оно как бы и ладно, важно ведь на эффекторной матрице получить не копию рецепторного рисунка, а их уникальную пару. Но такие "деформации" думается будут сбивать с толку.

 

Получается, для двухматричного режима отображения придется менять линковку элементов. Но это опять собьет с толку, когда при переключении с одного режима на другой будет меняться эффекторный рисунок - там ведь связи, в том числе тормозные будут другими.

 Dvye_matritcy.rar

Хотя если нарисовать квадрат более "толсто" - то расхождение рисунков при разных режимах уже не столь выражено.

Tolstyy_kvadrat.rar


Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46847 показать отдельно Июнь 10, 2020, 04:30:56 PM
ответ -только после авторизации
Есть такое подозрение, что если просто взять два параллельных слоя рецептор/эффектор и залинковать их тупо как они смотрят друг на друга и до ближайшего элемента, куда могут дотянуться - то получим максимально плотную из возможных решетку, только уже не дуплексную, а простую парную, где один эффектор линкуется с 9 рецепторами, и рецептор аналогично с 9 эффекторами. Схема 9х9, + тормозных связей 8. И может статься, вся эта свистопляска с генерациями, мерцаниями пропадет. Возможно дуплексная вундервафля вовсе не такая уж чудная, как мне хотелось бы ее видеть. Точнее она просто более глючная из за более слабого охвата связями элементов. Но в то же время более дешевая в исполнении.

Nan в своей демонстрашке так примерно и сделал - две отдельных матрицы без всяких линий связей, и два отдельных массива для каждой. Это показалось мне слишком банальным, но по факту выходит так и надо делать, без всяких выкидонов. Попробую это реализовать в симуляторе. А то что есть пойдет как пример поведения матрицы при различных вариантах линковки элементов. Теперь уже два есть: гексогональная и ортогональная. Осталось сделать просто нормальную

Метка админа:
Спасибо за это сообщение! Благодарность от: nan
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46857 показать отдельно Июнь 12, 2020, 02:08:58 PM
ответ -только после авторизации

Ожидания стабильности не оправдались. Двойная решетка 9х9 слишком заторможена. Если изменение порога просто выключает постепенно эффекторы, то изменение торможения выдает намного большую свистопляску. А из за большого охвата эффекторами рецепторов (и наоборот) - эффекторный рисунок при минимальном пороге и торможении получается тоже слишком мощный. Вообщем надо видимо какое то раздумье - какая схема оптимальна. Мало связей - вялая реакция, много - слишком бурная. И в обоих случаях искажения и пляски эффекторов. Я ведь исхожу из того, что параметры в природной нейросети "плавают", стало быть если сетка так чувствительна к изменению порога или торможения, то и детектирование будет такое же глючное. Все таки дуплексы показывали лучшие показатели в плане стабильности, особенно гексогональная. 

Ryeshyetka_9h9.rar


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11488


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46858 показать отдельно Июнь 12, 2020, 02:16:20 PM
ответ -только после авторизации

При большом числе боковых участников эффект должен быть более плавным. Это можно смоделировать на https://scorcher.ru/neuronet/lateral_braking.php



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46862 показать отдельно Июнь 12, 2020, 07:04:32 PM
ответ -только после авторизации

У тебя там связь между рецептор-эффектор как 1:1, то есть нет охвата рецептор/эффектор. Только торможение использует охват ближайших эффекторов. Поэтому и нет такого шалмана как у меня.

Я думаю надо просто выявить факторы, влияющие на стабильность детектирования решетки и найти оптимум. Сейчас я пока вижу 4 таких параметра: порог срабатывания, уровень торможения, радиус охвата, диапазон значений параметров, при которых не меняется пара рецепторно-эффекторных рисунков. Причем еще вопрос - делать ли одинаковым например охват для рецептор/эффекторной линковки и тормозных связей. Может все три типа связей надо делать по разному, в смысле не 4х4х4 а 6х4х3 к примеру. На 1 рецептор 4 эффектора, на 1 эффектор 3 рецептора, тормозные связи между эффекторами как триады. Это просто пример от балды. И при каждых комбинациях эффекторная реакция будет сильно отличаться - это уже очевидно из опытов с гексогонально-ортогональными дуплексами и двойной 9х9. Главное свойство решетки, показывающее ее качество - способность генерировать уникальную пару РЭ-рисунков в некотором диапазоне плавания параметров. Чем уже диапазон - тем менее помехоустойчива и стало быть более глючная решетка. И есть подозрение, что чем больше охват, тем больше итераций надо на вычисление веса при торможении, потому как решетка становится более чувствительна к изменению параметров. Это как если толкнуть простую качелю или сложно связанные между собой кучи маятников - там все начнет ходуном ходить.

Понятно, что в реальности при самообучении связи вытянутся не равномерно с разными весами и может быть эффект взаимовлияния будет не так глючно выражен. Можно было бы и не заморачиваться по поводу почему эффекторные рисунки так пляшут. Но если мы говорим об искусственном прототипе распознавателя, причем о его реальном воплощении например в виде интегральной микросхемы или программного модуля - тогда нужно четкое понимание, как влияют вышесказанные свойства на качество детектирования. Иначе как ее улучшать, если не понимаешь в полной мере как и почему она именно так работает?


Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons

Вот для примера как детектируют три решетки квадрат при изменении уровня торможения. Шестигранник и квадратная 4х4 просто контрастируют контур с небольшими вариациями, а вот последняя решетка 9х9 отжигает по полной, выдавая целую  серию рисунков. Разница между решетками - в схеме связей и кол-во охвата. Причем в схеме 9х9 охватываются только ближайшие элементы, хотя я предполагаю, в реальной нейросети это может быть и второй, и третий круг охвата. Там будет уже много больше комбинаций рисунков.

Кстати в конце видео я показал, что решетка 9х9 не видит разницы между точкой и крестом из 4 пикселов - это таки серьезный залет. Получается увеличение связей (охвата) вовсе не улучшает качество распознавание, точнее лишь до какого то момента улучшает, а потом наоборот приводит к глюкам.

 

И ты еще говорил в этой теме, что тормозные связи устанавливаются изначально перед обучением. Но по какой схеме? С каким охватом?

Sravnyeniye_ryeshyetok.rar

« Последнее редактирование: 2020-06-13 12:37:17 Palarm »

Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11488


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46866 показать отдельно Июнь 12, 2020, 08:28:12 PM
ответ -только после авторизации
автор: Palarm сообщение № 46864:
тормозные связи устанавливаются изначально перед обучением. Но по какой схеме? С каким охватом?

Вставочные нейроны с тормозными синапсами созревают в слое наравне с остальными, проявляют свою пейсмеккерную активность и образуют связи с другим активными элементыми. Без какого-то особого порядка. Видимо, их концентрация в слове как-то оптимизируется эволюционным отбором.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46873 показать отдельно Июнь 13, 2020, 07:07:49 AM
ответ -только после авторизации
автор: nan сообщение № 46866:
Видимо, их концентрация в слове как-то оптимизируется эволюционным отбором.

Скорей всего просто чрезмерно заторможенный слой становится глючным в детектировании настолько, что особь выпиливается из эволюционной гонки. Тоже самое про слишком "кустистые" рецептор-эффекторные охваты. Может при совместном обучении они тянутся к созревающим эффекторам, воспринимая их как рецепторы, а при созревании  слоя - так же перестают ветвиться и наращивать веса. Вопрос только - почему они не тянутся к настоящим рецепторам. Может созревающий нейрон выделяет специфические хим. маркеры, чтобы с одной стороны не дать нормальным нейронам к нему прицепиться, а с другой - приманить к себе тормозные. То же самое с рецепторами - тормозные нейроны не должны к ним цепляться. Однозначно должен быть регулировщик, разруливающий два потока созревания - и это вполне может быть специальный хим. след.

 

В плане симулятора тут опять таки надо будет определиться: прописывать ли тормозные связи изначально в виде решетки или так же проращивать при самообучении. Дело в том, что в практической реализации например в виде микросхемы я представляю это так:

 

в ней изначально проведены все дорожки связей, как основные так и тормозные, но с разрывом, который заполнен спец. веществом, которое в "сыром виде" работает как диэлектрик. При подаче напряжения оно "спекается" и становится проводником с определенным сопротивлением, зависящим от величины напряжения. Процесс не мгновенный, что симулирует время прорастания дендритов. А напряжение на каждый "разрыв" симулирует частоту/уровень сигнала от рецептора. В итоге  когда все дорожки "спекутся" получим связи с разными весами.

 

Поэтому нужна конкретика, если речь о фактической реализации: если прорисовывать дорожки - то по какой схеме, если не прорисовывать - то как соединять элементы? Программным блоком, какими то мудреными нано-веществами, которые буквально "тянутся" как отростки? Имхо, практичнее простой разлиновкой и активацией разрыва, чем ветвить непонятно каким образом. Дуплексная схема будет экономичнее и проще, двухслойная чуть сложнее. Осталось только придумать параметры искусственного слоя, по которым его можно оценивать, и обосновать оптимальный для определенных задач тип решетки. Может это будет отступление от природной реализации, а может природная реализация это просто невозможность в виду ограниченных ресурсов построения изначально разлиновать нужную решетку.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11488


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46875 показать отдельно Июнь 13, 2020, 08:01:55 AM
ответ -только после авторизации
автор: Palarm сообщение № 46873:
Вопрос только - почему они не тянутся к настоящим рецепторам.

То, куда ветвятся аксоны определяется только генетически, вот как задано у предком данной твори,плюс некая мутационная вариабельность для самых поздних эволюционных структур (ранние очень точно воспроизводятся).

автор: Palarm сообщение № 46873:
надо будет определиться: прописывать ли тормозные связи изначально в виде решетки или так же проращивать при самообучении

А вот дендриты - да, растут в сторону локальной активности.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons

Причина слишком активных переключений сетки при изменении уровня торможения - расчет весов через последовательный обход. На первом рисунке эффекторы 136,147,157,148 активны уже на пороге (0,1) переключения (суммарный вес 0,114). И при повышении торможения они должны были выключиться все 4, но выключились только 2, исказив тем самым эффекторный рисунок. Потому, что расчет весов происходит через последовательный опрос элементов матрицы по возрастанию их номеров, в данном случае это эффекторы в порядке: 136,137,138,146,147,148,156,157,158. И при каждом шаге происходит пересчет веса текущего элемента.  В итоге 137 как первый в списке вырубается, оставшиеся элементы лишившись его тормозного влияния подрастают в весах, 146,148 уже не выключаются, а последний из группы 157 вырубается потому, что подросшие в весе 146,148 его задавливают, не смотря на то, что он тоже подрос после выключения 137 (двое против одного). То есть правильнее надо не включать/выключать эффекторы на каждом шаге опроса матрицы, а на шаге итераций: выключать их группами а не по одному.

В гексогональной решетке этот эффект слабо проявлялся, а здесь, при таком массированном охвате основных/тормозных связей вылез более явно. Это поправлю. Но опять же это интересно как пример, как легко повестись на множество спец. эффектов, возникающих при сложном взаимодействии нейросети. У меня косяк программный, а там тоже самое может быть из за нестабильности параметров нейронов, ложных связей. Тут тебе и переключения рисунков, и даже генерации колебаний - от всего этого можно напридумывать множество вполне рабочих схем, и вполне может быть, в природной реализации они даже имеются, но... идут в никуда. То есть что то прицепилось к мельтешению эффекторного рисунка, возникла рефлекторная цепочка, которая ни с чем не связана, просто генерит вхолостую. И это отражается на энцефалограмме и вводит в ступор исследователей - чтобы это значило? А ничего это не значит, как свисты и хрипы приемника при настройке волны. Не зная принципа передачи радиосигнала можно легко насочинять "правдоподобных" объяснений, связывающих например свисты с настройкой на частоту. Типа раз всегда чистому звучанию предшествует шипения и хрипы - значит они играют какую то важную роль и без них никак не получится попасть на волну. Вот и получается, что не имея теории, где четко показано, что есть главное, что второстепенное, принципиально не возможно понять принцип действия устройства, и тем более смоделировать и развить его. Исследователи которые этого не понимают подобны обезьяне трясущей пальму.


Метка админа:
Спасибо за это сообщение! Благодарность от: nan, Клон
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46894 показать отдельно Июнь 29, 2020, 01:12:33 PM
ответ -только после авторизации

Решил более наглядно проследить, что происходит при активации нейрона, вернее как она происходит в «замедленной съемке». Ведь расчет методом итераций по сути и показывает как бы по кадрам этот процесс, с некоторой погрешностью конечно. И выяснилось, что там такие же «скачки напряжения» как и в самой сетке. То есть суммарный вес эффектора растет не линейно, а в виде колебаний. Это означает, что он несколько раз превышает/падает порог, пока окончательно не устанавливается итоговое значение. Как маятник покачался и успокоился. Это потому, что по мере роста веса меняется равновесие решетки, что им вызывает колебания ВКЛ/ВЫКЛ. То есть эффектор не мгновенно получает итоговый вес, а за некоторый промежуток времени, за который он разряжается серией импульсов. Может в этом причина, почему нейроны реагируют не простым ВКЛ/ВЫКЛ, а короткими сериями колебаний? Потому, что они связаны тормозными связями. Или правильнее сказать нейроны, как генераторы колебаний, разряжаются серией импульсов модулированной по амплитуде частотой, которая зависит от схемы тормозных связей между ними.

 

На видео показано, что при любом значении тормозного воздействия, как только активируется эффектор, его кривая роста суммарного веса при итерациях становится синусоидальной. Эта кривая - модулирующая для "несущей" частоты, с которой разряжается нейрон при активации.

 

Конечно, если как в реальном генераторе ввести в модель понятие инертности, то эти скачки можно сгладить. А может и не надо. Может лучше оставить эти неоднозначности состояний эффекторов, из за которых собственно и возникают колебания, чтобы была некоторая неопределенность, отличающая жесткий алгоритм от "свободного".

 

Еще пришла такая мысль: в квантовом компьютере вместо понятия "Бит" используется "Кубит", который означает не 0 и 1, а все бесконечно возможные значения между ними. То есть логика квантового компьютера заточена как раз на работу с областями решений, "неоднозначностями", которых как все больше выясняется, полно в нейросетях. Правда я не очень понял, как квантовый компьютер выдает в итоге решение, но возможно именно на нем можно будет замутить полноценный ИИ в чисто виртуальном исполнении.

Vyes_ityeratciy.rar


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11488


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46895 показать отдельно Июнь 29, 2020, 04:48:46 PM
ответ -только после авторизации

Вот у тебя уже накопилось много эмпирического материала при работе с моделями. Было бы очень полезно обобщить его в перечень выводов, которые следуют их модельных экспериментов: чем ограничены веса вставочных тормозных нейроны, почему они не могут быть слишком большими, и т.п.

Т.е. попробуй составить список таких выводов и их обоснование конкретным поведением модельных нейросетей. Это было бы очень полезно и круто.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46896 показать отдельно Июнь 29, 2020, 06:01:18 PM
ответ -только после авторизации
Я так и собирался делать. Накапливается экспериментальный материал, и когда возникает некоторое понимание, делаю небольшое обобщение с картинками, моделью. Я это думал для модели самообучения сделать, но опять вылезло много интересного в предварительном и конечно это стоит отдельно изложить. И поправить предыдущие страницы.

Метка админа:
Спасибо за это сообщение! Благодарность от: nan
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46897 показать отдельно Июнь 30, 2020, 12:42:34 PM
ответ -только после авторизации

Более наглядная схема пульсаций эффектора при наращивании им суммарного веса. При изменении значения порога и уровня торможения меняется расстановка весов в сетке. На примере эффектора №112 видно как его при этом корежит. В матрице эффекторов что справа мы видим только его ВКЛ/ВЫКЛ, а на самом деле практически перед каждым переключением он выдает серию из 1-2-3 импульсов, то есть он "мерцает". Для общей схемы латерального торможения важны лишь его конечные состояния, но возможно при дальнейшем изучении эти мерцания позволят глубже понять, как происходит решение "неопределенных состояний" переключения. А может и нечего не даст - просто флуктуации, которые гасятся инертностью нейрона и ни на что не влияют.

 

Интересно, что аллегория с настройкой приемника оказалась достаточно близкой к реальности. Нейросеть действительно шипит и свистит при "настройке на волну" - изменении ее параметров до устойчивого состояния. Ведь щелчки пульсаций модулируют собственную частоту разряда нейрона при его активации.

Pulsatciya_affyektora.rar


Метка админа:
Спасибо за это сообщение! Благодарность от: nan
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2222

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46899 показать отдельно Июль 06, 2020, 05:01:07 AM
ответ -только после авторизации

Оказывается идея "разрывов" в соединениях микросхем, которую я толкал как вариант реализации нейроплат, не новая. Уже давно пытаются сделать оптические соединения


Метка админа:

 
Страницы: 1 2 3 4 5 6 7 8 9 10 11
Статистика:
Всего Тем: 1898 Всего Сообщений: 46661 Всего Участников: 4852 Последний зарегистрировавшийся: ohreinsof
Страница статистики форума | Список пользователей | Список анлимитов
Последняя из новостей:
Для тех, кто желает развить навыки схемотехнического мышления в игровом режиме и лучше понять работу природных нейросетей: Конструктор нейросхем.
Все новости

Если ты такой умный, то почему не богатый?
Богатейший человек мира рассказал о перевернувшем его жизнь моменте.
Все статьи журнала
Пользователи на форуме:

Из коллекции изречений:
>>показать еще...

Яндекс.Метрика