Главная книга сайта Форнит: «Мировоззрение». Другие книги:
«Познай себя», «Основы адаптологии», «Вне привычного» и Лекторий МВАП.
 
Привет! Правила | Свежее | Чат | Подписка
Чтобы оставлять сообщения нужно авторизоваться.
Авторизация пользователя
Регистрация нового пользователя

Тема форума: «Нейросимулятор»

Сообщений: 118 Просмотров: 2821 | Вся тема для печати
Страницы: 1 2 3 4 5 6 7 8
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46680 показать отдельно Май 17, 2020, 09:23:28 AM
ответ -только после авторизации

Впал я так сказать в глубокую задумчивость по поводу адекватности расчета весов методом итераций. Речь о расчете неопределенных ситуаций, когда например три эффектора одинаково нагружены весами от рецепторов и по идее должны равномерно притормозить друг друга. Так и происходит, но лишь в случае, если итоговый вес все еще больше порога. А вот если ниже - тут возникает интересный момент, кто кого придушит первым. Строго математически, если три ковбоя стали в круг и направили друг на друга револьверы - погибнут все, так как шансы у всех равны. Но в реальности кто то обычно оказывается проворнее и выживает. То же самое и с сеткой. По картинке, все три эффектора должны получить вес 0,48 (при параметрах: порог 0,4, веса основной и тормозной 0,2) равномерно придушив друг друга. А на деле №27 выбыл из игры. В данном случае потому, что при расчете идет последовательный опрос эффекторов по возрастанию номеров - вот ему первому и прилетела пули от остальных.

 

И возникает вопрос: а в реальном прототипе, например на микросхемах, где веса не итерациями а физическими взаимодействиями устанавливаются - там как будет? С одной стороны там ведь все равно будут какие то флуктуации и стало быть кто то так же окажется ловчее и выстрелит первым. А строго по математике, если бы например веса считались по формуле - все равны. Вот и думаю: понятно, что в таких примитивах при таких параметрах кто то будет гаситься - но строго по теории то не должен! То есть в симуляторе примитив прямая разваливается на пунктирную линию - а при расчете по формуле веса просто равномерно понизятся - вплоть до того, что при достаточно сильном тормозном воздействии примитив вообще погаснет, весь целиком! А в симуляторе прямая распадется на отрезки и там уже сколько не крути ручки тормозов - они так и останутся отрезками. Не сходняк однако. Но он интересен тем, что... так и должно быть. То есть строгая формула не годится. И вот думаю - по этому поводу будет сильное бодание с оппонентами. Как так - правильная формула не правильна?!


Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46682 показать отдельно Май 17, 2020, 10:52:14 AM
ответ -только после авторизации

Я пока склоняюсь к тому, что расчет через формулу идеальной равновесной нейросети невозможен. Потому, как если включенные рецепторы затормозят эффекторы до уровня ниже порога - они выключатся. Но при этом пропадет их тормозное влияние - они включатся. Опять затормозят - выключатся - включатся - и т.д. Получаем неустойчивое состояние, которое в физическом симуляторе перейдет в автоколебания, так как имеем обратную связь. Но в том же реальном симуляторе чуть разбалансировать например веса или пороги эффекторов - и неопределенность пропадет. В природной нейросети так и происходит - там нет строго установленных параметров нейронов. Поэтом стоит ее толкнуть - и она сваливается в какое то из устойчивых состояний. В данном программном симуляторе неоднозначность устраняется через задание очередности прохода эффекторов при расчете.

Вообщем, сдается мне, что я изобретаю велосипед, заново переоткрыл какую то теорию расчета равновесных систем. Где понятно, что в идеализированной системе может быть область решений, а для инженерных расчетов просто вводится доп. параметр разбалансировки, который всегда присутствует в реальных системах, чтобы вывести систему из неопределенного состояния. В итоге в данном симуляторе всегда будет выключаться 27 эффектор, а вот в его физическом аналоге это может быть какой то из них, но тоже всегда один и тот же. В принципе, это никак не влияет на распознавание. Главное ведь не получить какой то конкретный эффекторный рисунок, а получать всегда один и тот же рисунок на один и тот же раздражитель - при заданных параметрах.

 

Что меня зацепило в этой истории: обычно мы думаем, что обсчитавшись в расчетах мы получили бы верное решение, имей мы точную формулу. Но в случае расчета нейросетей оказывается это еще спорный вопрос - будет ли она точнее определена по формуле. Итерации оказывается дают более близкую к реальной картину. И это не привычно, на первый взгляд даже абсурдно выглядит.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11425


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46684 показать отдельно Май 17, 2020, 11:27:41 AM
ответ -только после авторизации
автор: Palarm сообщение № 46680:
Речь о расчете неопределенных ситуаций, когда например три эффектора одинаково нагружены весами от рецепторов и по идее должны равномерно притормозить друг друга.

Это - не типичный случай в нейросети. Даже если такое вдруг случиться, то это будет очень частный глюк. Лучше не входить в разные варианты возможностей, а находиться в контексте системной модели нейросети.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons

В симуляторе условно принято, что все веса одинаковы - я думал, так будет проще показать эффекты возникающие от торможения, потому что проще показать примеры расчета весов. Но оказалось, это приводит к их неожиданному раскладу и неопределенностям. В реальной нейросети конечно же веса от рецепторов практически всегда разные, смотря по тому, как они зафиксировались при самообучении.

 

Вот если бы №21, 31, 30 передавали бы вес не 0,2 а 0,15 - тогда эффектор №27 получил бы от них суммарный вес 0,45 а №117, 126 - по 0,5. Взаимное торможение с весом 0,2 тогда распределилось бы так:

 

на №27 пришло бы 0,05*2=0,1 а на №117, 126 0,05+0,045=0,095. В итоге их суммарные веса бы стали:

 

№27: 0,45-0,1=0,35 - ниже порога 0,4

№117, 126: 0,5-0,095=0,405 - выше порога 0,4

 

И тогда уже без всяких флуктуаций №27 закрылся бы, его торможение пропало  и веса №117, 126 пересчитались бы как от только взаимного влияния №117, 126 = 0,48.

 

Теперь понятно, зачем ты в своем примере вводил статусы рецепторов не просто ВКЛ/ВЫКЛ (как у меня) а градацией от 1 до 10 - так ты симулировал реальное проецирование примитива на рецепторное поле в виде уровней сигналов от рецепторов, которое практически никогда не бывает равномерным, что собственно и устраняет не однозначность расчета. Придется и мне их вводить, чтобы объяснять состояние нейросети без привлечения стреляющих друг в друга ковбоев.

 

Хотя тогда придется все равно объяснять, почему при одинаковых уровнях из тройки эффекторов выключается тот что с наименьшим номером, а при неодинаковых - с наименьшим весом. Это уже результат опроса по возрастанию при расчете сети. Но и в реальной сети тоже один из трех одинаково нагруженных вырубится - но уже из за флуктуаций. Получается, строго говоря есть две причины, почему искусственная нейросеть так распределяет веса: из за особенностей расчета и неравномерности рецепторного поля. А в природной то же самое происходит из за флуктуаций параметров и неравномерности рецепторного поля. Не будет ли это слишком сложным для понимания? Можно конечно тупнем прикинуться и просто показывать только не равновесные примитивы, и на них уже объяснять контрастирование исключительно по причине неравного распределения весов. Но вот кто нибудь нажмет одинаковые веса и ткнет пальцем: а тут тогда почему контрастирование происходит? Метод итераций  ведь не позволит избавиться от этого эффекта. А тот же самый эффект на физическом симуляторе вызовет аналогичный вопрос: тут же нет итераций, возбуждение рецепторов равномерное - откуда тогда "контрастирование"? И вот как тут объяснить, что на самом деле имеет место довольно сложный эффект из флуктуаций, особенностей расчета и собственно самого контрастирования? Когда в разных ситуациях работают их разные комбинации - но выглядит все похоже.

автор: nan сообщение № 46684:
Лучше не входить в разные варианты возможностей, а находиться в контексте системной модели нейросети.

Это значит кое что не договаривать, чтобы не сбивать с толку. В смысле не врать, а не усложнять.


Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46693 показать отдельно Май 17, 2020, 06:08:52 PM
ответ -только после авторизации

   

Сделал возможность задавать разные веса для рецепторных связей. Точнее оно и раньше было, но сделал как у Nan - через клик по рецептору: левой кнопкой вес растет до 0,9 - правой опускается до 0. В итоге равновесие вернулось :) На первом рисунке эффекторы при равномерной нагрузке равно напряглись, на втором - задавили центральный, так как на него меньший вес пришел от рецепторов. Итерации, флуктуации - выходит нет этой проблемы, или скорей всего постепенное наращивание весов ее ослабило. Если она и будет вылазить, то при достаточно больших тормозных влияниях. Ссори...


Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46741 показать отдельно Май 20, 2020, 07:34:04 PM
ответ -только после авторизации

Добавил описание модели латерального торможения

Теперь  мне стало намного понятнее, как это работает и для чего это нужно. По ходу дела возникало множество мыслей, некоторые из них изложил в описании, другие все же думаю требуют сначала экспериментальной проверки. Вообще, этот симулятор, хотя и кажется простым и очевидным, лично мне помог намного глубже въехать в тему взаимного торможения. Я бы настоятельно советовал, если у кого есть непонятки по этому поводу, хорошенько поиграться с симулятором, чтобы не осталось вопросов, как и почему распределяются веса. Латеральное торможение настолько удачная и важная находка эволюции, что используется на всех уровнях нейросети, выполняя функции контрастирования, конфигурирования, стабилизирования и наверное еще много чего.  Казалось бы такое простое дело - выделить самые слабо-заторможенные эффекторы - но какие интересные эффекты при этом возникают.


Метка админа:
Спасибо за это сообщение! Благодарность от: Айк
 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons

Добавил коэфф. усиления веса рецепторов через настройки (поле и ползунок) которые раньше использовались для задания общего одинакового веса, что как бы было не правильно. Теперь можно имитировать общее усиление/ослабление сигнала на рецепторы, что тоже приводит к изменениям эффекторного рисунка. В итоге имеем теперь три параметра, которые могут каждый по отдельности и в разных комбинациях менять отклик сети на раздражитель.

Перебрал отрисовку связей - теперь нет глюка с программной активацией рецепторов и можно на них сразу кидать готовый примитив, а не включать его по пикселам. Это значит, что можно будет потом проецировать их в динамике. А пока можно через список "Загрузить рисунок" выбрать несколько простых примитивов.

« Последнее редактирование: 2020-05-24 07:17:33 Palarm »

Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46774 показать отдельно Май 24, 2020, 07:47:51 PM
ответ -только после авторизации

 

Подумалось, что вообще то число рецепторов (розовый) должно быть равно числу эффекторов (зеленый) - так получается максимально плотный равномерный охват эффекторами рецепторов. И тогда при этом один эффектор охватывает 7 рецепторов, а не 6, как сейчас в симуляторе, аналогично каждый рецептор связан с 7 эффекторами. Схема 7х7 для шестигранной  упаковки получается. При этом так же максимально плотны тормозные связи - на рисунке слева они показаны. А вот основные связи на виде сверху (лев. рисунок) не видны - они под тормозными. И центральная основная вообще не видна - она перпендикулярно вниз направлена. То есть все таки идею отражения всех связей на одной матрице придется забыть - при такой плотной упаковке не получится, разве только в 3D.

Но существующая схема, где эффектор в центре шестигранника все таки останется как упрощенная. Там все связи видны, что позволяет быстрее понять из взаимодействие.

Придется теперь делать новую решетку, там думается кол-во конфигураций будет больше.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11425


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46775 показать отдельно Май 24, 2020, 07:53:58 PM
ответ -только после авторизации

Мне кажется,ты зря придаешь такое внимание числам рецепторов и эффекторов. Это - очень условно для подобных моделей. Хотя можно было бы ввести коээфициент разветвления типа под одним кружком рецептора подразумевается, 1,2,3 ... 20 рецепторов,  и тогда учитывать такое число в итогах работы модели.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46776 показать отдельно Май 24, 2020, 08:30:26 PM
ответ -только после авторизации
Возможно ты прав. В самом деле, можно прописать какие угодно связи в таблице связей эффектор/рецептор, даже такие, которые графически очень сложно отобразить, и получить варианты реакций. Но суть останется прежней. Текущая сетка просто очень наглядно и просто показывает принцип передачи сигнала от рецептора к эффектору. И на ней остановимся. Есть задачи поинтереснее, чем перебирать бесконечные варианты их соединений. Например, можно приступить к самообучению.

У меня уже возникли кое какие соображения по этому поводу, сформулирую и выложу. Там походу тоже вылезут интересные моменты.

Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46780 показать отдельно Май 25, 2020, 07:44:13 PM
ответ -только после авторизации

1. В самом простейшем случае (мало имеющем общего с реальной ситуацией - но про это пока думаю преждевременно) обучение сети происходит простым проецированием на нее неподвижного примитива. Нужно просто выдержать его какое то время, чтобы закрепились веса или вместо времени использовать параметр "кол-во" обучающих проекций. По сути это тоже самое - но намного быстрее, чтобы не тратить время попусту глядя как секундный счетчик неспешно отсчитывает например 100 сек.

Но даже при таком идеализированном самообучении возникает вопрос по поводу настроек сенсорной матрицы - какими их выставлять? Минимальными/максимальными? И модуль гомеостатической значимости, управляющий настройками (его еще нет, но когда будет, надо будет решить) так же пока отключен, иначе он только хаос будет вносить?

 

2. Объект по идее должен позиционироваться всегда по центру сенсорной матрицы, иначе потом придется как то объединять одинаковые проекции в разных частях экрана. Вообще это в какой то мере должно получиться автоматически уже потому, что какой бы примитив не рисовали, максимальная засветка будет ближе к центру и именно центральные рецепторы быстрее всего созреют. Чтобы позиционировать по центру нужно подключение следящего модуля к еще сырой, не созревшей матрице. Это как бы "магнитная рамка", захватывающая и удерживающая объект по центру через поворот головы, движения глаз, шевеления ушами  и т.д. - для разного типа рецепторов. Мы пока просто подразумеваем его, поэтому примитив всегда по центру.

 

3. Модуль гомеостатической значимости, влияющий на настройки созревающего слоя и задающий контекст реагирования - он вроде как должен быть временно отключен. Иначе о каком переключении может идти речь, если еще нет уверенного распознавания.

 

4. На вопрос о признаке созревшего слоя ты помню говорил, что у тебя только предположения есть по этому поводу (в смысле, как это конкретно в природной нейросети реализовано). Стало быть тут можно просто выбрать что проще и эффективнее для реализации в симуляторе. Вроде как очевидно просто задать временной  интервал (или например общее кол-во проекций на матрицу) после чего самообучение прекращается.

 

По поводу гомеостатической значимости - мне кажется, ты имеешь в виду не то, что я предполагаю. Я пока просто представляю себе, что какие то рецепторы отдельной нейросети, "наблюдающей" за гомеостазом, воздействую на параметры первичного слоя и меняют тем самым его эффекторные рисунки. Правда дальше не очень понятно, что с этим делать. Но ты кажется имеешь в виду другое: он не просто меняет, а выделяет, заставляет обращать внимание на одни рисунки и игнорировать другие. То есть за счет конкуренции детектированных примитивов (которые он получил от первого начального слоя) на своем рецепторном слое, через взаимное торможение он контрастирует суммарный рисунок из множества распознанных примитивов и выделяет только те из них, которые отвечают текущей гомеостатической значимости. Но тогда выходит, что к первичному слою, который непосредственно с рецепторами связан, никаких доп. модулей не подключено, там никто не воздействует на его настройки. Видимо они просто заданы по умолчанию как константы. А воздействие происходит на втором слое. То есть первый просто детектирует примитивы, а второй уже выделяет гомеостатической значимостью наиболее актуальные из них.

 

Получается, я правильно заметил, что изменения параметров сети меняет ее эффекторный рисунок. Но не правильно интерпретировал это свойство, приписав такое регулирование уже самому первому слою. Но там взаимное торможение эффекторов просто контрастирует детектируемые примитивы, разбивая их на более простые (линии - на более короткие отрезки, пятна - на контуры). Тут контрастирование статическое, постоянное. А вот на втором слое уже динамическое.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11425


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46781 показать отдельно Май 25, 2020, 07:59:54 PM
ответ -только после авторизации

>>модуль гомеостатической значимости, управляющий настройками

Наработка коллекции примитивов иерархически усложняющихся распознавателей, включая подключение сенсорики другой модальности (кроме зрительной) – никак не касается развития примитивов распознавания сочетаний рецепторов гомеостатических параметров. И только на позднем этапе возникает контекстная иерархия, при развитии третичных зон, там, где сочетаются не только модальности органов восприятия, но и примитивы значимости, а также концы уже наработанных примитивов моторных реакций.



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46782 показать отдельно Май 25, 2020, 08:39:19 PM
ответ -только после авторизации

Стало быть когда в первичных зонах идет простое создание иерархических распознавателей никакие значимости там никаких регуляторов не крутят. И только когда наконец построится древовидный список распознавателей и начнут на их базе формироваться третичные зоны - тогда от них подключается обратная связь на первичные и начинает воздействовать на параметры слоев, контрастируя из уже уверенно детектируемых примитивов "нужные".

Звучит логично уже хотя бы по тому, чтобы среагировать на чью то "зловещую" тень, или "злобный" блеск чьих то глаз в темноте, через резкое контрастирование признаков предполагаемого хищника (есть ли он там) - нужно чтобы в какой то более высокоуровневой зоне свелись в "общую картину" сигналы от наружных сенсорных датчиков, концы рефлекторных заготовок реагирования и какие то управляющие сигналы, чтобы в зависимости от общей рецепторной картины запускать подходящую рефлекторную цепочку. В данном случае управляющие сигналы - это данные гомеостаза. Тут действительно, пока все очень сложно даже представить, как это работает, а не то что смоделировать. Стало быть заморачиваться кто и как крутит регуляторы первичных слоев пока что преждевременно. Потому как сначала нужно построить дерево примитивов, создать модуль модификации условных рефлексов, модуль гомеостатического балланса, свести все это как то в одну кучу - и только потом уже тянуть линии обратной связи на первичные зоны. Звучит так же "просто", как построить первую, вторую, третью ступень ракеты и полететь на луну.

 

Для начала наверное надо просто сделать простое самообучение слоя статической экспозицией примитивов, их группировку на втором слое. А потом уже думать про модули "захвата примитива" и далее по нарастанию сложности.


Метка админа:

 
nan
Имеет права полного администратора сайта - админ

Род: Мужской
Сообщений: 11425


E-Mail
личная фото-галерея
Оценок: 39
список всех сообщений
clons
Сообщение № 46783 показать отдельно Май 25, 2020, 08:47:28 PM
ответ -только после авторизации
автор: Palarm сообщение № 46782:
тогда от них подключается обратная связь на первичные и начинает воздействовать на параметры слоев, контрастируя из уже уверенно детектируемых примитивов "нужные".

Нет. Никакой такой обратной связи. Но есть обратные связи через вторичные зоны через гиппокамп для удержания стимула в памяти.

В третичных значимость играет роль контекстов, для отделения восприятия и реакций для базовых стилей поведения и на этой основе все более уточняющие контексты. Ты явно подзабыл систему :)



p.s. Допускаю, что мое утверждение может быть порочно, поэтому прошу показывать, что именно и почему неверно и запрашивать объяснения, если что-то непонятно.
Метка админа:

 
Palarm
Пишет без ограничений, редактирует историю - unlimited

Род: Мужской
Сообщений: 2182

личная фото-галерея
Оценок: 6
список всех сообщений
clons
Сообщение № 46784 показать отдельно Май 25, 2020, 09:11:01 PM
ответ -только после авторизации

Потому, что твоя информация еще не стала мыслительными автоматизмами - для этого нужна ее долгая обкатка в разных контекстах восприятия. Если бы можно было понять новое просто прочитав/послушав - тогда иностранные языки учились бы простым одноразовым чтением словарей. Но в реальности язык приходится много лет набалтывать. 


Метка админа:

 
Страницы: 1 2 3 4 5 6 7 8
Статистика:
Всего Тем: 1896 Всего Сообщений: 46545 Всего Участников: 4836 Последний зарегистрировавшийся: Nadya96
Страница статистики форума | Список пользователей | Список анлимитов
Последняя из новостей:
Авторы создают Карты Знаний, а пользователи их проходят, постепенно вникая в то, что является хорошо понятым автором.: Редактор Карты Знаний.
Все новости

Если ты такой умный, то почему не богатый?
Богатейший человек мира рассказал о перевернувшем его жизнь моменте.
Все статьи журнала
Пользователи на форуме:

Из коллекции изречений:
>>показать еще...

Яндекс.Метрика