Эксклюзивные занятия по  МВАП : Развитие мышления по схемотехническим принципам. Распознаватели.

Уже приводились такие примеры распознавателей как замок, распознающий подходящий для него ключ. Сейчас важно определить, сколько же признаков необходимо для распознавания и какими должны быть эти признаки.

У классического ключа есть язычок: если его длина и расположение при воткнутом ключе оказывается точно напротив прорези, то вращение ключа становится возможным и язычок, пройдя прорезь, отключит замок, т.е. произойдет распознавание с компарированием схожести язычка и прорези и выдачей сигнала в виде свободы вращения ключа.

Для любого причинно-следственно процесса нужна энергия, позволяющая осуществлять движение. Такую энергию дает усилие вращения от руки. Любые другие схемотехнические системы не имеют в этом исключений.

Итак, язычок может быть один или их может быть несколько, длины язычка тоже могут быть разными. Компарирование будет успешным, когда вся совокупность этих параметров окажется в соответствии с профилем выреза замка.

И здесь есть один важный момент. Если язычок будет длиннее прорези для нее, то ключ не провернется. А вот если меньше - то легко провернется, но хватит ли его для того, чтобы зацепить открывающий механизм? Хочу обратить внимание, то величина в сторону увеличения оказывается критичной, а длина в сторону уменьшения от длины прорези – нет. Другими словами, позитивная величина параметра распознавания оказывается существенной, а негативная – влияет уже после валидации длин язычков прорезями – на втором этапе компарирования.

Обращаю на это внимание потому, что этот принцип оказывается важным в нейронных природных распознавателях (почему именно – станет понятно позже).

Получается, то замок можно обмануть, укорачивая язычки, но не до степени, когда они перестанут открыть механизм. И на первом этапе работают только положительные параметры (в терминах нейрона назовем их возбуждающими) и только потом срабатывает сравнение длины язычка с длиной рычажка открытия замка.

Попробуйте придумать, как организовать сразу распознавание с равноценным использованием как возбуждающего, так и тормозного параметра в случае классического замка (т.е. чтобы укорачивание язычка так же надежно не давало провернуть ключ, как ее лишняя длина). Попробуйте настойчиво до успешного решения, чтобы полностью прочувствовать проблему. Вы убедитесь, что это – очень непросто. А вот в два этапа распознать подходящий ключ несравненно проще в любом плане, как в плане сложности конструкции, в плане расходуемых материалов и в плане надежности распознавания. Это – принцип, который нужно научиться понимать и учитывать.

Может ли распознаватель оперировать только с одним параметром? Казалось бы это – абсурд, раз параметр один, то чего его распознавать? Но распознаватель – не только валидатор соответствия параметра профилю распознавания, но его функцией, без которой он теряет смысл, является активация – сигнал распознавания, который может как-то использоваться. Возьмем сито с круглыми дырками определенного диаметра. Параметры среды – песчинки разного размера, цель сита – отсеять все, что мельче диаметров его дырок. Параметр распознавания один, а польза очень существенна. И, заметим опять, что сито работает только с положительными параметрами и не может отсеять более мелкие, чем дырки песчинки. Для этого понадобится вторичные процессы с более мелкими дырками. Или какой-то другой распознаватель, но работающий только с теми песчинками, которые меньше диаметра его профиля распознавания.

Делаем вывод: распознаватель имеет смысл, начиная уже с одного единственно параметра распознавания. И даже в случае, если у него вообще нет ограничений на функцию распознавания и он срабатывает от всего, что может заставить сработать его компаратор, превысив какой-то порог, в чем так же можно извлечь пользу.

Это означает, что распознаватель является наиболее универсальным устройством для создания любых схемотехнических последовательностей. Достаточно будет модифицировать только его профиль распознавания. Что и было реализовано в одном из старых проектов адаптивной системы измерения расхода воды в канале в Киргизии.

Идеальный математический распознаватель – персептрон (пожалуйста, самостоятельно найдите информацию по нему, не слишком углубляясь потому, как в нейросети не используется идеальный персептрон).  Математический персептрон настолько идеален, что обладает возможностью распознавать с использованием как положительных (возбуждающих его), так и отрицательных параметров.

Системы на основе идеального персептрона реализуют так называемые искусственные нейросети, которые, по признанию самих разработчиков, не имеют ничего общего с природными нейросетями. Причина этого не только в том, что для реализации учета отрицательных параметров нужны сложные и затратные ухищрения, а процесс эволюции бездумен и, как вода в арыке, идет по наиболее легкому руслу. Сейчас мы рассмотрим одну из этих причин.

Пока еще мы никак не затрагивали схемотехнику в программировании. Программные продукты не реализуют природные причины и следствия, а лишь моделируют, эмулируют их, основываясь на логике программных алгоритмов.

Так, оператор IFявляется программным распознавателем соответствия условия (параметра) и действующего фактора. Если компоненты совпадают, то происходит действие (срабатывание распознавателя), если нет, то - игнорирование. В этом операторе можно сравнивать как отдельные параметры, так и любые их совокупности. Например, так строился ИИ старых (и многих новых) компьютерных игр. Например, если персонаж игрунки говорил игроку: “Ну, привет, бро!”, то выдавались возможные варианты ответа на выбор, например, 1) О, привет, дружище! 2) Да пошел ты… В случае совпадения выбранного варианта 1 в операторе IF (IFanswer == 1) возникало продолжение дружеской беседы, а при IFanswer == 2 начиналась мочиловка.

Создатели игрушек усложняли условия, пока у них хватало мозгов все отследить, например, добавлялось время действия и время суток. Если все происходило в уютной комнате вечером с героиней игрушки, то ясен пень какое было продолжение, а если встреча была на пустоши среди коварных врагов, то мочиловка могла начаться по любому поводу.

Понятно, что все ограничивалось только уже предусмотренными вариантами и не более той сложности, после которой игрушка больше глючит, чем работает (контролировать все переходы по оператору IF становиться  лавинообразно сложно по мере их используемого количества в совместном акте распознавания).

Но главное вот что.

Главное: оператор IFсравнивает объекты, а не их составные части. Так, даже  если задано условие IFparameter == 3.14 то число 3.14 – это не какой-то дробный огрызок, а объект с таким вот свойством. Никакие другие числа не пройдут это условие. Т.е. входным параметром реально действующего распознавателя должен быть и реальный в своих свойствах признак, обладающий (или не обладающий) свойством, на которое настроен распознаватель.

Напротив этому, если вы уже ознакомились с принципом идеального персептрона, то видели, что на входы его сумматора подаются строго дозированные части входных параметров за счет ограничения их проводимости, что в персептронах называется весами. Получается, что идеальный персептрон работает не с реальными входными параметрами, а с заданными программистом какими-то их частями, которые подбираются программистом так, чтобы персептрон срабатывать только на данный набор входных параметров. Это та самая сложнючая заморочка, которая была при попытке заставить замок реагировать на уменьшение длины язычка так де как на его увеличение.

Вот почему искусственные нейросети такие непонятно сложные даже для самых их создателей: нет возможности осмысленно отследить, что же происходит там внутри. И нет возможности найти в самом деле независимый от программиста способ обучения.

Вывод: реальный универсальный распознаватель должен работать с реальными же входными параметрами, а не с их весовыми частями. И не пытаться сразу в одном флаконе распознать как позитивную, так и негативную составляющую входных параметров, а проще и надежнее это делать поочередно.

Но, понятно, что организовывать профиль распознавания, настроенный на реальные параметры (на свет, на звук и т.п.) – невозможно. Этим занимаются только самые первичные распознавали физических воздействий в сетчатке глаза или в улитке уха. А оттуда идут уже цельные (а не взвешенные) сигналы, но вторичные по очереди распознавания.

Поэтому универсальный распознаватель реального действия похож на ту водяную модель с коромыслом весов, на одной стороне висит грузик, определяющий порог срабатывания, а на другой до 10000 нановедерок для заливки в них воды по трубочкам примерно одной пропускной способности (конкретная проводимость уже не важна, важно только идет по ним вода или нет), идущих от первичных распознавателей физического воздействия. Так, если появился звук определенной частоты, то открылся клапан соответствующей трубочки и в ней вода начала литься в ведерки тех распознавателей, которые должны определять, например, что вместе с этим звуком еще есть и красный свет в какой-то фасетке датчика света. И распознаватель такого сочетания реальных признаков быстро наполнит свои ведерки, они перевесят, и весы откроют клапан чтобы вода по трубочке от этого распознавателя полилась дальше в очередь последующих распознавателей.

Пока достаточно для осмысления и нахождения затронутых принциоп в окружающей бытовухе, НО, пожалуйста, дополните картину модели реального распознавателя еще и ранее рассмотренным принципом выделения составляющих элементов воздействующих факторов Сообщение № 45989.

Все это образует систему важнейших схемотехнических принципов, без которой невозможно разумно пытаться отгадать механизмы природной нейросети.

Вы, должно быть, уже прочувствовали, что каждый их этих принципов важен и универсален в не зависимости от способа реализации последовательностей процессов. И, возможно, многие из рассмотренных принципов предстали в довольно неожиданном ракурсе и свойствах, но потом все устаканилось и стало взаимосвязано понятно.  Но эти все важные принципы (и то многое, о чем мы пока еще не говорили) до сих пор практически никак не учитываются физиологами, пытающими понять работу нейросети,.и в этом причина всех их неудач даже в определении функции нейрона.

Итак, нужно все это как уже повелось, перевести в личные собственные уверенные до очевидности представления в попытках многообразных попытках нахождения в окружающем и применения в своих мыслительных конструкциях, а лучше не только мыслительных. Пусть каждый участник выскажется по итогам такого саомовозвышения и если есть трудности, выскажет их тоже.

>>> Попробуйте придумать, как организовать сразу распознавание с равноценным использованием как возбуждающего, так и тормозного параметра в случае классического замка (т.е. чтобы укорачивание язычка так же надежно не давало провернуть ключ, как ее лишняя длина). 

У штифтового замка нет такой проблемы. То есть это задача для финского замка?

А ты по смыслу примера попробуй :) там говорится про язычок и прорезь.

Первый слой распознавателей получает сигналы от группы рецепторов, специализированных на распознавание определенных сигналов, причем в разной степени чувствительности. Стало быть, на реальный распознаватель так же приходят преобразованные сигналы со своими весами.

И насколько я понял, в многослойном персептроне так же реализовано поэтапное распознавание образа через иерархию все более усложняющихся примитивов. Другое дело, что дальше нет понимания, как это "превратить в интеллект". То есть можно распознать буквы, слова, устойчивые выражения, даже авторский стиль - но если попробовать программно написать текст, получим отдельные, не связанные сюжетом и общим смыслом отрывки.

Конечно, речь не идет о полноценном измерении воздействующего фактора. Какой бы ни была чувствительность сенсорной клетки, по ее сигналу становится возможно ориентироваться об окружающем, породившем этот сигнал.

Например, я слепой вижу только одной точкой сетчатки (утритую), переводя ее на одно и другой. Перехожу дорогу, навожу на светофор, точка показывает красный цвет. Пофиг какая чувствительность точки, главное, что она достаточная чтобы передать мне информацию: там красное. Для этого не нужны никакие веса, нужен просто распознаватель цвета для этой точки. От сенсора идет три проводка: красный, зеленый и синий. Все :) Но интенсивность – тоже важная характеристика, точнее не абсолютная яркость, а относительная, и эта относительность так же распознается.

На этом нужно будет остановиться до полной ясности. Так что еще много будут слов… Хотя про принцип ненужности точного учета веса отдельных параметров на входе персептрона была уже как-то обоснована, но, наверняка, недостаточно убедительно, так что буду пытаться находить нужные доводы.

Очень важно вот так сразу приводить свои возражения, чтобы не оставалось недосказанности.

В многослойном персептроне нет выделенных примитивов первого и последующих уровней. Там работает вся сеть так, что погрешности первого уровня компенсируются последующими в общую картину на выходе. Многословный персептрон и несколько параллельных последовательных однослойных с несколькими последовательными такими слоями,  где каждый нейрон работает самостоятельно (если не считать тормозного взаимовлияния в каждом слое) – совершенно разные схемы, с разными свойствами.

>>> (Palarm) но если попробовать программно написать текст, получим отдельные, не связанные сюжетом и общим смыслом отрывки.

https://habr.com/ru/post/440564/

GPT-2 оказалась способной генерировать целые страницы связного текста. С повторными упоминаниями имен действующих лиц по ходу повествования, цитатами, отсылками к связанным событиям и так далее. Примеры приводить здесь не буду, а отсылаю желающих к оригинальной статье в блоге OpenAI: Better Language Models and Their Implications или по ссылкам в конце статьи.

Генерация связного текста такого качества это само по себе впечатляюще, но самое интересное здесь другое. GPT-2 без всякого дообучения сразу показала близкие к state-of-the-art результаты на целом ряде разговорных задач. 

Сейчас несколько подходов эту задачу реализуют на сверхточных сетях, рекурентных (симулируют короткую память) и сетях внимания.

Вот пример сгенеренного машиной текста:

https://openai.com/blog/better-language-models/#sample2

Короткая затравка написанная человеком, по которой нужно написать связанный текст:

A train carriage containing controlled nuclear materials was stolen in Cincinnati today. Its whereabouts are unknown.

Текст написанный машиной:

The incident occurred on the downtown train line, which runs from Covington and Ashland stations.

In an email to Ohio news outlets, the U.S. Department of Energy said it is working with the Federal Railroad Administration to find the thief.

“The theft of this nuclear material will have significant negative consequences on public and environmental health, our workforce and the economy of our nation,” said Tom Hicks, the U.S. Energy Secretary, in a statement. “Our top priority is to secure the theft and ensure it doesn’t happen again.”

The stolen material was taken from the University of Cincinnati’s Research Triangle Park nuclear research site, according to a news release from Department officials.

The Nuclear Regulatory Commission did not immediately release any information.

According to the release, the U.S. Department of Energy’s Office of Nuclear Material Safety and Security is leading that team’s investigation.

“The safety of people, the environment and the nation’s nuclear stockpile is our highest priority,” Hicks said. “We will get to the bottom of this and make no excuses.

Эта же сеть может написать фентези историю:

Человек:

Legolas and Gimli advanced on the orcs, raising their weapons with a harrowing war cry.

Машина:

The orcs’ response was a deafening onslaught of claws, claws, and claws; even Elrond was forced to retreat. “You are in good hands, dwarf,” said Gimli, who had been among the first to charge at the orcs; it took only two words before their opponents were reduced to a blood-soaked quagmire, and the dwarf took his first kill of the night. The battle lasted for hours until two of the largest Orcs attempted to overwhelm Aragorn. When they finally stopped, they lay defeated and lifeless for miles and miles.

“I take nothing,” said Aragorn. “But I give my word, at my peril and mine, that I will never forget this day of horror. None of us will forget. Ever!”

“I’ll never forget it!” cried Gimli, who had been in the thick of the battle but hadn’t taken part in it. One of the wounded orcs he had carried off, he was the only one of the survivors who remained uninjured. “We’ll keep the memory of that day of evil, and the war with it, alive as long as we live, my friends!”

“Then we’ll keep it alive as long as we live,” added Legolas. “And we won’t forget the first great battle of the night, even if we may have forgotten the final defeat.”

“I agree,” Gandalf said, “but we will all remember it as the last battle in Middle-earth, and the first great battle of the new day.”

Aragorn drew his sword, and the Battle of Fangorn was won. As they marched out through the thicket the morning mist cleared, and the day turned to dusk.

The Two Rings were returned to Rivendell. Frodo and Sam woke up alone in their room, and Frodo found a note on his pillow. He opened it and read:

May the Power of the Ring be with you always, and may its light never fade. I am not sure if it matters which of the two rings we accept this day but, as you asked me, I have chosen mine. I am sorry to leave you, Frodo, but know that we are very close to the end, and that you are with us forever. May this letter find you safely in Rivendell; and if it does not, then I will accept the ring in your stead. If by any chance you find or give this letter to the enemy, may they learn the strength of the ring and may the Two Rings never be broken!

Якобы генерация кода на PHP с помощью GPT-2. Код бредовый и его немного (совсем чуть-чуть) подправил человек:

https://gist.github.com/moyix/dda9c3180198fcb68ad64c3e6bc7afbc

Выглядит как бред обкуренного торчка-ролевика, которого попросили досичинить какой нибудь эпизод из "колешника" :) Что в принципе следовало ожидать от искусственной нейросети, пусть и научившейся распознавать сюжетные линии - но напрочь лишенной вдохновения и способности выдумать что-то захватывающе-интересное. Хотя, с другой стороны, полистав как то Толкиена - тоже не особо впечатлился.

Но согласен с авторами - внедрение даже таких нейросетей спровоцирует множество серьезных проблем с "достоверностью" информации.

Неужели никому не приходило в голову рассмотреть свойства взаимодействия нескольких однослойных персептронов вместо одного многослойного?

>>Неужели никому не приходило в голову рассмотреть свойства взаимодействия нескольких однослойных персептронов вместо одного многослойного?

Этот вопрос несколько раз возникал даже на этом сайте в обсуждении с разными нейросетевиками. Не хочу искать эти темы, суть в том, что они все имеют одну моду: юзать многослойный персептрон с соединениями каждого слоя все со всеми. С точки зрения логики и здравого смысла кажется очевидным, что для того, чтобы сетка могла обучиться распознавать что угодно, как раз и должны быть слои, связанные  все со всеми, ну с какой стати ограничивать наиболее возможный потенциал. При этом такая система требует очень кропотливого подбора параметров связей и вообще не понятно, что в ней происходит где-то внутри. В общем эта трудность с оптимизацией связей, трудность с организацией обучения и оказывается на первом месте до сих пор.

Когда я пытался убедить, что гораздо проще не пытаться сразу обучить сложному распознавания, а сначала заготовить локально самостоятельные примитивы распознавания от самых простых и с каждым слоем все более сложных так, что последний слой легко будет обучаться уже на сложных образах, то возникало недоумение, а как можно заготовить все возможные впрок примитивы?

 И в самом деле, придется ограничиваться каким-то конечным и не очень большим набором, что означает трудности в отдельных случаях, для которых не хватает заготовки. В природе ведь так и происходит. Но природе пофиг универсальность, ей важно адаптировать конкретную особь к конкретным условиям и природа, пошла на упрощающие уступки за счет полного потенциала универсальности, достигла таких новых уровней использования получившихся механизмов, которые уже на новом уровне позволяют адаптироваться вообще к чему угодно.

Не думаю, что сейчас стоит углублять в это. Скоро каждый учатник начнет формировать свою собственную модель понимания и описания нейросетевой схемотехники, с учетом доступной аксиоматики и своей достигнутой схемотехнической эвристики и все такие вопросы потребуют ответов.

Получается, что многослойный персептрон это пример организации слоев распознавателей, которые созревают не поочередно - а все сразу, что приводит к лавинообразному усложнению их настройки и видимо делает способность к самообучению практически невозможной. Хотя точность распознавания многослойного персептрона намного выше, чем в природной нейросети, это совершенно не нужно для успешной адаптации, так как природа пошла по пути "дорисовывания" не достающих элементов - что как мне думается, ключевой момент для понимания, как строгий алгоритм действий постепенно превращается в анализ с произвольным выбором, что резко расширяет область адаптации: шаг назад - прыжок вперед.

>>> Получается, что многослойный персептрон это пример организации слоев распознавателей, которые созревают не поочередно - а все сразу, что приводит к лавинообразному усложнению их настройки и видимо делает способность к самообучению практически невозможной.

В машинном обучении есть методы поэтапного послойного обучения с последовательной проработкой уровней абстракций, есть методы обучения всей сети сразу. Было время когда было эффективно обучать сеть слой за слоем, сейчас проще / дешевле / обучать всю сеть сразу или брать заготовленные (предобученные) слои распознавателей, так как обучать свою сеть с нуля обычно дорого, часто такое обучение обходится в тысячи или десятки тысяч долларов.

https://scorcher.ru/forum/index.php?topic=1936 - я приводил примеры в этой ветке.

В частности, вот забавный интерфейс, который демонстрирует, как делает вычисления сверточная сеть:

http://people.csail.mit.edu/torralba/research/drawCNN/drawNet.html - каждый слой, это определенный уровень абстракции, более высокий, чем предыдущий. Можно наблюдать, как слой за слоем абстракции становятся все выше и выше.

Наверное, вы с Nan о чём то другом говорите. Я не до конца понимаю о чём.

>>> Что в принципе следовало ожидать от искусственной нейросети, пусть и научившейся распознавать сюжетные линии - но напрочь лишенной вдохновения и способности выдумать что-то захватывающе-интересное. 

Ты сделал тезис про сюжеты. Что нейросети не могут писать связанные рассказы. Я этот тезис опроверг контр примером. Могут.

Сейчас ты требуешь другого, что мол не красиво / лишено вдохновения. Но эти задачи тоже решаются. 

На сегодня в области генерации изображений / текстов / фотографий / видео нет признаков того, что мы упёрлись в потолок, каждый год - движение вперёд.

Айк, речь шла не о обучении всего слоя, а об обучении отдельных нейронов в слое своей локальной специализации. Сегодня нет никакой корреляции между любым из методов обучения искусственной нейросети и природной, что не раз отмечалось самими специалистами по инс.

Пожалуйста, пока воздержись от ухода от темы, я вижу, что ты не улавливаешь суть предложенного к осмыслению.

Все, кто уловил принципиальную суть и вполне освоился, пора высказываться, плиз, приводить примеры реализации и обсуждать предложенные к рассмотрению принципы.

>>> пока воздержись от ухода от темы, я вижу, что ты не улавливаешь суть предложенного к осмыслению.

Да, я лучше сосредоточусь на лекции.

Я не со всем, что ты пишешь согласен. Но у меня есть вопросы по значимой части лекции.

Реальный универсальный распознаватель должен работать с реальными же входными параметрами, а не с их весовыми частями. И не пытаться сразу в одном флаконе распознать как позитивную, так и негативную составляющую входных параметров, а проще и надежнее это делать поочередно.

Понятно, что организовывать профиль распознавания, настроенный на реальные параметры (на свет, на звук и т.п.) – невозможно. Этим занимаются только самые первичные распознавали физических воздействий в сетчатке глаза или в улитке уха. А оттуда идут уже цельные (а не взвешенные) сигналы, но вторичные по очереди распознавания.

Я не понимаю до конца рассуждений. Обработка информации начинается практически мгновенно ещё в сетчатке on / off центрами, которые контрастируют линии / границы:

Основные этапы обработки зрительной информации

И потом в стриарной, первичной коре:

То есть сырых необработанных данных, как в фотокамере, нет нигде.

Можешь объяснить идею с "Этим занимаются только самые первичные распознавали физических воздействий в сетчатке глаза или в улитке уха." я так понимаю, тут речь чуть ли не о светочувствительных молекулах, да? Потому что дальше сразу же в сетчатке начинается обработка.

>>> речь шла не о обучении всего слоя, а об обучении отдельных нейронов в слое своей локальной специализации.

Nan, можешь своими словами объяснить, как ты пришёл к этим выводам?

В первичной коре (и не только) выделяют миниколонки  и гиперколонки. Гиперколонка имеет всё множество значений параметра. Миниколонка - распознает одно значение. Микроколонки состоят из 80 - 300 нейронов (зависит от зоны).

У тебя, насколько я понимаю, абстракции колонок нет и универсальный строительный элемент - нейрон. То есть это отход от биологической схемы неокортекса, или нет?

Мне кажется, что я что-то упускаю. То ли не правильно понимаю, как работают колонки, то ли ещё что.

Ниже пример описания микроколонки и гиперколонки ( тонкие слои распознают поворот линии ). Кусок слоя в целом - гиперколонка - распознаёт все виды поворотов на этом участке. Микроколонки идут тонкими слоями через всю первичную кору и этот тонкий слой выполняет одно и то же распознание (например, поворот линии на 30 градусов на данном участке сетчатки). Всё это отображено на рисунке.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1569491/figure/fig3/?report=objectonly

Hubel and Wiesel's ice cube tray model of the striate cortex. In oblique microelectrode penetrations, they attributed the regular shift in orientation preference to an orderly stacking of slab-like orientation columns. Orientation hypercolumns contained 18 discrete columns about 50 μm wide, each 10° apart. Ocular dominance hypercolumns consisted of a single right (R) eye column and left (L) eye column about 500 μm wide. This diagram implies that a module consists of about four orientation and ocular dominance hypercolumns, measuring approximately 2×2 mm. Electrode movement in the cortex from one module to another was thought to produce a non overlapping displacement in the location of the aggregate receptive field of neurons. Hubel & Wiesel (1979, p. 160) later proposed that the combination of a single-orientation hypercolumn and ocular dominance hypercolumn ‘can be considered an elementary unit of the primary visual cortex’ (After Hubel et al. 1976).

>>> об обучении отдельных нейронов в слое своей локальной специализации.

Я не понимаю, как микроколонки, целые слои которые распознают поворот на какой-то определенный градус в первичной зрительной коре, сочетаются с фразой "об обучении отдельных нейронов в слое своей локальной специализации." То есть, если у нас нету послойного обучения, то откуда у нас слои микроколонок?

Это некая статистическая "магия"? Меня очень озадачивает эта особенность микроколонок.

Ты писал (https://scorcher.ru/forum/index.php?topic=1938&start=0), что механизм равёртывания первичных зон "Этот механизм очень подробно со всеми обоснованиями первичных работ, описан в лекциях, и ты меня сильно удивляешь, что ничего такого как бы в упор не заметил.", можешь ещё раз объяснить, как это происходит (или дать ссылку) и почему при этом речь всё ещё о "локальной специализации"? Меня в большей степени интересует именно слоистость первичных зон.

Могу и уже сделал это, но это тебя не убедит. Я не хочу навязывать свои уже имеющиеся представления, задача - чтобы ты сам пришел к определенному выводу и потом мы можем сопоставить разные выводы, но не сейчас. Сейчас самое важное дать те сведения о совершенно конкретных принципах, которые позволят верифицировать предположения (в том числе и чужие, выделяя наиболее правдоподобное с твоей точки зрения).

Это значит, что на данном этапе мы не должны затрагивать ни какие-либо готовые модели “объясняющие” механизмы нейросетей, ни конкретные реализации, в том числе природные, какими бы доскональными сведениями мы не обладали.

Важно убедиться 1) что принципы, на которых я заостряю внимание в самом деле имеют быть и представлены во многих своих воплощениях 2) очень хорошо освоить эти принципы так, чтобы легко вычленять их в окружающем (и в предположительных моделях).

Если я мельком затрагиваю какие-то реализации, природные или аналоги, то только для того, чтобы прочувствовали их актуальность в конечной цели, как бы обещаю заранее, что они пригодятся.

Мы не дошли еще до обсуждения конкретных механизмов нейросетевой светотехники. ни природной, ни искусственной.

А теперь по делу.

Речь не идет как именно устроено все в сетчатке, а – о самом общем принципе адаптивного распознавания (т.е. нужного для адаптивности индивида, а не программиста-оператора, обучающего сеть). А это значит, что нам нужно улавливать корреояциции тех параметров, которые удается сенсорам выделить в окружающем и того действия на нас, которое это может вызвать. Я приводил пример со светофором и единственным сенсором красного цвета. Нам для жизни нужно не пойти на красный светофор и если мы уловили красное, то идти нельзя.

Это не совсем корректный, утрированный пример, но он показывает, что нам важны не интенсивности параметра, а его значения для нас типа есть или нет это. Был пример с ситом и было предложено сосредоточиться на понимании этого принципа – сигнала того, что внешне воздействует определенный параметр, который важен для управления, например, параметр касания к усикам улитки – сразу вызывает оборонительную реакцию.

Момент не простой т.к. мы не привыкли к такому образу мысли.

Мозг, прежде всего, управляющая система между сигналами внешнего, которые что-то означают и, в соответствии с этим назначением, действовать. Уже от сенсора может быть сразу задействовано действие, что наблюдается у схеме управления бабочки. Если важен параметр, коворящий про отношение длины окружности к диаметру, а он дробный, то нужен датчик именно этого параметра, нужен сенсор, который реагирует именно на 3,14 с какой-то приемлемой точностью, а не весовой части от него, и тогда станет возможным адекватно реагировать.

В схемотехнике есть очень важный принцип: главную работу распознавания нужно возлагать на сенсор. Какой сенсор (датчик, антенна, любой параметрический сигнализатор воздействующего фактора), так и будет работать далее схема, основывающая управление (или сразу действие) на этом параметре.

Это нужно сопоставить с принципом резкого усложнения механизма при попытке учитывать не только воздействующий параметр, но и его отсутствие, и, особенно, инвертированное значение параметра (укорочение язычка ключа, отсеивание ситом сразу строгого размера песчинок и т.п.).

В сопоставлении получается, что полноценно-идеальный персептрон проигрывает перед последовательно обучающимися простыми (без сложного выделения полутонов, отсутствия, и инверсии параметра). Потому, что организовать такое обучение без подсказки программера (его системы важности) нереально принципиально. И именно эту принципиальную невозможность следует оценить самостоятельно, попробовав решить проблему сначала с ключом, у которого уменьшение язычка так же критично, как удлинение, потом с ситом и далее уже самостоятельно на всяких примерах, которые я жду, когда их приведут.

Айк, у тебя серьезные трудности абстрагирования от уже имеющихся предвзятостей…

>>> Айк, у тебя серьезные трудности абстрагирования от уже имеющихся предвзятостей

Возможно. Если это где-то прослеживается, тыкай носом. Я постараюсь исправиться.

>>> В схемотехнике есть очень важный принцип: главную работу распознавания нужно возлагать на сенсор. Какой сенсор (датчик, антенна, любой параметрический сигнализатор воздействующего фактора), так и будет работать далее схема, основывающая управление (или сразу действие) на этом параметре.

Это нужно сопоставить с принципом резкого усложнения механизма при попытке учитывать не только воздействующий параметр, но и его отсутствие, и, особенно, инвертированное значение параметра (укорочение язычка ключа, отсеивание ситом сразу строгого размера песчинок и т.п.)

Нужно обдумать.

>>> В сопоставлении получается, что полноценно-идеальный персептрон проигрывает перед последовательно обучающимися простыми (без сложного выделения полутонов, отсутствия, и инверсии параметра). Потому, что организовать такое обучение без подсказки программера (его системы важности) нереально принципиально. И именно эту принципиальную невозможность следует оценить самостоятельно, попробовав решить проблему сначала с ключом, у которого уменьшение язычка так же критично, как удлинение, потом с ситом и далее уже самостоятельно на всяких примерах, которые я жду, когда их приведут.

Касательно сита.

Можно отнестись к семечку или объекту, который надо осортировать, как к пуле. Пуля должна точно подходить к стволу, чтобы вылечить на достаточное расстояние. Если поля больше ствола - она в него не влезет. Если она меньше ствола - при выстреле не создастся достаточного выталкивающего давления воздуха. Так что всегда требуется определенный калибр.

Ну или по той же схеме попробовать засосать объект. Если объект идеально подходит к трубке, то будет проще понизить давление и всосать его.

Можно вообще отсортировать объекты по весу. Рассыпаем их на доске, немного наклоняем доску и постукиваем по ней. За счёт разной массы объекты будут подпрыгивать на разную высоту после небольшого удара, и потом падать обратно на доску и закрепляться на ней за счет силы трения,  в итоге после пары ударов они более или менее отсортируются по массе.

Про замок я пока думаю.

Я не до конца понимаю его механизм, думаю, не только я. Ты не дал ни схемы замка, ни примера ключа. Ни уточнил, что именно за замок, как он называется? В итоге у тебя получилась интеллектуальная шарада, а не пример для понимания и разбора.

Если пуля хоть немного больше, она не пройдет, а вот если хоть сколько-то меньше, она вылетит. Требования стрелка тут ни причем. Попробуй сделать ствол, чтобы пуля вылетала только когда она точного диаметра. Вот где у тебя проблема: ты привносишь лишнее в принцип.

Про замок – то же что про пулю: сможет он провернуться через прорезь, сделанную для его язычка или нет.

>>> Попробуй сделать ствол, чтобы пуля вылетала только когда она точного диаметра.

Нужно создать условия при которых пуле требуется накопить достаточное давление воздуха, чтобы вылететь. Если пуля будет меньше ствола, то газ, который создаёт дополнительное давление, будет через неё просачиваться и необходимое давление не возникнет.

Это не обязательно должна быть пуля в стволе. Это может быть водяной столб, отрицательное давление, всасывание, как в пылесосе. Тут важна общая идея, что создаётся разница давлений за счёт достаточно плотной закупорки трубы.

Ну и ясен пень, что это решение работает только для объектов шарообразной формы.

>>> может он провернуться через прорезь, сделанную для его язычка или нет.

Если можно трогать язычок и окно входа, то задача тривиальная. Язычок делаем пустым, оставляя только его каркас в виде проволоки. А прорезь в виде буквы "П", так чтобы каркас из проволоки через неё идеально проходил.

>>> Вот где у тебя проблема: ты привносишь лишнее в принцип.

Какой принцип?

Кто-нибудь возьмется объяснить Айку?

Мой вариант: "принцип резкого усложнения механизма при попытке учитывать не только воздействующий параметр, но и его отсутствие". Так как его упомянули последним в обсуждении.

Но он, вроде как, в контекст разговора не вписывается :)

В случае с ключом со строго определенным язычком - это обычный сувальдный замок. Прорези ключа приподнимают сувальды строго на определенную высоту, освобождая проход для фиксатора ригельной пластины. Если хоть одна прорезь будет больше или меньше - ключ не провернется.

Если рассматривать механизм замка как фигурный паз, в котором надо провернуть ключ - то просто спилив все выступы на ключе мы легко это сделаем. А вот если выступ ключа должен совершить строго определенное действие, в данном случае поднять сувальду точно на заданную высоту - что в свою очередь позволит совершиться другому действию - движению ригельной пластины, тогда придется задать точный параметр ключа, высоту его выступа.

Точно так же работает распознаватель, его можно представить по аналогии с ригельными пластинами. Пока на его входы не будут поданы строго определенные по интенсивности сигналы, он не "провернется".

Я видимо не совсем правильно обозначил через термин «сюжет», что хотел сказать. Вообще, я плохо представляю, в каком состоянии сейчас развитие искусственных нейросетей. Читал только несколько статей, где некие авторитеты признавались, что зашли в тупик непонимания – куда двигаться дальше. Как один из них говорит: «читаешь написанный машиной текст, вроде все нормально, связанные слова, предложения. Но на 2-3 странице понимаешь, что это бред».

Я думаю это потому, что если человек что-то пишет – он пытается что-то донести до читателя, какую-то важную для него мысль. У машины этого нет. Допустим нейросеть распознала правила грамматики, особенности стиля автора – но при попытке сгенерить аналогичный текст получатся отрывки. Потому, что это будет просто сборка выделенных примитивов, связанных по принципу (как я представляю логику работы таких сетей): сборка похожа по ключевым признакам на оригинал или нет? И последующие уточнения. И тут действительно, можно бесконечно уточнять и уточнять – потолка тут нет. Но…

Для машины в тексте нет никакого смысла, никакой цели – просто отформатированный набор нулей и единиц. Хотя внешне выглядит как осмысленное сообщение. Но попытка диалога с таким «интеллектом» будет подобна разговору с журчанием ручья. Наше сознание просто дорисует отсутствующие «смыслы» и возникнет иллюзия, что ручей чего-то рассказывает. И в этом главный затуп, который вроде как понимают разработчики искусственных нейросетей – как сделать так, чтобы нейросеть сама себе придумывала сюжеты, без указания оператора. Точнее нет понимания, что такое произвольность выбора, на чем она должна основываться. Это явно не средне/хаотично/арифметичное – а что то другое. Может какая то функция, может результат каких то вычислений.

Если задача получить гранулы строго определенного размера, то при помощи сита это решается только набором последовательно расположенных сит с уменьшающимися размерами ячеек. В каждом из них будут оставаться только гранулы провалившиеся из верхнего и не провалившиеся в нижнее

С замком все излишне усложняется, несмотря на конкретный рисунок, ладно, пофиг замок, давайте просто сито, которое фильтрует только по размеру не больше определенного, а меньше - пожалуйста. Я не привожу других примеров, в надежде, что их приведут участники.

Если это распознаватель типа даже идеальный персептрон, то он провернется, если если входы имеют веса 1 (полный контакт) и хоть на один придет сигнал от датчика "ко мне дотронулись" (тактильный датчик, способный вызвать зудеж от самого легкого прикосновения). А вот организовать сразу сложное распознавание при самообучении на уровне датчиков - попробуй :)

В твоих примерах распознавателя это делалось установкой весов (сопротивлений) на входах. То есть только при определенном сочетании сигналов распознаватель сработает. В случае самообучения - это экспонирование сигналов на матрицу распознавателя. То есть те датчики, что чаще получали более интенсивный сигнал, созревают быстрее, у них соответственно фиксируется более высокий вес входа. Таким образом автоматически фиксируется некая закономерность, повторяемость интенсивности сигнала.

Кто в природе устанавливает веса на входах?

Для самообучаемого распознавателя необходимо, чтобы его датчики имели свойство "засвечиваться" без возможности восстановления. Как зерна на фотобумаге - раз засветившись, их уже не восстановишь в исходное состояние. Ведь только так можно "зафиксировать изображение".

Например представим, что нужно выделить 12 полутонов музыкального ряда. В случае самообучения это можно сделать только проецируя на матрицу распознавателя эти звуки вместе с посторонними шумами. Ведь шум - это хаотические флуктуации, на фоне которых хорошо выделяются строго постоянные по частоте звуки полутонов. Начинаем шуметь (шипеть, хрипеть, дребезжать чем то) и одновременно как попало колотить по клавишам пианино. Через некоторое время обнаружится, что будут в большей степени "засвечены" те датчики аудио-матрицы, которые оказались чувствительны к частотам полутонов, потому, что сигналы, воспринимаемые ими были всегда строго определенной частоты, и они в большей степени подвергались воздействию, чем остальные датчики, фиксирующие короткие хаотичные флуктуации.

Очень близко в тему! Конечно же никакой программер не рулит весами входов. Но мы сильно опережаем события. Тема - совершенно определенные принципы (особенности причинно-следственных явлений), которые хотелось бы сделать очевидными. Давайте не отвлекаясь пока ни на что подтвердим или опровегнем само существование изложенных принципов, и если таковые есть, то, как это было в прежних темах, для начала постараемся найти их воплощения в окружающем.

Думаю, основной принцип распознавания - задание граничных условий, в которых должен оказаться искомый объект. Для каждого параметра должно быть минимум 2 условия: начало и конец. В графической интерпретации это минимальное количество точек для определения прямой.

Например, для распознавания размера нужны две границы: больше "А" и меньше "Б". Начинаем мысленно двигаться по прямой от нуля к "А". Как только достигнем "А" и поедем дальше - сработает датчик увеличения параметра начальной точки ("А"), как только достигнем "В" и поедем дальше сработает датчик увеличения параметра конечной точки (конца искомого диапазона). И если после прохождения "А" можно смело разгоняться и ехать дальше, то после прохождения "В" нужно наоборот резко тормозить. В итоге имеем не просто пару параметров, а пару противоположных по действию: активирующего и тормозного.

Представим, что у нас каретка на рельсе, на которой расположены пара концевиков. У каретки двигатель, который запрограммирован особым образом. Начинаем двигать вручную каретку в первому концевику. Как только его достигли и он сработал - он включает движок и каретка дальше едет сама. Но как только она достигнет второго концевика - он вырубит двигатель. Так мы получили автоматическое распознавание допустимого диапазона пути катания каретки, где обязательно наличие пары концевиков с взаимно противоположной логикой работы: один должен работать на ВКЛ а другой на ВЫКЛ.

Если при достижении конечного концевика мы инверсируем их логику, превратив ВКЛ в ВЫКЛ и наоборот, а так же сделаем реверс вращения движка каретки - получим бесконечный цикл - каретка будет кататься между двумя концевиками. То есть добавив реле, переключающее соединение контактов в концевиках и движке  - получим закольцовку.

Как не верти, но не получится выделить диапазон без пары взаимно противоположных по действию ограничений. Например если надо выделить конкретную фракцию гранул, то придется использовать два сита с разными диаметрами ячеек и просеять гранулы сначала через сито с большей ячейкой, потом через сито с меньшей. Первое сито будет пропускающим (активирующим), второе блокирующим (тормозящим).

Развивая дальше мысль про минимальное кол-во граничных условий:

1 параметр (1 ось измерения - Х) - 2 условия - 2 точки для определения прямой на оси

2 параметра (2 оси - X,Y) -  3 условия - 3 точки для определения треугольника на плоскости

3 параметра (3 оси - X,Y,Z) - 4 условия - 4 точки для определения тетраэдра

То есть кол-во минимальных граничных условий диапазона определяется как: Np + 1, где Np - количество органичеваемых (распознаваемых) параметров. По моему это из какой то теории, определяющей область решений для уравнений с "n" неизвестных.

Очевидно же, что второе сито не оказывает тормозящее воздействие на первое, вообще не является доработкой первого, а срабатывает уже после работы первого. За вторым может быть еще ряд сит с уменьшающимся диаметром дырок. Получится просто колонка распознавателей с меняющимся параметром распознавания. И вот такую колонку распознавателей уже становится легко использовать более высокоуровневым распознавателем, который сработает, к примеру, только если срабатывает 3 см. (диаметр дырки) распознаватель и не срабатывает 2 см. что говорит, что нет камешков меньше, чем 3 см. Становится возможным использовать любые сочетания простых распознавателей в колонке. А вот попытка наделать сразу сложные распознаватели с этим свойствами – несопоставимо сложнее.

Раз даже Palarm в этом месте затрудняется, мы все будем осваивать этот принцип несопоставимо большей эффективности нескольких простатах распознавателей, чем одного сложного. Потому как это имеет ключевое значение.

Прошу обсуждать только один этот аспект.

Мне как-то участвовать в обсуждении? Я, вроде бы, задал простой корректный вопрос, но ответа на него не получил.

Айк, участвовать в последнем упомянутом аспекте, а не распыляться, плиз.

>>> (Palarm) Я думаю это потому, что если человек что-то пишет – он пытается что-то донести до читателя, какую-то важную для него мысль. У машины этого нет.

>>> Для машины в тексте нет никакого смысла, никакой цели – просто отформатированный набор нулей и единиц.

Машины могут руководить исследованиями и писать научно-исследовательские статьи. Текст для машин обладает содержанием. Но на вычисления нейросети не надо смотреть излишне антропоцентрично.

Чтение текстов идёт на базе идей дистрибутивной грамматики, где каждому слову ставится в соответствие математический вектор (word2vec). В детали, если ты не против, давай в этой теме не будем вникать. Но в итоге машина вполне способна оценить смысл слова, предложения, контекст статьи.

У машины формируется пространство когнитивных векторов, где каждому слову соответствует n-мерный вектор в когнитивном пространстве. Интересно, что распределение сущностей в этом пространстве оказывается более или менее одинаковым во многих популярных человеческих языках, что позволяет легко строить системы машинного перевода. Сначала мы выделяем смысл сказанного на одном языке, а потом, пользуясь тем, что у нас примерно тоже самое, но иначе размеченное, когнитивное пространство на другом языке, находим перевод слова / предложения.

Соответственно, в некотором приближении можно сказать, что уже на стадии word2vec у машин появляется некая база знаний о сущностном описании мира.

Дальше эту базу знаний можно развить. Например, научить отвечать на вопросы по корпусу текстов.

Машины так же могут участвовать в руководстве и научных исследованиях, для этого пробуют использовать "обучение с подкреплением". Одна из вариаций этой методики оказывается довольно эффективной, когда у нас нет полного знания о среде и нужно отыскать наиболее эффективную стратегию поведения в ней.

С помощью вариаций этой методики машины сейчас учатся играть в компьютерные игры, обыгрывают чемпионов в Starcraft или Go.

Всё выше написанное не означает того, что мы не сталкиваемся с проблемами. Они безусловно есть, но носят скорее инженерный, чем теоретический характер. В том смысле, что разработки принципиально новой теории машинного обучения вроде бы не требуется. Но есть масса задач в рамках текущих подходов, в том числе - требуется их теоретическое обоснование.

Айк, ты понимаешь, что ты пишешь не по теме? Ты отвлекаешь других от главного в теме.

>>> (nan) Вот где у тебя проблема: ты привносишь лишнее в принцип.

>>> (айк) Какой принцип?

Nan, ты на вопрос не ответил. Не разобрал мои ответы. Ты не то, чтобы обязан это делать. Но я не понимаю, что мне делать дальше.

>>> Айк, ты понимаешь, что ты пишешь не по теме?

Да. Я надеюсь, что офф-топа больше не будет. Palarm давай притормозим :)

Предлагаю забыть про опрометчивые вопросы и снала осмыслить два последних сообщения 1-е от Palarm, 2-е от меня про распознаватели сито. Это сейчас самое главное, тот принцип, который нужно освоить в первую очередь.

 Супер. Буду разбирать :) 

Дык я и не говорил, что второе сито тормозит первое. Имел в виду, что гранула пролетела первое сито, а второе его "затормозило". Пропускающее/тормозящее действие оказывается на полет гранулы. Чтобы задать диапазон для одного параметра, нужно 2 граничных условия: начальное и конечное. Думаю, это самоочевидно.

Думаю, самая удачная ассоциативная и легко представляемая модель распознавателя - колонка сит, расположенных по убыванию размера ячейки. Кидаем в верхнюю горсть гранул, трясем колонку - и получаем на каждом сите свою кучку гранул с размерами меньше предыдущей ячейки сита и больше той, где она застряла.

Уточню: не модель колонки распознавателя, а модель колонки распознавателей, каждый их которых предельно прост и заточен на своем параметре.

Как проявляется профиль распознавателя каждого распознавателя будем смотреть чуть позже. Сейчас важно уяснить принцип простоты и эффективности.

Я не понимаю, чего от нас хотят.

Пример с ситами, что удобно использовать несколько сит для фильтрации, очевидный, и он приведен в начале урока.

Возьмем сито с круглыми дырками определенного диаметра. Параметры среды – песчинки разного размера, цель сита – отсеять все, что мельче диаметров его дырок. Параметр распознавания один, а польза очень существенна. И, заметим опять, что сито работает только с положительными параметрами и не может отсеять более мелкие, чем дырки песчинки. Для этого понадобится вторичные процессы с более мелкими дырками. 

Задание же другое было: Попробуйте придумать, как организовать сразу распознавание с равноценным использованием как возбуждающего, так и тормозного параметра в случае классического замка.

То есть два сита нельзя использовать. Ты же этого сам потребовал.

Я тебе приводил пример с трубой и созданием разницы давлений за счет закупорки трубы объектом подходящего диаметра и последующего его всасывания, именно потому что было требование распознавать два параметра сразу.

Вот хорошо, что тебе это очевидно. А стало ли очевидным, что нельзя использовать идеальный персептрон? И почему именно не получится его использовать? Стало очевидным принцип организации колонок сходных признаков?

Одним ситом не возможно отделить конкретную фракцию, только разделить кучу на две части: с большими и меньшими относительно ячейки сита гранулами. Стало быть в колонке с "заточенными на своем параметре" фильтрами мы в реальности имеем секции с двойными ситами, что по сути масло-масляное - какая разница, разнесем мы сита равномерно или по парам.

По поводу сит я понял так: парой сит мы можем отделить конкретный диапазон размеров, а колонкой из сит - получить сразу группу диапазонов, как призмой разом разложить всю кучу на фракции. В этом думаю интересный прикол. Допустим, надо определить коллекцию примитива наклонных линий. Берем палку и начинаем ее вращать перед глазом. И вот если расположить датчики колонкой, где каждый распознает не точный угол наклона, а только угол меньший какого-то - то и получим через некоторое время экспозиции коллекцию распознавателей, как бы раскадровку динамики вращения примитива. И более того, они будут расположены по порядку вращения (если вращение было постоянно в одном направлении во время экспозиции). То есть мы как бы бонусом получим распознаватель направления вращения примитива, да и вообще движения, если просто по умолчанию свяжем активацию полученных примитивов последовательно друг за другом как признак например правого вращения.

Получается что расположение "не точных" распознавателей колонкой позволяет пропуская через всю ее сигнал получать его разложение на составляющие. То есть получив выходной сигнал от датчика, определившего раздражитель как "прямая линия" и пропустив его через такую колонку, мы получим, что на каком то этаже она среагирует и выдаст уточнение - конкретный угол наклона прямой. А если проследить за реакцией колонки за промежуток времени, например просто подцепив все ее выходы на вход доп. датчика - его срабатывание при поступлении сигналов на все входы покажет, что примитив "движется". А если мы еще поставим датчики в начало и конец цепочки колонки - то узнаем в какую сторону вращается примитив.

Но это блин совсем не то, что ты говоришь: расположенные друг за другом "заточенные на своем параметре" распознаватели. Если расположить точные распознаватели колонкой они будут работать не как детализаторы, а только как ассоциаторы (абстрагаторы или как угодно). Имхо, друг за другом располагаются слои распознавателей. Вот тут да: определили примитив прямая - на следующем слое определили уже конкретную фигуру. А вот толщины линий, их наклоны - это уже через колонки-детализаторы.

>>Одним ситом не возможно отделить конкретную фракцию, только разделить кучу на две части: с большими и меньшими относительно ячейки сита гранулами. 

Нет, конечно. Одно сито имеет граничные условия распознавания от диаметра своей дырки до нуля. Обрати внимание: каждое сито – это распознаватель такого вот широкого диапазона.

Говоря о той же колонке простейших распознавателей-сит с дырками 1,2,3,4,5,6,7,8,9 см, вроде бы понятно, что кроме собственно распознавания важдым ситом от диаметра его дырки до нуля, стало возможным формировать последующие распознаватели любых сочетаний, скажем только от 2 до 5.

Альтернатива: создание сложных (непонятно как устроенных) распознавателей для каждого такого сочетания, т.е. вместо девяти девять в квадрате.

Это как пытаться делать сразу распознаватели лица каждого конкретного человека вместо того, чтобы воспользоваться более простыми графическими примитивами для их сочетаний только в случае нужного распознавания (запоминания данного человека).

А по логике как раз нейросетевики задавали вопрос: а как это можно заранее заготовить все возможные промежуточные распознаватели, показывая, что не врубаются в принцип большей эффективности систем из- слоев усложняющихся распознавателей от самых предельно простых. Их сети со связями между слоями все со всеми просто не могут эффективно выполнить универсальную работу распознавания с очень непростым обучением. И еще (забегая вперед) у них нет связей между соседними элементами каждого слоя, а такие тормозные связи просто необходимы для контрастирования и избавления от шумов.

Я думаю, чтобы не было путаницы, надо различать детализирующие колонки, работающие как группа сит, и ассоциирующие - как группа последовательно соединенных компараторов. Иначе возникает путаница. Детализирующие колонки служат для определения суб-свойств примитивов (углы наклона, толщины, радиуса кривых), а ассоциирующие - для углубления абстрагирования (точка - линия - фигура).

если я правильно понял - то детализирующая колонка как раз влегкую позволяет сколько угодно точно заготавливать по ходу дела уточняющие параметры примитивов (угол наклона, толщину и т. п.). Если вдруг она ничего не выдает - надо просто добавить еще группу этажей, и проходящий по колонне сигнал экспонирует там новые отпечатки. Ассоциирующая колонка ведь не слой распознавателей, который должен созрев замереть в своем развитии - она может постоянно расти по мере надобности.

Ты излишне усложняешь. Давай пока не перепрыгивать через этапы. Пока говорим про отдельный локальный распознаватель.

Есть еще один момент с колонками. Вот в обычной схемотехнике все делается одним процессом, стоит что-то случиться с любым звеном и процесс прервется. А в колонках экспозиция любого входного параметра затрагивает сразу множество соседей (чем дальше от фокуса, тем в меньшей степени). Это - очень важный принцип перекрывания функции распознавания, но сейчас не будем его мусолить. Важно освоить главный ранее упомянутый принцип неизбежной необходимости простейших видов распознавателей, а не сложно устроенных. Отсюда потечет все остальное.

Про идеальный перспетрон стало приблизительно понятно на примере замка (в идеальном пытаются реализовать чтобы блокировка неподходящего ключа происходила на первом этапе, когда ключ только вставили в замок и не шевелили). Про колонки (?слои) сходных признаков пойду на следующую итерацию чтения теории, видимо упустил что значит этот термин. Ещё неясно по поводу весов идеального перспептрона (и альтернативы "фактических значений на сенсор"), тоже придется подчитать на стороннем ресурсе. 

Про того как работает перспептрон понятно описано тут:

https://neuralnet.info/chapter/%D0%BF%D0%B5%D1%80%D1%81%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD%D1%8B/

Пока рассматриваем только однослойный персептрон - аналог одного нейрона. Т.е. в одном слое расположены нейроны-персептроны, имеющие простейший сумматор всех входных сигналов и компаратор превышения этой суммы определенного порога.

По твоей ссылке это описано неверно, там дается сразу куча локальных пересептронов, соединенных в сеть. Но там есть верные замечания, например, "S-A связи всегда имеют вес, равный единице, а порог А-элементов всегда равен +1. С другой стороны нам известно, что сенсоры могут подавать сигнал равный только 0 или 1.".

Ты хочешь сказать, что каждый нейрон в слое связан своими входами со всеми выводами детекторной матрицы, а их выводы соединены в одну точку. То есть они по сути подключены к ней параллельно и дублируют друг друга. А в схеме персептрона видим анализаторы обрабатывающие какой то свой участок матрицы.

Может по потому приходится так замороченно обучать персептрон перетусовкой всех его весов, что например для определения угла наклона линии надо не просто знать количество засвеченных пикселей, но конкретно каких, их порядковые номера на матрице. Я помнится задавал тебе такой вопрос в школе - как слой определяет координаты пикселов? Персептрону приходится оперировать двумя координатами (номер анализатора, номер его входа), а нейрону достаточно просто зафиксировать вес на определенных дендритах в момент его созревания (специализации), что происходит автоматически при экспозиции внешнего сигнала на матрицу. А параллельное соединение позволяет каждому нейрону специализироваться на свой примитив независимо от остальных.

Получается, чтобы не морочиться с пересчетом весов:

1. нейрон должен быть самонастраиваемым

2. все его входы должны быть подключены ко всем выходам матрицы

Или может это просто схему не правильно нарисовали, а однослойный персептрон работает так же как нейрон?

Нет, каждый нейрон первичного слоя не связан со всеми рецепторами зрительного поля, но связан с некоторым их количеством и соседний нейрон во многом перекрывает это поле, заходя чуть в сторону.

>>1. нейрон должен быть самонастраиваемым

Это – верно, других вариантов нет в природе.

Но мы опять залезаем вперед и мешаем другим сосредоточиться на теме. Похоже, что именно поэтому молчат Темная Лошадка и Клон. Но это не правильно, если что-то оказывается сложным или непонятным, нужно тут же сообщать об этом настойчиво (нагло!).

>>> (nan) если что-то оказывается сложным или непонятным, нужно тут же сообщать об этом настойчиво (нагло!).
 
+1

Народ. Включайтесь.

Включаюсь. Каждый день перечитываю тему .Пока очень сложно найти нужную аналогию.Хотя понятно о чём разговор.Надо приобрести опыт.

Во многих случаях приходится обходится без знакомых аналогий, а просто создавать новые образы.

В теме говорим о наиболее универсальной единице любой схемотехники, на которой можно создавать любые схемы управления чем-то в зависимости от воспринятого.

Этот элемент работает между сенсорными датчиками, преобразующими самые разные виды воздействия в совершенно безликие сигналы да-нет или 1-0. 1 – есть данный вид воздействия ()течет вода по трубке, 0 – нет такого воздействия (не течет вода по трубке). Т.е. какими бы ни были виды воздействия: звуковое, световой, прикосновения, запахи и т.п. а выходной сигнал для всех одного вида: есть или нет такое воздействие. И этот сигнал не дробный (не весовой).

Понятно, что чем грубее датчик, тем меньше информации. Мы говорили о том, почему просто светочувствительность развивалась через множество отдельных светочувствительных датчиком на голове, потом через фасеточные трубки насекомых, торчащий во все стороны, позволяющие точнее определять направление и вид светового воздействия, а потом – зрительную матрицы-сетчатку глаза. Но каждый сенсор выдает на выходе только 1 или 0. У нас была аналогия, что когда есть воздействие, он открывает краник и по трубочки начинает течь вода, наполняя ведерки коромысла-распознавателя.

В данной темме мы еще говорили, что лучше делать очень простые распознаватели, чем сразу сложные потому, что из набора простых можно следующим шагом получить любые сложные сочетания, а вот сразу получить распознаватель сложного сочетания очень трудно, да не невозможно заготовить все возможные сочетания так же как заготовить все фразы языка вместо того, чтобы пользоваться буквами, и на из основе словами и только потом – фразами.

Так вот, вырисовывается картина, что универсальный наиболее простой (элементарный распознаватель) 1) использует и универсальные сигналы на входе 1 или 0, в зависимости от того, что означает вода в трубочке данного входа (от какого сенсора идет трубочка) и 2) элементарные распознаватели образуют колонки плавно меняющихся смыслов своего распознавания всегда очень простых сочетаний прямых воздействий (без дробных частей от каждой трубочки и без обратного значения параметра по каждой трубочке – аналогия с ситами).

Сами по себе любой распознаватель ничего не значит, значит только то, на какое внешнее воздействие откликается он. И тогда тварь, выжившая потому, что трубочки данного воздействия привели к срабатыванию данного нановедерочного распознавателя удачно включили подходящее действие, спасшее тварь и теперь все его потомки передали такой механизм по наследству. Это – самое примитивное управление, зашиваемое в генах.

Понятно, что большинство не настолько удачливых тварей подохло в данной ситуации, а только несколько со случайно подходящими процессами управления выжили, но теперь пошла популяция, способная справляться с напастью, убившей всех остальных.

Как видите, никакой проблемы обучения управляющих распознавателей здесь не требуется. Но, создав элементарный распознаватель, природа стала применять его во все более изощренных схемах.

А мы, после освоения самого принципа организации элементарного распознавателя, будем рассматривать способы его специализации уже не наследственным отбором, а в период индивидуального развития особи. Это – уже очень продвинутый этап эволюции (очень не у многих животных есть колончатая кора примитивов распознавания) и нам еще нужно до него дойти, поняв предыдущие этапы.

С этим и выше сказанным как мне кажется  понятно.

Об этом говорили в прошлые годы ( например для распознавания ,лиц достаточно нескольких линий напоминающих штрих код или лягушке для пищевого поведения достаточно двух нейронов, охота лягушек , поведение виноградной улитки с выбросом серотонина)

Понятно почему схемотехника от способа реализации не зависит, а так же  про однослойный персептрон , который универсальный для всех способов обучения.

Понятно , что нужно отходить от конкретных примеров с животными так как схемотехника это универсальный способ распознавания ( например с замком,  его параметрами и ключом)

Нужно перестраиваться на нейросхемотехническое мышление.

Только недавно через много лет ( хотя постоянно в контексте сайта) становится понятно почему психика , а так же схемотехника от способа реализации не зависит.

По началу расстраивался почему так туго доходит. Но смотришь на других форумах вполне себе образованные люди  , мотивированные на познание - десятилетиями топчутся на месте.

Поэтому тёмная лошадка - мне кажется сложно ,трудно - надо идти дальше  :)

Насчет сита, мы не знаем заранее, какие диапазоны камней нам нужно отсеивать и поэтому в хозтоварах покупаем 9 сит с дырками 1,2, ... 9 см. Теперь мы можем выделить любую фракцию, например, если нам нужны камни от 2 до 5 см. или только мельче 2 см. или только крупняки больше 7 см. Никто не будет спрашивать в хозтоварах, а есть ли у вас сито, отсеивающее 5 и 6 см. А если спросят, продавец покрутит у себя у виска (мыслсенно) и предложит взять два сита 4 и 7 см и сначала просеять вторым, потом первым. А наивному ребенку объяснит, что придумывать одно сито на 5 и 6 никто не станет потому, что 1) это непростая и дорогая конструкция, 2) гораздо проще и удобнее сделать два простых сита, чем одно такое вот навороченное.

Вот этот принцип схемотехнического мышления нужно прочувствовать на разных примерах, так, чтобы он стал в арсенале собственной изобретательности. Кстати, пожалуйста придумай (и все участники тоже) конструкцию сита, отсеивающего только 5см. камни и напишите здесь.

Это может быть барабанное сито центробежного типа.Может быть конусовидное сито .

Конус не даёт просеиваться крупной фракции и на дне остаются 5см. камни. 

Можно сделать в домашних условиях калибровочное сито состоящее из двух решёток , которые сдвигаются по мере надобности  и отверстие уменьшается или увеличивается.

Можно так же изготовить барабанное сито с регулировкой калибра  , которое при вращении от эл. двигателя ,делает процесс эффективнее. 

Клон, ты не описал конструкции и никто не сможет оценить насколько это было приемлемой альтернативой. Но что-то никто больше не делает попыток...

Тогда, плиз, забейте в поисковики "стандартный набор сит", чтобы убедиться, что самым суровым, простым и верным решением является использование набора сит. Нужно уже сдвигаться в прогресс от этой темы, а нет уверенности что у все все в абажуре... 

Кто не готов двигаться далее?

Пока я не чувствую готовности. Завтра попробую сформулировать выводы/вопросы. 

Ну так получается то же самое что в моем примере, надо взять сито 6 см и 4 см, сначала просеять через первое, потом через второе, останутся +- 5 см, так?

Nan или кто-нибудь, скажите, в обощенном и грубом приближении это приблизительно верное представление? Насколько такого представления достаточно на данный момент или нужны более точные и глубокие познания?

В целом я не готова пока двигаться дальше, очень неуверенно себя чувствую в этой теме. И вот это пока не получается:

"Вот этот принцип схемотехнического мышления нужно прочувствовать на разных примерах, так, чтобы он стал в арсенале собственной изобретательности."

Одного прохода за вечер недостаточно чтобы это стало твоим актуальным знанием... Нужно чтобы все уложилось в ходе заинтересованных попыток использования и игры с этим.

И еще, вроде бы, одна общая для всех проблема: похоже многие не имеют искреннего глубокого интереса, а заставляют себя вникать для каких-то долгосрочных целей. Толка не будет :) Вот как ребенок разбирает игрушки чтобы понять что там, или разбирается в комп.играх, - несет интерес без которого все превращается в нудный процесс. Похоже, пока не поздно надо бы провести пару гипнотических сеансов для разжигания интереса.

Кто вникает через силу? Пожалуйста сообщите, чтобы я прикинул как лучше помочь.

Нет. У тебя процесс идет последовательно через два сита. Это - правильный, простой и эффективный процесс. Я просил попробовать придумать, как это можно устроить одной конструкцией, чтобы фильтровалось за один раз. Смысл в том, чтобы прочувствовать принцип последовательного усложнения в схемотехнике, который во всех отношения эффективнее и более универсален. Нужно понять почему именно.

Да, верное.

Пока достаточно, потом будет все развиваться.

Обычное сито пропускает через ячейки гранулы меньшего диаметра и не пропускает большего. Стало быть, чтобы фиксировать строго определенные диаметры, можно их в буквальном смысле фиксировать в глухих лунках. Например вместо сита использовать круглые соты нужного диаметра. Погружаем его в воду и сыпем на него круглые гранулы. Нужные попадут в лунки. Более мелкие можно сдувать потоком воды поверх сита, рассчитав  его так, чтобы он не сдувал те, что осели в лунках. Когда всю мелочь сдует (если сито еще и потряхивать, то смоет и те мелкие, что проскочили в лунку) - лунки откроются как диафрагма в фотоаппарате и правильные гранулы провалятся вниз, а крупные останутся сверху - их просто смахнуть.

Можно вместо потока воды использовать поток воздуха а вместо диаметра привязаться к весу гранулы. Например сыпать на сито с большой высоты и дуть поперек. Мелочь сдует вбок и она улетит например в карманы трубы, все что >= по весу полетит на сито. А там просто нужные гранулы провалятся и останутся только большего размера.

Вообщем, тут строго говоря одним только процессом просеивания через сито скорей всего не обойтись, все равно придется добавлять дополнительные способы сепарации пусть и через другие механизмы и свойства гранул. Любое свойство, зависящее от их размера: вес, кинетическая энергия, "теплоемкость" и т. п. - и от этого уже придумывать доп. сепаратор к ситу.

Покамест больше долгосрочные цели мотивируют (наверное). Тем не менее, когда получается понять то, что долго не удавалось (в текущих уроках) это оживляет интерес. Но так видимо в любом деле, "лиха беда начала". 

p.s прошу не исключать за искренность()

Описание однослойного персептрона по https://scorcher.ru/neuro/science/perceptron/mem33.php  как и статьи в сети не дали уверенного понимания его устройства, чему отчасти виной математические и специальные термины. Но приблизится к нему, надеюсь, удалось.

Цитаты из статьи Форнит описания персептрона:

Однослойный персептрон способен распознавать простейшие образы. Отдельный нейрон вычисляет взвешенную сумму элементов входного сигнала, вычитает значение смещения и пропускает результат через жесткую пороговую функцию, выход которой равен +1 или -1. В зависимости от значения выходного сигнала принимается решение: +1 - входной сигнал принадлежит классу A, -1 - входной сигнал принадлежит классу B. На рисунке 3.1 показана схема нейронов, используемых в однослойных персептронах, график передаточной функции и схема решающих областей, созданных в многомерном пространстве входных сигналов. Решающие области определяют, какие входные образы будут отнесены к классу A, какие - к классу B. Персептрон, состоящий из одного нейрона, формирует две решающие области, разделенные гиперплоскостью.

Взвешенный сигнал – сумма значений S-элементов (рецепторы, непосредственные датчики параметра окружающей среды) -1 и +1 (в зависимости от их состояния)? Что такое классы А, В? Зачем необходима схема решающих областей и что она являет собой? Что такое гиперплоскости.. Может пока не критично не понимать, но озвучу вопросы на всякий случай.

И найденного в сети относительно понятным оказалось эта схема персептрона:

 Для начала определим составные элементы перцептрона, которые являются частными случаями искусственного нейрона с пороговой передаточной функцией.

• Простым S-элементом (сенсорным) является чувствительный элемент, который от воздействия какого-либо из видов энергии (например, света, звука, давления, тепла и т. п.) вырабатывает сигнал. Если входной сигнал превышает некоторый порог θ, на выходе элемента получаем +1, в противном случае — 0^[13].
• Простым A-элементом (ассоциативным) называется логический решающий элемент, который даёт выходной сигнал +1, когда алгебраическая сумма его входных сигналов превышает некоторую пороговую величину θ (говорят, что элемент активный), в противном случае выход равен нулю^[13].  (-1, судя по принятому тут описанию)
• Простым R-элементом (реагирующим, то есть действующим) называется элемент, который выдаёт сигнал +1, если сумма его входных сигналов является строго положительной, и сигнал −1, если сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход считается либо равным нулю, либо неопределённым^[13].

Если на выходе любого элемента мы получаем 1, то говорят, что элемент активен или возбуждён.  

Напротив этому, если вы уже ознакомились с принципом идеального персептрона, то видели, что на входы его сумматора подаются строго дозированные части входных параметров за счет ограничения их проводимости

Nan, этот момент не очевиден. Пока делаю заметку, что на вход перспетрона природной реализации (нейрон) подаются сигналы фактических значений наподобие функции IF в программировании, в идеальном только их соотношения.  Запутывает ещё что:

Хотя про принцип ненужности точного учета веса отдельных параметров на входе персептрона была уже как-то обоснована, но, наверняка, недостаточно убедительно, так что буду пытаться находить нужные доводы.

Попробуйте придумать, как организовать сразу распознавание с равноценным использованием как возбуждающего, так и тормозного параметра в случае классического замка

Например, заполнить полости в замке точно подходящим под длину язычка ключа, за исключением пространства, где проворачивается ключ,  тогда неподходящий размер ключа (его язычка) не позволит пройти до положения поворота на первом этапе (распознавания), а компарирование не произойдет.

Nan, я. Очень не хватает вот этого интереса и игры, про которые ты говоришь. Спасибо, что затронул это.

Тогда сделаем перерыв в продвижении и замутим мотивирующую тему как только завершим эту, доведя до оргаз фанатического экстаза.

Это – описание идеального, математического персептрона, т.е. элемента, который максимально широко способен выполнять свою функцию, но при условии многих привнесенных факторов: способности регулировать проводимость входных сигналов в зависимости от ошибки, а, значит, способности определять ошибку.

В природе нет механизмов ни первого, ни второго. Когда созрел слой нейронов, то еще нет последующих распознавателей, нет ничего далее, что способно выявлять ошибочность распознавания и нет того, что способно регулировать проводимость  входов в зависимости от ошибок (какого-то вычислителя “обратного распространения ошибки” и регулятора).

Первоначально у созревшего нейрона на теле есть только не проводящие промежутки (щели синапсов), прерывающие контакт с входными трубочками от предшествующих рецепторов. А когда эти синапсы становятся проводимыми, то 1) эта проводимость довольно грубая и постоянно варьируется от внешних условий (т.е. природная проводимость синапса рассчитана не на точную дозировку, а на “да” или “нет”), 2) эта проводимость уже не меняется.

Вот чем природный распознаватель отличается от реального персептрона и поэтому мы не будет называть нейроны персептронами. И вот насколько глубоко стоит проникаться в принцип работы идеального персептрона.

И это нужно прочувствовать до полной ясности, поэтому и было столько разговоров про сопоставление способа решать проблему отсеивания 1) просто используя разные по дыркам сита 2) придумывать ухищрения, чтобы можно было сразу решить проблему одной конструкцией.

Природа ничего не придумывает, а течет по самому простому и тупому пути. Все, что не прокатывает и сдыхает на взлете, заканчивает свой тупой метод тыка.

Именно сопоставление возможности использовать набор сит с разными дырками или альтернативу сложной конструкции позволяет увидеть, что в первом случае мы получаем неограниченную  гибкость любых сочетаний разных сит, а во втором решение не только требует повышенной технологии и затрат, но и ограничено данным диапазоном отсеивания, так что требуется много таких специализированных устройств там, где все решалось легко и просто.

>>> (nan) 1) эта проводимость довольно грубая и постоянно варьируется от внешних условий (т.е. природная проводимость синапса рассчитана не на точную дозировку, а на “да” или “нет”), 2) эта проводимость уже не меняется.

У тебя в тексте логическое противоречие: "проводимость довольно грубая и постоянно варьируется" и "проводимость уже не меняется"

Идея тем не менее понятна. Хотя пункт (2) спорный ведь синаптическая пластичность в той или иной мере остаётся.

Три вопроса (не знаю, насколько стоит тратить на них время, поэтому спрячу):

 Начало скрываемого блока

Мне, в целом, по-моему, понятно, что ты хочешь сказать. Но тема  интересная и торопиться не хочется.

>>У тебя в тексте логическое противоречие: "проводимость довольно грубая и постоянно варьируется" и "проводимость уже не меняется"

То, что обеспечивает проводимость перестает меняться после завершения специализации слоя. Но природа этой проводимости такова, что она меняется от внешних условий: температуры, химического окружения, т.е. задается не с прецизионной точностью, которая требуется в идеальном персептроне. Вот даже резисторы в электронной схемотехнике есть такого вида, что обеспечивают проводимость только приблизительно, а от температуры сильно гуляют, а в синапсах это гуляние на порядок больше.

>>биологический нейрон, это больше чем распознаватель. Например, он может участвовать в организации закольцовок (реверберации). Через него можно организовать схемы, которые будут использовать волновые свойства (мы оставляем за скобками насколько это актуально). Нейрон может быть генератором ритма и так далее.

Нейрон – как раз тот универсальный распознаватель, с помощью которого можно строить любые схемы управления, в том числе самоподдерживающие активность, автогенерирующие, ЛЮБЫЕ. Задача тему пока что убедиться в наиболее простой, а значит наиболее универсальной реализации элементарного распознавателя. На этом элементе мы будем строить те же схемы, что реализуются на разных уровнях организации индивидуального адаптивного управления, причем так, как это может развиваться тупо природой, без вмешательства программера.

>>В искусственных нейронных сетях тоже самое: искусственный нейрон далеко не всегда, просто, распознаватель.

В искусственных сетях узлы персептронов – не распознаватели а именно связанные персептроны, выполняющие общую распознавательную функцию. Что там распознает отдельный персептрон в связанной сети никто не понимает и нет способа это определить, он берет на себя какую-то часть общей функции распознавания.

>>число синаптических контактов может  доходить до 10.000-20.000. На этом фоне вариации в проводимости синаптических контактов, которые зависят от внешней среды, могут сглаживаться.

А это в принципе ничего не меняет, общая грубость, размытость остается. Число 10000 нужно совсем не для уточнения профиля распознавания.

>>У тебя нейроны существуют изолированно друг от друга. Каждый, это отдельный распознаватель. Но причина этого упрощения не очевидна. Принцип fire together wire together, предполагает, что нейрон распознаёт в контексте, и опять же латеральное торможение - всё это приводит к множеству интересных статистических свойств.

Это ты как-то не продумав сказал. Как это изолировано, если сам же говоришь о взаимовлиянии торможением? Кроме того нейроны перекрывают соседей по рецептивному полю.

Ты опять пытаешь преждевременно и вульгарно сопоставлять существующие теории функциональности нейронов с темой. А задача – убеждаться в верности даваемых схемотехнических принципов из которых напрямую и будет вытекать то, как организуется и как развивается нейросеть. Вот когда ты видишь, что какой-то принцип неверен, он вызывает у тебя противоречие, тут нужно конкретно говорить, ты же этого не сделал, значит согласен? А если согласен, значит мир, который сейчас разворачивается по темам, составляет непротиворечивую модель, в рамках которой будет ясно, как все взаимодействует.

> задача – убеждаться в верности даваемых схемотехнических принципов из которых напрямую и будет вытекать то, как организуется и как развивается нейросеть.

Как мы можем убедиться в верности описанных принципов?

Они есть в вики? Они обоснованы математикой, логикой? Или это твои частные эмпирические наработки?

Если это твоя частная история, то мне остаётся лишь убедиться, что я правильно тебя понял.

Nan, и, пожалуйста, общайся корректно, ты очень грубо отвечаешь. Это неприятно и мешает разбирать материал. Я ловлю себя не том, что стараюсь не открывать Форнит в рабочее время, чтобы не быть выбитым на день, твой ответ - это всегда рулетка - то ли в очередной раз столкнёшься с быдловатым хамством, то ли звезды лягут иначе. Это тяжело.

Ты три раза нагрубил мне в этой теме:

1) Не ответил на учебный вопрос.

2) Приписал мне какую-то дичь о том, что у меня нет интереса.

Если у тебя есть какие-то галлюцинации касательно меня, пожалуйста, используй для этого личные сообщения. Зачем ты на вежливую обратную связь, о которой ты просил, хамишь?

3) И сейчас зачем-то обозначил возражения в "скрытом от участников вопросе" публично вульгарными.

Это мешает. Мне нужно формулировать вопросы. Стараться тебя понять, но ты на желание с тобой взаимодействовать отвечаешь черти как.

Ты чего так возбудился? ::) Зачем ты здесь так страдаешь, придавая такой непримиримый сверхсмысл тому, что я тебе сказал, аж тебя пробивает в ответ на хамство? Ну, в самом деле, чего ты здесь такой сверхчувсмтвиельный, нагнетаешь пургу что тебя оскорбляю, но при этом в самом деле хамишь. Или тебе все можно? :)

Я не буду проводить занятия осторожно на цыпочках, чтобы не дай божок кто-то что-то не так понял. Я просил тебя не встревать с твоими предвзятыми мнениями, а отложить все это пока не проникнешься. Но ты не хочешь проникаться, а требуешь уже чтобы я доказывать все ссылками на википедию. Ну  что за хрень? И нафиг мне все это нужно?... Ломать - не строить, любой может все пустить под откос.

Сделай, наконец, выбор: или тебе в самом деле что-то здесь нужно и тогда стоит прислушаться к тому что тебе говорю и не вмешать процессу или ты не можешь не гнать фигню, но тогда, пожалуйста, черпай что можешь из википедии .

> (nan) Ты чего так возбудился? ::)

Nan, у меня нет цели с тобой поссорится. Но, пожалуйста, давай общаться в меру своих возможностей корректно. Мне в последнее время переписка с тобой причиняет физическую боль, изматывает. Это ненормально. Есть же работа, дела. Мир у твоих товарищей по переписке не вращается вокруг тебя (я хочу в это верить). Ситуация, когда после твоего "ответа" выбиваешься из ритма на пару часов - адовая.

> Я не буду проводить занятия осторожно на цыпочках, чтобы не дай божок кто-то что-то не так понял. 

Я бы на твоём месте не переживал по этому поводу. У тебя редко когда получалось корректно общаться с людьми, которые рискуют с тобой не соглашаться. Цыпочки - это не твоя история.

> Похоже, пока не поздно надо бы провести пару гипнотических сеансов

И давай без этой херни.

> или тебе в самом деле что-то здесь нужно и тогда стоит прислушаться к тому что тебе говорю и не вмешать процессу или ты не можешь не гнать фигню, но тогда, пожалуйста, черпай что можешь из википедии .

Мне от тебя ничего не нужно. Я хочу лучше понять твои взгляды. Насколько я понимаю, ты в этом тоже заинтересован. Я трачу своё время так же, как и ты. Я не уверен, что твои взгляды несут какую-то практическую пользу. Для меня это сугубо человеческая история - лучше понять товарища по переписке и интересам. Всё.

Никаких амбиций продавливать тут свои взгляды у меня нет, я разбираюсь с твоими представлениями. Проблема в том, что ты не отвечаешь на корректные вопросы, лезешь в душу, грубишь и иногда становишься параноидально подозрительным, что-то странное придумываешь обо мне. Это мешает.

> (nan)  а требуешь уже чтобы я доказывать все ссылками на википедию

Я ничего от тебя не требую. Я спросил тебя об источнике "схемотехнических принципов", о которых ты столько говоришь. Меня вполне устроит фраза "это мой личный опыт, который я структурирую".

Для меня важно это понимать, так как я время от времени общаюсь с разными людьми по теме нейронаук. Если они могут прочитать про схемотехнические принципы в ВУЗ-овском учебнике или вики, то я могу использовать отсылку к ним в своих рассуждениях. Если единственным источником "схемотехнических принципов" выступает сайт Форнит, то я постараюсь не делать акцента на этой фразе, но, возможно, воспользуюсь какими-то аспектами твоих рассуждений, если они будут мне близки.

Я не собираюсь дискутировать через тебя “с разными людьми по теме нейронаук”.

И я не собираюсь вытирать сопельки тебе когда ты в очередной раз обидишься на то, что вовсе не предназначалось для твоей обиды. Ты наговорил глупости, причем наглые глупости (ты-то в выражениях конкретно не стесняешься), развалило тему, оставил у всех негатив и еще, оказывается, непонятно, что вообще тут делаешь, раз “не уверен, что твои взгляды несут какую-то практическую пользу. Для меня это сугубо человеческая история - лучше понять товарища по переписке и интересам.”.

У меня нет никакого желания продолжать занятия, а от этого зависит все.

Nan, думаю что оставшиеся участники (точно я среди которых) хотят заниматься по теме и благодарны тебе за усилия, которые прикладываешь. Не бросай продолжать, пожалуйста.

На борту дебош, полет прерывается...

> И я не собираюсь вытирать сопельки тебе когда ты в очередной раз обидишься на то, что вовсе не предназначалось для твоей обиды.

Я в обиды не верю. Это всё ерунда и манипуляции. Проблема именно в том, что тяжело разбирать материал. Ты позволяешь себе лишнее. Это психологически выматывает и отнимает силы. Это сугубо педагогический момент / обратная связь: мне стало тяжело заходить в эти переписки, грубость текстов вышибает с рабочего ритма. 

> На борту дебош, полет прерывается

Nan, я считаю, что мы тут все в одной лодке и настроены на конструктив. Цели как-то задеть и понизить твою мотивацию у меня нет. Но, просто, накипело. Я же человек, не робот. Я могу с тобой такие вопросы решать вне публичной переписки.

Предлагаю стереть всё вот это. Приношу извинения перед другими участниками.

Ты, Айк, многократно нарушил первоначальные условия занятий, которые все согласились соблюдать. Сюда входит не только попытка устроить диспут по всяким иным теориям, но и прямо – затея холиварного дебоша.

Я не принимаю никакого диктата того, как я должен давать материал и могу запросто наступить на чью-то больную мозоль, не специально, конечно и нужно выкинуть из головы, что я “ лезешь в душу, грубишь и иногда становишься параноидально подозрительным, что-то странное придумываешь обо мне”.

Для продолжения занятий ты, Айк, должен дать обещание не выносить на холивар свои оценочные мнения, как бы тебе ни “накипело”, чего бы тебе не показалось и не устраивать себе “физическую боль, изматывает” мнительными предположениями, которым ты придаешь высшую меру. Все такое, если ты сам не справился, нужно писать в личку, а не выплескивать на меня и на головы участников.

Любой дебош это – враждебные, деструктивные действия, которые всегда негативно отражаются как на самом сайте, так и на обсуждении (а как радуется всякая сволочь типа Псины, которая продолжает высматривать тут). Это делает невозможным продолжение обсуждения.

Самое главное: если даваемые принципы не кажутся верными до очевидности, то они или неверны и необходимо это срочно и досконально выяснять, или, если не видишь противоречия, необходимо до конца убеждаться в их истинности. Без этого нет никакого смысла идти дальше. Не верификация википедией или любым авторитетом, а только собственно возведение принципа до статуса аксиомы (после убеждения в этом) могут дать основу понимания. Вопрос не должен стоять так: “Если единственным источником "схемотехнических принципов" выступает сайт Форнит, то я постараюсь не делать акцента на этой фразе, но, возможно, воспользуюсь какими-то аспектами твоих рассуждений, если они будут мне близки”.

Ну я же тебе сам предложил, давай буду давать обратную связь в личную переписку.

И обрати внимание, что у нас есть функция «скрыть кусок текста», я ей пользуюсь именно тогда, когда не уверен, что это стоит читать другим участникам и что этот текст имеет хоть какое-то значение. Но это моя обратная связь по материалу, то что меня беспокоит. Относись к этому именно так.

Ты на меня в последний раз наехал именно из-за такого скрытого текста. При том что я оговорился, что я сам не уверен в его ценности и полезности. Но ты же просишь обратную связь и я тебе ее дал.

>>у нас есть функция «скрыть кусок текста», я ей пользуюсь именно тогда, когда не уверен, что это стоит читать другим участникам

Это - лучший способ привлечь внимание всех к фрагменту, можно не сомневаться, что все его обязательно прочли.

>>Я тоже буду наступать на твои мозоли, тоже, разумеется, не специально. У нас же тут не секта и не клуб нытиков.

Если ты не примешь явно и искренне те, обязательства, что я обозначил, ты не будешь участвовать в этих занятиях. Я не собираюсь играть с тобой в какие-то игры.

Ну ок, я пас.

Для меня это всё либо командная работа, либо никакая. То что ты тут начал мутить мне, видимо, не близко.

> Это - лучший способ привлечь внимание всех к фрагменту, можно не сомневаться, что все его обязательно прочли.

Не уверен. Но если это для тебя проблема, то это очень странно.

Думаю, текущий холивар стоит посыпать нафталином и продолжить с темы мотивации. Хотя это сильное забегание вперед, в районе тем про модели поведения, мыслительные автоматизмы - но иначе видимо никак. Это реально серьезная проблема для многих людей, когда умом вроде как понятно, что "это надо" - а нутро противится. Казалось бы, чего проще - спокойно прочитать лекции, которых всех в куче едва на тонкую брошюрку наберется, потом задать свои вопросы - а вот подиж ты, какая гамма реакций: от почти полного затупа, словно по китайски написано - до яростного неприятия, как буд то последнюю корову отбирают.

Имхо, есть смысл более подробно разобрать, почему у некоторых участников с таким трудом приходит понимание и так быстро пропадает желание двигаться дальше. И дело тут вовсе не в глупости, отсутствии силы воли, упорства, упрямства и прочих выдуманных условностей. Этому есть вполне простые объяснения, которые следуют из теории Nan и вполне доступные методики, вытекающие оттуда же, как этот негатив обратить в противоположную сторону.

>>Я не уверен, что твои взгляды несут какую-то практическую пользу. Для меня это сугубо человеческая история - лучше понять товарища по переписке и интересам.

Айк , хочешь игровую мотивацию для освоения модели ? Для большинства участников эта задачка не по силам(включая меня, увы).

Есть некоторое количество условно доступного софта. И есть некоторая теория претендующая на описание сильного ИИ (среди прочего). Проблема заключается в том что дизайн подходящих вычислительных средств для запуска схемы еще не придумали.

Понятно что добраться до техпроцессов не получиться.Поэтому и контекст - игровой.

Можно смотреть на тексты Nana как на открытую спецификацию.   

https://www.eda.ncsu.edu/wiki/FreePDK15:Contents

https://ru.wikipedia.org/wiki/Verilog

Слишком сурьезно не воспринимай.)

Значит так, делаем перерыв до понедельника. За это время нужно осмыслить все, самое главное: если даваемые принципы не кажутся верными до очевидности, то они или неверны и необходимо это срочно и досконально выяснять, или, если не видно противоречия, необходимо до конца уверяться в их истинности (полагаться как на личную аксиому в своем схемотехническом мышлении). Без этого нет никакого смысла идти дальше. Не верификация википедией или любым авторитетом, а только собственно возведение принципа до статуса аксиомы (после убеждения в этом) могут дать основу понимания потому что любые предположения и построения должны основываться на аксиоматике.

Есть те, кто с этим не согласны и предпочитают опираться на авторитет более, чем на свою уверенность в вопросе? Нужно, наконец, завершить эту тему именно подтверждением уверенности в верности принципов или обсуждением того, что в них кажется неверным.

 МВАП  отличается тем, что она основывается на системе схемотехнических принципов, которую практически никто из нейрофизиологов не учитывает и которую я пытаюсь здесь раскрыть максимально ясно. Так что никаких подтверждений в википедии или во мнениях любых авторитетов не будет.

Насчет Айка, я вполне понимаю его состояние и его обостренную чувствительность. И чтобы как-то препятствовать его невольным негативным, истерикам, выплеснутым открыто, я больше не стану принимать всерьез то, что он выдает сгоряча в таком состоянии, а согласно прямым правилам сайта буду просто удалять такие сообщения без предупреждений вместе с тем, возможно, полезным, что они еще могут содержать. Так что больше не нужны какие-то клятвы и заверения, - полная либеральная свобода. Вот это и было мое последнее об этом предупреждение.

Palarm, бывает  за год крупицу понимания добудешь и этому рад.В чём то легко приходит, но потом быстро обесценивается - вдруг откуда не возьмись возникающим тупиком и нужно начинать почти сначала

Например рост среди среднестатистических людей вроде меня - очень скромный.У меня на этот счёт есть свои наблюдения , за многолетний период.

Например из 3000 участников на самарских  шахматах онлайн ,рейтинг за несколько лет поднимется лишь на немного. Тупыми и без желания участников не назовёшь .Не уверен в возможность быстрого роста даже с использованием самых чудодейственных методик обучения.

Не знаю - есть ли смысл разбирать очевидное. Захочешь двигаться дальше -делай волевое усилие.

Под методикой я имел в виду понимание, как формируется "неподдельный интерес" и почему он пропадает. Но понимание этого конечно не означает, что его можно будет по щелчку вызывать в любое время - так как же как понимание устройства рояля не приводит автоматически к мастерству игры на нем. Если Nan решит, что это стоит отдельной темы и заведет ее - выскажу там свои соображения, если не стоит - ну ладно тогда. Здесь и так уже зафлужено до нельзя.

Временно прерываем освоение распознавателей новой темой: Решаем проблему мотивации.

Простой распознаватель, как сито, очень легко представимо как работает. И что если установить несколько сит, после каждого из них получим пищинки диаметра в конкретно измеримом диапазоне. Но что касается понимания модели персептрона или его природную альтернативу тут никак не удается. Дорогие участники или Nan, может у вас получится максимально упрощенно показать что как и откуда распознается хотя бы в персептроне (оттуда уже можно будет прикидывать отличия в нейроне)? Что оценивается/передается и в каких промежуточных его звеньях, с итоговой целью распознания признака? (ведь это является целью любого распознавателя?)

 Достаточно будет модифицировать только его профиль распознавания. Что и было реализовано в одном из старых проектов адаптивной системы измерения расхода воды в канале в Киргизии

Попытка представить вариант реализации. Если на разных участках канала на нескольких уровнях установить распознаватели воды, в зависимости от того какого уровня она достигнет, намокнут те распознаватели. Далее использовать это их состояние для расчета. 

Ответ подразумевает грамотно сформулированный вопрос, ты должен показать ход своих рассуждений и место, где конкретно происходит затуп. Но ты предлагаешь опять начать играть в угадайку. Это бессмысленно.

А вот нужно представлять именно как сито, а не как персептрон потому, как в натуре нет персептронов, точнее, они реализованы в предельно простой версии.

Но, конечно, стоит разобраться в принципе работы однослойного, одноэлементного персептрона, что сегодня не представляет сложности из-за огромного числа поясняющих материалов. Так что я тебя не понимаю, если только ты, как предложил Palarm, не скажешь, что именно ты не понимаешь. У меня впечатление, что у тебя просто не хватает времени, чтобы не урывисто вникнать в занятия.

На Форните тоже есть материалы

Однослойный персептрон- статья
Однослойный персептрон- оригинальная страница
ПЕРСЕПТРОН Розенблатта- статья
Что такое нейронная сеть и многослойный персептрон- статья

 и даже демо-анимации:

Между сенсорами и распознавателями воспринимаемых признаков нет тормозных связей, как в персептроне могут быть как положительные так и отрицательные веса. Зато есть то, чего н ет в персептронах: боковое взаимное торможение, что решает проблему интенсивности стимула при максимальной чувствительности в тишине и контрастирует стимул, выделяя его среди всего мешающего.

>>Если на разных участках канала на нескольких уровнях установить распознаватели воды, в зависимости от того какого уровня она достигнет, намокнут те распознаватели. Далее использовать это их состояние для расчета. 

Нет, конечно, та система была намного круче. Там было 10 горизонтов ультразвукового просвечивания канала от берега к берегу с углом по течению. По задержке одновременно посылаемых импульсов звука рассчитывалась скорость в данном горизонте и все интегрировалось. Но на задержку влияла прозрачность воды для луча потому, как, если уменьшалась амплитуда приемного сигнала, то и его фронт уже давал ошибку скорости сноса звука водой. И еще проплывали тряпки и бревна, во время которых нужно было прерывать вычисления и ждать пока все не вернется примерно к правдоподобно ожидаемому значению скорости воды.

Вот этот момент никак не могу вкурить. Почему не компаратор, транзистор, логический элемент или что-нибудь ещё, а именно распознаватель наиболее универсален? В окружающем я нашёл куда больше компараторов, чем распознавателей.

В чём проявляется эта универсальность?

компаратор входит в состав распознавателя. Универсальность распознавателя в том, что на его основе можно сконструировать устройство упрарвления любой сложности. Но только природа до этого "додумлась", а в технике пользуются самыми разными дискретными элементами. 

Вот здесь не понял. Получается, что один распознаватель определяет одновременно звук и свет? Почему вода не польётся туда, где только звук или только цвет, а потом на конечном этапе они должны сложиться в определённую картинку в восприятии?

Да любые сочетания чего угодно, для него это не звук и цвет, а просто активности на входе.

Пришла в голову модель замка, где будут распознаваться как возбуждающие, так и тормозные параметры. До этого придумал пару костыльных и неочевидных решений: сделать ключ в виде согнутой проволоки, строго подходящей по размеру и форме, либо очень тонкий механизм, который проворачивает замок.

Новое решение такое: просто добавить за первой щелью вторую поменьше, чтобы эта вторая щель и проворачивала механизм. То есть ключ должен быть строго определённого размера, иначе он либо не пройдёт в первую щель, либо пройдёт сквозь вторую и не откроет замок. Здесь всё же распознавание происходит в два этапа. Думаю, мне удалось прочувствовать проблему организации одновременного распознавания возбуждающих и тормозных параметров.

Что касается сита -- распознавателя 5 см, тоже придумал решение, но костыль, работать вряд ли будет.

Можно изначально прикрыть дырки диаметром чуть меньше 5 см снизу обычной крышкой на некотором расстоянии (пусть 2,5 см), после просеивания высыпать мелочь с крышки, затем отсыпать мелочь и крупняк с сита (5 см застрянут в дырках), потом нагло протолкнуть либо собрать оставшееся.

Там ещё Айк писал про всасывание, я понял так: если задать строго определённое давление, то входить будут только близкие к 5 см, крупные не пройдут, мелким не хватит давления для преодоления силы тяжести. Тоже вариант?

В любом случае приходится усложнять систему. Иногда незначительно, иногда существенно (в зависимости от сложности образа для распознавания).

 Интересная тема обсуждения как-то остановилась по вроде бы непонятной причине, но это можно было бы предвидеть после анализа сообщений. Похожими темами инетересовался давно и могу предложить своё видение по сказанному. 

Логика работы нашего мозга неразрывно связана с его способностью накапливать, анализировать поступающую к нему информацию и выдавать команды на реакцию по результатам названного анализа. Последние на 99% минуют стадию анализа и называются инстинктами.  

 Я не профессионал из области медицины и биологии, но ещё в юности столкнулся с непонятными явлениями, которые напрямую связаны со способностью каждого человека по части именно накопления и анализа поступающей информации, что связано, как оказалось после посещения студенческой поликлиники, с церебринами (ЦБ).  

  Эта тема обсуждения особенно важна в наше время, когда поток информации от "подарка" цивиллизации, которым сегодня пользуется практически каждый, превращает нас в стадо "якобы разумных" (ЯР), у которых нет возможности её запоминать и анализировать, - смартфоны и компьютеры.

  Одна из главных "причин" такого явления, как мне представляется, состоит именно в повсеместном недостатке ЦБ в меню большинства разумных членов общества. В своё время с этим была знакома медицина, но в эпоху "бургеров" и системы "быстрого" питания произошла её "модернизация", что создало, как мне представляется, критическую массу ЯР членов общества со всеми признаками "потребителей" и при полном отсутствии желания и способности к саморазвитию.   

Причина в том, что закончились попытки пройти курс лекций с верификацией усвоенного после каждой лекции. Только один получил диплом, остальные сошли с дистанции.

Сегодня очень многие увлекаются ноотропами различного вида воздействия, в том числе и смесями нейропетидов. Кому-то это реально помогает или ему кажется, что помогает. Вреда, конечно, не будет, кроме денежных трат. Но и четко фиксируемой пользы - тоже. Очень много было среди специалистов обсуждений как вообще практики применения ноотропов, так и смесей аминокислот и пептидов. Никто не мог доказать явную пользу, кроме случаев явной недостаточности таких веществ или повышенной необходимости их употребления (последствия травм мозга, инсультов и т.п.). Человек эволюционно развился в среде определенного притока разных веществ в организм и заточен под это. Зато в каждой инструкции пишут очень обнадеживающие показания и эффекты, на что многие и покупаются.

  Кто-нибудь проверял эти "ноотропы" практически? Разве принято сегодня критически оценивать и "проверять" то множество продуктов фармакологии во всей "красе" представленных на витринах аптек и, соответственно, в "рецептах" врачей их предлагающих?

  В названной области уже прошёл все стадии и считаю необходимым предложить для обсуждения названную тему, которая в общем виде не единственная и её можно назвать типовой по части доверия "профессионалам" практически в любом виде интеллектуальной деятельности.

 К обсуждению в этой теме всё сказанное имеет прямое отношение и это подтверждается "результатами" работы по ней, безусловно важной и необходимой в наше время, когда никем не контролируемый поток "информации" из смартфонов превращает нас в ЯР членов общества. 

Особенно настораживает число людей, у которых получилось "принять", "понять" и "выполнить" некоторые условия для получения ясного и понятного процесса восприятия информации из всего её объёма к ним поступающей - не более чем один из тысячи... Это не моё "открытие", всё сказанное было известно давно и сегодня, надеюсь, получится сделать нечто полезное и интересное в этом направлении.

Тогда нужно изложить систематизировано и обоснованно полученные в личном опыте данные, чтобы стало понятно, что именно обсуждать.

В наше время, когда смартфон есть даже у ребёнка, сложно выбрать тему для обсуждения - соревноваться с чудесами микросхемотехники и мгновенной связи нет смысла... Остаётся надеяться на тех чудаков, у которых ещё есть вопросы после просмотра потоков "глупости" из ленты новостей названного выше устройства.

  Надеюсь, что тема полноценной жизни (ПЖ) заинтересует многих, включая и методы её поддержания в упомянутом состоянии. Интересно, что ПЖ  подразумевает тренинг долговременной памяти, а это требует соблюдения условий - диеты и физических нагрузок. В полной мере этим занимаюсь последние несколько лет, а конкретные результаты "проявились" в течение этого года. 

  Недавно общался с коллегой по названному направлению и по части "силы инерции мышления" у него могу добавить, что из сотни желающих заняться своим развтием описанного выше доступно далеко не каждому...