автор: nan сообщение 2482

Машинка подзаряжающая аккумулятор через солнечные батареи и ищущая место посветлее вполне себе взаимодействует с реальностью :) Но интеллект у неё на уровне растения.

Есть такое направление - создавать модель мира с растениями, хищниками, запахами, едой, биоэнергетическими параметрами и всё такое, и там разводить нейросетевых ботов. Насколько должен быть сложным мир чтобы проверить в нем рабочесть предложенных идей? Нельзя ли как-то максимально редуцировать, упростить до самых важных вещей?

В частности, обязательно ли обучать первичные распознаватели, если они формируются тривиально, и затем мало изменяются, а лишь являются источником информации для следующих слоёв? Или нет, именно первичные распознаватели каким-то образом существенны здесь?

>>Нельзя ли как-то максимально редуцировать, упростить до самых важных вещей?

ничто не мешает упрощать сколь угодно. Просто функциональность и необходимость к адаптивности будет соответственно сужена.

>>обязательно ли обучать первичные распознаватели, если они формируются тривиально, и затем мало изменяются

если заранее определить области необходимых примитивов, то можно их подготовить заренее, но насколько это удастся сделать лучше, чем формирование только тех, что присутствуют в восприятии в критические периоды?

автор: nan сообщение 8451

Просто если мы делаем ИИ, то у нас нет миллионов лет на юстировку соотношения и длительности критически периодов и определения, какие периоды должны быть в каком отношении критическими.

Вообще упрощать надо до той степени чтобы можно было проиллюстрировать возможность описываемых на сайте механизмов. Ладно, всё это будем развивать там где оно хорошо пошло.

Для kak:

ты участвовал в обсуждении аниматов на ailab.ru, можешь как-то резюмировать целесообразность этой затеи? Мне кажется, для понимания механизмов психики, такой напор на виртуальную среду излишним, хотя я и признаю целостность системы "субъект-среда". Просто такой путь кажется менее эффективным чем реверс-инжиниринг.

Хорошая статья. Существенным плюсом показалось то, что она написана относительно сухим языком. Из-за этого её было гораздо легче воспринимать, читается, как глава хорошего учебника. Почему-то при прочтении сильно хотелось разбить статью на подглавы, придать ей некоторую структуру (h2,h3 - заголовки), возможно, как-то связанную со схемой функциональных блоков (хотя, может, и не получится так сделать). Ну и, наверное, это та работа, которую нужно перечитать несколько раз, минимум.

ПС: Может быть стоит добавить пример на каком-то языке программирования прямо в статье?

Когда перед глазами есть какие-то структуры, классы, то на них легче нацеживать информацию, ассоциации.  

>> Может быть стоит добавить пример на каком-то языке программирования прямо в статье?

Излишняя конкретизация в виде предположений о способе реализации конечных функций порождает законченность картины (из нее следуют практически вполне определенная модель), что может далеко не соотвествовать реальности и вообще оказаться ущербным без проверки работы. Например, одна только функция распознавателя нового может быть предположительно реализована схемотехнически множеством способов. Поэтому я вообще остановился на определенном уровне детализации. Важно показать принципиальную возможность взаимодействия механизмов, а не ее конкретное исполнение.

Класс распознавателя имеет
массивы "возбуждающих" связей:
массив для хранения информации о возбуждающих связях с другими распознавателями, приблизительно 5000 4-байтовых значений (для хранения адресов) - имитирует входные возбуждающие синапсы. 

Возник вопрос как-то сам собой неожиданно. Ведь у нас аксон один, а дендридов много (в реальности, как я помню, всё несколько сложнее). Мы как-то это учитываем в модели? Или у аксона настолько много отростков и он соприкасается с таким количеством дендридов в нужной области, что и получаются эти пять тысяч?

Переменная может иметь три значения: 0 - нет метки, 1- установление активирующих связей, 2- установление тормозных связей. 

Вот тут, почему тут множественное число?

Вот есть тормозные нейроны — тип интернейронов, аксоны которых образуют на телах и дендритах возбуждающих клеток нервные окончания, в которых вырабатывается особый тормозный медиатор. Но это ведь тип нейрона в первую очередь, а не просто тип связи?

Как вообще образуются тормозные связи? С чего вдруг нейрон решает быть тормозным?

Наверное, всё очевидно, но вот чувствую, что плаваю и всё тут:

массив для хранения информации о тормозящих связях с предшествующими и окружающими распознавателями, приблизительно 5000 4-байтовых значений (для хранения адресов) - имитирует входные тормозные синапсы. (То, что заранее существуют тормозные связи между соседними распознавателями, приведет к их практически неминуемому установлению как только оба распознавателя окажутся активными и взаимному торможению, которое обеспечивает повышение контрастности распознавания и глушит слабый фон неуверенной активности вокруг) 

Вот как это? Почему мы у "возбуждающих" связей отвели пять тысяч только на предшествующие распознаватели, а тут пять тысяч сразу и на предшествующие и на окружающие распознаватели. И опять непонятно, что тут аксон, дендрид и почему именно связи тормозные, а не тормозной нейрон :( 

Palarm, тогда добро пожаловать в клуб запутавшихся :) Вот смотри:

WIKI (но вообще это написано всегда и везде в начале любого учебника):

Аксон — обычно длинный отросток нейрона, приспособленный для проведения возбуждения и информации от тела нейрона или от нейрона к исполнительному органу. Дендриты — как правило, короткие и сильно разветвлённые отростки нейрона, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов), и которые передают возбуждение к телу нейрона. Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи со многими (до 20-и тысяч) другими нейронами.

Вот статья. В ней пишут о тормозных связях, но не о тормозных нейронах. Получается, что есть и тормозные связи и тормозные нейроны? Или сам термин "тормозной нейрон" не корректный?

http://elementy.ru/news/432003

Во многих учебниках упоминается то, что ГАМК — тормозный нейромедиатор, что не вполне корректно. Вообще говоря, то, каким (тормозным или возбуждающим) будет действие того или иного вещества, определяется по большей части рецепторами к этому соединению, имеющимися на мембране конкретной клетки. Биохимические процессы, следующие за активацией одного типа рецепторов, могут приводить к облегчению подачи сигнала нейроном (то есть собственно возбуждению), а другая последовательность реакций, запускаемая при активации другого типа рецепторов, соответственно, усложняет для клетки подачу сигнала (мы говорим, что это и есть торможение). Поскольку рецепторы к нейромедиаторам — белковые молекулы, изменение их пространственной структуры (конформации) может стать причиной того, что рецептор, ранее запускавший «возбуждающий» каскад реакций, начнет вызывать «тормозный». Так и происходит с рецепторами на наших «желтых» нейронах в конце первой недели их жизни. Как показало отслеживание связей в данной статье, в таком изменении свойств ГАМК-рецептора, по крайней мере в обонятельной луковице, могут быть задействованы клетки, выделяющие нейромедиатор ацетилхолин, так как в эти же сроки они начинают активно связываться с нейронами, чьи пресинаптические контакты исследователи пытались определить.

[...]

Затем, примерно с конца второй недели после введения ретровируса, исследуемые клетки начинали образовывать контакты с более дальними соседями, выделявшими в качестве переносчика сигнала глутамат. Здесь важно отметить, что поначалу достаточно долгое время число тормозных ГАМК-входов сильно превышало количество глутаматных. Авторы предположили, что такой дисбаланс связей способствует тому, чтобы легко возбудимые новые клетки своей чрезмерной активностью не нарушали работу уже сложившейся нейронной сети.

И из статьи же получается, что сначала нейрон образует связи своего дендрида с аксонами, которые дают тормозные связи. После, наевшись тормозных связей, идёт за активирующими?

А с аксоном как? Есть такое понятие как аксональное наведение, аксональный поиск пути (англ. Axon guidance, axon pathfinding). Если отбросить кусок, когда аксон добирается до далекого, видимо, генетически запрограммированного места (так ведь?), то что происходит дальше? Аксон растёт к дендридам, или дендриды растут к аксону и как вообще они понимают, что вот расти туда, а туда не расти? Выделяется какое-то вещество видимо? Какое?

Есть какая та хорошая проясняющая статья или глава из книги по этому вопросу, которую полезно будет прочитать? (сложность терминологии и популярность изложения неважны)

>>> Думаю, все же дендриты образуют связи с аксоном.

Да, Маркин у себя тоже так пишет, сейчас посмотрел :)

То есть аксон доползает до какого-то места, разрастается там, а дальше уже в большей степени дендриды на него лезут. Поэтому в приделах модели мы можем построить аксон, который активирует в разной степени и тормозит в разной степени около 10000 нейронов другого слоя. Для этого мы делаем пять тысяч активирующих и пять тысяч тормозных выходов из нейрона?

>>Ведь у нас аксон один, а дендридов много (в реальности, как я помню, всё несколько сложнее). Мы как-то это учитываем в модели? Или у аксона настолько много отростков и он соприкасается с таким количеством дендридов в нужной области, что и получаются эти пять тысяч?

Для изменения и отслеживания состояния каждого синапса необходиа одна переменная, сколько синапсов, столько переменных. Для отслеживания состояния активности тела нейрона и его аксона (что одно и то же) достаточно одной переменной: активен нейрон или нет. Синапсы от предшествующих (по обработке сигнала) нейронов контактируют с любой частью нейрона, оказывая на него (де)поляризующее влияние. В модели место контакта совершенно не существенно, важна реализация функции распознавателя данного профиля предшествующих нейронов.

В реале аксон может ветвиться, но это - все то же тело нейрона, его мембрана.

>>Вот есть тормозные нейроны 

это - условное название нейрона, имеющего с данным нейорном тормозные синапсы. Например, вставочные нейроны, организующие латеральное торможение. Но даже они функционально - распознаватели какого-то сигнала или совокупности сигналов. Фнукицональность распознавателя можно приписывать любому нейрону без исключения.

>>Как вообще образуются тормозные связи? С чего вдруг нейрон решает быть тормозным?

Если связь организуется с использование какого-то медиатора, через прилегающую стенку синапса, у которого есть определенного типа рецепторы, как раз и обеспечивающие то или иное влияние на нейрон.

Между всеми нейронами нейросети есть вспомогательные вставочные для организации взаимного торможения, обеспечивающего контрастирование, выделение стимула. Так же есть нейроны, специализированные на поддержке какого-то из нейромедиаторов эмоциональной регуляции. Они так же не требуют какой-то специальной локализации, а, как и вставочные, могут в каком-то процентном соотношении созревать среди всех других в любом месте данного слоя.

>>И из статьи же получается, что сначала нейрон образует связи своего дендрида с аксонами, которые дают тормозные связи. После, наевшись тормозных связей, идёт за активирующими?

Нет, просто связи с рядом расположенными вставочными нейронами, естественно, формируются быстрее, когда данный слой созреет. Для того же, чтобы образовать связи с даними нейронами, которые уже вырастили в данную зону аксоны, нужно чтобы этот аксон возбуждался, это стимулирует рост к нему дендритов с образованием синапсов. Аксоны же растут в порядке наследственной информации - вдоль белковых маркеров направления их роста.

>>> Существуют два вида обучения распознавателей: без учителя - формирование первичных наборов примитивов распознавания и с учителем, когда сигналом настройки является осознанное формирование сигнала верности распознавания

Nan, если мы говорим, например, о первичной зрительной коре, то там ведь есть ещё врожденные распознаватели (особым образом организованные нейронные структуры), да? Как я понимаю, они нуждаются в стимуляции и если её нет, то отмирают.

Или этот кейс можно отнести к "без учителя"?

Выражение "без учителя" для персептронов означает, что нет обратной связи от результатов распознавания к организации профиля распознавания, что профиль формируется сам, в случае нейрона - в зависимости от просто условий образования связей созревшего нейрона.