Другая тема. Здесь рассмотрено увеличение производительности за счет отсутствия энергетических ограничений присущих биологическому мозгу. Конечно, для человека привыкшего к железкам, такое направление мысли весьма логично. А для человека привыкшего к механике взаимоействия огромных молекул белка, рецепторов, мембран, к биоэнергетическим моделям метаболизма, была бы логична мысль другого рода: что если существует способ апгрейда живого человека или животного? У тебя, nan, нет каких-нибудь наработок в этой области?

Еще одна тема. ОК, нет никакого смысла моделировать мозг на компьютере, потому что для этого понадобиться вычислительное время порядка возраста вселенной (где-то видел такую оценку), но может быть есть смысл погонять какие-то частные вещи, посмотреть действительно ли какие-то механизмы в более маленьких сетях работают именно так как предполагается.

Ни один из старых методов обучения (не знаю про новые) не реализует ничего похожего на адаптивное поведение. Принципиальная вещь для принципа адаптивного поведения – это то что нейропептиды инициируют образование, усиление или уменьшение весовых коэффициентов не во всей нейросети сразу а в участке выделенном вниманием. А для реализации внимания нужно уже иметь какую-то картину различения значимости, которую просто так, имея только набор обучающих примеров и желаемых реакций НС построить невозможно.

Соответственно можно попытаться подумать в этом направлении: какая минимальная конфигурация необходима чтобы можно было посмотреть хотя бы сам факт того, что таким образом возможно обучение нейросети нужной реакции, посмотреть на устойчивость процесса обучения, и т.п.

Еще я не видел никогда моделей нейросетей со спраутингом, чтобы возникали и отпадали связи. Очень интересно было бы посмотреть: если накидать просто нейронов не связанных друг с другом и начать их связывать случайно, добавляя и убавляя связи и корректируя веса ориентируясь на их активность – получится слоистая структура "сама собой" или нет :)

автор: nan сообщение 8396

Не складывается картинка. Хорошо, нейромедиатор связан рецептором, и этим поляризуется мембрана, и пока не произойдет инактивация нейромедиатора, мембрана не вернется к изначальной поляризации. Если мы примем время инактивации равным нулю то нам нужна будет бесконечная скорость притока нейромедиаторов к постсинаптической мембране. Здесь нашел схему циркуляции нейромедиатора и таки да, увидел фазу инактивации.

Вот тут выясняется в чем прокол – я представлял нейроны как зарядоуправляемые КМОП-схемы, а здесь, если у нас быстро происходит деактивация, количество захваченных рецепторами активных нейротрансмиттеров и => поляризация зависит от соотношения скорости притока и деактивации нейромедиаторов, то есть мы имеем аналог не КМОП, а биполярных транзисторов, управляемых током. Тогда да, накопления и эффекта срабатывания при последовательности небольших но часто следующих импульсов не будет.

Это довольно важный вывод, потому не вспомнишь ли ты какой-нибудь источник где написано нечто в отношении соотношения скорости процессов выделения нейромедиаторов и деактивации?

P.S. Проверочное слово – синАпс, а не синоптик! Клавиши 'а' и 'о' – далеко друг от друга, я не верю что это опечатка!

UPD. Нарыл кое-что новое, хорошо пропущенное старое в читаной уже не единожды статье про синапсы в википедии:

>Медиатор действует в течение очень короткого времени, после чего разрушается специфическим ферментом.

>Следствием такой структуры синапса является одностороннее проведение нервного импульса. Существует так называемая синаптическая задержка — время, нужное для передачи нервного импульса. Её длительность составляет около  — 0,5 мс.

0,5мс  не считается очень коротким, значит "очень короткое" еще на порядки меньше.

P.P.S Я могу описать причину такого когитивного искажения. В статьях про синапсы выделение нейромедиатора рассматривается как единичное событие вне временных характеристик, а об инактивации умалчивается. И кажется что выделение это и есть сигнал. А сигнал это не просто приход нейромедиатора, а такой быстрый приход, что в соотношении с деактивацией получается значимое количество активированных одномоментно рецепторов.

Пример такого описания:
Неуловимая энграмма
>Возбуждение одного нейрона высвобождает молекулы нейромедиатора (красные шарики), которые пересекают синаптическую щель и связываются с рецепторами (ямки), что изменяет состояние мембраны второго нейрона
проклятый научпоп =)

Нисколько. Потому как выделившийся нейромедиатор связывается рецепторами постсиноптической мембраны и этим дезактивируется. Все, его нет. Для дальнейшей активности нужно выделить новый.

автор: nan сообщение 8391

Настолько быстро? 1 миллисекунда, 0,1 миллисекунды или микросекунда? Куда делся выделившийся в щель нейромедиатор? Он продолжает поляризовать мембрану.

>>Сколько времени пробудет этот нейромедиатор в щели

С точки зрения функции распознавания пропала входная импульсация, - спала порождаемая поляризация мембраны, так что об эффекте накопления заряда можно не говорить. Самое важное, то что влияе на функциональность, описывается моделью однослойного персептрона. Ею можно можелировать нейросеть со всеми нужными свойствами. Все остальное - лишнее, в том числе и постоянные времени, соизмеримые со временем (де)поляризации мембраны.

>>интегратор-сумматор-пороговое устройство ни в одной статье на сайте не виде

интергратор можно не рассматривать, а сумматор-пороговое устройство - есть в статьях, только это - функция собственно мембраны нейрона.

>>Садимся рядом со спящим человеком и стучим негромко карандашом по дереву с одинаковой громкостью и смотрим, через сколько раз он заворочается, а через сколько – проснется.

такая метода проверяет совсем не то. Думаю, что ты сам можешь это просечь без подсказки.

>Синапсы могут не пропускать сигнал от предшествующего источника, могут пропускать с различным ослаблением или могут пропускать, вызывая на другой стороны щели обратное действие (обратную поляризацию мембраны, повышающую порог срабатывая, т.е. тормозное действие).

Вот выделился нейромедиатор в щель, поляризацию мембраны изменил. Допустим синапс возбуждающий, и срабатывания нейрона не произошло, потому что не превышен порог. Вопрос. Сколько времени пробудет этот нейромедиатор в щели, вызывая такую поляризацию мембраны, что если в следующий раз придет такой же импульс, который если бы он пришел на полностью деполяризованную мембрану, не произвел бы никакого действия, добавляя нейромедиатор и => поляризацию к уже существующей и вызывает срабатывание.

Поляризация пропорциональна заряду, заряд равен интегралу тока по времени, выход рецептора и нейронов – это импульсы тока. Вот про то что нейрон это не просто пороговый сумматор, а интегратор-сумматор-пороговое устройство ни в одной статье на сайте не видел.

>> Настораживает чрезмерная упрощенность понимания работы нейронных сетей
Вот мне кажется что он прав, постоянными времени не надо пренебрегать :)

Проверить интегрирующий эффект просто. Садимся рядом со спящим человеком и стучим негромко карандашом по дереву с одинаковой громкостью и смотрим, через сколько раз он заворочается, а через сколько – проснется. Можно говорить что здесь фишка не в интегрирующих свойствах отдельных нейронов, а во всяких цепочках, циклах и т.п., но на самом деле и проверять не надо, потому что заряд это интеграл от тока, а ток это U/R, и если мы видим осциллом пачку импульсов, то поляризация увеличилась и будет сохранятся пока эти нейромедиаторы не порассосуться в процессе метаболизма либо что-то еще не произойдет. Про это собственно и вопрос: Куда деваются выделившиеся в щель нейромедиаторы?

upd: Внимание, эта картинка соответствует неподтвердившейся гипотезе!

(кликнуть для просмотра в  большом размере)

Думал что найду ответ сам, но на сайте про это нет. Видимо поэтому и
>Его основу составит пороговое устройство-сумматор для всех водящих сигналов - нейристор
Ни интегратора ни УВХ (интегратор можно упростить до УВХ)

P.S.

> фантастическое (пока) микроустройство, обладающее способностью отращивать нити проводников в ту сторону, где есть в этот момент выходная активность других нейристоров

А в компьютере всего-то надо ребро задать добавив в растягивающийся массив элемент с номерами соединяемых нейронов :) может быть всё-таки квантовые компы перспективны для изготовления буратины, чем "растущие нити"? Распараллеливание алгоритма в компах на новой фантастической пока аппаратной базе может дать эффект не хуже физического распараллеливания "фантастических пока устройств" :) Особенно если найти особенные паттерны машины тьюринга при обсчете нейросетей и сделать заточенное именно под них распараллеливание, подобно тому как распараллеливаются задачи в видеокартах под задачу обсчёта графики

> Зато это - вопрос создания, фактически, всего одного функционального устройства: нейристора с входными регулируемыми проводимостями.
... И с фантастически растущими нитями! =)
Ничего такого в кремниевой технологии точно не возникнет. Растущие нити – это уже нано. Выбивай грант :)

P.P.S. >синоптические
От слова синОптики :) Ctrl+Enter на этой странице у меня не работает :(

SleepWalker, посмотри вот эту тему на форуме:

Моделирование мозга

Вообще, в этой области уже многое сделано. Единственное, сознание - это всё-таки наша абстракция - не факт, что самым удачным образом описывающая результат работы сложно организованной системы. То есть, лучше всё-таки думать о том, как смоделировать такую систему в целом. А уже в ней (на фоне правильного взращивания такового "организма", пусть даже и на компе) можно рассчитывать увидеть всё то, что нам будет нужно.

Ну это личное мнение, которое подлежит сомнению :)

Попробую резюмировать.

На работу самой нейросети квантовые эффекты сами по себе (т.е. не через термодинамику) не влияют. Нейросеть очень хорошо защищена от случайных влияний (влияния полей, радиации, большинства химического, изменения температуры) многими ухищрениями.

Но есть внешний мир, часть которого становится неотъемлемой частью сознания как в восприятии так и использовании. Если сознание развивается на базе эмулированных, но взаимно независимых алгоритмически (т.е. функция распознавания зависит только от профиля на входе данного распознавателя) или реализованных на дискретных независимых функционально элементах, то, естественно, не будет границы между миром внешним и внутренним в том смысле, что часть внешнего станет непосредственно включена во внутренний так, что без такого внешнего данная адаптивная функция утрачивается как ее инвалидность.

Понятно, что никакой описательной функцией невозможно предусмотреть такую возможность использования внешнего мира, - это происходит - как процесс реального мира, его составная часть. В этом смысле улитка, реализующая видовую поведенческую адаптацию, ни с какими такими "вычислениями" и формализациями не связана и в ее организации нет этой абстракции (хотя мы можем сколько угодно философствовать об этом :). Точно так же улитка, элементы нейросети которой эмулированы на компьютере, ничем в этом плане не отличается от природной улитки.

Давай попробуем избежать философствования, особенно с обоснованиями типа формальной логики, без конкретизации, к чему именно относится эта логика. Ссылки на Машины Тьюринга - именно такое философствование. Поэтому предлагаю говорить по существу понимания.

Я утверждаю, что невозможно смоделировать сознание на ресурсе конечной производительности, если не использовать этот ресурс лишь в качестве инструмента, поддержания совершенно обособленных алгоритмически, т.е. децентрализованно реагирующих, подсистем. В конкретном случае сознания - локальных подсистем распознавателей. Вот тогда не просто моделирование, а реализация сознания становится возможной. Причем, становится очевидной избыточность использования суперрессурса для поддержания активности локальных ресурсов. Т.е. более логично создать систему таких моделей - без эмулирования ее общим компьютером.

Вот по такому пути и пошла IBM. В настоящее время ими создана эмуляция на суперкомпьютере нейросети, сложности как у кошки, хотя работающей в 80 раз медленнее. Они эмулируют сеть нейронов с синапсами. Но суперкопмьютер им нужен только временно, для исследований и отладки. Конечной реализацией они предполагают изготовление аналогов элементов нейросети в виде чипов.

http://www.osp.ru/cw_online/2009/47/10810756/

http://www.mia-info.ru/ar10.html

Публикаций очень много по этому проекту. В том числе восторженных, что будто бы превзойден уровень сложности кошки. На самом деле они пока что только смоделировали саму организацию нейросети, недопонимая много того, что необходимо для повторения организации адаптивных механизмов кошки.

Что же касается " Насчет квантовомеханической неопределенности - она на вычислимость никак не влияет, по причине того , что там тоже есть детерминизм" думаю (обосновано уверен), что это не так потому, что речь идет о сопоставлении бесконечностей в пределе динамики процессов (любой такой предел приводит к исчезновению понятий пространства и времени для такого процесса и, соответственно, нашего причинного детерминизма), но это - уже другая тема.