автор: Timo сообщение 10343

А как те контакт-синапс, который можно принять за 1 бит

Одна связь между двумя нейронами, или один контакт, или один синапс .... С точки зрения логики не имеет значения, как эта связь осуществляется (электрически, через какие-то гальванические контакты, или через вентили достаточно сложной полупроводниковой структуры; механически через какие-то рычаги или тяги; гидравлически через трубы и краны; биологически через многократно описанные синапсы). Важно, что эта связь задаёт некоторое взаимодействие между двумя КОНКРЕТНЫМИ нейронами – между рассматриваемым (№ 0) и каким-то другим, одним из возможных. Если это связь 0-1, это один случай, 0-2 – другой случай, … 0-43587 это 43587 случай, и так далее. Отсюда очевидно, что информационная ёмкость одной чисто цифровой связи (пусть синапса со значетиями связи 0/1) между 0-м и одним из 67890 нейронов равна никак не обному биту, а приблизительно 2 байтам. Эти 16 бит информируют счетовода-исследователя или проходящий через связь сигнал, по какому из 2^16 (=65536) путей приходит/уходит сигнал. Так что, если условно рассматриваемый нейрон мог бы образовать связь с одним из доступных для него 2^24 (16777216) нейронов, то информационная ёмкость одной чисто цифровой связи была бы 24 бита (=3байта). Я же оценил количество доступных для связи нейронов приблизительно в 80000, что и дало ёмкость одной цифровой связи приблизительно 2 байта. О количестве доступных для связи нейронов для выбранного нейрона можно рассуждать и спорить. Более того, я могу утверждать, что это количество существенно различается для нейронов, расположенных в различных точках мозга. Если для магистральных (чисто проводящих) нейронов это количество сравнительно мало (возможно сотни, или даже всего лишь десятки), то для нейронов коры эта цифра в сотни и тысячи раз больше. Но эти различия не принципиальны. Мы ОЦЕНИВАЕМ информационную ёмкость мозга абстрактного человека, а НЕ ПОДСЧИТЫВАЕМ ТОЧНО информацтинную ёмкость конкретного мозга, которая, к тому же, постоянно изменяется, как с изменением количества нейронов (рождение/отмирание нейронов), так и с изменением характеристик каждого конкретного из десятков миллиардов живущих нейронов.


03.06.2012г. 2:28:09

автор: Timo сообщение 10335

С одной стороны. 300 Тб - не фантастика. С другой стороны. …. Информационная ёмкость фоторобота, пусть 10 Кб, а скорей всего много меньше. Так зачем 300 Тб? Может эта оценка сильно завышена?

Действительно, для сжатого представления выверенной информации, которую использует в конкретный момент человек, 300 терабайт совершенно излишни. Но это для выверенной кем-то информации. Но кто ж её выверит, соберёт в нужных местах (которые надо знать), тщательно отфильтрует, перепроверит и отчеканит в железе или камне?
Десятки лет множество квалифицированных учёных и инженеров пытаются научить механических роботов научиться двигаться так же ловко, как это дедают люди, животные. Все вместе они перелопатили многие терабайты самой разной информации и уже научили роботов прилично ходить, но ещё не научили хорошо бегать, прыгать, крутить сальто.
С другой стороны, человеческий малыш к году научился ходить, а в десять лет он отлично бегает, прыгает, иногда крутит сальто, умеет плавать, говорить, читать, писать и так далее. При этом в его память никто не впечатывал выверенную информацию. Его нервная система сама вела поиск ответов-реакций на самые разные конфигурации входных сигналов. Ежемоментно методом проб и ошибок отыскиваются всё новые подходящие реакции (действия), соответствующие беспрерывно изменяющейся ситуации. При этом в мозге с огромной скоростью образуются всё новые связи, соответствующие изменяющимся обстоятельствам. Ранее образовавшиеся связи, не соответсятвующие складывающимся обстоятельствам, из мозга никак не могут быть удалены – над ними нет квалифицированного инженера-хирурга, удаляющего не совсем соответствующие (а иногда и совсем несоответствующие) связи с помощью микроскопа и микропаяльника или микроскальпеля. Для мозга в изменяющихся условиях виден лишь один-единственный путь изменения реакции – путём создания всё новых, более сильных связей с параллельным одновременным угасанием связей, образовавшихся ранее. Тогда как так называемое «торможение», имеющее место для мозга в целом и ошибочно приписываемое отдельным «тормозящим» входам и «тормозящим» нейронам, порождающих «тормозящие» сигналы не может быть реализовано без внешнего сортирующего на «плохо/хорошо» устройства, задающего «тормозящие» связи. На самом же деле изменение реакцции мозга, интерпретируемое как «торможение» старых итоговых реакций ВСЕГО МОЗГА, обеспечивается конкуренцией путей прохождения сигналов по новым более сильным связям / по старым связям, успевшим ослабеть.
Поэтому и необходимо для успешной работы мозга в постоянно изменяющихся обстоятельствах наличие огромного количества активных элементов – нейронов с постоянно образующимися более сильными новыми связями и постепенно угасающими старыми связями. Потому мы и забываем – угасают связи. Но забывание не есть абсолютное зло. Наоборот, только благодаря ему мы и можем выживать в постоянно изменяющемся мире, беспрерывно изменяя своё поведение.
Всё это описано в моей книге «Принципы функционирования мозга» по адресу:
http://shumilov.kiev.ua/mozg
автор: Timo сообщение №10335 автор: Timo сообщение №10335

03.06.2012г. 0:40:24

автор: nan сообщение №10341

Ты вполне в курсе достижений в этой предметной области, что заявляешь так о незнании для всех?..

Конечно не в курсе. Иначе что бы меня сюда занесло? К столь помпезному заявлению о незнании меня побудило следующее: большинство авторов, пишущих на эти темы, не забывают оговориться о том, что излагаемое ими не более чем гипотеза, достоверно проверить которую пока возможности нет.
Статья, на которую ты ссылаешься, о распознавании, то есть об обработке информации, но не о её количестве. Подобные идеи в других терминах излагаются в упомянутой книжке Хокинса. Из этой статьи опять же можно сделать вывод о том, что хранимый образ содержит заметно меньшее количество информации чем фотка того же образа в формате jpg. Второй вывод: достоверность (информативность) фотки jpg заметно выше образа в мозге. Третий вывод: в мозге мощный процессор при небольшом количестве памяти. (простите за навязчивые компутерные аналогии)

03.06.2012г. 21:27:22

автор: N_A сообщение №10356

чему точно равна  информационная ёмкость для системы из 3х нейронов?

Присоединяюсь.
В больших числах я слабоват. Представил себе четыре нейрона, каждый из которых связан с каждым однобитовой связью. Сколко всего информации мы поимеем?

03.06.2012г. 21:37:27

автор: nan сообщение 10357

В довесок к вопросам. Что такое информация в контексте ее подсчета в памяти мозга? Что такое вообще память мозга в контексте психических явлений? Насколько корректно можно сопоставлять представления о битах зари кибернетики и информационными единицами (количеством функциональных распознавателей) в мозгу?

Информация многими воспринимается как нечто эфемерное, неосязаемое, о чём многими другими просто ведутся заумные речи. Однако информация вполне поддаётся учёту, описанию. Хотя она и не материальна, не является осязаемым объектом, но она вполне объективна, она является мерой количества отношений между различными объектами, осязаемыми на разных уровнях. В том числе и на тех уровнях, на которых сегодня она не может быть измерена непосредственно.
Начнём с конца. Каковы бы ни были единицы информации: биты, байты, страницы, гигабайты, метры перфоленты или магнитной ленты, они могут быть выражены одни через другие. Точно также как метры, футы, ярды, аршины, сажени и дюймы могут быть заменены одни на другие. Так что биты от зари кибернетики вполне подходят для исчисления и обозначения количества информации. Другое дело, что часто, говоря о количестве информации в каком-то объёме (в слове, в звуке, в иероглифе) упускают из вида то обстоятельство, что в рассматриваемом объёме имеется информация только об указании на один из объектов, а для дальнейшего описания этого объекта нужна дополнительная информация. Покажем это на примере. Так, один байт (8 бит) позволяет указать на один из 256 символов. Если к этому байту добавить указатель регистра размером также в один байт, то мы сможем двумя байтами идентифицировать один из 256*256=65536 символов. То есть мы сможем с помощью 2 байт указать даже все китайские иероглифы. Но при этом совершенно понятно, что для расшифровки значений всех этих иероглифов нужно добавить ещё огромное количество информации. Для описания значения каждого иероглифа через некоторые другие знаки понадобится множество байт. Так что к 2-м байтам идентификации иероглифа нужно добавить по несколько сотен байт для каждого иероглифа. Так что для описания 20 000 иероглифов понадобится 2байта + 20 000*100 байт. Однако и это ещё не всё, потому как для расшифровки значений знаков, описывающих значение каждого иероглифа необходимо затратить ещё массу информации. И здесь уже не пройдёт простое добавление, поскольку огромное количество знаков используется для описания не одного иероглифа, а участвует в описании значений и других иероглифов.
Не имеет значения, в каком виде представлена информация: написана ли буква, слово, или они вырезаны в камне, или начерчены на песке, или невидимо представлены в электронном виде, или изображены нитями, различимыми только под микроскопом.
Следом некоторого события (информацией о нём) может быть и яма, и царапина на стекле, и пятно на ткани, и отпечаток пальца, который обычному человеку ничего не даст. Но человеку, вооружённому множеством образцов отпечатков, отпечаток пальца будет идентификатором некоторой фамилии или даже целого тома описаний.
Так что информация в мозге о связях между событиями, оставившими след в мозге, реализуется через множество связей между нейронами. Более подробно можно прочитать в книге «Принципы функционирования мозга».
И что такое психические явления? Это некоторая реакция мозга на некоторую конфигурацию сигналов, поступающих на многочисленные входы мозга. Эта реакция формируется входной конфигурацией сигналов, проходящей через структуры мозга, сложившиеся к данному моменту. В силу того, что эти структуры постоянно изменяются, реакция вчера и завтра на одну и ту же входную конфигурацию сигналов, вообще говоря, может существенно отличаться.



03.06.2012г. 23:49:02

автор: N_A сообщение 10356

Хочу уточнить, чему точно равна информационная ёмкость для системы из 3х нейронов? чему точно равна ёмкость одной связи в такой системе?

Уточняю: Информационная ёмкость одной цифровой (0/1) связи для системы из трёх нейронов равна 2 бита. Для каждого нейрона, скажем, нейрона №1, возможны 4 состояния связи на входе: 1) связь висит в воздухе (не связана ни с кем); 2) связь с выходом нейрона №2, 3) связь с выходом нейрона №3; 4) связь с выходом нейрона №1, то есть, с собственным выходом. Такое, в принципе, тоже возможно.
Информационная ёмкость каждой аналоговой связи, о которой есть смысл говорить, когда пороговое устройство на входе нейрона различает какое-то количество уровней сигнала, зависит от количества различаемых уровней сигнала, проходящего через эту связь. В современной широко используемой аналоговой технике обычно различают порядка 2000 — 8000 уровней, что соответствует 11 — 13 битам, необходимым для представления всех возможных уровней сигнала.
Если у каждого нейрона по одной цифровой связи, то ёмкость всей системы из трёх РАЗЛИЧАЮЩИХСЯ нейронов равна 3*1*2 бита. Но такая конфигурация будет вещью в себе – она не будет ни на что реагировать, ничем не будет управлять.
Если к этой системе добавить 4 источника входных сигналов, то информационная ёмкость каждой связи вырастет до 3 бит (4 описанных возможности + указание на один из 4-х источников входных сигналов). Так что информ.ёмкость такой конфигурации будет 3*1*3 = 9 бит.
Если же количество источников не 4, а 1,2 или 3, то (поскольку ёмкость одной связи >2 и <3 бит), для подсчёта информационной ёмкости ВСЕЙ системы надо подсчитать число возможных состояний всей системы а затем – сколько бит необходимо для нумерации всех возможных состояний системы.
Если у каждого из трёх нейронов имеется по 10 цифровых связей, то информационная ёмкость ВСЕЙ системы из трёх РАЗЛИЧАЮЩИХСЯ нейронов (каждый с 10 связями) существенно меньше, чем 3*10*2 бит, поскольку из-за неразличимости 10 цифровых связей, каждая из которых может иметь одно из 4-х значений, некоторые конфигурации связей будут по существу неразличимы.


04.06.2012г. 1:34:27

автор: skuLL сообщение 10364

Остался единственный (пока) небольшой, но очень интересный для меня в данном контексте, вопрос: какой хотя бы приблизительный объём поддающейся учёту информации занимает (может занимать) число на различных носителях такой информации?......... Для иллюстрации подойдут любые единицы измерения (учёта) / хоть байты, хоть синапсы....... Спасибо.

Как вы знаете, число ПИ — иррациональное число, то есть, его значение не может быть точно выражено в виде дроби m/n, где m и n — целые числа. Следовательно, его десятичное представление никогда не заканчивается и не является периодическим.
Поэтому у кого-то численное ЗНАЧЕНИЕ числа ПИ занимает ½ байта (ПИ=3), я для грубых прикидок использую для ПИ примерно 3 байта (ПИ=3.14; 3 цифры занимают 1.5 байта + 1 байт для знака препинания-точки + 1/2 байта для указания места расположения точки), для точных расчётов используют, скажем, 10-байтовое представление численного ЗНАЧЕНИЯ. Какие-нибудь фанаты математических вывихов могут положить половину (или даже больше) ёмкости своего мозга для получения самого длинного рекордного представления численного ЗНАЧЕНИЯ числа ПИ.
Но кроме численного ЗНАЧЕНИЯ числа ПИ есть ещё и историческое и прочие значения числа ПИ, истории, связанные с ним, анекдоты типа почему колёса вагона стучат? Потому что площадь круга колеса равна ПИ*R в квадрате, вот этот квадрат и стучит. Это уж кто как соприкасается с этим числом. Поскольку практически все, умеющие читать, знают о числе ПИ больше, чем только его короткое значение, то представление о числе ПИ может занимать в нашем мозге многие килобайты, а то и мегабайты.


04.06.2012г. 2:49:33