snc, но это - как раз и есть определение оценки сведений личностью: "помогают мне сведения принимать правильные и полезные для меня решения - они несут полезную информацию, мешают - вредную, ни на что не влияют - вообще не несут информации" вот только чем больше знание, понимание данного сведения, тем большая определенность, уверенность. Все это имеет именно личностные механизмы, а не термодинамические (энтропийные).

10.12.2007г. 20:28:08

Ув. nan, я говорил о, так сказать, личной интерпретации вполне строгого определения информации как разницы между условными энтропиями. Это определение базируется на не менее строгом понятии энтропии (и условной энтропии) как меры неопределённости исходов опыта. В данном случае меня не очень интересовало, как именно соотносится понятие энтропии, введённое в теории информации с энтропией термодинамической. Я их предпочитаю трактовать как омонимичные понятия, каждое со своей областью применения.

Исходное строгое определение информации, на которое я опираюсь (очень внятно описанное в книге Яглом А.М., Яглом И.М. "Вероятность и информация") не слишком подходит в качестве ответа на столь абстрактный вопрос, как "что такое информация вообще", так как оно было введено для решения вполне конкретных проблем передачи кодированных сообщений по линиям связи и никак не претендует на некие обще-философские выводы (с чем я категорически согласен).

Всё, что я себе позволил - это бытовая интепретация данного строгого определения, которая носит исключительно субъективный характер и не претендует на какую-либо научную строгость . Это скорее личное правило по практической фильтрации того потока сведений, который обрушивается на меня с экрана телевизора, через интернет и из других источников. Т.е. первый вопрос, который я себе задаю, когда что-либо читаю, вижу или слышу - "а шо я с того буду иметь?" - в смысле а могут ли полученные сведения скорректировать неопределённость в выборе способа решения моих личных задач и прогнозе результатов? Звучит меркантильно, но позволяет не забывать соотносить, так сказать, теорию с практикой и не втягиваться в плетение бесконечных абстрактных кружев (к чему я имею склонность ).

P.S. и не воспринимайте мои слова, как спор с Вами, это скорее мысли по поводу. Вот есть Ваша статья об информации, есть моё представление (в чём-то похожее, в чём-то нет) - почитаем, подумаем, сравним и, может быть, кто-нибудь из нас обнаружит для себя что-то полезное .

P.P.S. кстати, в формировании такого моего подхода не малую роль сыграл и Ваш сайт, за что Вам отдельное спасибо.

10.12.2007г. 22:31:59

Конечно, нет речи о споре как достижения победы мы же делимся мнениями, и если мнение другого вызывает мысли или возражения, то почему бы их не высказать, чтобы получить ответ?
На мой взгляд использование волшебного слова Энтропия там, где мы имеем с механизмами психики, с использованием именно термодинамического контекста (Яглы исходили, прежде всего, из понимания вероятности событий и кибернетического понимания информации как элементов потока данных), мне представляется не корректным. Потому, что как только мы начинаем говорить о "прогнозе развития событий ", "уверенности" или "неопределенности" в психическом плане, то ничего подобного с представлениями Янглов там нет и в помине. И "мера неопределённости исходов опыта" – чисто умозрительное представление.
Если есть желание, можем об этом поговорить подробнее, все обосновывая.


11.12.2007г. 9:09:53

Да, хотелось бы проиллюстрировать всё вышесказанное конкретным примером. Я не буду брать умозрительный пример, возьму совершенно конкретный - мою поездку на отдых. Собственно результат, который меня интересует - хороший отдых. Каждый год я в первую половину отпуска езжу в Крым (Керчь) и неплохо там провожу время. Однако при этом я знаю, что существуют и другие места, где я мог бы теоретически неплохо отдохнуть. Однако поскольку в Керчь я езжу не первый год, то знаю точно, на что могу рассчитывать (т.е. вероятность достижение результата в этом случае вполне определена и довольно высока), чего не скажешь о других вариантах. Т.е. итоговая неопределённость (энтропия ) хорошего отдыха весьма мала. Тут я узнаю, что в Керченском проливе то ли танкер затонул, что ли ещё что случилось, но вода там безнадёжно испорчена и это продлится не один год. Это сообщение несёт для меня очень важную информацию, так как теперь вероятность хорошо отдохнуть в Крыму для меня резко снижается (так как для меня отдых без купания - это не отдых) и мне придётся обратить внимание на другие пути достижения того же результата . Таким образом сообщение о проблемах Крыма несёт для меня информацию именно в Ягломовском смысле - т.е. изменяет степень неопределённости (энтропию) получения нужного мне результата и мне теперь придётся компенсировать это отрицательное (так как неопределённость увеличилась) изменение другой информацией, которая бы позволила бы мне с большей уверенностью рассчитывать на хороший отдых пусть и в другом месте.

11.12.2007г. 15:42:20

" ничего волшебного и мистического в данном случае я не вижу"
Я имел в виду то, что слово Энтропия – одно из тех броских слов, которые мало кто понимает, но много раз слышал и поэтому оно как нельзя хорошо для придания тексту наукообразности
Ну а вообще, сразу приходит в голову аналогия с методом Байерса, прикол про который в его использовании в атеизме стоит прочитать, чтобы получить эстетическое удовлетворение Хотя сам по себе метод очень хорош в практическом, но корректном использовании (например, в антиспамовых фильтрах), но это не то, что можно назвать описание реальности и поэтому результат его применения всегда несколько неопределен (возникают порой досадные проколы ).
В случае же Ягломов их математические модели мне кажются еще более произвольными. Поэтому в приведенной цитате:
"Поскольку передача по линии связи (например, телеграфной) сообщения определённой длины требует и в случае совершенно несущественного и даже лживого сообщения и в случае сообщения о величайшем открытии примерно одинакового времени и одинаковых затрат, то с точки зрения теории связи приходится считать, что и количество информации в этих сообщениях является одинаковым."
и получается нивелирование смысла информации и сведение ее к битам, что требует неубедительных оправданий:
"Разумеется, подобное определение количества информации, полностью отвлекающееся от смыслового содержания рассматриваемого сообщения, не может быть годным во всех случаях, в которых в обыденной жизни употребляется слово "информация". Ясно, однако, что ценность любого научного понятия определяется никак не количеством случаев, не обслуживаемых этим понятием, а единственно лишь важностью и распространённостью конкретных задач, при решении которых данное понятие оказывается полезным".
Резонно, что "...первое в чём я дал себе поблажку при рассуждениях - это перешёл от вопроса: "что такое информация вообще" к вопросу: "что такое информация для меня лично"... - мерилом важности становлюсь я сам." – вот с этим я последним утверждением я полностью солидарен
"... я стремлюсь к достижению каких то результатов, и перед этим пытаюсь понять, как мне этого добиться." - а вот этот процесс далеко не так прост как кажется умозрительно и описывается механизмами психических процессов, которые рекомендую начать понимать с обзорной статьи. Тогда становится ясно, что же стоит за ощущением неопределенности воспринятого.
" Мерилом же информативности служит степень снижения исходной неопределённости "умноженное" на ценность для меня конкретного результата. "
По моим представлениям картина принципиально иная: то, что привлекает внимание вообще и к деталям воспринимаемого в частности, - имеет максимальную на данный момент восприятия величины произведения новизны на его значимость (важность), а другое оказывается вне осознания. При этом важность определяют не осознанно, а она уже сформирована предшествующим опытом, а при любой попытке подойти к этому процессу осознанно, начинается путаница
Плохо то, что для освоения предлагаемых представлений до уровня их естественного понимания требуется очень немало усилий и времени. Но понятно, что без ясного понимания психических явлений все предположения, касающиеся их, оказываются далеки от реальности... Для фразы "...если я не способен понять и применить получаемые сведения на практике или получаемые результаты мне не интересны..." – это особенно критично а приведенный "неумозрительный" пример – просто классика для иллюстрации механизмов психики


11.12.2007г. 19:15:36

Сначала по поводу Ягломов. Я бы хотел заострить Ваше внимание на том, что все попытки использовать их математические модели в качестве объяснения что такое информация - это исключительно мои личные спекуляции. Как я понял Ягломов, они подчёркивали, что то, что они называют информацией, является исключительно названием конкретной модели, предназначенной для решения чётко определённого круга задач и не должно восприниматься как попытка объяснить, что такое информация вообще. Возможно стоило бы назвать эту величину как-нибудь по другому и тем самым избежать всех вопросов. Но что сделано, то сделано. Вот и физики тоже уже перестали называть вновь открытые частицы буквами греческого алфавита и перешли к "странным", "зачарованным" и прочим красивостям , вот тоже могут нарваться . Дело же не в названии, а в результате. Конечно это вызывает чисто психологические проблемы (если называется одинаково, то и речь идёт об одном и том же). Мне очень импонирует положение Ягломов, хотя и сделанное мимоходом: "ценность любого научного понятия определяется никак не количеством случаев, не обслуживаемых этим понятием, а единственно лишь важностью и распространённостью конкретных задач, при решении которых данное понятие оказывается полезным".

Теперь по поводу Ваших возражений. Рекомендуемую Вами статью я читал, но если Вы считает, исходя из моих слов, что я её не понял, то я перечитаю её ещё раз и тогда вернёмся к этому разговору.

По поводу "классики для иллюстрации механизмов психики", ну не знаю, ну максимум как я могу этот комментарий воспринять - это как комплимент в адрес моей "классически" нормальной (стандартной) психики .

В процессе нашего обсуждения мне пришла в голову любопытная для меня мысль: вот Ягломы (и прочие научники) решают конкретные задача, а потом получившиеся модели как-то называют. Причём названные модели работают вне зависимости от их названия. Мы же с Вами пытаемся взять название и докопаться до его "сути" при этом никаких решений вобщем-то не получая. Дело в том, что я не вижу практического применения ни для своего определения информации, ни для Вашего. Подход Ягломов мне представляется более конструктивным .

12.12.2007г. 13:14:29

" Но что сделано, то сделано."
никаких проблем если определять понятие в границах контекста его использования, то все становится на свои места. Или не становится, если понятие противоречит другим понятиям данной предметной области. Как только ты замахнулся (я обращаюсь в соответствии с традицией форума, проявляя этим доброжелательность ) на определение в предметной области механизмов психики, у меня появились нестыковки с этим определением
 
" если Вы считает, исходя из моих слов, что я её не понял, то я перечитаю её ещё раз "
это тебе виднее, а я не стану делать таких предположений Но то море переплыть и сказать: я хорошо все это уже представляю, очень непросто

" я не вижу практического применения ни для своего определения информации, ни для Вашего."
Да, вот это – верно! Кроме одного случая: то бытовое представление об информации, которое применят именно в отношении человека, явно стоило бы сделать однозначнее, хотя бы чтобы им не спекулировали мистики. А вообще такие понятия как Информация, Интеллект, Эмоции, Подсознание и т.п., формировавшиеся без понимания механизмов психики лишь на основе ее внешних проявлений, сами по себе не несут определенности и годятся лишь для бытового использования.


12.12.2007г. 14:21:05

Энтропия - не красивое словцо, а такое же фундаментальное понятие как материя, энергия, информация. К сожалению, наше пренебрежительное отношение к этому термину идёт от школьной скамьи - как известно, "все наши грехи оттуда". Любому современному образованному человеку без этого понятия в принципе невозможно понять основы мироздания. Тепеь уже в науке появились разные формы энтропии: от термодинамического понимания потянулись и другие частные случаи - энтропия молекулярного состояния вещества, введённая Л.Больцманом, информационная энтропия К.Шеннона, социальная энтропия Курдюмова, Князевой, Васильковой и др.
Использование энтропии в информатике оказалось весьма плодотворным. В вузовской
дисциплине по информатике есть даже задачка по определению - во сколько раз уменьшается степень нашего незнания о предмете после проведения измерений по сравнению с начальными знаниями, то есть на сколько уменьшилась энтропия.
Количество поступающей информации равна количеству убывающей энтропии, взятой с обратным знаком. Энтропия и информация есть атрибуты материи и существуют объективно, как и сама материя. Примером объективности (независимости от человека) информации служит генетическая информация, закодированная в ДНК, благодаря которой появляется и существует всё живое.

17.12.2007г. 20:09:07

«Энтропия - не красивое словцо, а такое же фундаментальное понятие как материя, энергия, информация.» Это замечательное утверждение, но как эти три фундаментальные характеристики материи соотносятся между собой. Подчеркиваю, материи, то есть физически и какими физическими единицами они измеряются?
«Энтропия и информация есть атрибуты материи и существуют объективно, как и сама материя. Примером объективности (независимости от человека) информации служит генетическая информация…» это тоже интересно, но как без участия человека (субъекта) Вы сможете измерить эту энтропию и информацию?


17.12.2007г. 20:42:37

Спасибо за приглашение к беседе, поговорю с Вами с удовольствием.

Итак, начну с определения энтропии как меры неопределённости исходов опыта (все цитаты далее по книге Ягломов "Вероятность и информация"). "Для практики важно уметь численно оценивать степень неопределённости самых разнообразных опытов, чтобы иметь возможность сравнить их с этой стороны". Далее идут рассуждения о том, какой вид должна иметь функция для вычисления этой величины и делается вывод, что лучше всего подходит что-нибудь типа логарифма (просто и удобно). Далее делается ещё несколько вполне понятных логических переходов и предлагается окончательная формула для вычисления данной величины: H(alpha) = - sum_{i=1,n} (p(A_i)*log(p(A_i))) (здесь alpha - обозначение опыта в целом, а p(A_i) - вероятность конкретного исхода опыта alpha). После этого предлагается назвать данную величину энтропией. Ну собственно, когда понятна суть называемого, то уже не в названии дело . Так что ничего волшебного и мистического в данном случае я не вижу (если конечно не вдаваться в философские обобщения и аналогии). Более того, Ягломы очень предусмотрительно замечают: "Использование величины H(alpha) в качестве меры неопределённости опыта alpha оказывается очень удобным для весьма многих целей; раскрытию этого обстоятельства и посвящена, в основном, последующая часть книги. Следует однако иметь в виду, что мера Шеннона, как и мера Хартли, не может претендовать на полный учёт всех факторов, определяющих "неопределённость опыта" в любом смысле, какой может встретиться в жизни" (далее я своими словами), например не учитывается степень "близости" или "важности" исходов.

Следующим шагом вводится понятие условной энтропии (в указанном ранее смысле) H_alpha(betha) через условные вероятности p_alpha(A_i).

Далее вводится величина I_alpha(betha) = H(betha) - H_alpha(betha). Которая интерпретируется так: "таким образом эта разность указывает, насколько осуществление опыта alpha уменьшает неопределённость betha, т.е. как много нового узнаём мы об исходе betha, произведя наблюдение (измерение) alpha". Далее опять таки предлагается - "эту разность называют количеством информации относительно опыта betha, содержащемся в опыте alpha, или, короче, информацией о betha, содержащейся в alpha". Так что в понятии информации, введённом для нужд теории связи, опять таки нет ничего мистического. В связи с этим ещё одна показательная, хотя и большая, цитата: "В этой связи мы можем повторить об информации I тоже, что было сказано об энтропии. Понятие информации (в данном виде - snc) возникло непосредственно из нужд теории связи и специально было подобрано так, чтобы отвечать запросам этой теории. Поскольку передача по линии связи (например, телеграфной) сообщения определённой длины требует и в случае совершенно несущественного и даже лживого сообщения и в случае сообщения о величайшем открытии примерно одинакового времени и одинаковых затрат, то с точки зрения теории связи приходится считать, что и количество информации в этих сообщениях является одинаковым. Разумеется, подобное определение количества информации, полностью отвлекающееся от смыслового содержания рассматриваемого сообщения, не может быть годным во всех случаях, в которых в обыденной жизни употребляется слово "информация". Ясно, однако, что ценность любого научного понятия определяется никак не количеством случаев, не обслуживаемых этим понятием, а единственно лишь важностью и распространённостью конкретных задач, при решении которых данное понятие оказывается полезным".

На этом закончим с наукой и перейдём к моим собственным рассуждениям. Размышляя над приведёнными сведениями я пришёл к тому, что они могут быть полезны и для ответа на некоторые мои мировоззренческие вопросы. Итак, первое в чём я дал себе поблажку при рассуждениях - это перешёл от вопроса: "что такое информация вообще" к вопросу: "что такое информация для меня лично". Таким образом решилась проблема, указанная Ягломами, об объёктивной оценке важности разнообразных сведений - мерилом важности становлюсь я сам. Однако как именно я сам оцениваю эту важность - да по важности для меня тех результатов, которые я планирую получить и получаю. С этой точки зрения всё, описываемое Ягломами, начинает приобретать вполне определённые мировоззренческие черты. В самом деле, я стремлюсь к достижению каких то результатов, и перед этим пытаюсь понять, как мне этого добиться. При этом существует некоторая начальная степень неопределённости в выборе средств (и достигаемых с их помощью результатов). В этом случае любые сведения, влияющие на эту неопределённость, несут для меня информацию именно в том смысле, в котором это определено Ягломами. Мерилом же информативности служит степень снижения исходной неопределённости "умноженная" на ценность для меня конкретного результата. Данное положение было проверено на практике (я понаблюдал за тем, как именно я отбираю материалы по работе или другим делам).

Теперь, как и в большой науке ( ), поговорим об ограничениях. Да, такое понимание информации во многих случаях оказывается очень полезным, однако все оценки степени информативности оказываются очень субъективными. Например: для меня лично информативность теории относительности Эйнштейна оказывается на уровне сообщения Васи Пупкина о его дне рождения (правда это происходит по разным причинам: в случае теории Эйнштейна у меня проблемы с пониманием и применением, а в случае дня рождения Васи Пупкина - оно мне нафиг не нужно ). Эту проблему можно, наверное, преодолеть вводя среднюю оценку информативности тех или иных сведений за период по всем людям. Однако для меня это уже не столь существенно, так как такая оценка делается и без моей помощи в виде естественного отбора теорий (как очень хорошо описано в имеющейся на Вашем сайте книге Имре Лакатоса, "Фальсификация и методология научно-исследовательских программ").

Что же полезного я извлёк для себя из этих рассуждений. На самом деле основная польза, как это не парадоксально, заключалась в данном случае в прояснении важности ограниченений вообще и конкретных ограничений в частности. А именно, мне приходится смирится с тем, что информативность в конечном итоге определяется возможностью применения мною полученных сведений для получения результатов. А следовательно, если я не способен понять и применить получаемые сведения на практике или получаемые результаты мне не интересны, то для меня эти сведения не несут информации, как бы гениальны и авторитетны они не были. И второй момент (не вытекающий из самих рассуждений, но вытекающий из того, как они делаются (по образу и подобию Ягломовских)) - мне наивно надеяться, что я смогу один раз и навсегда выработать некоторый набор понятий (например окончательно определиться с тем, что такое информация), который даст ответ на все мои жизненные вопросы (т.е. снизит неопределённость жизни до нуля ). Все вырабатываемые понятия действуют только в тех пределах, для которых они были выработаны и при изменении условий, возможно, понадобятся новые понятия.

Ну вот, я вроде бы всё изложил, извините за многословность и обилие цитат . Вобщем-то всё изложенное вполне себе тривиально, но если это кому-нибудь покажется любопытным, я буду рад.


11.12.2007г. 17:57:49