>> Мне кажется порочной практикой смешивать понятия Информации и (информационной) Энтропии.
............................
А где они смешиваются Да, это - совершенно разные понятия.
Из обсуждения:
>> информация как мера изменения вероятностной энтропии (№ 2683)
>> определения информации как разницы между условными энтропиями (№ 2685)
>> Количество поступающей информации равна количеству убывающей энтропии, взятой с обратным знаком (№ 2719)
>>Энтропия - это характеристика состояния системы, заведомо безразличная к смыслу (и к порядку).
............................
К смыслу, да, а вот что именно назвать порядком нужно прояснить. В смысле состояния системы - очень даже осмысленное понятие.
IMHO, достаточно обычного математического понимания (строгий порядок). Если на множестве задано отношение порядка (грубо говоря, оно может быть однозначно отсортировано по какому-либо критерию), то оно упорядочено. Как пример, алфавит естественного языка, ряд натуральных чисел, цвета радуги, шкала твердости Мооса итп.
>> Энтропия как метрика бесполезна.
............................
Тут принципиальная некорректность: доказывать можно только существование, но никак не существование, в данном случае несуществование пользы. Если ты ее не видишь, это не значит, что ее нет, что нее видят те, кто ввел и использует понятие энтропии (точнее, в случае физической информации - антиэнтропии).
Тезис неверен. Доказательство несуществования - точно такой же прием, как доказательство существования. В математике, например, нередко доказывается несуществование (предела, решения, сходимости, определенного вида матрицы итп). В физике доказывается невозможность "вечного двигателя" итд. Доказательство несуществоавания использовали еще античные скептики. Подробности можно найти в курсах логики.
Что касается бесполезности Энтропии, то из контекста следует, что речь идет исключительно о неаддитивных пространствах. Возможно, эту фразу следует переписать более педантично: "В неаддитивных пространствах, энтропия как метрика бесполезна в задачах выбора".
Ссылка на термодинамику также некорректна. Во-первых, информационная энтропия не тождественна термодинамической. Во-вторых, термодинамическая энтропия исходно базируется на температурной упорядоченности уровней.
Наконец, история появления понятия Энтропия хорошо известна. Ни у Рудольфа Клаузиуса, ни у Клода Шеннона ее появление не связано с задачей выбора. Более позднее применение Шенноном понятия энтропии к таким задачам связано исключительно с алфавитно упорядоченными множествами (допускающими бисекцию по заданному признаку).
18.11.2017г. 23:47:13