Теория информации: Понятие, виды и количественные меры (Хартли, Шеннон)

В современном мире, пронизанном потоками данных и стремительным развитием технологий, способность понимать, измерять и эффективно управлять информацией становится не просто полезным навыком, а фундаментальной необходимостью. Ежесекундно по планете передаются эксабайты данных, формируя сложнейшие сети коммуникации, от которых зависят практически все сферы человеческой деятельности — от повседневного общения до глобальных научных исследований. В этом контексте теория информации выступает как краеугольный камень, предлагая строгие математические методы для анализа и оптимизации информационных процессов.

Данный реферат имеет целью систематизировать знания о понятии информации, ее различных видах и, что особенно важно, количественных мерах, разработанных выдающимися учеными Ральфом Хартли и Клодом Шенноном. Мы погрузимся в исторические корни этой дисциплины, проследим эволюцию представлений об информации от философских изысканий до строгих инженерных моделей и подробно разберем математический аппарат, позволяющий измерять эту неуловимую, но всепроникающую сущность. Последовательно изучая каждый аспект, мы стремимся сформировать целостное и глубокое понимание одной из самых влиятельных научных теорий XX века, которая продолжает определять развитие информационных технологий и поныне.

Сущность и многообразие понятия «информация»

Понятие «информация» является одним из наиболее фундаментальных и в то же время многогранных в современной науке; его универсальное определение, способное охватить все контексты использования, остается предметом активных дискуссий. Тем не менее, в каждой области знаний, от философии до инженерии, формируются свои подходы, которые позволяют эффективно работать с этой абстрактной сущностью.

Определение информации: От философии до стандартов

История осмысления понятия «информация» уходит корнями в глубокую древность. Еще античные философы, такие как Платон и Аристотель, в рамках эпистемологии (теории познания) и онтологии (учения о бытии) обсуждали природу знаний, представлений и их связи с объективной реальностью. Для них информация была неотделима от форм, идей и логического устройства мира, являясь по сути формой, которую разум придавал бесформенной материи или чувственным данным. До наступления промышленной революции, когда потребности в массовой передаче и обработке данных стали остро ощутимы, определение сути информации оставалось прерогативой философов.

Однако в XX веке, с появлением телеграфной, а затем и телефонной связи, а также развитием первых вычислительных машин, понятие информации стало объектом пристального внимания инженеров и математиков. Оно перестало быть исключительно философской категорией, превратившись в общенаучное и техническое понятие, способное к количественному измерению.

Современные стандарты, такие как ISO и ГОСТ, предлагают более прагматичные и операциональные определения:

• ISO 5127:2017 определяет информацию как «обработанные, организованные и связанные данные, которые порождают смысл (значение)».
• ISO/IEC 10746-2:1996 характеризует ее как «знания о предметах, фактах, идеях и т.д., которыми могут обмениваться люди в рамках конкретного контекста».
• ISO/IEC 2382:2015 уточняет: «знания относительно фактов, событий, вещей, идей и понятий, которые в определённом контексте имеют конкретный смысл».
• ГОСТ 7.0-99 (и его модификация ГОСТ Р 50922-96) трактует информацию как «сведения, воспринимаемые человеком и (или) специальными устройствами как отражение фактов материального или духовного мира в процессе коммуникации» или «сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представления».

Эти определения подчеркивают, что информация — это не просто сырые данные, а нечто, что обретает смысл и способно наделять знанием, обуславливать действия, а также, что важно для теории информации, обладать количественным измерением. Отсюда следует, что для эффективного управления данными необходимо не только их собирать, но и придавать им структуру и контекст, чтобы превратить в ценную информацию.

Информация, данные и знания: Разграничение понятий

В повседневном общении термины «данные», «информация» и «знания» часто используются как синонимы, что может приводить к путанице. Однако в академическом и научно-техническом контексте между ними существуют четкие различия:

• Данные — это сырые, необработанные факты, символы, сигналы или числа, которые сами по себе не несут глубокого смысла. Это может быть набор цифр, букв, показаний датчиков. Например, 30.10.2025, 25°C, Москва. Эти элементы показывают что-то, но не объясняют почему или что это значит.
• Информация — это обработанные, организованные, структурированные данные, которым был придан смысл в определенном контексте. Информация уменьшает степень неопределенности или неполноты знаний об объекте или явлении. Используя предыдущий пример, 30.10.2025, в Москве температура воздуха составила 25°C уже является информацией. Она не просто констатирует факты, а связывает их, давая представление о состоянии окружающей среды.
• Знания — это более высокий уровень абстракции, который формируется на основе интерпретации и осмысления информации. Знания включают понимание закономерностей, принципов, связей и причинно-следственных отношений. Они позволяют прогнозировать, принимать решения и создавать новые информационные сущности. Например, знание о том, что «такая высокая температура в Москве в октябре 2025 года является аномалией, вызванной глобальными климатическими изменениями», является уже знанием, которое позволяет выдвигать гипотезы и строить модели.

Таким образом, данные являются сырьем, информация — это обработанное сырье, а знания — это результат глубокой переработки и осмысления информации, позволяющий эффективно взаимодействовать с миром.

Информация как фундаментальная сущность мира

Наряду с веществом и энергией, информация сегодня рассматривается как одна из важнейших фундаментальных сущностей мира. Эта концепция проистекает из понимания того, что все процессы во Вселенной, от физических взаимодействий до биологической эволюции и работы человеческого мозга, связаны с передачей, обработкой и хранением информации.

Информация является противоположностью неопределенности. Когда мы получаем информацию, наша неопределенность относительно какого-либо события, объекта или состояния уменьшается. Чем больше мы знаем, тем меньше остается неизвестного. В этом смысле информация — это мера уменьшения энтропии (меры беспорядка) в системе. Это нематериальная сущность, при помощи которой с любой точностью можно описывать реальные, виртуальные и понятийные объекты, формируя наши представления о них. Ключевой механизм работы с информацией описывается как восприятие данных человеком из окружающих источников с помощью органов чувств, последующий анализ и принятие решений на основе осмысленных фактов. Это позволяет не только адаптироваться к изменяющимся условиям, но и активно преобразовывать мир вокруг нас.

Виды и классификация информации

Информация, будучи многоликой сущностью, требует систематизации для более глубокого понимания и эффективного использования. Различные подходы к ее классификации позволяют нам выделить основные категории и свойства, которые определяют ее характер и применение.

Классификация по способу восприятия и форме представления

Один из наиболее интуитивных способов классификации информации связан с тем, как человек ее воспринимает и в какой форме она существует.

По способу восприятия, информацию можно разделить на следующие виды:

• Визуальная: Воспринимается органами зрения (глазами). Включает в себя изображения, текст, графики, видео, свет. Пример: чтение книги, просмотр фильма, наблюдение за дорожным знаком.
• Звуковая: Воспринимается органами слуха (ушами). Это речь, музыка, шумы, сигналы. Пример: прослушивание лекции, радио, звуковых уведомлений.
• Тактильная: Воспринимается тактильными рецепторами кожи (прикосновение, давление, температура). Пример: чтение шрифта Брайля, ощущение текстуры поверхности, определение температуры воды.
• Обонятельная: Воспринимается обонятельными рецепторами (запахи). Пример: запах цветов, дыма, парфюмерии.
• Вкусовая: Воспринимается вкусовыми рецепторами (вкус). Пример: вкус пищи, напитков.

По форме представления (или хранения), информация делится на:

• Текстовая: Информация, представленная в виде символов, букв, цифр, знаков препинания. Основа любой письменной коммуникации. Пример: статьи, книги, электронные письма.
• Числовая: Информация, представленная в виде цифр и знаков математических действий. Используется для количественной оценки, расчетов, статистики. Пример: финансовые отчеты, научные данные, таблицы.
• Графическая: Информация в виде изображений, рисунков, фотографий, схем, графиков, карт. Служит для наглядного представления пространственных отношений, динамики, структур. Пример: инфографика, чертежи, художественные произведения.
• Звуковая: Устная речь, музыка, записи звуков. Может быть как непрерывной (аналоговой), так и дискретной (цифровой). Пример: аудиокниги, голосовые сообщения, звонки.
• Видеоинформация: Последовательность изображений, создающая иллюзию движения, часто сопровождаемая звуком. Пример: фильмы, видеоролики, трансляции.

Кроме того, по форме хранения принципиально выделяют:

• Аналоговая информация: Представлена непрерывными сигналами, которые изменяются по времени пропорционально изменению описываемого явления. Ее особенность — бесконечное количество промежуточных значений. Пример: звук, записанный на грампластинке; температура, отображаемая ртутным термометром.
• Цифровая информация (дискретная): Записана числовыми кодами, обычно последовательностью двоичных нулей и единиц (битов). Она дискретна, то есть представлена конечным набором значений. Пример: цифровые фотографии, компьютерные файлы, аудиофайлы в формате MP3.

Свойства информации

Чтобы информация была полезной и эффективной, она должна обладать рядом ключевых свойств:

• Достоверность: Информация должна быть истинной, не содержать ошибок и искажений. Ложная информация может привести к неверным решениям. Истинная информация получена из надежных, проверенных источников и обоснована.
• Полнота: Для принятия решений или формирования адекватного представления информация должна быть достаточной. Неполная информация может привести к неверным выводам.
• Актуальность: Информация должна соответствовать текущему моменту времени. Устаревшие данные могут быть бесполезны или даже вредны.
• Ценность: Это прикладное назначение информации, ее значимость для пользователя. Ценность информации определяется тем, насколько она способствует достижению целей, решению проблем или уменьшению неопределенности. Информация, которая не приносит пользы, не имеет ценности.
• Доступность: Информация должна быть легко получена и воспринята пользователем. Ограниченный доступ или сложный для понимания формат снижают ее полезность.
• Правдивость: Близкое к достоверности свойство, указывающее на отсутствие преднамеренного искажения или обмана.
• Подчинение законам логики: Информация должна быть внутренне непротиворечива и соответствовать логическим правилам, чтобы ее можно было анализировать и интерпретировать.

Информационные процессы

Взаимодействие с информацией представляет собой непрерывный цикл, состоящий из взаимосвязанных процессов:

• Сбор данных: Это начальный этап, включающий работу с информационными источниками для приобретения различных данных. Может осуществляться через органы чувств человека, датчики, опросники, наблюдение и т.д.
• Передача информации: Транспортировка данных от источника к приемнику посредством коммуникационных каналов. Это может быть разговор, отправка письма, передача данных по сети Интернет.
• Хранение информации: Фиксация данных на некотором материальном носителе для последующего доступа. Примеры носителей: бумага, жесткие диски, флеш-карты, облачные хранилища.
• Информационная обработка: Процесс анализа, структурирования, преобразования и осмысления полученных данных. Результатом обработки часто является получение новых знаний, принятие решений или создание новой информации. Это может быть составление отчета, анализ статистических данных, программирование.

Эти процессы образуют непрерывный цикл, в котором информация постоянно циркулирует, преобразуется и обогащается, обеспечивая функционирование как отдельных организмов, так и сложных технических систем и обществ.

Исторические предпосылки и развитие теории информации

Путь к формированию теории информации как самостоятельной и строгой научной дисциплины был долгим и извилистым, начинаясь в глубинах философской мысли и завершаясь математическим формализмом XX века.

Философские корни и первые попытки измерения

До XX века философские аспекты понятия информации обсуждались преимущественно в контексте более широких дисциплин, таких как эпистемология (теория познания) и онтология (учение о бытии). Античные философы, такие как Платон, через концепцию эйдосов (идей) и Аристотель, через учение о форме и материи, закладывали основы для понимания того, как абстрактные структуры и знания формируют наше восприятие реальности. Информация тогда рассматривалась не столько как измеряемая сущность, сколько как атрибут познания и бытия.

В начале XX века, с ростом потребностей в более эффективной коммуникации и появлением первых телеграфных систем, ученые начали задумываться о количественной оценке информации. Это был переход от качественного, философского осмысления к прагматичному, инженерному подходу.

• В 1921 году Р. Фишер сделал первые предложения об общих способах измерения количества информации в процессе решения вопросов математической статистики. Его работы были связаны с концепцией «информации Фишера», которая оценивает количество информации, которое случайная выборка несет относительно неизвестного параметра.
• В 1924 году Гарри Найквист, работавший в Bell Laboratories, рассуждал о квантификации «интеллекта» и скорости его передачи системой коммуникации. Он исследовал ограничения на скорость передачи телеграфных сообщений и вывел закон Найквиста, который определяет максимальную скорость передачи данных в канале без шума (2B символов в секунду, где B — полоса пропускания).
• В 1928 году Ральф Хартли, также сотрудник Bell Laboratories, сделал значительный шаг вперед, заложив основы теории информации. Он определил меру количества информации как логарифм числа возможных сообщений, которые может передать источник, представив свою формулу, которая стала известна как мера Хартли.
• В 1929 году Лео Сциллард обнаружил фундаментальную связь между информацией и термодинамической системой, предположив, что потеря информации приводит к увеличению энтропии системы, что стало предвестником концепции негэнтропии.

Зарождение теории связи: Вклад Хартли и Шеннона

Истинное рождение теории информации как полноценной научной дисциплины принято связывать с опубликованием Клодом Шенноном работы «Математическая теория связи» в 1948 году. Это был прорыв, который заложил математические основы для понимания всех аспектов коммуникации.

Клод Шеннон присоединился к Bell Laboratories в 1941 году, выдающейся научно-исследовательской организации, которая активно занималась улучшением телефонной связи, включая разработку линий передачи, усилителей и коммутационных систем. Во время Второй мировой войны Шеннон был вовлечен в разработку криптографических систем и кодирования речи для военных проектов, что напрямую повлияло на его последующие изыскания. Его изначальной целью было повышение качества передачи информации по телеграфным или телефонным каналам, подверженным электрическим помехам. Он пришел к выводу, что наиболее эффективное решение заключается не в увеличении мощности сигнала, а в более оптимальной «упаковке» информации, то есть в разработке методов кодирования, устойчивых к шумам. Его теория предоставила математический аппарат для количественной оценки информации, а также сформулировала фундаментальные ограничения на ее передачу.

Роль кибернетики и отечественных ученых

Параллельно с развитием теории информации, в середине XX века активно развивалась кибернетика, основоположником которой считается Норберт Винер. В своей книге «Кибернетика, или Управление и связь в животном и машине» (1948 год) он дал определение информации как «обозначения содержания, полученного нами из внешнего мира в процессе приспосабливания к нему нас и наших чувств». Кибернетика рассматривает машины и живые организмы как системы, которые воспринимают, накапливают, передают и перерабатывают информацию в сигналы. Этот междисциплинарный подход обогатил понимание информационных процессов, распространив их на биологические и социальные системы, а не только на технические. Информатика как наука стала развиваться в 1950-х годах, что было связано с появлением и распространением электронно-вычислительных машин (ЭВМ) и началом компьютерной революции. Сам термин «информатика» вошел в широкий обиход в 1960-х – 1970-х годах, будучи образованным от французских слов «informatione» (информация) и «avtomatique» (автоматика).

Значительный вклад в развитие современной теории связи и информации внесли и отечественные ученые:

• В. А. Котельников (1933) сформулировал теорему отсчетов, ставшую фундаментальной для цифровой обработки сигналов.
• А. Я. Хинчин (1934) разработал корреляционную теорию случайных процессов, которая имеет прямое отношение к анализу случайных шумов в каналах связи.
• А. Н. Колмогоров (1939) внес вклад в теорию фильтрации сигналов на фоне помех, а позже развил алгоритмическую теорию информации, предлагающую альтернативный подход к определению сложности и количества информации, основанный на длине минимальной программы, необходимой для ее воспроизведения.

Сегодня теория информации — это раздел прикладной математики, радиотехники и информатики, который занимается измерением количества информации, ее свойств и устанавливает предельные соотношения для систем передачи данных. Важно отметить, что теория информации является статистической теорией связи и рассматривает информацию с количественной стороны, без учета смыслового содержания, что является ее основным отличием от философских подходов.

Синтаксический подход к измерению информации: Мера Хартли

В основе теории информации лежит задача количественного измерения этой абстрактной сущности. Одним из первых и наиболее интуитивно понятных подходов к этой проблеме стал синтаксический, или комбинаторный, подход, разработанный Ральфом Хартли.

Формула Хартли: Принцип и применение

В 1928 году американский инженер Ральф Хартли предложил рассматривать процесс получения информации как выбор одного сообщения из конечного, наперед заданного множества из N равновероятных сообщений. Суть его идеи заключалась в том, что чем больше возможных вариантов сообщения существует, тем больше неопределенности снимается при получении одного конкретного сообщения, и, следовательно, тем больше информации оно содержит.

Количество информации I, содержащееся в выбранном сообщении, определялось как двоичный логарифм числа возможных сообщений N. Выбор логарифма по основанию 2 обусловлен тем, что наименьшим различимым элементом в цифровых системах является двоичный выбор (да/нет, 0/1).

Формула Хартли для одного сообщения из N равновероятных исходов:

I = log2N

где:

• I — количество информации (в битах).
• N — число возможных равновероятных сообщений (исходов).

Пример 1: Подбрасывание монеты.
Если подбросить монету, возможны два равновероятных исхода: «орел» или «решка». В этом случае N = 2.
I = log22 = 1 бит.
Получение информации о том, что выпал «орел», уменьшает неопределенность в 2 раза и дает 1 бит информации.

Формула Хартли для сообщения длиной K символов из алфавита мощностью N:

Если сообщение состоит из K символов, каждый из которых выбирается из алфавита мощностью N (т.е., имеется N возможных символов), и все символы равновероятны и независимы, то общее количество информации I в сообщении длиной K символов рассчитывается как:

I = K × log2N

Если же нас интересует количество информации i в одном символе алфавита мощностью N, то:

i = log2N

Отсюда следует, что мощность алфавита N может быть выражена как N = 2i.

Пример 2: Информационная емкость ДНК.
ДНК состоит из 4 видов азотистых оснований (Аденин, Гуанин, Тимин, Цитозин). Мощность «алфавита» N равна 4. Каждое азотистое основание несет:
i = log24 = 2 бита информации.

Пример 3: Шарик в урне.
Сообщение о том, что шарик находится в одной из трех урн (А, В или С), содержит:
I = log23 ≈ 1.585 бита информации.

Важно отметить, что алфавит, содержащий только 1 символ, не может быть использован для передачи информации, так как log21 = 0. Это логично, поскольку выбор одного единственного варианта не уменьшает никакой неопределенности.

Формула Хартли также может быть записана как I = log2(1/p) = - log2p, где p — вероятность события. Для равновероятных событий, каждое из N событий имеет вероятность p = 1/N.

Бит как единица измерения информации

Центральным элементом синтаксического подхода Хартли, и всей теории информации в целом, является понятие бит (bit).

• В теории информации бит определяется как количество информации, необходимое для различения двух равновероятных сообщений. Это минимальная единица информации, которая уменьшает неопределенность знания в 2 раза. Например, чтобы ответить на вопрос «да» или «нет», требуется 1 бит информации.
• В вычислительной технике бит — это наименьшая «порция» памяти компьютера, необходимая для хранения одного из двух знаков «0» и «1». Эта бинарная система является основой всех цифровых устройств.

Для удобства работы с большими объемами информации используется единица байт. Один байт равен восьми битам. Такое соотношение не случайно: восьми битов достаточно для кодирования любого из 256 символов стандартного алфавита клавиатуры компьютера, так как 28 = 256.

Ограничения и абстрагирование от смысла

Хотя формула Хартли предоставила первый количественный инструмент для измерения информации, она имеет свои ограничения. Главное из них — применимость только для равновероятных событий. В реальных системах связи и обработки информации события (символы, сообщения) редко бывают абсолютно равновероятными. Например, в русском языке буква «о» встречается гораздо чаще, чем буква «ф». Формула Хартли не учитывает этот фактор, что делает ее не всегда адекватной для анализа сложных информационных систем.

Для применения математических средств для изучения информации потребовалось отвлечься от смысла, содержания информации. Такой синтаксический подход, фокусирующийся исключительно на количестве возможных вариантов и их комбинаций, позволил математически моделировать информационные процессы, не вдаваясь в субъективные или контекстуальные аспекты значения. Это абстрагирование от конкретных свойств информации (смысла и ценности) стало ключевым шагом, который позволил выявить общие закономерности информационных процессов и разработать универсальные методы их анализа.

Статистический подход к измерению информации: Мера Шеннона и энтропия

Синтаксический подход Хартли, будучи новаторским, имел существенное ограничение, связанное с требованием равновероятности событий. Жизнь, однако, полна неравновероятных исходов. Решение этой проблемы предложил Клод Шеннон, развив статистический подход к измерению информации, основанный на фундаментальном понятии энтропии.

Концепция энтропии Шеннона

В 1948 году Клод Шеннон в своей революционной работе «Математическая теория связи» предложил ввести меру количества информации с помощью статистической формулы, которая получила название информационной энтропии (энтропии Шеннона). Эта концепция стала краеугольным камнем современной теории информации.

Информационная энтропия — это мера неопределённости, связанная со случайной величиной; она отражает степень неполноты или непредсказуемости знаний о системе. Если Хартли измерял информацию как уменьшение неопределенности при выборе из равновероятных вариантов, то Шеннон расширил это до случая, когда вероятности событий могут быть разными.

К. Шеннон пришёл к выводу, что каждое элементарное сообщение на выходе системы уменьшает неопределённость исходного множества сообщений. Ключевым открытием было осознание того, что смысловой аспект сообщения не имеет никакого значения для его количественной оценки. Важна лишь вероятность его появления.

Суть статистического подхода заключается в следующем: реализация менее вероятного события дает больше информации. Чем больше неопределенность до получения сообщения о событии, тем большее количество информации поступает при его получении. Например, сообщение о том, что в пустыне выпал снег, несет гораздо больше информации, чем сообщение о том, что в пустыне жарко, поскольку первое событие значительно менее вероятно.

Формула Шеннона и ее связь с энтропией Больцмана

Для определения количества информации, учитывающего неодинаковую вероятность сообщений в наборе, Шеннон предложил следующую формулу.

Формула Шеннона для измерения энтропии H (или количества информации I, если H интерпретируется как мера информации, снимаемой одним сообщением):

H = - Σi=1N pi log2pi

где:

• H — энтропия системы (или количество информации, если рассматривать ее как уменьшение неопределенности).
• N — общее количество возможных сообщений (исходов).
• p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
• log₂p_i — логарифм вероятности p_i по основанию 2. Знак минус перед суммой обеспечивает неотрицательность энтропии, поскольку логарифм вероятности (которая всегда находится в диапазоне от 0 до 1) будет отрицательным или равным нулю.

Пример 1: Энтропия текста.
Представим, что у нас есть алфавит из 4 символов: A, B, C, D.
Если все они равновероятны (pA = pB = pC = pD = 0.25), то:

H = - (0.25 log20.25 + 0.25 log20.25 + 0.25 log20.25 + 0.25 log20.25)
H = - (4 × 0.25 × (-2)) = - (1 × (-2)) = 2 бита.
Это соответствует формуле Хартли: log24 = 2.

Если же символы неравновероятны, например:
pA = 0.5, pB = 0.25, pC = 0.125, pD = 0.125
H = - (0.5 log20.5 + 0.25 log20.25 + 0.125 log20.125 + 0.125 log20.125)
H = - (0.5 × (-1) + 0.25 × (-2) + 0.125 × (-3) + 0.125 × (-3))
H = - (-0.5 - 0.5 - 0.375 - 0.375) = - (-1.75) = 1.75 бита.
В этом случае энтропия ниже, чем для равновероятных событий, что означает, что система более предсказуема.

Примечательно, что формула для энтропии была получена задолго до Шеннона, в XIX веке, Людвигом Больцманом (Σpi log pi) в его работах по статистической физике. В 1872 году Больцман вывел теоретическое выражение для термодинамической энтропии: S = k ln W, где S — энтропия, k — постоянная Больцмана, а W — термодинамическая вероятность (количество микросостояний, соответствующих данному макросостоянию). Эта формула трактует энтропию как меру беспорядка или хаоса в молекулярных системах.

Сходство формул Шеннона и Больцмана не является случайным. Существует легенда, что Джон фон Нейман предложил Шеннону использовать термин «энтропия» для его меры неопределенности, поскольку формула была похожа на термодинамическую, что дало бы ему «преимущество в дебатах». Оба понятия, несмотря на различия в формализме (термодинамика и теория информации), имеют общий физический смысл — логарифм числа доступных состояний системы. Информационная энтропия Шеннона количественно выражает неопределенность или непредсказуемость источника данных, тогда как термодинамическая энтропия Больцмана характеризует неупорядоченность физической системы.

Свойства информационной энтропии и понятие негэнтропии

Информационная энтропия обладает рядом важных свойств:

• Неотрицательность: Энтропия всегда неотрицательна (H ≥ 0). Она равна нулю только тогда, когда все вероятности pi, кроме одной, равны нулю, а эта единственная вероятность равна единице (pk = 1, а все остальные pi = 0). Это случай полной определенности, когда исход события известен заранее и не несет новой информации.
• Максимальное значение при равновероятности: Максимальное значение энтропии достигается, когда все символы алфавита равновероятны. В этом случае система максимально непредсказуема.
• Правило сложения энтропий: Для энтропии произведения независимых случайных событий A и B имеет место правило сложения энтропий: H(AB) = H(A) + H(B). Для зависимых событий это правило обобщается до H(AB) = H(A) + HA(B), где HA(B) — условная энтропия B при условии A.

Информация может быть рассмотрена как отрицательная энтропия, или негэнтропия (термин, введенный Леоном Бриллюэном). Если энтропия — это мера неупорядоченности или хаоса, то информация, наоборот, является мерой упорядоченности материальных систем. Получение информации уменьшает энтропию системы, привнося в нее структуру и порядок. Этот принцип демонстрирует глубокую связь между физическими и информационными процессами, предполагая, что информация является фундаментальной характеристикой Вселенной, противостоящей ее термодинамическому разрушению.

Выбор основания логарифма определяет единицу измерения информации и энтропии:

• Бит (bit): Используется логарифм по основанию 2 (log2). Это наиболее распространенная единица.
• Нат (nat): Используется натуральный логарифм (loge или ln). Применяется в теоретических работах.
• Трит (trit): Используется логарифм по основанию 3 (log3).
• Хартли (hartley): Используется логарифм по основанию 10 (log10).

Таким образом, статистический подход Шеннона предоставил мощный и универсальный инструмент для количественной оценки информации, который лег в основу всех современных систем связи, хранения и обработки данных.

Сравнительный анализ и практическое применение мер Хартли и Шеннона

Две фундаментальные формулы для измерения количества информации – Хартли и Шеннона – играют ключевую роль в теории информации. Несмотря на их общую цель, они основаны на разных предпосылках и применимы в различных условиях.

Сходства и различия мер Хартли и Шеннона

Основное различие между мерами Хартли и Шеннона кроется в их отношении к вероятности событий:

• Мера Хартли (I = log2N) используется для вычисления количества информации в случае равновероятных событий. Она предполагает, что каждый из N возможных исходов имеет одинаковый шанс на появление. Это идеализированная модель, хорошо подходящая для таких ситуаций, как бросок симметричной монеты или игральной кости.
• Мера Шеннона (H = - Σi=1N pi log2pi) используется для вычисления количества информации (или энтропии) при различных (неодинаковых) вероятностях событий. Она учитывает тот факт, что в реальных информационных системах некоторые символы или сообщения встречаются чаще, чем другие.

Сходство:

Ключевое сходство и одновременно доказательство универсальности формулы Шеннона заключается в том, что если все вероятности p1, ..., pN равны (т.е., pi = 1/N для всех i), то формула Шеннона превращается в формулу Хартли:

H = - Σi=1N (1/N) log2(1/N)
H = - N × (1/N) log2(1/N)
H = - log2(1/N)
H = - (log21 - log2N)
H = - (0 - log2N)
H = log2N

Таким образом, формула Хартли является частным случаем формулы Шеннона при условии независимости и равной вероятности появления символов в сообщении. Формула Шеннона, в свою очередь, является частным случаем формулы для подсчета энтропии с условными вероятностями, которая учитывает зависимости между символами.

Объединяет эти меры и то, что теория информации Шеннона, как и подход Хартли, рассматривает только формальную (синтаксическую) сторону сообщения, смысл его остается в стороне. Это позволяет достичь объективности и пригодности для исследования всех видов информационных процессов, независимо от «вкусов» потребителя информации, открывая путь к универсальным методам обработки данных.

Практическое применение в системах связи

Теория информации Шеннона, основанная на вероятностных и статистических закономерностях явлений, имеет колоссальное практическое значение в современных системах связи и обработки данных.

• Повышение надёжности передачи сигналов: Сведения об информационной энтропии необходимы для проектирования эффективных систем кодирования, которые минимизируют ошибки при передаче данных по зашумленным каналам. Зная степень неопределенности источника, инженеры могут определить оптимальный объем избыточности, который необходимо добавить для обеспечения безошибочной доставки информации.
• Уменьшение избыточности и сжатие данных: Избыточность — это превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией (минимально необходимым количеством). Например, в естественных языках есть много избыточности (буквы «ь» или «ъ» несут мало информации, но помогают правильно читать слова). Для уменьшения этой избыточности применяется сжатие данных без потерь (например, ZIP-архивы, форматы изображений PNG, GIF), которое удаляет статистически предсказуемые или повторяющиеся элементы, сокращая объем сообщения без потери исходной информации.
• Защита от ошибок: Для внесения дополнительной избыточности (для исправления ошибок, возникающих из-за шума в канале) используются методы кодирования с исправлением ошибок, например, добавление контрольных сумм или более сложные коды (Хэмминга, Рида-Соломона). Эти коды добавляют специально структурированную избыточность, позволяя приемнику обнаруживать и даже исправлять ошибки, не запрашивая повторную передачу.

Теория информации изучает, в частности, способы минимизации количества ошибок при передаче информации, что является критически важным для всех цифровых коммуникаций.

Скорость передачи информации: Биты и боды

В контексте передачи информации часто возникает путаница между терминами «бит в секунду» и «бод». Важно понимать их различия:

• Бит в секунду (bps, бит/с) — это единица измерения битовой скорости, которая выражает фактическое количество бит, переданных за одну секунду. Это прямая мера объема информации, перемещаемой в единицу времени.
• Бод (baud) является единицей измерения символьной скорости (или скорости модуляции). Он показывает количество дискретных изменений одного или нескольких информационных параметров модулированного несущего сигнала в секунду. Каждый такой «символ» (изменение сигнала) может нести один или несколько битов информации.

Различие становится существенным при использовании многоуровневых методов модуляции. Например, при использовании 16-позиционной квадратурной амплитудной модуляции (16-QAM) один символ может принимать одно из 16 различных состояний. Поскольку 24 = 16, один такой символ несет 4 бита информации. Таким образом, если символьная скорость составляет 2400 бод (2400 изменений сигнала в секунду), то битовая скорость составит 2400 бод × 4 бита/символ = 9600 бит/с.

Бод описывает частоту изменения сигнала, а бит в секунду — объем данных, передаваемых в единицу времени.

Теорема Шеннона-Хартли и пропускная способность канала

Фундаментальным понятием в теории связи является канал связи — это среда передачи информации, характеризующаяся определенными физическими свойствами. Любой реальный канал связи подвержен воздействию шума — случайных помех, которые искажают передаваемый сигнал.

Максимально возможная скорость безошибочной передачи информации по каналу связи в присутствии шума определяется Теоремой Шеннона-Хартли. Эта теорема, разработанная Клодом Шенноном (и названная в честь Хартли за его ранние работы), устанавливает пропускную способность канала (C), которая является теоретическим верхним пределом для количества безошибочных цифровых данных, передаваемых через канал с заданной полосой пропускания и при наличии шума.

Формула теоремы Шеннона-Хартли:

C = B log2(1 + S/N)

где:

• C — пропускная способность канала в бит/с.
• B — полоса пропускания канала в Герцах (Гц). Это частотный диапазон, который канал может эффективно использовать для передачи сигналов.
• S — средняя мощность полезного сигнала в полосе пропускания в Ваттах (Вт).
• N — средняя мощность шума или помех в полосе пропускания в Ваттах (Вт).
• S/N — это отношение мощности сигнала к мощности шума (SNR, Signal-to-Noise Ratio), выраженное в линейном масштабе (не в децибелах).

Пример: Пропускная способность телефонного канала.
Предположим, у нас есть телефонный канал с полосой пропускания B = 3100 Гц и отношением сигнал/шум S/N = 1000 (что примерно соответствует 30 дБ).

C = 3100 × log2(1 + 1000)
C = 3100 × log2(1001)
log21001 ≈ 9.967
C ≈ 3100 × 9.967 ≈ 30897.7 бит/с.
Это означает, что теоретически по такому каналу можно передавать до 30.9 Кбит/с информации без ошибок.

Ключевые выводы из теоремы:

• Если скорость передачи информации (R) меньше пропускной способности канала (C), то возможно передавать данные с сколь угодно малой вероятностью ошибок с использованием достаточно сложных методов кодирования.
• Если же R > C, безошибочная передача невозможна, независимо от сложности используемого кодирования.

Эта теорема является фундаментальным ограничением, которое определяет пределы любой системы связи. Понимание этих пределов позволяет инженерам проектировать оптимальные системы кодирования и модуляции, максимально эффективно используя доступную полосу пропускания и учитывая уровень шума. Таким образом, теорема Шеннона-Хартли служит мощным инструментом для оптимизации коммуникационных систем в условиях реальных ограничений.

Заключение

Исследование понятия, видов и количественных мер информации, воплощенных в формулах Хартли и Шеннона, раскрывает перед нами фундаментальные принципы, лежащие в основе всей современной цифровой цивилизации. Мы убедились в том, что информация — это не просто абстрактное понятие, а сущность, способная к строгому математическому описанию и измерению, играющая роль наравне с веществом и энергией.

Путь от философских размышлений античности до строгих математических моделей XX века, созданных такими титанами мысли, как Хартли и Шеннон, демонстрирует эволюцию человеческого понимания мира. Синтаксический подход Хартли, основанный на равновероятных исходах, заложил фундамент, определив бит как базовую единицу измерения. Статистический подход Шеннона, с его концепцией информационной энтропии, произвел революцию, предложив универсальный метод измерения информации в условиях неравновероятных событий и выявив глубокие связи с термодинамикой.

Практическое значение этих теорий невозможно переоценить. Они стали краеугольным камнем для развития всех современных систем связи, от мобильных телефонов до интернета, позволив разработать эффективные методы кодирования, сжатия данных и исправления ошибок. Понимание различий между битами и бодами, а также знание пределов, установленных теоремой Шеннона-Хартли, является неотъемлемой частью арсенала любого инженера и ученого, работающего с информационными технологиями.

Теория информации продолжает оставаться живой и развивающейся дисциплиной, которая не только объясняет существующие явления, но и указывает пути для дальнейших исследований и технологических прорывов. Она является не просто набором формул, но мощным инструментом для понимания и формирования информационного будущего, позволяя нам не только осознавать, что такое информация, но и эффективно ее использовать для прогресса.

Список использованной литературы

1. Закорюкин, В.Б. Теория и средства передачи информации. Методы и средства обеспечения достоверности передачи информации: Учебное пособие. Москва: Московский гос. ин-т радиотехники, электроники и автоматики (технический ун-т), 2001. 83 с.
2. Левин, М.Г., Дружинина, А.Г. Основы теории информации: Учебное пособие. Кострома: КГТУ, 2005. 110 с.
3. Лидовский, В.В. Теория информации: Учебное пособие. Москва: МАТИ, 2002. 120 с.
4. Мишулина, О.А. Основные понятия статистической теории информации: Учебное пособие. Москва: МИФИ, 2000. 92 с.
5. Спиричева, Н.Р. Теория информации: конспект лекций по дисциплине «Теория информации» для студентов дистанц. формы обучения специальности 220200 Автоматизир. системы обраб. информ. и упр. Ч. 1. Екатеринбург: УМЦ УПИ, 2001.
6. Спиричева, Н.Р. Теория информации: конспект лекций. Ч.1. Екатеринбург: [УГТУ-УПИ], 2005.
7. Стариченко, Б.Е. Теоретические основы информатики: Учебное пособие. Екатеринбург: Б. и., 2000.
8. Теория информации и кодирование / Б.Б. Самсонов, Е.М. Плохов, А.И. Филоненков, Т.В. Кречет. Ростов н/Д: Феникс, 2002.
9. Информация. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F (дата обращения: 03.11.2025).
10. Классификация информации. Фоксфорд Учебник. URL: https://foxford.ru/wiki/informatika/klassifikatsiya-informatsii (дата обращения: 03.11.2025).
11. Мера информации по Шеннону. Электронный учебник. URL: http://www.phys.nsu.ru/cherk/inform_part2.pdf (дата обращения: 03.11.2025).
12. Виды информации и её свойства. Багетная мастерская. URL: https://xn—-7sbbj0ahf7bg6a6f.xn--p1ai/articles/informaciya/vidy-informacii-i-eyo-svojstva/ (дата обращения: 03.11.2025).
13. Информация: виды и свойства. Allbest.ru. URL: https://knowledge.allbest.ru/programming/3c0b65325b3bd68b5c53b89421216d37_0.html (дата обращения: 03.11.2025).
14. Теория информации. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8 (дата обращения: 03.11.2025).
15. Зарождение и развитие теории информации. ВВЕДЕНИЕ В РАДИОЭЛЕКТРОНИКУ. URL: http://www.radel.ru/docs/070804153026.pdf (дата обращения: 03.11.2025).
16. Хронология развития теории информации. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%A5%D1%80%D0%BE%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F_%D1%80%D0%B0%D0%B7%D0%B2%D0%B8%D1%82%D0%B8%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8 (дата обращения: 03.11.2025).
17. ГОСТ Р 50922-96 Защита информации основные термины и определения. E-nigma. URL: https://www.e-nigma.ru/document/gost-r-50922-96.html (дата обращения: 03.11.2025).
18. Основные понятия и свойства информации. Виды информации и ее кодирование. Измерение информации: методические материалы. Инфоурок. URL: https://infourok.ru/osnovnye-ponyatiya-i-svoystva-informacii-vidy-informacii-i-ee-kodirovanie-izmerenie-informacii-2630560.html (дата обращения: 03.11.2025).
19. 7.2.2 Энтропия Шеннона. Электронный учебник. URL: http://www.phys.nsu.ru/cherk/inform_part3.pdf (дата обращения: 03.11.2025).
20. Теорема Шеннона — Хартли. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D0%A8%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D0%B0_%E2%80%94_%D0%A5%D0%B0%D1%80%D1%82%D0%BB%D0%B8 (дата обращения: 03.11.2025).
21. Информационная энтропия. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F (дата обращения: 03.11.2025).
22. Теория информации по Шеннону. VMath. URL: https://vmath.ru/theory_of_information.html (дата обращения: 03.11.2025).
23. Становление и развитие теории информации. КиберЛенинка. URL: https://cyberleninka.ru/article/n/stanovlenie-i-razvitie-teorii-informatsii (дата обращения: 03.11.2025).
24. Учебник по информатике :: 2.1. Формулы Хартли и Шеннона. НГТУ. URL: https://www.nntu.ru/frontend/web/files/pages/study/informatika/2_1.htm (дата обращения: 03.11.2025).
25. ГОСТ 7.73-96 СИБИД. Поиск и распространение информации. Термины и определения. URL: https://docs.cntd.ru/document/1200000780 (дата обращения: 03.11.2025).
26. ГОСТ 7.73-96 СИБИД. Поиск и распространение информации. Термины и определения. URL: https://gost.ru/document/126938 (дата обращения: 03.11.2025).
27. ТЕОРИЯ ИНФОРМАЦИИ. elib.oreluniver. URL: http://elib.oreluniver.ru/content/uploadfiles/science/uchebnye_posobiya/eremenko_teoriya_informatsii.pdf (дата обращения: 03.11.2025).
28. Формула Хартли. Википедия. URL: https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D0%B0_%D0%A5%D0%B0%D1%80%D1%82%D0%BB%D0%B8 (дата обращения: 03.11.2025).
29. Формула Шеннона и Хартли. Без Сменки — Вебиум. URL: https://webium.ru/blog/formula-shennona-i-hartli/ (дата обращения: 03.11.2025).
30. Опорный конспект на тему «Формулы Хартли-Шеннона». Инфоурок. URL: https://infourok.ru/opornyy-konspekt-na-temu-formuly-hartli-shennona-2415112.html (дата обращения: 03.11.2025).
31. Научная информация. EKTU. URL: https://ektu.kz/sites/default/files/files/library/dlya-sayta_nauchnaya_informaciya.pdf (дата обращения: 03.11.2025).
32. КОЛИЧЕСТВЕННАЯ МЕРА ИНФОРМАЦИИ ХАРТЛИ КАК ЧАСТНЫЙ СЛУЧАЙ ЭНТРОПИЙНОЙ МЕРЫ ИНФОРМАЦИИ БОЛЬЦМАНА, МЕРА ШЕННОНА КАК ПРИМЕНЕНИЕ МЕРЫ ХАРТЛИ ДЛЯ СЛОЖНОГО СООБЩЕНИЯ И МЕРА ХАРКЕВИЧА КАК ОБОБЩЕНИЕ МЕРЫ ХАРТЛИ ДЛЯ НЕРАВНОВЕРОЯТНЫХ СОБЫТИЙ. КиберЛенинка. URL: https://cyberleninka.ru/article/n/kolichestvennaya-mera-informatsii-hartli-kak-chastnyy-sluchay-entropiynoy-mery-informatsii-boltsmana-mera-shennona-kak (дата обращения: 03.11.2025).
33. ИНФОРМАТИКА Курс лекций Лекция 8. ЭНТРОПИЯ и ИНФОРМАЦИЯ. БГУИР. URL: https://www.bsuir.by/m/12_100229_1_77180.pdf (дата обращения: 03.11.2025).
34. Общая и теоретическая информатика. МИИГАиК. URL: https://www.miigaik.ru/upload/iblock/c38/c3867664653e192ff62dd27448373b53.pdf (дата обращения: 03.11.2025).
35. Формулы измерения информации Чартли и Шеннона, примеры вычислений. ННТУ. URL: https://nntu.ru/content/news/2021/04/09/27_04_2019-formuly_izmereniya_informacii_chartli_i_shennona_primery_vychisleniy.pdf (дата обращения: 03.11.2025).
36. Формула Хартли. Количетво информации. Studfile.net. URL: https://studfile.net/preview/17228303/page:6/ (дата обращения: 03.11.2025).
37. Шаг 1 – Формула Хартли измерения количества информации. Stepik. URL: https://stepik.org/lesson/31980/step/1?thread=solutions&unit=12953 (дата обращения: 03.11.2025).
38. К вопросу о понятии информации. КиберЛенинка. URL: https://cyberleninka.ru/article/n/k-voprosu-o-ponyatii-informatsii (дата обращения: 03.11.2025).
39. Практическая работа «Применение формулы Хартли и формулы Шеннона». Инфоурок. URL: https://infourok.ru/prakticheskaya-rabota-primenenie-formuly-hartli-i-formuly-shennona-2550186.html (дата обращения: 03.11.2025).
40. ЭЛЕМЕНТЫ ТЕОРИИ ИНФОРМАЦИИ. ТУП. URL: https://www.tup.edu.ru/upload/iblock/d94/d944111357f13cf7644917178b87ceea.pdf (дата обращения: 03.11.2025).
41. Формула Шеннона и Хартли для измерения количества информации. Заочник. URL: https://zaochnik.ru/spravochnik/informatika/informacija/formuly-izmerenija-informacii/ (дата обращения: 03.11.2025).
42. Теория информации. CSA. URL: https://www.csa.ru/download/book/ti.pdf (дата обращения: 03.11.2025).
43. ТЕОРИЯ ИНФОРМАЦИИ. MCCME. URL: https://www.mccme.ru/free-books/matprosvet/teorinf.pdf (дата обращения: 03.11.2025).