Комплексный план исследования: «Основные понятия теории информации» для академической курсовой работы

В эпоху, когда ежесекундно генерируются петабайты данных, а коммуникационные сети опутывают весь земной шар, способность эффективно обрабатывать, передавать и хранить информацию становится не просто технологическим вызовом, но и одним из фундаментальных столпов современного общества. В этом контексте теория информации, зародившаяся в середине XX века, не теряет своей актуальности, а лишь углубляет свое значение, предлагая математический аппарат для осмысления и оптимизации этих процессов. Настоящий план исследования призван стать путеводителем для студента, работающего над курсовой работой по «Основным понятиям теории информации», обеспечивая глубокий, структурированный и методологически выверенный подход к изучению этой важнейшей дисциплины.

Введение: Актуальность, цели и задачи исследования

Актуальность и значимость теории информации

Теория информации, разработанная гениальным Клодом Шенноном в 1948 году, заложила основу для понимания того, как информация может быть количественно измерена, передана и обработана. Её принципы пронизывают самые разные области нашей жизни: от проектирования телекоммуникационных систем и развития интернета до создания алгоритмов искусственного интеллекта и разработки методов сжатия данных. Без понимания энтропии, пропускной способности канала, кодирования и избыточности невозможно представить современную криптографию, космическую связь или даже функционирование человеческого мозга. Она стала краеугольным камнем для развития цифровой революции, позволяя ученым и инженерам оптимизировать передачу данных через шумные каналы и создавать высокоэффективные системы хранения. Изучение этой дисциплины позволяет не только освоить фундаментальные математические модели, но и критически осмыслить роль информации в науке, технике и философии.

Цель и задачи курсовой работы

Основной целью данной курсовой работы является углубленное понимание и систематизация знаний об основных понятиях теории информации, их эволюции, математических моделях и практическом применении.

Для достижения этой цели ставятся следующие задачи:

1. Проанализировать философские и математические определения понятия «информация», отследив их историческую эволюцию.
2. Исследовать различные количественные меры информации, включая подходы Хартли, Шеннона и Колмогорова, и определить области их применимости.
3. Раскрыть концепцию информационной энтропии и её связь с неопределенностью и избыточностью, а также оценить влияние избыточности на надежность передачи данных.
4. Изучить принципы и алгоритмы основных методов кодирования информации, включая префиксное кодирование, кодирование Хаффмана и арифметическое кодирование, с акцентом на их эффективность.
5. Рассмотреть модели каналов связи с шумом и проанализировать теоремы Шеннона о пропускной способности, включая Теорему Шеннона-Хартли, с примерами расчетов.
6. Систематизировать подходы к сжатию информации (без потерь и с потерями), исследуя их принципы и области применения.
7. Сформулировать методологические рекомендации по проведению исследования и выбору авторитетных источников для академической работы.

Эти задачи направлены на всестороннее освещение ключевых аспектов теории информации, обеспечивая студенту прочную базу для дальнейших исследований и практического применения полученных знаний. Какие практические навыки получит студент, выполнивший эти задачи?

Объект и предмет исследования

Объектом исследования выступает теория информации как междисциплинарная область знания, изучающая количественные характеристики информации, методы ее кодирования, передачи, хранения и обработки.

Предметом исследования являются основные понятия теории информации, такие как «информация», «количество информации», «энтропия», «избыточность», «кодирование», «канал связи», «шум» и «пропускная способность», а также математические модели и теоретические положения, описывающие эти понятия и их взаимосвязи. Особое внимание будет уделено историческому контексту развития этих понятий и их практическому применению в современных технологиях.

Теоретические основы: Эволюция и многообразие понятия «информация»

Само понятие «информация» является одним из самых многогранных и неуловимых в современной науке. Исторически термин «информация» получил широкое распространение в XX веке благодаря бурному развитию средств связи, таких как телефон, телеграф и радио, но его корни уходят гораздо глубже, затрагивая философские и эпистемологические дебаты. Вторая половина XX века, с появлением кибернетики и теории информации, стала переломной в углублении его понимания и широком применении.

Философские концепции информации

С момента своего зарождения и до наших дней философия предлагает несколько подходов к осмыслению феномена информации:

• Субстанциональный подход трактует информацию как самостоятельную, первичную сущность, равноправную материи и энергии. В рамках этой концепции информация существует независимо от её носителя или наблюдателя, являясь фундаментальным строительным блоком мироздания. Этот подход, хоть и менее распространен в современной науке, имеет корни в античных идеях об идеальных формах или платоновских эйдосах, предполагающих существование нематериальных сущностей.
• Атрибутивный подход определяет информацию как неотъемлемое свойство всех материальных объектов и процессов, их внутреннюю характеристику, связанную с разнообразием и порядком. Согласно этой точке зрения, информация не может существовать вне материи и энергии, но проявляется в их структуре, организации и взаимодействии. В. М. Глушков, выдающийся советский кибернетик, придерживался именно этого подхода, определяя информацию как «меру неоднородности распределения материи и энергии в пространстве и времени, меры изменений, которыми сопровождаются все протекающие в мире процессы». Это определение подчеркивает как статический (распределение в пространстве), так и динамический (изменения во времени) аспекты информации, делая её универсальным свойством любого явления.
• Функциональный подход фокусируется на информации как на функции, выполняемой в процессе обмена, преобразования и хранения данных. Здесь информация рассматривается не как субстанция или атрибут, а как средство для достижения цели, как нечто, что «снимает неопределенность», позволяет принимать решения или организовывать системы. Этот подход наиболее близок к кибернетическим и математическим определениям информации, где важна не столько её онтологическая природа, сколько её роль в процессах управления и коммуникации.

В советской философии информацию традиционно рассматривали с позиций теории отражения. Эта концепция, развитая на основе диалектического материализма, понимала информацию как отражение объективных свойств и закономерностей материального мира. Сам процесс отражения трактовался как универсальное свойство материи, присущее ей на всех уровнях организации – от неживой природы до сложнейших нервных систем. Информация здесь – это не просто данные, а содержательное знание о реальности, полученное через взаимодействие с ней.

Вклад классиков: Винер, Глушков, Урсул, Эшби

Великие умы XX века значительно углубили наше понимание информации, каждый со своей уникальной перспективой:

• Норберт Винер, отец кибернетики, часто цитируется за свое лаконичное, но глубокое определение:
  

  «Информация — это не материя и не энергия. Это третье»

  . Эта фраза подчеркивает принципиальное отличие информации от двух других фундаментальных сущностей, признавая её самостоятельную онтологическую категорию. Винер видел информацию как меру организованности и порядка, противостоящую энтропии (беспорядку).

• В. М. Глушков предложил определение информации как «меры неоднородности распределения материи и энергии в пространстве и времени, меры изменений, которыми сопровождаются все протекающие в мире процессы». Это определение, как уже отмечалось, является ярким примером атрибутивного подхода, подчеркивая универсальность информации как свойства любой материальной системы, будь то статическое распределение частиц или динамические изменения в химических реакциях.
• А. Д. Урсул развил концепцию информации как «отраженного разнообразия». Его подход фокусируется на том, что информация возникает в результате взаимодействия систем, когда одна система отражает разнообразие состояний другой. Это отражение позволяет уменьшить неопределенность относительно исходной системы.
• Уилльям Росс Эшби, британский кибернетик, рассматривал информацию в контексте теории систем и управления. Для него информация служит для уменьшения неопределенности и поддержания устойчивости системы. Его «закон необходимого разнообразия» гласит, что для эффективного управления системой управляющая система должна обладать таким же или большим разнообразием состояний, чем управляемая система, где «разнообразие» тесно связано с понятием информации. Информация, таким образом, позволяет системе адекватно реагировать на изменения во внешней среде, «снимая неопределенность» относительно будущих событий.

Информация также может рассматриваться как «снятая неопределенность» (что лежит в основе вероятностной концепции Шеннона), мера сложности системы (Эшби) или отраженное разнообразие (Урсул). Эти различные формулировки не противоречат, а дополняют друг друга, раскрывая многомерность понятия.

Математическая (вероятностно-статистическая) концепция Шеннона

Революционным прорывом в осмыслении информации стало появление математической, или вероятностно-статистической, теории информации Клода Шеннона. Она стала первой научной теорией, сосредоточенной на количественных аспектах и фактически отождествляющей термины «информация» и «количество информации». Ключевая особенность подхода Шеннона заключается в том, что он полностью игнорирует содержание, ценность, смысл и прагматику информации, ориентируясь исключительно на точное воспроизведение сообщения в пункте назначения.

Для Шеннона информация — это не само сообщение, а скорее мера того, насколько сообщение уменьшает неопределенность у получателя. Если есть множество возможных сообщений, и каждое имеет определенную вероятность, то информация, полученная при узнавании конкретного сообщения, прямо пропорциональна степени его неожиданности. Чем менее вероятно было сообщение, тем больше информации оно несет. Этот абстрактный подход позволил Шеннону создать мощный математический аппарат для анализа любых коммуникационных систем, независимо от природы передаваемых данных, будь то речь, текст, изображения или произвольные последовательности битов. Главная цель теории Шеннона — обеспечить надежную и эффективную передачу данных, а не интерпретацию их смысла.

Количественные меры информации: От Хартли до Колмогорова

Измерение информации — ключевая задача теории информации, позволяющая оперировать этим абстрактным понятием на количественном уровне. Различные подходы предлагают свои уникальные метрики, каждая из которых имеет свою область применения и философскую подоплеку.

Комбинаторный подход: Формула Хартли

Одним из первых шагов к количественному определению информации стал комбинаторный подход, предложенный Ральфом Хартли в 1928 году. Его формула ориентирована на ситуации, когда существует конечное число равновероятных исходов.

Формула Хартли определяет количество информации (I) для сообщения, выбранного из N равновероятных исходов, как двоичный логарифм N:

I = log2N

Где:

• I — количество информации (в битах).
• N — количество равновероятных исходов.

Эта формула логически следует из принципа, что каждый «выбор» между двумя равновероятными вариантами несет 1 бит информации. Например, если мы выбираем из 8 равновероятных состояний, то I = log28 = 3 бита. Это означает, что для кодирования такого выбора потребуется 3 двоичных символа (например, 000, 001, …, 111).

Формула Хартли также дает аналитическое определение бита как количества информации, содержащейся в одном двоичном знаке. Один бит информации соответствует выбору между двумя равновероятными исходами, например, «да» или «нет», «0» или «1». Бит (binary digit) является наименьшей единицей измерения количества информации.

Пример:
Пусть в алфавите 32 равновероятных символа. Количество информации, которое несет один такой символ:

I = log232 = 5 бит.

Если в сообщении 100 таких символов, то общее количество информации будет 100 × 5 = 500 бит.

Вероятностный подход: Энтропия Шеннона

Если формула Хартли отлично подходит для равновероятных событий, то реальный мир часто сталкивается с ситуациями, где события имеют различные вероятности. Именно эту проблему решил Клод Шеннон в 1948 году, предложив свой вероятностный подход, который лег в основу всей современной теории информации.

Шеннон ввел понятие энтропии (H) как меру средней неопределенности или средней информации на один символ дискретного источника сообщений. Для источника с M возможными символами, каждый с вероятностью p_i, энтропия определяется как:

H = - Σi=1M pi log2pi

Где:

• H — энтропия (среднее количество информации на символ) в битах.
• M — количество возможных символов в алфавите источника.
• p_i — вероятность появления i-го символа.
• Суммирование производится от i=1 до M.
• Логарифм по основанию 2 указывает на измерение энтропии в битах.

Если p_i = 0, то член p_i log₂p_i принимается равным 0, так как limx→0 x log2x = 0.

Значение и применение формулы Шеннона:
Эта формула имеет фундаментальное значение для:

• Расчета средней информационной неопределенности источника сообщений.
• Определения максимальной степени сжатия данных без потерь.
• Расчета пропускной способности каналов связи.
• Совершенствования методов кодирования/декодирования и выбора помехоустойчивых кодов.

Пример расчета энтропии:
Рассмотрим источник, который может генерировать два сообщения: «Орел» с вероятностью p₁ = 0.5 и «Решка» с вероятностью p₂ = 0.5.

H = -(0.5 · log20.5 + 0.5 · log20.5)
Поскольку log20.5 = log2(1/2) = -1, получаем:
H = -(0.5 · (-1) + 0.5 · (-1)) = -(-0.5 - 0.5) = -(-1) = 1 бит.
Это подтверждает интуитивное понимание: выбор между двумя равновероятными событиями несет 1 бит информации, что совпадает с результатом Хартли для N=2.

Рассмотрим более сложный случай: источник генерирует 4 символа A, B, C, D с вероятностями p_A = 0.5, p_B = 0.25, p_C = 0.125, p_D = 0.125.

H = -(0.5 log20.5 + 0.25 log20.25 + 0.125 log20.125 + 0.125 log20.125)
H = -(0.5 · (-1) + 0.25 · (-2) + 0.125 · (-3) + 0.125 · (-3))
H = -(-0.5 - 0.5 - 0.375 - 0.375) = -(-1.75) = 1.75 бита.
Таким образом, в среднем каждый символ несет 1.75 бита информации, что меньше максимально возможной энтропии для 4 символов (log24 = 2 бита), поскольку вероятности неравномерны.

Алгоритмический подход: Колмогоровская сложность

В то время как Шеннон фокусировался на вероятностном распределении символов в сообщении, Андрей Колмогоров в 1965 году предложил совершенно иной взгляд на измерение количества информации, известный как колмогоровская сложность (или алгоритмическая сложность). Этот подход, относящийся к алгоритмической теории информации, рассматривает количество информации в тексте (или любом другом конечном объекте) не с точки зрения вероятностей, а с позиции его вычислительной сложности.

Колмогоровская сложность объекта X, обозначаемая K(X), определяется как длина кратчайшей программы на универсальной машине Тьюринга, которая порождает объект X. Иными словами, это минимально возможное количество битов, необходимое для представления объекта, если для его генерации можно использовать эффективный алгоритм.

Ключевые особенности и отличия от подхода Шеннона:

• Фокус на несжимаемости: Колмогоровская сложность определяет степень «несжимаемости» объекта. Если объект легко описать короткой программой (например, последовательность 1000 нулей описывается программой «вывести 0 1000 раз»), то его колмогоровская сложность низка, и он содержит мало «информации» в этом смысле. Если же объект хаотичен и не имеет очевидных закономерностей, то кратчайшая программа для его генерации будет примерно равна самому объекту (просто «вывести объект X»), и его колмогоровская сложность будет высокой.
• Индивидуальный подход: В отличие от Шеннона, который измеряет среднюю информацию, исходя из вероятностного распределения источника, колмогоровская сложность измеряет информацию, присущую конкретному объекту.
• Теоретический характер: Колмогоровская сложность является невычислимой в общем случае. Не существует универсального алгоритма, который мог бы определить кратчайшую программу для любого объекта. Тем не менее, это понятие имеет огромное теоретическое значение, поскольку оно устанавливает фундаментальные пределы того, сколько информации может содержаться в объекте и насколько он может быть сжат.
• Отличие от сжатия данных: Хотя колмогоровская сложность связана со сжатием, она не является алгоритмом сжатия. Она дает теоретический нижний предел, который алгоритмы сжатия (например, ZIP) стремятся достичь, но никогда не могут гарантированно.

Пример:

• Последовательность «0000000000» (десять нулей): Её колмогоровская сложность очень мала, так как её можно описать короткой программой типа «повторить 0 десять раз».
• Последовательность «3141592653» (первые 10 цифр числа Пи): Её сложность также относительно мала, так как есть программа, вычисляющая цифры Пи.
• Случайная последовательность из 10 цифр: Её колмогоровская сложность будет близка к 10, так как нет более короткого способа описать её, кроме как «вывести эти 10 цифр».

Колмогоровская сложность предлагает уникальный и глубокий взгляд на понятие информации, дополняя вероятностный подход Шеннона и предоставляя мощный инструмент для анализа сложности и несжимаемости данных в теоретической информатике.

Энтропия и избыточность: Влияние на надежность передачи

Понятия энтропии и избыточности являются центральными в теории информации, поскольку они напрямую связаны с эффективностью и надежностью передачи данных. Они позволяют понять, сколько «неожиданности» содержится в сообщении и сколько «лишней» информации может быть использовано для борьбы с помехами.

Информационная энтропия: Мера неопределенности системы

Информационная энтропия — это фундаментальная концепция, заимствованная Клодом Шенноном из термодинамики, где она описывала степень беспорядка или хаотичности системы. В контексте теории информации, энтропия H(X) для источника сообщений X является мерой неопределенности этой системы. Она характеризует непредсказуемость появления любого символа из алфавита источника. Чем выше энтропия, тем менее предсказуемо следующее сообщение или символ, и, следовательно, тем больше информации он потенциально может нести.

Ключевые свойства энтропии:

• Неотрицательность: Энтропия всегда неотрицательна (H ≥ 0). Она равна нулю только в случае отсутствия неопределенности, то есть когда одно событие имеет вероятность 1, а все остальные — 0. Например, если источник всегда выдает один и тот же символ, информации о его следующем символе нет.
• Максимальное значение: Для заданного числа состояний N (размера алфавита) максимальное значение энтропии достигается, когда все состояния (символы) равновероятны. В этом случае энтропия равна log2N (как в формуле Хартли). Любое отклонение от равномерного распределения вероятностей уменьшает энтропию.
• «Снятие неопределенности»: Информация, по сути, является «снятием неопределенности». Когда мы получаем сообщение, мы уменьшаем свою неопределенность относительно того, какое событие произошло. Этот процесс позволяет принимать обоснованные решения и действовать, что подчеркивает управляющую роль информации в кибернетических системах.

Энтропия является краеугольным камнем для понимания теоретических пределов сжатия данных: она определяет минимальное количество битов, необходимое для кодирования одного символа источника без потерь.

Избыточность информации: Расчет и значение

В отличие от машинных кодов, где каждый бит зачастую несет критически важную информацию, естественные языки обладают значительной избыточностью. Избыточность языка, введенная К. Шенноном, — это степень, в которой структура языка позволяет предсказывать или восстанавливать отсутствующие или поврежденные части сообщения.

Избыточность R рассчитывается по формуле:

R = 1 - (Hпредельное / H0)

Где:

• H_{предельное} — предельная энтропия языка, учитывающая вероятности сочетаний букв (например, биграмм, триграмм), синтаксические и семантические правила. Это истинная энтропия языка, учитывающая всю его внутреннюю структуру.
• H₀ — средняя неопределенность букв, рассчитанная без учета их взаимосвязи (то есть, исходя из одних лишь частот появления отдельных букв). Для русского алфавита, состоящего из 33 букв, если бы они были равновероятны, H0 = log233 ≈ 5.04 бита. Однако, с учетом реальных частот появления отдельных букв, H0 для русского языка оценивается примерно в 4.35 бита.

Значение избыточности:
Для русского языка избыточность значительно превышает 50%. Согласно исследованиям, она оценивается в районе 70-75%. Это означает, что в среднем только 25-30% символов несут «новую» информацию, а остальные могут быть предсказаны или восстановлены из контекста.

Роль избыточности в надежности связи:
Такая высокая избыточность является критически важной для обеспечения надежной связи даже при наличии шумов и помех. Именно благодаря избыточности мы можем понимать речь собеседника по телефону, даже если часть слов искажена или потеряна, или читать текст, в котором отсутствуют некоторые буквы. Например, фразу «Ябл_ко упал_ с д_рева» большинство людей без труда поймут как «Яблоко упало с дерева», используя контекст и знания языка. В системах передачи данных избыточность реализуется через помехоустойчивое кодирование, когда к полезной информации добавляются специальные проверочные биты, позволяющие обнаруживать и исправлять ошибки. Без избыточности любая, даже самая минимальная, ошибка при передаче данных приводила бы к полной потере смысла сообщения. Таким образом, избыточность — это не «лишний балласт», а необходимый элемент, который обеспечивает устойчивость и живучесть коммуникационных систем в реальном мире. Она позволяет системам эффективно адаптироваться к изменяющимся условиям.

Методы кодирования информации: Оптимизация хранения и передачи

Кодирование информации — это краеугольный камень цифрового мира, представляющий собой процесс преобразования данных из одного формата в другой с определенной целью: для удобства хранения, повышения эффективности передачи, обеспечения безопасности или совместимости с различными системами. Эффективное кодирование напрямую влияет на производительность и экономичность информационных систем.

Общие принципы и типы кодирования

Основная задача кодирования — представить информацию в виде, оптимальном для её дальнейшего использования. Это может быть связано с:

• Уменьшением размера: Сжатие данных для экономии места или ускорения передачи.
• Повышением помехоустойчивости: Добавление избыточности для обнаружения и исправления ошибок в шумных каналах.
• Обеспечением безопасности: Шифрование данных для защиты от несанкционированного доступа.
• Совместимостью: Преобразование данных в стандартные форматы.

Существует множество типов кодирования, классифицируемых по характеру исходной информации:

• Числовое кодирование: Преобразование чисел (например, в двоичную, десятичную, шестнадцатеричную системы, или представление чисел с плавающей запятой).
• Текстовое кодирование: Преобразование символов алфавита в цифровые коды (например, ASCII, Unicode/UTF-8).
• Звуковое кодирование: Оцифровка аналоговых звуковых волн и их представление в цифровом виде (например, PCM, MP3, AAC).
• Графическое кодирование: Представление изображений в виде пикселей и их атрибутов (например, JPEG, PNG, GIF).
• Видеокодирование: Преобразование последовательности изображений и звука в цифровой поток (например, MPEG, H.264, H.265).

Каждый из этих типов использует специфические методы преобразования информации, адаптированные к её природе и требуемым характеристикам.

Префиксное кодирование и код Хаффмана

Одним из наиболее важных классов кодирования, обеспечивающего однозначное декодирование, является префиксное кодирование.

Префиксное кодирование — это свойство, при котором ни одно кодовое слово не является префиксом другого кодового слова в наборе. Это свойство гарантирует, что при последовательном чтении битов декодер всегда может однозначно определить конец текущего кодового слова и начало следующего, не требуя никаких дополнительных разделителей. Примером префиксного кодирования является код Морзе, хотя он не является оптимальным в смысле энтропии.

Наиболее известный и широко используемый алгоритм префиксного кодирования — это кодирование Хаффмана. Разработанный Дэвидом Хаффманом в 1952 году, он является жадным алгоритмом оптимального префиксного кодирования алфавита с минимальной избыточностью.

Принцип работы кодирования Хаффмана:

1. Частотный анализ: Для каждого символа входного потока определяется частота его появления.
2. Построение дерева: Символы с наименьшими частотами объединяются в узлы, формируя двоичное дерево. Более частым символам присваиваются более короткие кодовые слова, а менее частым — более длинные.
3. Присвоение кодов: Путь от корня дерева до каждого символа формирует его уникальное кодовое слово.

Особенности и применение:

• Оптимальность: Кодирование Хаффмана является оптимальным среди методов префиксного кодирования для дискретных распределений вероятностей символов. Оно эффективно, когда частоты появления символов пропорциональны 1/2n (где n — натуральное положительное число), поскольку его коды состоят из целого числа битов.
• Широкое применение: Этот метод используется во многих программах сжатия данных, таких как PKZIP 2, LZH, GZIP и BZIP2. Он также является частью форматов изображений JPEG (для таблиц переменной длины) и PNG, а также аудиоформатов MP3. Его универсальность и эффективность для широкого круга данных сделали его стандартом в области сжатия без потерь.

Арифметическое кодирование: Преодоление ограничений

Несмотря на эффективность кодирования Хаффмана, у него есть одно фундаментальное ограничение: он всегда присваивает кодовые слова, состоящие из целого числа битов. Это означает, что если, например, символ встречается с вероятностью 0.99 (что теоретически требует менее 1 бита информации), Хаффман всё равно вынужден будет присвоить ему хотя бы 1 бит. Для преодоления этого ограничения было разработано арифметическое кодирование.

Арифметическое кодирование — это алгоритм энтропийного сжатия, который, в отличие от кодирования Хаффмана, не имеет жесткого постоянного соответствия между входными символами и группами битов выходного потока. Вместо этого он присваивает коды последовательностям символов, а не отдельным символам.

Принцип работы:

1. Интервал представления: Арифметическое кодирование представляет всю последовательность символов как двоичную дробь в интервале [0, 1).
2. Постепенное сужение: По мере обработки каждого символа интервал [0, 1) сужается в соответствии с вероятностью появления этого символа. Чем вероятнее символ, тем больше его «доля» в интервале, и тем меньше нужно битов для его обозначения.
3. Итоговый код: В конце последовательности весь текст кодируется одним числом (дробью) из этого суженного интервала.

Преимущества и особенности:

• Высокая эффективность: Арифметическое кодирование обычно более эффективно, чем кодирование Хаффмана, особенно для дробных неравномерных распределений вероятностей. Оно может сжимать данные с энтропией менее 1 бита на символ, что невозможно для Хаффмана. Например, если символ встречается с вероятностью 0.99, арифметическое кодирование может представить его с использованием, скажем, 0.014 бита, значительно превосходя Хаффмана.
• Теоретическая граница: Арифметическое кодирование считается наиболее оптимальным среди энтропийных методов, так как оно достигает теоретической границы степени сжатия, определяемой энтропией источника.
• Сложность: Алгоритм арифметического кодирования сложнее в реализации, чем Хаффман, и требует более точных вычислений с плавающей запятой, но его выигрыш в степени сжатия часто оправдывает эти сложности.
• Применение: Используется в некоторых современных форматах сжатия изображений (например, JPEG 2000) и в алгоритмах кодирования аудио и видео, где требуется максимальная эффективность.

Таким образом, если кодирование Хаффмана является простым и эффективным решением для многих задач, то арифметическое кодирование представляет собой более продвинутый подход, позволяющий добиться почти идеального сжатия, особенно для источников с сильно неравномерным распределением символов.

Каналы связи, шум и пропускная способность: Теоретические пределы

Передача информации — это сложный процесс, подверженный искажениям. Центральное место в теории информации занимает анализ каналов связи и того, как шум влияет на возможность надежной передачи данных. Клод Шеннон не только количественно оценил информацию, но и установил теоретические пределы того, сколько информации может быть передано по заданному каналу.

Модель связи Шеннона и типы каналов

Для анализа процесса связи Клод Шеннон предложил абстрактную, но универсальную схему, состоящую из пяти основных элементов:

1. Источник информации: Генерирует сообщение, которое необходимо передать (например, человеческая речь, текст, изображение).
2. Передатчик (кодер): Преобразует сообщение от источника в сигнал, пригодный для передачи по каналу (например, аналоговый сигнал, последовательность битов). В этот процесс может входить кодирование для сжатия или помехоустойчивости.
3. Линия связи (канал): Физическая среда, по которой передается сигнал (например, медный провод, оптоволокно, радиоволна, беспроводная сеть). Именно здесь сигнал подвергается воздействию шума и искажениям.
4. Приемник (декодер): Получает искаженный сигнал из канала и пытается восстановить исходное сообщение. Он выполняет операции, обратные передатчику (декодирование).
5. Адресат (получатель): Конечный потребитель информации, для которого было предназначено сообщение.

Каналы связи могут быть классифицированы по природе передаваемых сигналов:

• Дискретные каналы: На входе и выходе канала используются дискретные сигналы (например, последовательности нулей и единиц). Примером может служить телеграфная линия или цифровая компьютерная сеть.
• Непрерывные каналы: Передают непрерывные (аналоговые) сигналы, которые могут принимать любое значение в заданном диапазоне. Примером является радиоканал или телефонная линия.

Теоремы Шеннона для канала с шумом

Наиболее значимым вкладом Шеннона в теорию каналов стали его теоремы о кодировании канала, которые определяют максимальную скорость передачи информации в зашумленном канале, при которой возможна передача с произвольно малой вероятностью ошибок.

1. Прямая теорема (Теорема о существовании):
   Если скорость передачи сообщений (R) меньше пропускной способности канала (C) (R < C), то существуют такие системы кодирования и декодирования, при которых средняя и максимальная вероятности ошибки декодирования стремятся к нулю при увеличении длины блока передаваемой информации.
   Смысл: Это означает, что если мы передаем информацию со скоростью ниже пропускной способности канала, мы всегда можем найти достаточно сложный (но теоретически реализуемый) код, который позволит передать данные с произвольно высокой степенью верности, то есть практически безошибочно.
2. Обратная теорема (Теорема о невозможности):
   Если скорость передачи сообщений (R) больше пропускной способности канала (C) (R > C), то не существует таких методов передачи, при которых вероятность ошибки стремится к нулю при увеличении длины передаваемого блока.
   Смысл: Если мы пытаемся передавать информацию быстрее, чем позволяет пропускная способность канала, то неизбежно возникнут ошибки, и вероятность этих ошибок не сможет быть сделана сколь угодно малой, независимо от того, насколько изощренное кодирование мы используем.

Эти теоремы устанавливают фундаментальный теоретический предел для любой системы связи. Они говорят нам, что у каждого канала есть своя «стена», которую невозможно преодолеть, но ниже которой можно добиться практически идеальной передачи.

Теорема Шеннона-Хартли и предел Шеннона

Для наиболее распространенного типа непрерывных каналов — канала с аддитивным белым гауссовым шумом (АБГШ-канала) — Шеннон совместно с Хартли вывел конкретную формулу для пропускной способности.

Теорема Шеннона-Хартли:
Пропускная способность (C) непрерывного АБГШ-канала определяется как:

C = ΔF log2(1 + Pс / Pш)

Где:

• C — пропускная способность канала, измеряемая в битах в секунду (бит/с).
• ΔF — полоса пропускания канала, измеряемая в герцах (Гц). Это диапазон частот, которые канал способен передавать.
• P_с — средняя мощность полезного сигнала на входе приемника.
• P_ш — мощность аддитивного белого гауссова шума в полосе пропускания канала.
• P_с/P_ш — отношение мощности сигнала к мощности шума (отношение сигнал/шум, ОСШ). Часто выражается в децибелах (дБ), но в формуле используется линейное отношение.

Эта теорема подразумевает, что с использованием достаточно сложных систем кодирования двоичные знаки могут быть переданы со скоростью C с произвольно низкой частотой ошибок. Это не означает, что такую скорость можно достичь простыми методами; лишь то, что теоретически это возможно.

Пример расчета пропускной способности:
Рассмотрим стандартный телефонный канал:

• Полоса пропускания ΔF = 3100 Гц (от 300 Гц до 3400 Гц).
• Отношение сигнал/шум P_с/P_ш = 30 дБ.

Для использования в формуле необходимо перевести дБ в линейное отношение:

30 дБ = 10 · log10(Pс/Pш) ⇒ Pс/Pш = 10(30/10) = 103 = 1000.

Теперь подставим значения в формулу:

C = 3100 · log2(1 + 1000)
C = 3100 · log2(1001)
Поскольку log2(1001) ≈ 9.96 (так как 29 = 512, 210 = 1024):
C ≈ 3100 · 9.96 ≈ 30876 бит/с.
Таким образом, теоретическая максимальная пропускная способность такого телефонного канала составляет около 30.8 Кбит/с. Это показывает, почему современные модемы значительно превосходят эти значения, используя более сложные модуляционные схемы.

Предел Шеннона:
Это понятие тесно связано с теоремой Шеннона-Хартли. Предел Шеннона — это:

• Максимальная скорость передачи, при которой код способен исправлять ошибки в канале с заданным отношением сигнал/шум.
• Минимальное отношение сигнал/шум, при котором теоретически возможна безошибочная передача и декодирование блока с заданной скоростью.

По сути, предел Шеннона показывает, насколько эффективно мы можем использовать канал. Достижение этого предела является целью разработки любых современных систем связи, хотя на практике это требует бесконечной сложности кодирования и декодирования.

Сжатие информации: Методы и их применение

В условиях постоянного роста объемов данных и ограниченности ресурсов хранения и пропускной способности каналов, сжатие информации становится одной из важнейших задач в информатике. Его основная цель — уменьшить исходный размер данных без потери содержания или с минимально приемлемой потерей, что позволяет хранить больше информации и быстрее её передавать.

Сжатие без потерь: Принципы и алгоритмы

Сжатие без потерь (lossless compression) — это класс алгоритмов, которые позволяют однозначно восстановить закодированные данные бит в бит до их первоначального состояния. Это означает, что после сжатия и последующего распаковывания полученный файл будет идентичен оригиналу.

Принципы работы:
Алгоритмы сжатия без потерь основаны на поиске и устранении избыточности в данных. Они используют различные статистические и словарные методы для обнаружения повторяющихся последовательностей, предсказуемых паттернов или неравномерных частот символов.

Наиболее распространенные алгоритмы:

• Кодирование Хаффмана: Как уже упоминалось, присваивает более короткие коды часто встречающимся символам, заменяя избыточные последовательности.
• LZW-кодирование (Lempel-Ziv-Welch): Словарный метод, который строит словарь из часто встречающихся последовательностей символов и заменяет эти последовательности индексами в словаре. Используется, например, в форматах GIF и TIFF, а также в Unix-утилите compress.
• RLE (Run-Length Encoding): Простой метод, эффективный для данных с длинными повторяющимися последовательностями (например, «AAAAABBC» кодируется как «5A2B1C»). Часто используется для сжатия простых изображений, факсов.
• LZ77/LZ78: Являются основой для множества современных алгоритмов, таких как ZIP, GZIP, PNG. Эти алгоритмы ищут повторяющиеся фрагменты данных в уже обработанной части потока и заменяют их указателями на местоположение и длину совпадения.
• Burrows-Wheeler Transform (BWT): Не является методом сжатия сам по себе, но переупорядочивает данные таким образом, чтобы они стали более легко сжимаемыми другими алгоритмами (например, RLE или Хаффмана). Используется в BZIP2.

Применение:
Сжатие без потерь используется в тех случаях, когда критически важна идентичность сжатых данных оригиналу. Это относится к:

• Исполняемым файлам программ.
• Исходному коду программного обеспечения.
• Текстовой информации (документы, базы данных).
• Медицинским изображениям (где потеря даже небольшой детали недопустима).
• Архивам данных (ZIP, RAR, 7z).

Сжатие с потерями: Принципы и применение

Сжатие с потерями (lossy compression) — это класс алгоритмов, при которых часть информации безвозвратно удаляется во время сжатия. Цель состоит в том, чтобы удалить наименее значимые для человеческого восприятия данные таким образом, чтобы сохранить общую суть или качество, которое остается приемлемым для пользователя.

Принципы работы:
Методы сжатия с потерями основаны на особенностях человеческого восприятия (психоакустические и психовизуальные модели). Они используют тот факт, что человеческий глаз и ухо не могут воспринимать все детали или изменения в сигнале, особенно когда они маскируются более сильными сигналами. Удаляется та информация, которая, скорее всего, будет незаметна или малозаметна.

Примеры форматов и алгоритмов:

• JPEG (Joint Photographic Experts Group): Стандарт для сжатия статических изображений. Он использует дискретное косинусное преобразование (ДКП) для перевода изображения в частотную область, квантование коэффициентов (удаление высокочастотных компонент, которые менее заметны для глаза) и дальнейшее энтропийное кодирование (Хаффман или арифметическое).
• MP3 (MPEG-1 Audio Layer III) и AAC (Advanced Audio Coding): Стандарты для сжатия аудио. Они используют психоакустические модели для определения частот и громкостей, которые не воспринимаются человеческим ухом (например, из-за маскировки более громкими звуками) и удаляют их.
• MPEG (Moving Picture Experts Group) / MP4: Семейство стандартов для сжатия видео и аудио. Они используют как пространственную избыточность (внутри одного кадра, похоже на JPEG), так и временную избыточность (между соседними кадрами, кодируя только изменения).

Применение:
Сжатие с потерями применяется преимущественно для:

• Аудио: MP3, AAC, Ogg Vorbis.
• Видео: MPEG, H.264, H.265.
• Изображений: JPEG, WebP.

В этих областях некоторое ухудшение качества часто незаметно для человеческих органов чувств или является приемлемым компромиссом между качеством и размером файла.

Выбор метода сжатия: Зависимость от задачи

Выбор конкретного метода сжатия (без потерь или с потерями) всегда зависит от конкретной задачи и типа данных:

• Если целостность и точность данных критически важны (например, медицинские снимки, программный код, финансовые отчеты), необходимо использовать сжатие без потерь.
• Если небольшая потеря качества приемлема и целью является максимальное уменьшение размера файла при сохранении общего впечатления (например, фотографии для веб-сайтов, музыка для прослушивания, видео для потоковой передачи), выбирается сжатие с потерями.

Понимание этих различий позволяет эффективно управлять информационными ресурсами и оптимизировать работу с различными типами данных в современном цифровом пространстве.

Методология исследования и критерии источников для курсовой работы

Для написания качественной академической курсовой работы по таким фундаментальным дисциплинам, как теория информации, требуется не только глубокое погружение в предмет, но и строгое следование методологическим принципам и тщательный отбор источников.

Подходы к исследованию и анализу данных

При написании курсовой работы по «Основным понятиям теории информации» могут быть использованы следующие основные методы исследования:

• Системный анализ: Этот подход позволяет рассматривать теорию информации как целостную систему взаимосвязанных понятий (источник, канал, кодер, декодер, энтропия, пропускная способность). Он помогает выявить структурные элементы, их функции и взаимосвязи, а также оценить теорию как инструмент для анализа более широких информационных систем.
• Сравнительный анализ: Используется для сопоставления различных подходов к определению информации (философских, математических, алгоритмических), различных мер информации (Хартли, Шеннон, Колмогоров), а также различных методов кодирования и сжатия. Это позволяет выявить их преимущества, недостатки, области применимости и эволюцию.
• Исторический подход: Изучение становления теории информации, вклада ключевых ученых (Шеннон, Винер, Колмогоров, Глушков), эволюции понятий и моделей в хронологическом порядке. Это помогает понять контекст возникновения и развития идей, а также причины, по которым те или иные концепции стали доминирующими.
• Математическое моделирование и расчеты: Практическое применение формул Шеннона, Хартли для расчета энтропии, количества информации, пропускной способности канала. Включение пошаговых примеров расчетов демонстрирует глубокое понимание теоретического материала и его прикладных аспектов.
• Дедуктивный и индуктивный методы: Дедукция используется для применения общих теоретических положений к конкретным примерам или задачам. Индукция может быть задействована при обобщении отдельных наблюдений или фактов для формулирования более широких выводов.
• Метод аналогии: Поиск сходств между информационными процессами и явлениями в других областях (например, связь энтропии в теории информации с энтропией в термодинамике) для более глубокого понимания.

Критерии выбора авторитетных источников

Качество курсовой работы напрямую зависит от надёжности используемых источников. Для академического исследования по теории информации необходимо придерживаться следующих критериев:

Надежные и авторитетные источники:

• Научные монографии и учебники от ведущих издательств по теории информации, кибернетике, математике и информатике. Это фундаментальные труды, прошедшие рецензирование и признанные научным сообществом.
• Статьи из рецензируемых научных журналов: Например, «Проблемы передачи информации», «Известия вузов. Приборостроение», «Радиотехника и электроника», IEEE Transactions on Information Theory, Bell System Technical Journal. Публикации в таких журналах проходят строгий отбор и рецензирование экспертами.
• Работы классиков теории информации: Первоисточники от К. Шеннона, Н. Винера, А.Н. Колмогорова, В.М. Глушкова. Изучение их оригинальных трудов обеспечивает максимальную точность и глубину понимания.
• Диссертации и авторефераты по соответствующим специальностям (например, 05.13.17 — Теоретические основы информатики, 01.01.09 — Дискретная математика и математическая кибернетика). Они содержат глубокие исследования и обширную библиографию.
• Официальные материалы конференций и симпозиумов по теории информации.
• Приоритет следует отдавать русскоязычным официальным источникам и качественным переводам классических трудов, чтобы обеспечить точность терминологии и доступность материала.

Ненадежные или неприемлемые источники (для первичного цитирования):

• Неподтвержденные публикации на личных сайтах, блогах, форумах без указания авторитетных источников или без рецензирования.
• Популярные статьи, не имеющие ссылок на научные исследования или экспертные мнения.
• Учебные материалы низкого качества, не прошедшие рецензирование или устаревшие без исторического контекста.
• Энциклопедические статьи (например, Википедия) не должны использоваться как первичные источники для цитирования, но могут служить для первичной ориентации в теме, поиска определений и ссылок на авторитетные источники.

Оформление и цитирование

Крайне важно соблюдать академические стандарты оформления и цитирования. Все цитаты и заимствованные идеи должны быть корректно оформлены с указанием источника. Рекомендуется использовать унифицированный стиль цитирования (например, ГОСТ Р 7.0.5–2008 или международные стили APA, MLA, Chicago), утвержденный в вашем учебном заведении. Библиографический список должен быть полным и содержать только те источники, которые были фактически использованы в работе.

Заключение

Теория информации — это не просто набор формул и алгоритмов, а фундаментальная научная дисциплина, которая продолжает формировать наше понимание мира и технологическое будущее. В рамках данной курсовой работы мы стремились всесторонне проанализировать её основные понятия, проследить их эволюцию от философских определений до строгих математических моделей, исследовать механизмы количественного измерения информации, роль энтропии и избыточности, а также принципы эффективного кодирования и сжатия данных.

Мы увидели, как концепция «информации» трансформировалась от абстрактного философского понятия («отраженное разнообразие», «третье» измерение реальности) до строго математически определенной меры «снятой неопределенности» в трудах Шеннона. Были детально рассмотрены формулы Хартли, Шеннона и Колмогоровская сложность, каждая из которых предлагает уникальный взгляд на количественную оценку информации, будь то равновероятные исходы, статистические распределения или алгоритмическая несжимаемость.

Анализ энтропии показал, что она является не только мерой неопределенности, но и ключом к пониманию пределов сжатия данных. Концепция избыточности естественных языков, в свою очередь, объясняет, почему наша коммуникация столь устойчива к помехам, выступая естественным механизмом помехоустойчивости. Мы изучили, как различные методы кодирования, от префиксного кодирования Хаффмана до более эффективного арифметического кодирования, позволяют оптимизировать хранение и передачу данных, а также почему выбор метода сжатия (с потерями или без потерь) критически зависит от типа данных и требований к их качеству. Наконец, погружение в теоремы Шеннона о пропускной способности канала раскрыло фундаментальные пределы надежной передачи информации в условиях шума, подтвердив, что у каждого канала есть своя «емкость», которую нельзя превысить без экспоненциального роста ошибок.

Таким образом, данная курсовая работа подтверждает достижение поставленных целей и задач, предоставляя комплексное и глубокое понимание основных понятий теории информации. Полученные знания являются не только академически ценными, но и имеют огромное прикладное значение для студентов технических специальностей, формируя базу для дальнейшего изучения телекоммуникаций, криптографии, машинного обучения и других высокотехнологичных областей. Перспективы дальнейших исследований в этой области включают углубленный анализ квантовой теории информации, новых методов кодирования для постквантовой криптографии и применение принципов теории информации в биологических и социальных системах.

Список использованной литературы

1. Анфилатов, В. С. Системный анализ в управлении: Учебное пособие. – М.: Финансы и статистика, 2003. – 368 с.
2. Бородакий, Ю. В., Лободинский, Ю. Г. Информационные технологии. методы, процессы, системы. – М.: Радио и связь, 2002. – 456 с.
3. Винер, Н. Кибернетика, или управление и связь в животном и машине. – 2-е издание. – М.: Наука, 1983. – 344 с.
4. Высшая математика для экономистов: Учебник для вузов / Под ред. Н. Ш. Кремера. – 2-е изд., перераб. и доп. – М.: ЮНИТИ-ДАНА, 2004. – 471 с.
5. Гиляревский, Р. С. Основы информатики: Курс лекций. – М.: Экзамен, 2003. – 320 с.
6. Дмитриев, В. И. Прикладная теория информации: Учебное пособие. – М.: Высшая школа, 1989. – 320 с.
7. Информатика и математика для юристов: Учебное пособие для вузов / Под ред. Х. А. Андриашина. – М: ЮНИТИ-ДАНА, 2001. – 463 с.
8. Лидовский, В. В. Теория информации: Учебное пособие. – М.: Спутник+, 2004. – 111 с.
9. Мазур, М. Качественная теория информации / Перевод с польского О. И. Лочмеля. – М.: Мир, 1974. – 239 с.
10. Пирс, Дж. Символы, сигналы, шумы. Закономерности и процессы передачи информации. – М.: Мир, 1967. – 332 с.
11. Экономическая информатика: Учебник / Под ред. В. П. Косарева. – М.: Финансы и статистика, 2002. – 592 с.
12. Глушков, В. М. Мышление и кибернетика. // Вопросы философии. – 1963. – № 1. – С. 10-24.
13. Колмогоров, А. Н. Три подхода к определению понятия «количество информации». // Проблемы передачи информации. – 1965. – Т. 1. Вып. 1. – С. 25-38.
14. Чугайнова, А. Информатика: статья, Энциклопедия «Кругосвет», 2008. [Электронный ресурс]. Режим доступа: http://www.krugosvet.ru.
15. Янковский, С. Концепции общей теории информации: электронная книга, МОО «Наука и техника», 1997-2008. [Электронный ресурс]. Режим доступа: http://www.n-t.ru.
16. Теория информации. [Электронный ресурс]. URL: https://elib.oreluniver.ru/upload/iblock/c32/c32f8373b52d6a362f021e06e30b355a.pdf.
17. Сжатие информации с потерями и без потерь. [Электронный ресурс]. URL: https://www.compress.ru/article.aspx?id=3056.
18. Методы сжатия данных: алгоритмы и инструменты. [Электронный ресурс]. URL: https://tproger.ru/articles/data-compression-algorithms.
19. Вероятностный подход к определению количества информации. [Электронный ресурс]. URL: https://infourok.ru/veroyatnostniy-podhod-k-opredeleniyu-kolichestva-informacii-275149.htm.
20. Методы сжатия информации — ИТЭФ. [Электронный ресурс]. URL: https://www.itep.ru/upload/iblock/d7e/d7e6c2780e9273c5243163eb379f83f1.pdf.
21. Формула Хартли измерения количества информации. Закон аддитивности … — ЗФТШ. [Электронный ресурс]. URL: https://wiki.mipt.ru/index.php/1.2._%D0%A4%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D0%B0_%D0%A5%D0%B0%D1%80%D1%82%D0%BB%D0%B8_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BA%D0%BE%D0%BB%D0%B8%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B0_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8._%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%B0%D0%B4%D0%B4%D0%B8%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8.
22. Теория информации — MCCME. [Электронный ресурс]. URL: https://www.mccme.ru/free-books/mccme/book/information-theory.pdf.
23. Теорема Шеннона-Хартли о пропускной способности канала — Siblec.Ru. [Электронный ресурс]. URL: https://siblec.ru/telekommunikatsionnye-sistemy-i-seti/teoreticheskie-osnovy-tsifrovoi-sviazi/kompromissy-pri-ispolzovanii-moduliatsii-i-kodirovaniia/94-teorema-shennona-khartli-o-propusknoi-sposobnosti-kanala.
24. Сжатие без потерь и с потерями • Информатика | Фоксфорд Учебник. [Электронный ресурс]. URL: https://foxford.ru/wiki/informatika/szhatie-bez-poter-i-s-poteryami.
25. Измерение информации, 10-11 класс — Понятная информатика. [Электронный ресурс]. URL: https://www.klyaksa.net/informatika/information/lesson_1_2.html.
26. Теория информации и кодирования — Кафедра Информатика и Вычислительная техника. [Электронный ресурс]. URL: https://www.omgtu.ru/fdo/docs/posobiya/TIIK.pdf.
27. Информатика Курс лекций Лекция 8. Энтропия и Информация. [Электронный ресурс]. URL: https://www.sgu.ru/sites/default/files/textdocs/2018-05-18/lecture_8_informacionnaya_entropiya.pdf.
28. Основы теории информации — МИИГАиК. [Электронный ресурс]. URL: https://www.miigaik.ru/upload/medialibrary/125/osnovy_teorii_informacii.pdf.
29. Вероятностный подход к количественному определению информации. [Электронный ресурс]. URL: https://www.intuit.ru/studies/courses/103/10350/lecture/18790.
30. В результате для опыта α мы получаем число, являющееся количественной мерой неопределенности опыта. Эта величина называется энтропией, а формула Шеннона для расчета энтропии имеет вид. [Электронный ресурс]. URL: https://profbeckman.narod.ru/Informatika2006/1_3.htm.
31. Кодирование информации: что такое, основные принципы и методы — Skyeng. [Электронный ресурс]. URL: https://skyeng.ru/articles/kodirovanie-informacii-chto-eto-takoe-osnovnye-printsipy-i-metody/.
32. Информация как общенаучное и философское понятие: основные подходы к определению. [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/informatsiya-kak-obschenauchnoe-i-filosofskoe-ponyatie-osnovnye-podhody-k-opredeleniyu.
33. Формула Шеннона. [Электронный ресурс]. URL: https://inf1.ru/formula-shennona/.
34. Арифметическое кодирование / Хабр. [Электронный ресурс]. URL: https://habr.com/ru/articles/130190/.
35. Кодирование информации: принципы, методы и приложения — Work5. [Электронный ресурс]. URL: https://work5.ru/spravochnik/informatika/kodirovanie-informacii/kodirovanie-informacii-principy-metody-i-prilozheniya.
36. Вероятностный подход — Максимовская Марина Алексеевна. [Электронный ресурс]. URL: https://maksima.my1.ru/publ/informatic/verojatnostnyj_podkhod/3-1-0-12.
37. Философия информации. [Электронный ресурс]. URL: https://sdo.rea.ru/pluginfile.php/388082/mod_resource/content/1/%D0%A4%D0%B8%D0%BB%D0%BE%D1%81%D0%BE%D1%84%D0%B8%D1%8F%20%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8.pdf.
38. Помехи в канале передачи — Информационная система университета. [Электронный ресурс]. URL: http://elib.altstu.ru/elib/books/Files/rv1_2017_1/rv1_2017_1.pdf.
39. Пособие для подготовки к экзамену по дисциплине «теоретические основы информатики» раздел «кодирование информации». [Электронный ресурс]. URL: https://www.s-vfu.ru/upload/iblock/c2d/posobie-po-ti.pdf.
40. Философское содержание понятия информации: критический анализ — Современные проблемы науки и образования (сетевое издание). [Электронный ресурс]. URL: https://science-education.ru/ru/article/view?id=15733.
41. Теорема Шеннона для дискретного канала с помехами и сигналами разных классов. [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/teorema-shennona-dlya-diskretnogo-kanala-s-pomehami-i-signalami-raznyh-klassov.
42. Понятие «Информация»: философские аспекты (Аналитический обзор). [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/ponyatie-informatsiya-filosofskie-aspekty-analiticheskiy-obzor.
43. Жолков, С. Ю. О понятии информации в философии и теории информации — Nota Bene. [Электронный ресурс]. URL: https://nbpublish.com/library_read_article.php?id=30553.
44. Теоретическая оценка пропускной способности скрытых каналов. [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/teoreticheskaya-otsenka-propusknoy-sposobnosti-skrytyh-kanalov.
45. Теория информации. [Электронный ресурс]. URL: https://studfile.net/preview/7996716/page:3/.
46. lec.docx. [Электронный ресурс]. URL: https://dgu.ru/upload/iblock/d76/lec.docx.
47. Методы измерения количества информации | ЕГЭ по информатике, подготовка от Экзамера. [Электронный ресурс]. URL: https://examer.ru/ege_po_informatike/teoriya/metodyi_izmereniya_kolichestva_informaczii.