Применение теории случайных событий к теории информации
ДискретныйИС генерирует определённый набор из mразличных символов (сигналов отличающейся формы).Такой ИСуподобляется случайному эксперименту. Элементарные события случайного эксперимента называют алфавитом источника.
Сообщение — это набор из последовательности M символов: результат наблюдения ограниченного числа исходовслучайного эксперимента.
ПС знает алфавит, но имеет неопределённость относительно порядка следования символов. Разрушение этой неопределённости есть процесс получения информации.
Так как последовательность символов дискретна, для разрушения неопределённости нужно ставить вопросы и получать на них ответы. Однако, если ответы не будут равновероятны, то количество вопросов для получения полной характеристики сообщения будет неопределённым.
Формальная логика содержит только две оценки какого-либо утверждения: «истина» и «ложь» («true» и «false»), поэтому для количественной оценки информации вводится понятие «бинарный вопрос»: вопрос, требующий ответа «да» или «нет».
| Количество информации в битах численно равно количеству бинарных вопросов, которыенужно задать для определения исхода случайного эксперимента, если ответы на вопросы равновероятны. |
Элементарные исходы случайного экспериментаможно пронумеровать, а номер выразить в двоичной системе счисления. Количество нужных разрядов определяется числом исходов или объёмом алфавита m.
|
|
|
Примеры. 1) Бросание монеты. «Орел» — «0», «Решка» — «1», следовательноm = 2, нужен 1 разряд двоичного числа. Для определения исхода достаточно одного бинарного вопроса. Следовательно, Ii = 1 бит.
2) Бросание правильного октаэдра: m = 8.
Рис. 2.16 — Правильный октаэдр
Нужно log28 = 3 дв. разряда для записи исходов. Вопросы должны ставиться так, чтобы ответы были равновероятными, например: «Это чётное число?». Ответ разрушает половину неопределенности о результате. Всего понадобится 3 вопроса, поэтому Ii = log28 = 3бит. Число разрядов для передачи данных о номере исхода равно количеству информации.
3) Установление исторической правды. Во Франции было 16 королей по имени Людовик. Один из них сказал «Государство — это я». Сколько информации содержится в этом утверждении? Нужно log216 = 4двоичных разряда для записи номеров исходов, значит, достаточно 4 бинарных вопросов: в правильно ответе 4 бита информации.
4) Бросание игральной кости:m = 6, т. е. 
,значит, нужно 3 двоичных разряда для записи исходов. Ответ на бинарный вопрос «Это чётное число?» разрушает половину неопределенности, но новый вопрос не будет бинарным при равновероятных исходах, т. к. остаётся только три варианта ответов. Следовательно, количество информации не будет целым числом.
|
|
|
Количество информации всё равно составит log26 = 2,58бит. Таким образом, количество информации в битах не всегда равно числу бит потока данных.
На основе данных рассуждений можно утверждать следующее.
| 1. Максимальное количество информации, переносимой одним двоичным символом, равно Ii = log2m. |
| 2. Максимум достигается, если символы равновероятны. |
При любом объёме алфавита 
каждому символу можно сопоставить число в двоичной системе счисления. Сообщение из 
символов приобретёт вид потока двоичных данных, каждый элемент которого принято называть битом.
| Количество информации в потоке двоичных данных будет равно числу данных только в том случае, если число любых групп по 2, 3 и т. д. символов будет одинаковым. |
Во всех других случаях поток данных будет избыточным, то есть содержать большее число символов, чем необходимо для передачи той информации, которая содержится в этом потоке.
Пример 1. ТВ высокой чёткости. Без устранения избыточности полоса одного канала должна быть около 150 МГц. Для снижения избыточности применяется специальное кодирование (форматы MP3, MP4, архиваторы ZIP, RARи т. п.).
Пример 2. Рассказ Эдгара Алана По 1843 года «Золотой жук» («TheGoldBug»). Частотный анализ букв английского языка (Приложение Б).
Дата добавления: 2018-04-15; просмотров: 263; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!