Сообщение, уменьшающее неопределённость знаний в два раза несёт 1 бит информации.
За меру энтропии (количества информации) при неравновероятныхисходах принимается формула Шеннона:
Н= – (P1 log2 P1+ P2 log2 P2+…+PN log2 Pn),
где Pi – вероятность того, что система находится в i-том состоянии. Вероятности Pi могут быть различны.
Если все состояния системы равновероятны, то их вероятности равны Pi = 1/N. На долю каждого исхода приходится одна N -я часть общей неопределенности опыта. Энтропия определяется формулой Хартли, которуюможно рассматривать как частный случай формулы Шеннона:
При равновероятных событиях получаемое количество информации максимально.
Пусть в сообщении содержатся сведения о том, что произошло одно из N равновероятных событий. Тогда заключённое в этом сообщении количество информации H и N связаны соотношением
2H =N, H =log2 N
Если N равно целой степени 2 (2, 4, 8, 16, 32, 64, 128, 256, 512, 1024,…), то уравнение H =log2 N легко решить в уме.
Пример 1.1. Подбрасывание монеты. Количество вариантов – 2 (орёл/решка).
N=2 2 H =2 H =1
Вывод: сообщение об одном событии из двух равновероятных несёт 1 бит информации.
Пример 1.2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере?
N=32 2H=32 25=32 H=5
Ответ: 5 бит.
Пример 1.3. При игре в кости используется кубик с 6 гранями. Выпадение каждой грани равновероятно. Сколько бит информации получает игрок при каждом бросании кубика?
N=6 2H=6 H=log2 6 H=2,585
Ответ: 2,585 бит.
|
|
|
Пример 1.4. Группа школьников пришла в бассейн, в котором 4 дорожки. Тренер сообщил, что группа будет плавать по дорожке номер 3. Сколько информации получили школьники?
N=4 2H=4 22=4 H=2
Ответ: 2 бита.
Пример 1.5. В библиотеке 16 стеллажей, на каждом стеллаже 8 полок. Какое количество информации содержит сообщение, что книга находится на пятом стеллаже на третьей сверху полке?
N=16×8=128 2H=128 27=128 H=7
Ответ: 7 бит.
Пример 1.6. « Угадай число». Задумано число в диапазоне от 0 до 3. Требуется:
· определить, какое количество информации необходимо получить, чтобы угадать число (полностью снять начальную неопределённость);
· определить задуманное число, если можно высказывать предположения (задавать вопросы) и получать в качестве ответов «да» или «нет».
Всего возможно 4 равновероятных исходов: 0, 1, 2, 3. Вероятность каждого исхода равна 1/4. По формуле Хартли получаем:
I=log2 4 I=H=2
Итак, для полного снятия неопределённости необходимо 2 бита информации.
Разработаем стратегию действий для определения задуманного числа за минимальное число шагов.
Для решения задачи оказалось достаточно задать два вопроса. Совпадение количества информации с числом вопросов с бинарными ответами не случайно.
|
|
|
Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.
Пример 1.7. « Угадай число». Задумано число в диапазоне от 1 до 100. Сколько вопросов необходимо задать, чтобы отгадать число?
По формуле Хартли получаем:
I =log2 100 I=H» 6,644
То есть сообщение о верно угаданном числе содержит приблизительно равное 6,644 единиц информации. Следовательно, какое бы ни было задумано число, достаточно семи вопросов с бинарными ответами, чтобы угадать число. Стратегия действий сводится к проверке числа, расположенного посередине текущего диапазона.
Объемный подход
Компьютер работает с цифровой информацией, представленной в двоичном коде. В вычислительной технике битом (от английского binary digit – двоичные цифры) называют один двоичный разряд памяти компьютера, который может принимать значение 0 или 1. Бит – это наименьшая единица представления информации в компьютере.
Объёмный подход связывает количество информации с числом знаков в дискретном сообщении.
Рассмотрим алфавит, состоящий из двух знаков: 0 и 1. Если считать, что знаки 0 и 1 встречаются одинаково часто (имеют одинаковые вероятности появления), то Р(0) = Р(1) = 0,5, и количество информации на один знак при двоичном кодировании будет равно
|
|
|
H =log22= 1 бит.
Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем.
При использовании объёмного подхода к измерению количества информации часто используют термин объем данных Vд.
Объём данных в сообщении измеряется количеством символов (разрядов) в этом сообщении. Так как информация может быть представлена числовыми кодами в разных системах счисления, то одно и то же количество разрядов в разных системах счисления может передать разное число состояний N отображаемого объекта:
N=mn,
где N – число всевозможных отображаемых состояний;
т – число символов в алфавите (основание системы счисления);
п – число разрядов (символов) в сообщении.
В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:
· в двоичной системе счисления единица измерения – бит;
· в десятичной системе счисления единица измерения – дит (десятичный разряд).
Группа из восьми битов называется байтом. Байт – основная единица информации. Широко используются более крупные производные единицы: килобайт (кбайт, кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб). В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как терабайт (Тбайт), петабайт (Пбайт).
|
|
|
1 кб = 1024 байт = 210 байт,
1 Мб = 1024 Кбайт = 220 байт,
1 Гб = 1024 Мбайт = 230 байт,
1 Тбайт = 1024 Гбайт = 240 байт,
1 Пбайт = 1024 Тбайт = 250 байт.
Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его измерение в объёмном смысле. Если для некоторого сообщения возможно измерение количества информации в обоих смыслах, то они не обязательно совпадают, но при этом кибернетическое количество информации не может быть больше объёмного.
Пример 1.8. Найти объём данных сообщения 10111011 в двоичной системе.
Так как количество разрядов в сообщении равно 8, то объем данных равен V д=8 бит.
Пример 1.9. Сообщение в десятичной системе представлено в виде числа 275903. Найти объём сообщения.
Шестиразрядное общение в десятичной системе имеет объем данных V д=6 дит.
Пример 1.10. По каналу связи передаётся n -разрядное сообщение, использующее т различных символов, вероятности появления разных символов одинаковы. Найти количество информации и объём сообщения.
Так как количество всевозможных кодовых комбинаций будет N=mn, то по формуле Хартли получим:
I = log N = log mn,
I = n log m.
Если в качестве основания логарифма принять т, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=Vд, полученных по каналу связи. Для неравновероятных состояний системы всегда I<Vд.
Пример 1.11. Метеорологическая станция ведёт наблюдение за влажностью воздуха. Результатом одного измерения является целое число от 0 до 100%, которое записывается при помощи минимально возможного количества бит. Станция сделала 80 измерений. Определить информационный объём результатов наблюдений.
Всего возможно 101 значение влажности N =101. По формуле Хартли
I = log2 101 2I =101 26 = 64 27 = 128
Значение I не будет целочисленным. Не вычисляя его, найдём округлённое в большую сторону значение. Число 128 – это ближайшее к 101 большее значение целой степени двойки. Принимаем I = 7, то есть для записи любого измерения достаточно 7 двоичных разрядов. Учитывая, что было сделано 80 измерений, общий информационный объём равен
80 ×7 = 560 бит = 70 байт
Дата добавления: 2015-12-21; просмотров: 15; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!