Правило для определения количества информации с точки зрения

Изучение нового материала.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы. С этой точки зрения сообщение «зачет» уменьшает неопределенность знаний в 2 раза, а сообщение об отметке «5» уменьшает неопределенность знаний в 4 раза. Т.о. второе сообщение несет большее количество информации. Однако техника не понимает смысла передаваемого сообщения, для нее важно количество передаваемых сигналов. Поэтому в этом случае применяется алфавитный подход.

Информационная емкость знака.

Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, ..., N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений «1», «2», ..., «N», которое будет нести количество информации I (рис. 1.12).

Формула N = 2 ^Iсвязывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N — это количество знаков в алфавите знаковой системы, а I — количество информации, которое несет каждый знак:

N = 2 ^I.

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

N=2 => 2 = 2^I => 2¹ = 2^I => I=1 бит.

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название от английского словосочетания «Binary digiT» — «двоичная цифра».

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква «ё»).

С помощью формулы N = 2 ^I определим количество информации, которое несет буква русского алфавита:

N = 32 => 32 = 2 ^I => 2⁵ = 2 ^I => I= 5 битов. Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньшее количество буквы «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» — наибольшая).

Количество информации в сообщении.

Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации I_с в сообщении можно подсчитать, умножив количество информации I₃, которое несет один знак, на длину кода (количество знаков в сообщении) К:

Iс = I₃ *К.

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры — в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.3).

Таблица 1.3. Количество информации, которое несет двоичный компьютерный код

Двоичный компьютерный код	1	0	1	0	1
Количество информации	1 бит	1 бит	1 бит	1 бит	1 бит

Правило для определения количества информации с точки зрения

Алфавитного подхода

1) Определить, из скольки символов состоит используемый алфавит - N;

2) Определить, какое количество информации несет один символ этого алфавита - I₃ :

N = 2 ^I;

3) Посчитать количество символов в алфавите - К;

4) Определить, какое количество информации несет все сообщение - Iс = I₃*К;

2) Закрепление изученного материала

Устно вычислить задания

1.8. Задание с выборочным ответом. Какое количество информации содержит один разряд двоичного числа?

1) 1 байт; 2) 3 бита; 3) 4 бита; 4) 1 бит.

1.9. Задание с кратким ответом. Какое количество информации несет двоичный код 10101010?

Задачи:

3) Решить самостоятельно задачи:

Задача 1. Текст составлен с использованием алфавита мощностью 64 символа и содержит 100 символов. Каков информационный объем текста.

Задача 2. Информационный объем текста, подготовленного с помощью компьютера, равен 3,5 Кбайт. Сколько символов содержит этот текст?

Домашнее задание

Д/з: 1) конспект учить

2) задача:

Дата добавления: 2020-11-23; просмотров: 590; Мы поможем в написании вашей работы!

Поделиться с друзьями:

Мы поможем в написании ваших работ!