Как определяется единица измерения количества информации?
Бит определяется как количество информации, содержащееся в равновероятном выборе из двух возможностей
В каких случаях и по какой формуле можно вычислить количество информации, содержащейся в сообщении?
Формула Хартли: I = log2N - выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении определял, как двоичный логарифм N
Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений – учитывает возможную неодинаковую вероятность сообщений в наборе.
Почему в формуле Хартли за основание логарифма взято число 2?
Потому что в теории информации рассматривается количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).
Пусть т 1 =2, т 2 =3. Тогда I 1 = log 2 N дает единицу информации при N=2, a I 2 = log 3 N дает единицу при N=3. Значит, в первом случае для получения единицы информации производится выбор из двух равновероятных возможностей, а во втором случае — из трех. Для технической реализации удобнее работать с двумя возможностями, скажем, включением или выключением какого-либо элемента, наличием или отсутствием тока, и т.п. Поэтому за основание логарифма удобнее использовать число 2.
При каком условии формула Шеннона переходит в формулу Хартли?
|
|
|
Если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.
1.22. Что определяет термин "бит" в теории информации и в вычислительной технике?
Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутри машинного представления данных и команд.
Приведите примеры сообщений, информативность которых можно однозначно определить.
Сегодня 13 июня 2017 года.
Приведите примеры сообщений, содержащих один (два, три) бит информации.
Один бит: При броске монеты выпала решка.
Два бита: При первом броске монеты выпала решка, при втором броске тоже решка.
Упражнения
Запишите множество вариантов загорания двух светофоров, расположенных на соседних перекрёстках.
Ответ: 
Три человека, Иванов, Петров и Сидоров, образуют очередь. Запишите все возможные варианты образования этой очереди.
|
|
|
| 1) Иванов, Петров, Сидоров; | 4) Петров, Сидоров, Иванов; |
| 2) Иванов, Сидоров, Петров; | 5) Сидоров, Иванов, Петров; |
| 3) Петров, Иванов, Сидоров; | 6) Сидоров, Петров, Иванов. |
Назовите все возможные комбинации из двух различных нот (всего нот семь: до, ре, ми, фа, соль, ля, си).
Ответ: 42 = 7*6
2.4. Пусть голосуют 3 человека (голосование "да"/"нет"). Запишите все возможные исходы голосования.
Ответ: исходов 8.
"да-да-да", "да-да-нет", "да-нет-да", "да-нет-нет", "нет-да-да", "нет-да-нет", "нет-нет-да", "нет-нет-нет".
2.5. Предположим, что имеются 3 автомобильные дороги, идущие от Парижа до Тулузы, и 4 — от Тулузы до Мадрида. Сколькими способами можно выбрать дорогу от Парижа в Мадрид через Тулузу? Попытайтесь найти систематический метод для последовательного нахождения решения так, чтобы можно было составить список способов, не пропустив ни одного из них.
Ответ: Двенадцатью способами.
2.6. Поезд находится на одном из восьми путей. Сколько бит информации содержит сообщение о том, где находится поезд?
Ответ: 3 бита информации (8 = 23).
2.7. Сколько существует различных двоичных последовательностей из одного, двух, трех, четырёх, восьми символов?
Ответ: Двоичных последовательностей из одного бита всего 21= 2, из двух битов — 22= 4, из трех битов — 23= 8, из четырех битов — 24= 16, из восьми битов — 28= 256.
|
|
|
2.8. Каков информационный объём сообщения "Я помню чудное мгновенье" при условии, что один символ кодируется одним байтом и соседние слова разделены одним пробелом?
Ответ: 24 байта, или 192 бита.
Дата добавления: 2018-09-22; просмотров: 4257; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!