Вероятностный подход
Дать определение количества информации невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.
Введем в рассмотрение численную величину, измеряющую неопределенность – энтропию Н. Если в системе возможны N событий, то величины N и Н связаны между собой некоторой функциональной зависимостью:
H = f(N).
До выполнения опыта результат неизвестен, т.е. имеется некоторая неопределенность Н1. Обозначим неопределенность данного опыта после его выполнения Н2. За количество информации I, которое получено в ходе осуществления опыта, примем разность неопределенностей до и после опыта:
I = Н1- Н2.
Как только получен конкретный результат, имевшаяся неопределенность снята (Н2=0), количество полученной информации совпадает с первоначальной энтропией (I = Н). Иначе говоря, неопределенность, заключённая в опыте, совпадает с информацией об исходе этого опыта.
I = f(N).
Впервые вероятностный подход оценки сообщений был предложен в 1928 г. американским инженером Р. Хартли. Формула Хартли имеет вид:
I = log2 N,
где N – количество равновероятных событий;
I – количество информации в сообщении.
Смысл этой формулы заключается в том, что если имеется множество N равновероятных событий, то выбору (однозначной идентификации) одного события соответствует количество информации, равное log2 N.
|
|
|
При N = 2 количество информации будет равно единице. Таким образом, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты, при котором возможны два исхода: «орел» и «решка»). Такая единица количества информации называется бит.
Дата добавления: 2015-12-21; просмотров: 15; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!