Некоторые понятия теории информации
Согласно К.Шеннону мера неопределенности опыта A с возможными исходами 
определяется следующей величиной (в битах):
, (1.1)
где 
- вероятности отдельных исходов опыта. Шеннон предложил назвать эту величину "энтропией". Другими словами, исходу 
следует приписать неопределенность, равную 
. Далее в качестве неопределенности всего опыта А принимается среднее значение неопределенности отдельных исходов, т.е. среднее значение случайной величины, принимающей значения 
с вероятностями 
. Следует, однако, иметь ввиду, что мера Шеннона не может претендовать на полный учет всех факторов, определяющих "неопределенность опыта" в любом смысле, какой может встретиться в жизни.
Пусть А, В - два опыта, в общем случае независимые. Рассмотрим сложный опыт АВ, состоящий в том, что одновременно осуществляются опыты А и В. Для независимых опытов верно:
(1.2)
где H(AB) - энтропия сложного опыта АВ. В общем случае зависимых опытов вряд ли можно ожидать, что энтропия сложного опыта будет равна сумме энтропий опытов А и В. В теории информации доказано, что в общем случае:
(1.3)
где H(B/A) - средняя условная энтропия опыта В при условии выполнения опыта А или, короче, условная энтропия В при условии А.
Эта энтропия определяется так:
|
|
|
(1.4)
где 
- условная энтропия опыта В при условии .
По аналогии с опытом А обозначим исходы опыта В через 
. Пусть 
- условная энтропия события 
при условии . Поскольку опыты А и В зависимы, то энтропия опыта В зависит от исхода опыта А, т.к. от исхода А зависят вероятности отдельных исходов В . Тогда для условной энтропии опыта В при условии можно записать:
(1.5)
Отсюда с учетом (1.4):
(1.6)
Теперь перейдем к понятию об информации. Какое-либо измерение или наблюдение 
, предшествующее опыту В, может ограничить количество возможных исходов опыта В и тем самым уменьшить степень неопределенности. Для того, чтобы результат измерения в опыте А мог сказаться на последующем опыте В, необходимо, чтобы этот результат не был известен заранее. Поэтому А можно рассматривать как вспомогательный опыт, также имеющий несколько допустимых исходов. Тот факт, что осуществление А уменьшает степень неопределенности В , находит свое отражение в том, что условная энтропия H(B/A) опыта В при условии выполнения А оказывается меньше первоначальной энтропии H(B) того же опыта. При этом, если опыт В не зависит от А то осуществление А не уменьшает энтропии В, т.е. H(B/A)=H(B). Если же результат А полностью предопределяет исход, то энтропия В уменьшается до нуля, т.е. H(B)=0. Таким образом, разность (в битах)
|
|
|
I(A,B)=H(B) - H(B/A) (1.7)
указывает насколько осуществление опыта А уменьшает неопределенность В, т.е. как много нового мы узнаем об исходе опыта В, проведя измерение А.
Величину I(A,B) называют количеством информации относительно опыта В , содержащейся в А. Часто I(A,B) называют взаимной информацией.
Следует отметить, что энтропию H(B) опыта В можно определить как информацию относительно В , содержащуюся в самом этом опыте, ибо осуществление самого опыта В полностью определяет его исход и, следовательно, H(B/B)=0, или как наибольшую информацию относительно В , какую можно иметь. иначе говоря, энтропия H(B) опыта В равна той информации, которую мы получаем, осуществив этот опыт, т.е. средней информации, содержащейся в одном исходе опыта. Это замечание важно иметь ввиду при оценке количества обработанной оператором информации в экспериментах, где отсутствуют ограничения на время обработки и испытуемый имеет возможность обработать всю поступающую информацию, которая количественно равна энтропии выполненного опыта.
|
|
|
Дата добавления: 2019-03-09; просмотров: 125; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!