Энтропия источника без памяти как скорость создания информации
Факт существования высоковероятных множеств дискретного источника без памяти играет фундаментальную роль в формулировании и доказательствах прямых теорем кодирования теории информации. В случае эффективного кодирования источника это представляется особенно наглядным. Прямая теорема кодирования источника без памяти является следствием теоремы о высоковероятных множествах такого источника.
Предполагается, что источник без памяти выбирает сообщения из ансамбля {А,р(а)} и Н(А) есть энтропия этого ансамбля, так что прямая теорема кодирования источника может быть сформулирована следующим образом:
Пусть R > Н(А), тогда для любого положительного ре найдется код со скоростью R , который кодирует дискретный источник без памяти с вероятностью ошибки, не превышающей ре.
Предполагая, что существует код со скоростью R , кодирующий источник с вероятностью ошибки ре, имеют ввиду, что можно найти такое п, код с М = 2 nR кодовыми словами и множество однозначно кодируемых последовательностей {Ап}0 Í Аn, для которых вероятность ошибки не превосходит ре. В соответствии с теоремой о высоковероятных множествах источника без памяти для любых положительных е и δ существует такое N , что для любого n > N вероятность появления на выходе источника последовательности 
, не принадлежащей высоковероятному множеству {А n}0, не превосходит δ . Поэтому, если выбрать в качестве множества однозначно кодируемых последовательностей подмножество {А n}0, то вероятность ошибки декодирования не будет превосходить δ = ре. Вместе с тем, количество кодовых слов оказывается равным числу элементов N ( e ) ≈ 2пН(-Л\
|
|
|
Таким образом, скорость создания информации оказывается равной энтропии источника без памяти; при этом в среднем на каждое сообщение источника будет приходиться Н(А)/ log m кодовых символов.
Более строгое обоснование указанного толкования энтропии связано с формулировкой обратной теоремы:
Для любого R < H найдется зависящее от R положительное число 6 такое, что для всех п и для всех равномерных кодов со скоростью R вероятность ошибочного декодирования больше 5.
(Дается без доказательства)
Контрольные вопросы
1. Назовите основные информационные характеристики источника сообщений.
2. В чем сущность понятия эргодического источника сообщений?
3. Сформулируйте теорему об асимптотической равновероятности длинных последовательностей знаков.
4. Каковы причины наличия избыточности в сообщении?
5. Определите производительность источника дискретных сообщений и укажите пути ее повышения.
6. Что понимают под e - производительностью источника непрерывных сообщений?
|
|
|
7. Как определиьб избыточность дискретного источника и чем она вызывается? Какой источник имеет нулевую избыточность?
8. Каковы вероятностные характеристики достаточно длинных типичных и нетипичных последовательностей символов дискретного источника?
Дата добавления: 2019-02-26; просмотров: 406; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!