Основная теорема Шеннона для дискретного канала без шумов
Основная теорема Шеннона для дискретного канала без шумов дает ответ на вопрос о том, в какой мере скорость передачи информации может быть приближена к пропускной способности информационного канала. Она может быть сформулирована в следующем виде.
Теорема 2. Если поток информации, вырабатываемой источником, равен
, (7.15)
где ε может быть как угодно малым, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, причем скорость передачи информации будет равна
. (7.16)
Обратное утверждение заключается в том, что невозможно обеспечить длительную передачу всех сообщений источника, у которого 
.
Приведем некоторые рассуждения, которые позволят лучше уяснить ее суть.
Если 
- средняя длительность одного сообщения, то при достаточно большом Т возможна передача 
различных сообщений.
Из (6.12а) следует, что число типичных последовательностей хТ сообщений длительностью Т равно
В то же время на основании (7.7) можно утверждать, что число различных последовательностей кодированных сигналов уТ длительностью Т при большом Т равно Nc(T) ≈ 2СсT или, учитывая (7.15),
> 
.
Последнее означает, что эти последовательности сигналов обеспечивают кодирование всех типичных последовательностей сообщений при скорости передачи информации, близкой к Сс, ибо для каждой типичной последовательности сообщений хТ может быть выбран некоторый сигнал уТ и остается еще небольшой резерв сигналов длительностью Т. Что касается нетипичных последовательностей сообщений, то суммарная вероятность их очень мала, и на скорость передачи информации они влияния не оказывают. Эти последовательности могут кодироваться сигналами с большой длительностью (с большим числом символов).
|
|
|
Нетрудно убедиться в справедливости обратного утверждения теоремы. Если Н(Х) > С, то число различных последовательностей сигналов оказывается недостаточным для кодирования типичных последовательностей сообщений.
Существенно обратить внимание на то обстоятельство, что для приближения скорости передачи информации к пропускной способности, в общем случае требуется кодировать последовательность сообщений с большой длительностью – Т. Кодирование длинных последовательностей сообщений вызывает:
значительное усложнение кодирующих и декодирующих устройств,
задержку во времени передачи. Величина этой задержки может достигать 2Т.
|
|
|
Контрольные вопросы
1. Назовите основные характеристики дискретного канала.
2. Что называется пропускной способностью канала? Чему она равна для двоичного канала без помех?
3. Какие требования предъявляются к современным методам криптографического закрытия информации?
4. В чем суть эффективного статистического кодирования?
5. Сформулируйте и поясните основную теорему Шеннона о кодировании для канала без помех.
6. За счет чего при эффективном кодировании уменьшается средняя длина кодовой комбинации?
7. До какого предела может быть уменьшена средняя длина кодовой комбинации при эффективном кодировании?
8. В чем преимущество методики построения эффективного кода, предложенной Хаффменом, по сравнению с методикой Шеннона-Фэно?
9. Каким основным условиям должны удовлетворять эффективные коды?
10. Перечислите сложности, возникающие при использовании эффективных кодов?
Дата добавления: 2019-02-26; просмотров: 302; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!