Энтропия дискретного источника с независимым
Государственный комитет РФ по
связи и информатизации
СИБИРСКАЯ ГОСУДАРСТВЕННАЯ
АКАДЕМИЯ ТЕЛЕКОММУНИКАЦИЙ
И ИНФОРМАТИКИ
А.А.Макаров, Л.А.Чиненков
Основы теории
Передачи информации
Новосибирск 1998
УДК 621.391.1
к.т.н., доцент А.А. Макаров, к.т.н., доцент Л.А. Чиненков
В предлагаемом учебном пособии кратко изложены основные разделы теории передачи информации: информационное содержание сообщений, информационная избыточность и сжатие сигналов, пропускная способность каналов передачи информации и возможность сравнения эффективности разнородных систем передачи информации.
В конце каждого раздела предлагаются вопросы для самостоятельной работы студентов, способствующие углублению знаний основных понятий, теорем и результатов, известных в теории передачи информации.
Кафедра Радиотехнических систем
Ил., табл., список лит. - 3 назв.
Рецензенты: В.П. Петров , Л.В. Бурый
Для специальностей:
200700,200800,200900, 201000, 201100, 201200, 201400.
Утверждено редакционно-издательским cоветом СибГАТИ
в качестве учебного пособия.
ã Сибирская государственная
академия телекоммуникаций
|
|
|
и информатики, 1998 г.
СОДЕРЖАНИЕ
... Предисловие ........................................................................................ 4
1. Мера количества информации в дискретном сообщении ................ 5
2. Энтропия дискретного источника с независимым
выбором сообщений .......................................................................... 6
3. Энтропия дискретного источника с зависимыми
сообщениями...................................................................................... 8
4. Избыточность источника.................................................................... 9
5. Производительность дискретного источника................................... 8
6. Совместная энтропия двух источников ............................................ 12
7. Взаимная информация источников сообщений ............................... 13
8. Скорость передачи информации и пропускная
способность канала связи.................................................................... 14
9. Статистическое кодирование дискретных сообщений ................... 16
10. Статистическое кодирование кодовых слов ................................... 19
11. Пропускная способность однородного симметричного
канала связи ............................................................................ 20
12. Энтропия непрерывной случайной величины и ее свойства ........ 23
|
|
|
13. Энтропия и производительность эргодического
источника непрерывного сигнала .................................................. 26
14. Пропускная способность непрерывного канала связи .................. 27
15. Эпсилон- энтропия источника непрерывных сообщений ............... 28
16. Обмен мощности сигнала на ширину его спектра .......................... 31
17. Сравнение пропускной способности непрерывного и
дискретного каналов связи ............................................................ 32
18. Эффективность систем связи ......................................................... 34
Список литературы ........................................................................... 40
·
Предисловие
Передача, хранение и обработка информации являются предметом исследования и изучения в ряде учебных курсов и специальностей СибГАТИ: курс ”Теория электрической связи”(спец. 200900, 201000, 201100, 201200, 201400 ), курс “ Основы радиотехнических систем”( спец. 200700 ), курс “ Основы радиоэлектроники и связи” ( спец. 200800 ).
Важный вклад в становление теории и практики передачи информации внес К.Шеннон(США) , опубликовавший в 1948 г. основополагающую работу “Математическая теория связи”. Из других зарубежных и отечественных ученых, много сделавших для развития теории систем передачи и обработки информации, прежде всего необходимо упомянуть Н.Винера, Д.Мидлтона, А.А. Харквича и др.
|
|
|
В современных условиях без знания теории и практики систем передачи информации невозможна не только разработка новых информационных сетей и систем, но и эксплуатация быстро меняющегося аппаратурного и программного обеспечения.
В предлагаемом учебном пособии с учетом программных требований приведенных выше специальностей кратко изложены основные разделы теории передачи информации: информационное содержание непрерывных и дискретных сообщений, информационная избыточность и сжатие сигналов, пропускная способность непрерывных и дискретных каналов передачи информации и возможность сравнения эффективности разнородных систем передачи информации по информационно - техническим характеристикам.
В конце каждого раздела предлагаются вопросы для самостоятельной работы студентов, способствующие углублению знаний основных понятий, теорем и результатов, известных в теории передачи информации.
Учебное пособие написано в предположении, что студентам уже известны математические описания сигналов, помех, непрерывных и дискретных каналов связи.
|
|
|
Мера количества информации в дискретном
Сообщении
Система связи служит для передачи сообщений от отправителя к получателю. Однако не всякое сообщение содержит информацию. Информация - это совокупность сведений об объекте или явлении, которые увеличивают знания потребителя об этом объекте или явлении.
В математической теории связи (теории информации) исходят из того, что в некотором сообщении xi количество информации I(xi) зависит не от её конкретного содержания, степени важности и т.д., а от того, каким образом выбирается данное сообщение из общей совокупности возможных сообщений.
В реальных условиях выбор конкретного сообщения производится с некоторой априорной вероятностью p(xi). Чем меньше эта вероятность, тем больше информации содержится в данном сообщении.
При определении количества информации исходят из следующих требований:
1. Количественная мера информации должна обладать свойством аддитивности: количество информации в нескольких независимых сообщениях должно равняться сумме количества информации в каждом сообщении.
2. Количество информации о достоверном событии (p(xi)=1) должно равняться нулю, так как такое сообщение не увеличивает наших знаний о данном объекте или явлении.
Указанным требованиям удовлетворяет логарифмическая мера, определяемая формулой
. (1)
Чаще всего логарифм берется с основанием 2, реже - с основанием e:
двоичных единиц информации (бит),
натуральных единиц информации (нит).
Одну двоичную единицу информации содержит сообщение, вероятность выбора которого равняется 1/2. В этом случае
дв. ед. инф. (бит).
При применении натуральных логарифмов одну натуральную единицу информации содержит сообщение, вероятность выбора которого равняется 1/e:
нат. ед. инф. (нит).
Учитывая, что в практике передачи и преобразования информации широко применяются двоичные символы, двоичная логика, двоичные источники сообщений и двоичные каналы передачи, наиболее часто используется двоичная единица информации(бит).
Хотя при определении количества информации под сообщениями можно понимать любые фразы или телеграфные сообщения, мы здесь элементарными сообщениями будем называть отдельные буквы или слова. При использовании двухуровневых дискретных сигналов, например, мы будем пользоваться элементарными двоичными сигналами “1” и “0”, называя их буквами. Таким образом, алфавит двоичного источника состоит всего из двух букв, из которых можно строить более длинные комбинации, называемые кодовыми словами.
Вопросы к разделу 1
1. Что такое информация ? Как определяется количество информации в сообщении ?
2. Почему для определении количества информации в сообщении используется логарифмическая мера ?
3. Какое сообщение содержит одну двоичную единицу информации ?
4. Какое сообщение содержит одну натуральную единицу информации ?
Энтропия дискретного источника с независимым
Выбором сообщений
В теории информации чаще всего необходимо знать не количество информации I(xi), содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.
Если имеется ансамбль (полная группа) из k сообщений x1, x2... xi, xk с вероятностями p(xi) ... p(xk), то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений H(x), определяется формулой
(2) или 
. (3)
Размерность энтропии - количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения.
Рассмотрим свойства энтропии.
1. Чем больше неопределённость выбора сообщений, тем больше энтропия. Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения: p(x1)=p(x2)= . . .=p(xi)=1/k.
В этом случае
(4)
(т.е. максимальная энтропия равна логарифму от объёма алфавита).
Например, при k=2 (двоичный источник) 
бит.
2. Неопределённость минимальна, если одна из вероятностей равна единице, а остальные - нулю (выбирается всегда только одно заранее известное сообщение, например, - одна буква): p(x1)=1; p(x2)= p(x3)= ... = p(xk)= 0. В этом случае H(x)=Hmin(x)=0.
Эти свойства энтропии иллюстрируются следующим образом.
Пусть имеется двоичный источник сообщений, т.е. осуществляется выбор всего двух букв (k=2): x1 и x2 , p(x1)+ p(x2)= 1.
Тогда
(5)
Зависимость H(x) от вероятностей выбора для двоичного источника приведена на рис. 1.
Рис. 1
3. Укрупним алфавит. Пусть на выходе двоичного источника имеется устройство, которое группирует буквы в слова из n букв. Тогда k = 2n слов (объём алфавита). В этом случае
бит. (6)
Таким образом, укрупнение алфавита привело к увеличению энтропии в n раз, так как теперь уже слово включает в себя информацию n букв двоичного источника. Тем самым доказывается свойство аддитивности энтропии.
4. Энтропия дискретного источника не может быть отрицательной.
Термин “энтропия” заимствован из термодинамики и применительно к технике связи предложен американским учёным К.Шенноном, в трудах которого были заложены основы теории информации (математической теории связи).
Вопросы к разделу 2
1. Что такое энтропия источника с независимым выбором сообщений?
2. Как определяется энтропия дискретного источника с независимым выбором сообщений? Размерность энтропии источника.
3. Когда энтропия дискретного источника максимальна и чему она равна?
4. Когда энтропия дискретного источника минимальна (в частности, когда она равна нулю)?
5. Чему равна энтропия источника при укрупнении алфавита( при объединении букв в слова)?
Дата добавления: 2018-02-15; просмотров: 1179; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!