Важнейшие классы полиномиальных кодов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

РОССИЙСКОЙ ФЕДЕРАЦИИ

 

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ
БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

 

«ВЯТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

 

Факультет автоматики и вычислительной техники

Кафедра автоматики и телемеханики

 

В.Г. ЛАНСКИХ

 

ТЕОРИЯ

ИНФОРМАЦИИ

 

учебное пособие

 

 

Киров

2013


УДК 621.377.037.3 (075.8)

Л хх

Рекомендовано к изданию методическим советом

ФАВТ ФГБОУ ВПО «ВятГУ»

 

Допущено редакционно-издательской комиссией методического
совета ФГБОУ ВПО «ВятГУ» в качестве учебного пособия
для студентов направления подготовки 230400.62 «Информационные системы и технологии» всех профилей подготовки,
всех форм обучения

 

Рецензенты:

д.т.н., профессор кафедры ЭВМ ФГБОУ ВПО «ВятГУ» В.С. Князьков;

д.т.н., профессор, директор ЗАО «НПП «ЗНАК» В.И. Пономарев

 

Л хх Ланских, В. Г.
  Теория информации: учебное пособие / В.Г. Ланских. – Киров: ФГБОУ ВПО «ВятГУ», 2013. – 260 с.

УДК 621.377.037.3 (075.8)

 

В издании излагаются основы статистического подхода к определению характеристик информационных объектов – сообщений, каналов, сигналов, помех. Рассматриваются основы теории эффективного и помехоустойчивого кодирования информации. Учебное пособие соответствует рабочей программе дисциплины «Теория информации».

 

Редактор А.В. Куликова

 

 

© ФГБОУ ВПО «ВятГУ», 2013


ПРЕДИСЛОВИЕ

 

Предлагаемое учебное пособие содержит полный лекционный курс по дисциплине «Теория информации», читаемый автором для студентов направления подготовки 230400.62 «Информационные системы и технологии». Содержание курса определяется тематическим планом рабочей программы, составленной на основании Государственного образовательного стандарта высшего профессионального образования.

При написании пособия автор исходил из того, что при ограниченном объеме времени, отводимого на изучение дисциплины, очень важным является тщательный отбор материала, который, во-первых, уже изучался в какой-то степени в предшествующих дисциплинах, во-вторых, необходим для изучения большинства последующих смежных дисциплин, использующих этот материал.

В связи с этим настоящее учебное пособие имеет двойную структуру. Текст учебного пособия с содержательной точки зрения разбит на главы и параграфы, а с временной точки зрения – на лекции. Этим обстоятельством и объясняется нетрадиционная форма раздела «Содержание», в котором крупным шрифтом с выравниванием по левому краю приведена структура курса с содержательной точки зрения, а мелким курсивом – разбиение на лекции.

С учетом тематического плана содержание лекционного курса и настоящего учебного пособия состоит из трех глав.

Вероятностный характер сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов описания (построения математических моделей) названных информационных объектов и процессов. Детализация этого вывода является содержанием первой главы курса, называемой «Теоретические методы описания информационных объектов и процессов».

Вероятностные свойства сообщений, сигналов, каналов и помех позволяют ввести статистическое определение количественной меры информации и на ее основе количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала. Детализация перечисленных понятий является содержанием второй главы курса, называемой «Количественные оценки информационных объектов и процессов».

Важнейшей операцией по преобразованию формы представления информации, которая оказывает существенное влияние на все перечисленные ранее характеристики информационных систем, является кодирование. Рассмотрению различных методов кодирования информации посвящена третья глава настоящего курса, называемая «Основы теории кодирования».

С учетом учебного плана и учебного графика на дисциплину отводится 36 часов лекционных занятий. В соответствии с этим настоящее учебное пособие структурировано на 17 двухчасовых лекций (первая лекция посвящена изложению плана и технологии прохождения курса).

Каждая лекция завершается перечнем вопросов, которые используются студентами для самоконтроля, а преподавателем – для контроля изученного материала.

 


СОДЕРЖАНИЕ

 

 

Лекция 1. Вводная. 7

Введение. 7

Лекция 2. Случайные события и их вероятности. 16

Глава 1. Теоретические методы описания информационных объектов и процессов 16

Контрольные вопросы к лекции 2. 23

Лекция 3. Дискретные случайные величины  и процессы.. 25

1.2. Случайные величины и процессы.. 25

1.2.1. Дискретные случайные величины и процессы.. 26

Контрольные вопросы к лекции 3. 32

Лекция 4. Непрерывные случайные величины и процессы.. 35

1.2.2. Непрерывные случайные величины и процессы.. 35

Контрольные вопросы к лекции 4. 47

Лекция 5. Методы спектрального описания случайных процессов. 50

1.3. Методы спектрального описания случайных процессов. 50

1.3.1. Понятие спектра детерминированного процесса. 50

1.3.2. Спектральное описание случайных процессов. 55

Контрольные вопросы к лекции 5. 60

Лекция 6. Дискретизация и квантование. 62

1.4. Дискретизация и квантование. 62

1.4.1. Дискретизация. 64

1.4.2. Квантование. 71

Контрольные вопросы к лекции 6. 73

Лекция 7. Классификация помех. 75

1.5. Классификация помех. 75

Контрольные вопросы к лекции 7. 77

Лекция 8. Модели каналов. 79

1.6. Модели каналов. 79

1.6.1. Модели дискретных каналов. 79

1.6.2. Модели непрерывных каналов. 85

Контрольные вопросы к лекции 8. 87

Лекция 9. Методы модуляции. 89

1.7. Методы модуляции. 89

1.7.1. Непрерывные методы модуляции и манипуляции. 90

1.7.2. Методы импульсной модуляции. 104

1.7.3. Методы цифровой модуляции. 108

1.8. Согласование характеристик сигнала и канала. 114

Контрольные вопросы к лекции 9. 119

Лекция 10. Основы статистического подхода к определению количества информации. 123

Глава 2. Количественные оценки информационных объектов и процессов. 123

2.1. Подходы к определению количества информации. 123

2.2. Основы статистического подхода к определению количества информации 125

2.3. Энтропия объединения (ансамбля) 132

Контрольные вопросы к лекции 10. 137

Лекция 11. Основная теорема Шеннона. 139

2.4. Основная теорема Шеннона для дискретного канала. 139

2.5. Энтропийные характеристики непрерывных информационных объектов 145

Контрольные вопросы к лекции 11. 158

Лекция 12. Назначение и классификация кодов. 160

Глава 3. Основы теории кодирования. 160

3.1. Назначение и классификация кодов. 160

3.2. Эффективное кодирование. 166

Контрольные вопросы к лекции 12. 176

Лекция 13. Общие принципы построения помехоустойчивых кодов. 178

3.3. Помехоустойчивое кодирование. 178

3.3.1. Общие принципы построения помехоустойчивых кодов. 178

3.3.2. Классификация избыточных двоичных кодов. 185

3.3.3. Простейшие блоковые коды с обнаружением ошибок. 188

Контрольные вопросы к лекции 13. 191

Лекция 14. Коды с обобщенными проверками на четность. 193

3.3.4. Групповые коды с обнаружением и исправлением ошибок. 193

Контрольные вопросы к лекции 14. 208

Лекция 15. Полиномиальные коды.. 211

Контрольные вопросы к лекции 15. 229

Лекция 16. Сверточные коды.. 232

3.3.5. Сверточные коды.. 232

Контрольные вопросы к лекции 16. 244

Лекция 17. Каскадные коды. Эффективность помехоустойчивого кодирования 246

3.3.6. Каскадные коды.. 246

3.3.7. Оценка эффективности применения корректирующих кодов. 247

Контрольные вопросы к лекции 17. 258

Библиографический список. 259

 

 


Лекция 1.
Вводная

 

Введение

 

Информация, наряду с материей и энергией, является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена.

Однако можно перечислить основные свойства информации: а) информация переносит знания об окружающем мире, которых в рассматриваемой точке не было до получения информации; б) информация не материальна, но она проявляется в форме материальных носителей – дискретных знаков, символов или функций времени; в) информация может быть заключена как в символах, как таковых, так и в их взаимном расположении; г) символы доставляют информацию только для получателя, способного их распознать.

Распознавание состоит в отождествлении символов с объектами реального мира и их отношениями. Поэтому информацию коротко и не строго можно определить как результат моделирования, т. е. описания реального мира или его исследуемой части.

Под символами понимаются реальные различимые получателем объекты: буквы, цифры и т. п. Из символов строятся последовательности, которые называются сообщениями. Элементарным сообщением является каждый из символов. Множество всех символов, используемых для построения сообщений в какой-либо информационной системе, называется ее алфавитом.

Сообщения и их последовательности содержат информацию для получателя, которую ему необходимо доставить. Любая доставка, транспортировка, передача информации неразрывно связана с определенной материальной системой, называемой системой передачи информации, структура которой в самом общем виде выглядит следующим образом (рис. В1).

 
Рис. В1 Структура системы передачи информации

Источник сообщений вырабатывает информацию в виде сообщений. С источником связано определенное множество возможных сообщений. Генерация некоторого конкретного сообщения заключается в случайном выборе одного сообщения из множества возможных или вероятных. Какое это конкретно будет сообщение заранее неизвестно, по крайней мере, тому, для кого оно предназначено. Если бы передаваемое сообщение было заранее известным, т. е. детерминированным, то передача его не имела бы смысла, поскольку оно не содержит информации. Поэтому сообщения следует рассматривать как случайные события, или случайные функции, или случайные величины. Другими словами, должно существовать множество вариантов сообщений, из которых с определенной вероятностью реализуется одно. Источник сообщения можно рассматривать как устройство, осуществляющее выбор одного из некоторого множества сообщений.

Чтобы сравнивать между собой различные источники и различные каналы необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении информацию. Ранее на интуитивном уровне было определено, что заранее известное сообщение не содержит информации. В связи с вероятностным характером сообщений до их получения в месте приема существует неопределенность в отношении того, какое из возможных сообщений поступит. При приеме сообщения эта неопределенность снимается полностью или частично. Чем больше существовавшая ранее и снимаемая при получении сообщения неопределенность, тем, очевидно, большее количество информации содержит это сообщение. Например, из двух сообщений, одно из которых содержит сведения о результатах бросания монеты, а другое – о результатах бросания игральной кости, второе содержит больше информации, поскольку снимает большую неопределенность относительно исхода этого эксперимента.

Таким образом, количество информации, содержащееся в сообщении, может быть количественно оценено по вероятности его поступления. Это позволяет установить объективную численную меру количества информации, содержащегося в любых возможных сообщениях, независимо от их конкретного смысла, ценности, полезности и т. п.

Введение количественной меры информации позволяет определить такие понятия как производительность источника, избыточность, скорость передачи информации, пропускная способность канала.

Под производительностью источника понимается скорость создания информации, т. е. количество информации, создаваемое источником в единицу времени.

Под избыточностью сообщения (источника) понимается использование в сообщениях большего количества символов, чем это минимально необходимо для передачи того же количества информации. Например, естественный язык обладает избыточностью, благодаря чему речь и текст обладают большой устойчивостью к искажениям. Если в тексте по каким-либо причинам оказались искаженными одна-две буквы в среднем на предложение, то, как правило, информация, заключенная в тексте, сохраняется. Отсюда следует, что избыточность является полезным свойством. Однако избыточные сообщения требуют большего времени для передачи по каналу и большего объема памяти для их хранения.

Под скоростью передачи информации по каналу понимается количество информации, получаемое в единицу времени.

Под пропускной способностью канала понимается максимально возможная (потенциальная) скорость передачи информации, которая может быть достигнута для данного канала при выполнении определенных условий.

Естественными носителями информации являются последовательности дискретных элементов – символов или непрерывные функции. Любые дискретные элементы можно сопоставить числам. Поэтому все сообщения можно разделить на два класса: дискретные во времени (последовательности случайных величин) и непрерывные во времени (случайные функции). Реализацией дискретного сообщения является вполне определенная последовательность чисел. Реализацией непрерывного сообщения является определенная непрерывная во времени функция. Дискретное сообщение является частным случаем непрерывного.

Передатчик преобразует сообщение в сигнал. Сигналами называются динамические, т. е. изменяющиеся во времени, процессы любой природы. Чаще других используются электрические сигналы. Сигналы формируются путем изменения тех или иных параметров физического носителя по закону, определяемому переносимым сообщением. Таким образом, в передатчике каждое из возможных сообщений на входе преобразуется в одно из возможных значений сигнала на выходе по строго установленному правилу.

Сигналы, как и сообщения, по своим параметрам разделяются на дискретные и непрерывные. Если множество возможных значений параметра, используемого для переноса сообщения, конечно, то сигнал называется дискретным по данному параметру. Если информативный параметр сигнала может принимать бесконечное множество значений, то сигнал называется непрерывным по данному параметру. В зависимости от типов сообщений, сигналов и каналов правила, по которым сообщения преобразуются в сигналы, могут называться кодированием и модуляцией.

Под кодированием в широком смысле понимается преобразование формы представления информации с целью обеспечения удобства ее передачи или хранения. В узком смысле, говоря о кодировании, обычно предполагают преобразование дискретных форм представления информации. Кодирующим отображением называется отображение множества слов, представленных в одном алфавите символов, в множество слов, представленных в этом же или другом фиксированном алфавите. Первый алфавит называется входным, второй – выходным. Применение кодирующего отображения к любому слову, представленному во входном алфавите, называется кодированием, а само кодирующее отображение, т. е. правило, по которому осуществляется кодирование, называется кодом. Слова в выходном алфавите, сопоставленные по правилу кодирования словам, записанным во входном алфавите, называются кодовыми комбинациями. Кодирование обеспечивает либо максимально возможную скорость передачи информации, либо заданную помехоустойчивость.

В первом случае целесообразно обеспечить такое кодирование сообщения, при котором за счет устранения избыточности существенно уменьшается число символов, приходящихся на единицу сообщения. При отсутствии помех это дает непосредственный выигрыш во времени передачи. Такое кодирование называется эффективным или оптимальным кодированием для источника.

Другой тип кодирования, называемый кодированием для канала, призван обеспечить заданную достоверность при передаче по каналу, на который воздействуют помехи. Такое кодирование называют избыточным или помехоустойчивым. Оно должно выполняться с учетом интенсивности помех в канале и их статистических закономерностей. Помехоустойчивые или корректирующие коды строятся так, что для передачи сообщений используются не все кодовые комбинации, возможные на данном алфавите, а лишь часть из них. Тем самым создается возможность обнаружения и исправления ошибки при неправильном приеме некоторого числа символов кодовой комбинации. Таким образом, корректирующие свойства этих кодов достигаются введением в кодовые комбинации специальных дополнительных, т. е. избыточных символов.

Целесообразность устранения избыточности методами эффективного кодирования для источника с последующим введением избыточности за счет использования помехоустойчивого кодирования обусловлена тем, что избыточность источника в большинстве случаев не согласована со статистическими закономерностями помех в канале и поэтому не может быть полностью использована для повышения достоверности принимаемых сообщений.

Устройства, осуществляющие кодирование и декодирование, называются кодером и декодером, соответственно.

Модуляция представляет собой процесс преобразования кодовых символов, как элементов кодовых комбинаций, в сигналы, пригодные для передачи по каналу, свойства которого предъявляют определенные требования к характеристикам и параметрам передаваемых по ним сигналов. Для образования сигналов при модуляции используются постоянные состояния, колебания или импульсы, которые рассматриваются как носители. В исходном состоянии эти носители представляют собой как бы чистую поверхность, подготовленную для нанесения необходимых данных, т. е. к модуляции. Общий принцип модуляции состоит в изменении в соответствии с передаваемым сообщением одного или нескольких параметров носителя, называемого еще переносчиком или несущей. От вида модуляции в значительной мере зависят помехоустойчивость и пропускная способность системы связи.

Все сказанное ранее о случайном характере сообщений в равной мере относится и к сигналам.

В любом канале кроме сигнала, генерируемого передатчиком рассматриваемой системы, действуют другие сигналы и родственные сигналу по физической природе случайные процессы, объединяемые общим названием – помехи. Помехи накладываются на полезный сигнал и искажают его. Поэтому сигнал на выходе канала отличается от входного.

Приемник осуществляет восстановление переданного сообщения по принятому сигналу. Данная операция возможна, если известно правило преобразования сообщения в сигнал. На основании этого правила вырабатывается правило обратного преобразования – демодуляции и декодирования, позволяющее в конечном счете выбрать на приемной стороне сообщение из известного множества сообщений, в идеальном случае полностью совпадающее с переданным. Однако вследствие искажений принятого сигнала возможны ошибки при восстановлении сообщений.

Способность системы противостоять вредному влиянию помех на передачу сигнала называется помехоустойчивостью. Знание характеристик случайных процессов, называемых помехами, позволяет учесть их влияние и выбрать такие способы передачи и приема, которые обеспечивают предельную или потенциальную помехоустойчивость, которая при выбранных критериях, заданном множестве сигналов и известных характеристиках помех не может быть превзойдена ни при каком способе приема.

Все сказанное ранее позволяет представить структуру системы передачи информации, изображенную на рис. В1, в виде, изображенном на рис. В2.

Дискретность или непрерывность канала определяется только характером информационных параметров сигналов на его входе и выходе. На входе и выходе дискретного канала наблюдаются дискретные сигналы или символы из конечного алфавита. В непрерывных каналах сигналы на входе и выходе непрерывны в ранее определенном смысле.

Рис. В2. Структурная схема системы передачи информации

Из всего рассмотренного во введении можно сделать следующие выводы:

1. Вероятностный характер сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов описания (построения математических моделей) названных информационных объектов и процессов. Детализация этого вывода является содержанием первой главы курса, называемой «Теоретические методы описания информационных объектов и процессов».

2. Вероятностные свойства сообщений, сигналов, каналов и помех позволяют ввести статистическое определение количественной меры информации и на ее основе количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала. Детализация понятий, перечисленных в настоящем выводе, является содержанием второй главы курса, называемой «Количественные оценки информационных объектов и процессов».

3. Важнейшей операцией по преобразованию формы представления информации, которая оказывает существенное влияние на все перечисленные ранее характеристики информационных систем, является кодирование. Рассмотрению различных методов кодирования информации посвящена третья и последняя глава настоящего курса, называемая «Основы теории кодирования».

 

Контрольные вопросы к лекции 1

 

1-1. Перечислите основные свойства информации.

1-2. Что называется алфавитом информационной системы?

1-3. Перечислите основные структурные составляющие системы передачи информации.

1-4. Почему сообщения, генерируемые источником, следует рассматривать как случайные величины или случайные функции?

1-5. Каким образом может быть оценено количество информации, содержащееся в сообщении?

1-6. Что называется производительностью источника сообщений?

1-7. Что называется избыточностью источника сообщений?

1-8. Как определяется скорость передачи информации по каналу?

1-9. Что называется пропускной способностью канала?

1-10. В чем состоят функции передатчика?

1-11. Что называется сигналом?

1-12. Чем дискретный сигнал отличается от непрерывного?

1-13. Что называется кодированием информации?

1-14. Что называется кодовой комбинацией?

1-15. В чем состоит цель эффективного кодирования?

1-16. В чем состоит цель помехоустойчивого кодирования?

1-17. Какой процесс называется модуляцией?

1-18. В чем состоят функции приемника?

1-19. Что называется потенциальной помехоустойчивостью системы?

1-20. Какой канал называется дискретным?

 

Лекция 2
Случайные
события и их
вероятности

Глава 1.
Теоретические методы описания информационных
объектов и процессов

 

Во введении было определено, что сообщения, сигналы и помехи являются случайными величинами или процессами. Для их описания и анализа необходимо использовать основные положения теории вероятностей, рассмотрению которых посвящена данная глава. Все содержание данной главы в равной мере относится к сообщениям, сигналам и помехам.

 

1.1. Случайные события и их вероятности

Событие – любое явление, в отношении которого имеет смысл говорить, наступило оно или не наступило в результате определенного комплекса условий или случайного эксперимента. Отсюда следует, что событие можно рассматривать, как величину, которая может принимать только два значения.

Можно выделить виды событий.

Событие называется достоверным, если оно обязательно происходит при каждом осуществлении определенной совокупности условий. Например, если брошена игральная кость, то выпадение не менее одного и не более шести очков является достоверным событием.

Событие называется невозможным, если оно заведомо не произойдет ни при одном осуществлении данной совокупности условий. Например, если брошена игральная кость, то выпадение более шести очков является невозможным событием.

Событие называется случайным, если оно может произойти, а может и не произойти при осуществлении данной совокупности условий. Например, если брошена игральная кость, то выпадение любого из шести очков является случайным событием.

События называются несовместимыми, если их одновременное появление при осуществлении данной совокупности условий невозможно, т. е. появление события А в данном испытании исключает появление события В в этом же испытании. Например, если из урны с черными и белыми шарами случайным образом извлекается белый шар, то его появление исключает извлечение черного шара в той же попытке.

События называются единственно возможными, если появление в результате испытания одного и только одного из них является достоверным событием. Например, если стрелок произвел выстрел, то обязательно происходит одно из двух событий – попадание или промах. Эти события единственно возможные.

Совокупность единственно возможных событий испытания называется полной группой событий.

События называются равновозможными, если есть основания считать, что ни одно из этих событий не является более возможным, чем другие. Например, появление герба или решетки при бросании монеты есть события равновозможные.

Если А – какое либо событие, то событие, состоящее в том, что событие А не наступило, называется событием противоположным событию А или отрицанием события А и обозначается ` А

Суммой событий A и B называется такое событие, обозначаемое A + B, которое происходит только тогда, когда происходит хотя бы одно из событий A или B или оба вместе.

Произведением событий A и B называется такое событие, обозначаемое A´B, которое происходит только тогда, когда происходят оба события A и B одновременно. Если A и B несовместимые события, то событие A´B является невозможным.

События, происходящие при реализации определенного комплекса условий или в результате случайного эксперимента, называются элементарными исходами. Считается, что при проведении случайного эксперимента реализуется только один из возможных элементарных исходов. Множество всех элементарных исходов случайного эксперимента называется пространством элементарных исходов.

Те элементарные исходы, при которых наступает интересующее нас событие, называются исходами, благоприятствующими этому событию.

Вероятность события A – это отношение числа благоприятствующих этому событию элементарных исходов к общему числу всех возможных и равновозможных элементарных исходов эксперимента , где – число элементарных исходов, благоприятствующих событию A;

 – число всех возможных элементарных исходов эксперимента.

Можно определить следующие свойства вероятности:

– вероятность достоверного события равна 1;

– вероятность невозможного события равна 0;

– вероятность случайного события есть положительное число, заключенное между 0 и 1: .

Математическое понятие вероятности случайного события является абстрактной характеристикой, присущей не самим интересующим нас объектам материального мира, а их теоретико-множественным моделям. Требуется некоторое дополнительное соглашение для того, чтобы можно было извлекать сведения о вероятностях из экспериментальных данных. В соответствии с классическим определением принято оценивать вероятность события относительной частотой благоприятных исходов опыта. Если проведено N независимых испытаний и в n из них наблюдалось событие А, то эмпирическая (выборочная) оценка вероятности p ( A ), которую можно получить из этой серии равна: p ЭМП (А) = n / N . При этом полагают, что p ЭМП ® p, если число испытаний N ® µ .

 

Основные теоремы теории вероятностей

 

1. Теорема сложения вероятностей. Вероятность появления хотя бы одного из двух совместных событий равна сумме вероятностей этих событий за вычетом вероятности их одновременного наступления .

Если A и B несовместимые события, то событие A´B является невозможным. Следовательно, . Обобщая на несколько попарно несовместимых событий, можно записать .

Если события  образуют полную группу, то сумма вероятностей этих событий равна единице: . Сумма вероятностей противоположных событий равна единице: .

2. Теорема умножения вероятностей. Предположим, что из общего числа  исходов испытания событию  благоприятствуют  элементарных исходов, событию  благоприятствуют  элементарных исходов, а одновременному наступлению событий  и  благоприятствуют  элементарных исходов. Если событие  наступило, то это означает, что осуществился один из  благоприятствующих ему исходов, причем из этих  исходов благоприятствовать событию  будут и те  исходов, при которых события  и  наступают одновременно. В связи с этим вводится понятие условной вероятности. Условной вероятностью  называют вероятность события , вычисленную в предположении, что событие  уже наступило. Независимыми событиями называются события, если вероятность одного из них не зависит от наступления или ненаступления другого. Если событие  независимо от события , то . События  называются независимыми в совокупности, если каждое из этих событий независимо в паре с любым произведением остальных событий, содержащим как все остальные события, так и любую их часть. Независимость событий  в совокупности влечет за собой попарную независимость этих событий. Для двух случайных зависимых событий вероятность произведения этих событий (т. е. одновременного появления в одном испытании) равна произведению вероятностей одного из них на условную вероятность другого, рассчитанную при условии, что первое событие уже произошло: . Если событие  независимо от события , то . Вероятность одновременного появления нескольких попарно независимых событий  равна произведению их вероятностей: .

3. Теорема полной вероятности. Пусть имеется группа событий , обладающих следующими свойствами: а) все события попарно несовместимы; б) их объединение образует пространство элементарных исходов; в) они образуют полную группу событий. Такие события называют гипотезами, поскольку заранее неизвестно, какое из этих событий наступит. Пусть  – некоторое событие, которое может произойти при наступлении одного и только одного из событий . Это означает, что . Вероятность события , которое может наступить лишь при условии появления одного из несовместимых событий , образующих полную группу, равна сумме произведений вероятностей каждого из этих событий на соответствующую условную вероятность события : . Приведенная формула называется формулой полной вероятности.

4. Формула Байеса. Пусть, как и в предыдущем случае имеем совокупность события  и группы событий , обладающих теми же свойствами. Допустим, что событие  произошло и требуется определить, как в связи с этим изменились вероятности гипотез, т. е. . Эта задача решается с помощью формулы Байеса . Формула Байеса позволяет переоценить вероятности гипотез после того, как становится известным результат испытания, в итоге которого появилось событие , т. е. найти апостериорные вероятности. Используя понятие условной вероятности формулу Байеса можно интерпретировать как вероятность того, что причиной появления события  является событие .

5. Формула Бернулли. Пусть производится n независимых испытаний, в каждом из которых событие А может появиться, либо не появиться. Будем считать, что вероятность события А в каждом испытании одна и та же и равна p. Следовательно, вероятность ненаступления события А в каждом испытании также постоянна и равна q = 1 - p. Вероятность того, что при этих условиях при n испытаниях событие А произойдет ровно k раз и, следовательно, не произойдет n - k раз определяется по формуле Бернулли , где . Формулу Бернулли называют также формулой биномиального распределения вероятностей, поскольку в правой ее части стоит ( k +1)-й член бинома Ньютона.

6. Локальная теорема Лапласа. При больших n формулой Бернулли пользоваться затруднительно из-за громоздкости вычислений. Для этого случая доказана так называемая локальная теорема Лапласа, дающая асимптотическую формулу, которая позволяет приближенной найти вероятность появления события k раз в n испытаниях, если число испытаний достаточно велико , где  и . Для функции j ( x ) составлены таблицы, соответствующие положительным значениям аргумента x, поскольку j (- x ) = j ( x ). Формула Лапласа дает тем большую точность, чем выше n.

7. Интегральная теорема Лапласа. Если при тех же условиях, что и в предыдущем случае, требуется найти вероятность того, что событие А появится в n испытаниях не менее k 1 раз и не более k 2 раз, то пользуются интегральной теоремой Лапласа , где  – табличная функция, называемая функцией Лапласа. Эта функция обладает следующими свойствами: а) Ф(0)=0; б) Ф( µ )=0; в) Ф(- x ) = - Ф( x ) т. е. функция нечетна. Значения аргумента x находятся по формулам: .

Основное отличие понятия вероятности от относительной частоты появления события состоит в том, что первую характеристику вычисляют до опыта, а вторую – после опыта. В том случае, если относительная частота наступления события обнаруживает устойчивую закономерность, т. е. если отношение n / N для достаточно больших N и большинства серий испытаний мало отклоняется от некоторой постоянной величины, то эту постоянную величину называют статистической вероятностью появления события. Для сопоставления этих величин также используется функция Лапласа. Пусть производится N независимых испытаний, в каждом из которых событие А может появиться, либо не появиться. Будем считать, что вероятность события А в каждом испытании одна и та же и равна p. Следовательно, вероятность ненаступления события А в каждом испытании также постоянна и равна q = 1 - p. Необходимо определить вероятность того, что отклонение относительной частоты n / N от вероятности p по абсолютной величине не превышает e >0. Это осуществляется с помощью следующей формулы .

8. Формула Пуассона. При тех же условиях, что и в предыдущих случаях, но если n велико (n>100), а p мало (p<0,1), вместо локальной формулы Лапласа удобнее пользоваться асимптотической формулой Пуассона .

 

Контрольные вопросы к лекции 2

 

2-1. Какие события называются достоверными?

2-2. Какие события называются невозможными?

2-3. Какие события называются случайными?

2-4. Какие события называются несовместимыми?

2-5. Какие события называются единственно возможными?

2-6. Что называется полной группой событий?

2-7. Какие события называются равновозможными?

2-8. Какие события называются противоположными?

2-9. Что называется суммой событий?

2-10. Что называется произведением событий?

2-11. Что называется вероятностью события?

2-12. Чему равна вероятность суммы совместимых событий?

2-13. Чему равна вероятность суммы несовместимых событий?

2-14. Чему равна сумма вероятностей событий, образующих полную группу?

2-15. Что называется условной вероятностью?

2-16. Какие события называются независимыми?

2-17. Чему равна вероятность произведения двух случайных зависимых событий?

2-18. Чему равна вероятность произведения двух случайных независимых событий?

2-19. Чему равна вероятность события , которое может наступить лишь при условии появления одного из несовместимых событий , образующих полную группу?

2-20. Для чего служит формула Байеса?

2-21. Для чего служит формула Бернулли?

2-22. Для чего служит локальная теорема Лапласа?

2-23. Для чего служит интегральная теорема Лапласа?

2-24. Для чего служит формула Пуассона?

 


 

Лекция 3.
Дискретные
случайные
величины
и процессы

 

 

1.2. Случайные величины и процессы

 

Существует класс случайных событий, имеющих числовые значения. Например, в опыте с игральной костью возможные результаты броска характеризуются числами 1, 2, 3, 4, 5, 6. Принято говорить, что в подобных опытах наблюдаются случайные величины, а не случайные события. Роль случайных событий играют возможные значения случайной величины. Случайными величинами называются величины, которые в результате испытания могут принимать с определенными вероятностями те или иные заранее неизвестные возможные значения. В зависимости от того, какова мощность множества возможных значений случайной величины, различают дискретные и непрерывные случайные величины.

Дискретной называют случайную величину, которая принимает отдельные, изолированные возможные значения с определенными вероятностями. Число возможных значений дискретной случайной величины может быть конечным.

Непрерывной называют случайную величину, которая может принимать все значения из некоторого конечного или бесконечного промежутка. Число возможных значений непрерывной случайной величины бесконечно. При описании непрерывной случайной величины принципиально невозможно записать и пронумеровать все ее возможные значения, принадлежащие даже достаточно небольшому интервалу. Эти значения образуют бесконечное множество, которое называется континуум.

Теория случайных величин изучает вероятностные явления в статике, рассматривая их как некоторые зафиксированные результаты испытаний. Для описания процессов, которые отображают развивающиеся во времени, т. е. динамические случайные явления, используются методы теории случайных процессов, которые также могут быть дискретными и непрерывными.

 

1.2.1. Дискретные случайные величины и процессы

 

Задание дискретной случайной величины. Для задания дискретной случайной величины недостаточно перечислить ее возможные значения, необходимо еще указать вероятности этих значений.

Законом распределения дискретной случайной величины называют соответствие между возможными значениями дискретной случайной величины и их вероятностями. Его можно задать таблично или аналитически.

Например, таблица, характеризующая случайную величину X, генерируемую игральной костью

xi 1 2 3 4 5 6
p(xi) 1/6 1/6 1/6 1/6 1/6 1/6

 

где xi – возможные значения случайной величины X, а p ( xi) – вероятность появления данных значений. При этом p 1 + p 2 + . . . + pn =1.

В дальнейшем случайные величины в отличие от их возможных значений будем обозначать большими латинскими буквами X , Y , ... .

Для иллюстрации аналитического задания распределения дискретной случайной величины X воспользуемся условиями, для которых получена формула Бернулли, рассматривая в качестве X число появления события А в этих испытаниях. Для нахождения закона распределения требуется определить возможные значения X и их вероятности. Очевидно, событие А в n испытаниях может либо не появиться, либо появиться 1 раз, либо 2 раза, . . . , либо n раз. Таким образом, возможные значения X таковы: x 0 = 0, x 1 = 1, x 2 = 2, . . ., xn = n.

Вероятности этих возможных значений могут быть вычислены по формуле Бернулли , где k =0,1,2, . . . , n. Эта формула и является аналитическим выражением искомого закона распределения. Это распределение, определяемое формулой Бернулли, называется биномиальным. Название объясняется тем, что правую часть этой формулы можно рассматривать как общий член разложения бинома Ньютона:

.

Первый член разложения определяет вероятность наступления рассматриваемого события n раз в n независимых испытаниях, второй – n -1 раз, последний член – событие не появится ни разу в n испытаниях.

Пользуясь аналогичными рассуждениями, можно получить аналитическое выражение для распределения Пуассона , где .

Числовые характеристики дискретных случайных величин. Закон распределения полностью характеризует случайную величину. Однако часто закон распределения неизвестен, и приходится ограничиваться менее подробным описанием в виде числовых характеристик случайных величин.

К числу важнейших числовых характеристик случайных величин относят математическое ожидание.

Математическим ожиданием дискретной случайной величины называют сумму произведений всех ее возможных значений на их вероятности, т. е. .

Из определения следует, что математическое ожидание дискретной случайной величины есть неслучайная постоянная величина.

Вероятностный смысл математического ожидания состоит в том, что оно приближенно (тем точнее, чем больше число испытаний) равно среднему арифметическому наблюдаемых значений случайной величины.

Свойства математического ожидания:

а) математическое ожидание постоянной величины равно самой постоянной ;

б) постоянный множитель можно выносить за знак математического ожидания ;

в) математическое ожидание произведения нескольких взаимно независимых случайных величин равно произведению их математических ожиданий ;

г) математическое ожидание суммы нескольких случайных величин равно сумме их математических ожиданий . Это свойство справедливо как для независимых, так и для зависимых случайных величин;

д) математическое ожидание числа появления события А в n независимых испытаниях равно произведению числа испытаний n на вероятность p появления события в каждом испытании, т. е. математическое ожидание биномиального распределения .

На практике часто требуется оценить рассеяние возможных значений случайной величины вокруг ее среднего значения. Отклонением называется разность между случайной величиной и ее математическим ожиданием, т. е. , но, поскольку математическое ожидание отклонения равно нулю т. е. , то целесообразно заменить отклонения их квадратами. В результате получается следующая числовая характеристика случайной величины, называемая дисперсией и определяемая по формуле:

.

Таким образом, дисперсией дискретной случайной величины называется математическое ожидание квадрата отклонения случайной величины от ее математического ожидания.

Пусть дискретная случайная величина задана законом распределения

X x1 . . . xn
p p 1 . . . pn

Тогда квадраты отклонения будут иметь следующий закон распределения

[ X - M ( X )]2 [ x 1 - M ( X )]2 . . . [ xn - M ( X )]2
p p 1 . . . pn

И тогда по определению дисперсия равна

. Однако более удобно пользоваться следующей формулой .

Свойства дисперсии:

а) дисперсия постоянной величины равна нулю ;

б) постоянный множитель можно выносить за знак дисперсии, возводя его в квадрат ;

в) дисперсия суммы нескольких взаимно независимых случайных величин равна сумме дисперсий этих величин ;

г) дисперсия разности двух независимых случайных величин равна сумме их дисперсий ;

д) дисперсия числа появлений события А в n независимых испытаниях, в каждом из которых вероятность p появления события постоянна, равна произведению числа испытаний n на вероятность p появления и вероятность q не появления события в одном испытании, т. е. дисперсия биномиального распределения ;

е) дисперсия распределения Пуассона ;

ж) квадратный корень из дисперсии случайной величины X называется среднеквадратическим отклонением случайной величины X .

Свойства среднеквадратического отклонения случайной величины:

а) среднеквадратическое отклонение постоянной величины  равно нулю ;

б) при умножении случайной величины  на постоянную  ее среднеквадратическое отклонение умножается на ту же постоянную ;

в) среднеквадратическое отклонение суммы конечного числа попарно независимых случайных величин равно корню квадратному из суммы квадратов среднеквадратических отклонений этих величин .

 

Многомерные дискретные случайные величины

 

До сих пор рассматривались случайные величины, возможные значения которых определялись одним числом. Такие случайные величины называются одномерными. Если возможные значения случайных величин определяются двумя, тремя, . . . n числами, то их называют двумерными, трехмерными, . . . n-мерными случайными величинами.

Законом распределения дискретной двумерной случайной величины ( X , Y ) называют перечень возможных значений этой величины, т. е. пар чисел ( xi , yj ) и их вероятностей p ( xi , yj). Закон распределения может быть задан в виде таблицы.

Y | X x 1 . . . xi  . . . xn
y 1 p ( x 1 , y 1 ) . . . p ( xi , y 1 ) . . . p ( xn , y 1 )
. . . . . . . . . . . . . . . . . .
yj p ( x 1 , yj ) . . . p ( xi , yj ) . . . p ( xn , yj )
 . . . . . . . . . . . . . . . . . .
ym p ( x 1 , ym ) . . . p ( xi , ym ) . . . p ( xn , ym )

 

Так как события ( X = xi , Y = yi ) при i =1,2, . . ., n и j =1,2, . . . , m образуют полную группу событий, то сумма вероятностей во всех клетках таблицы равна 1. Вероятность того, что X примет значение xi равна сумме вероятностей в i-м столбце. Аналогично вероятность того, что Y примет значение yj равна сумме вероятностей в j-й строке.

Для того чтобы охарактеризовать зависимость между составляющими двумерной случайной величины вводится понятие условного распределения. Условным распределением, например, составляющей X при Y = yj  называется совокупность условных вероятностей , вычисленных в предположении, что событие Y = yj уже наступило.

Важнейшей характеристикой условного распределения является условное математическое ожидание. Условным математическим ожиданием дискретной случайной величины X при Y = y, где y – определенное возможное значение Y, называют произведение возможных значений X на их условные вероятности

.

Для описания системы двух случайных величин, кроме математического ожидания и дисперсий составляющих, используются и другие характеристики, к которым, прежде всего, относятся корреляционный момент и коэффициент корреляции.

Корреляционным моментом m xy случайных величин X и Y называют математическое ожидание произведения отклонений этих величин

.

Для вычисления корреляционного момента можно пользоваться формулой: .

Корреляционный момент двух независимых случайных величин X и Y равен 0.

Коэффициентом корреляции  случайных величин X и Y называется отношение корреляционного момента к произведению среднеквадратических отклонений этих величин .

Две случайные величины X и Y называются некоррелированными, если их корреляционный момент равен 0. Две коррелированные величины так же и зависимы. Обратное не всегда имеет место, т. е. если две случайные величины X и Y зависимы, то они могут быть коррелированными и некоррелированными. Итак, из коррелированности двух случайных величин следует их зависимость, но из зависимости еще не вытекает коррелированность. Из независимости двух случайных величин следует их некоррелированность, но из некоррелированности еще нельзя сделать заключение о независимости этих величин.

 

Дискретные случайные процессы

 

Как было сказано ранее, сообщение является последовательностью дискретных элементов символов или непрерывной функцией.

Адекватной математической моделью первого случая является дискретный случайный процесс с дискретным временем. Процессы такого типа часто называют дискретными случайными последовательностями или цепями Маркова.

Цепь Маркова характеризуется тем, что переход от состояния к состоянию возможен лишь в дискретные моменты времени t 0 , t 1 , t 2 ... . При этом абсолютные значения моментов времени роли не играют. Поэтому часто временной параметр отождествляют с множеством индексов {0,1,2, ...} и тогда цепь Маркова имеет вид: X 0 , X 1 , X 2 , ..., Xi , ... . Здесь Xi - случайная величина, принимающая значения из множества L = {1,2,3 ...}, i = 0,1,2, .... – моменты времени.

 

Контрольные вопросы к лекции 3

 

3-1. Какая случайная величина называется дискретной?

3-2. Какая случайная величина называется непрерывной?

3-3. Что называется законом распределения дискретной случайной величины?

3-4. Какими способами может быть задан закон распределения дискретной случайной величины?

3-5. Какой закон распределения дискретной случайной величины называется биномиальным?

3-6. Что называется математическим ожиданием дискретной случайной величины?

3-7. В чем состоит вероятностный смысл математического ожидания?

3-8. Чему равно математическое ожидание постоянной величины?

3-9. Чему равно математическое ожидание произведения постоянной величины на случайную величину?

3-10. Чему равно математическое ожидание произведения нескольких взаимно независимых случайных величин?

3-11. Чему равно математическое ожидание суммы нескольких случайных величин?

3-12. Чему равно математическое ожидание биномиального распределения?

3-13. Что называется дисперсией дискретной случайной величины?

3-14. Чему равна дисперсия постоянной величины?

3-15. Чему равна дисперсия произведения постоянной величины на случайную величину?

3-16. Чему равна дисперсия суммы нескольких взаимно независимых случайных величин?

3-17. Чему равна дисперсия разности двух взаимно независимых случайных величин?

3-18. Чему равна дисперсия биномиального распределения?

3-19. Чему равна дисперсия распределения Пуассона?

3-20. Как называется квадратный корень из дисперсии случайной величины?

3-21. Чему равно среднеквадратическое отклонение постоянной величины?

3-22. Какие дискретные случайные величины называются многомерными?

3-23. Что называется законом распределения дискретной двумерной случайной величины?

3-24. Что называется условным распределением двумерной случайной величины?

3-25. Что называется условным математическим ожиданием двумерной случайной величины?

3-26. Что называется корреляционным моментом системы двух случайных величин?

3-27. Чему равен корреляционный момент двух независимых случайных величин?

3-28. Что называется коэффициентом корреляции системы двух случайных величин?

 


 

Лекция 4
Непрерывные
случайные
величины и процессы

 

1.2.2. Непрерывные случайные величины и процессы

 

Задание непрерывной случайной величины. Дискретная случайная величина задается перечнем всех ее возможных значений и их вероятностей. Такой способ не является общим. Он по определению неприменим для непрерывных случайных величин.

В связи с этим целесообразно дать общий способ задания любых (в том числе и дискретных) типов случайных величин. С этой целью вводится понятие функции распределения.

Функцией распределения или интегральной функцией распределения  называется функция, определяющая вероятность того, что случайная величина X примет значение, меньшее x, для каждого значения x, т. е.

.

Эта функция обладает следующими свойствами.

1. Значения функции распределения принадлежат отрезку [1, 0], т. е. , что вытекает из определения .

2.  – неубывающая функция, т.е. если .

3. Вероятность того, что случайная величина X примет значение, заключенное в интервале ( a , b ), равна приращению функции распределения на этом интервале, т.е. .

4. Вероятность того, что непрерывная случайная величина X примет одно определенное значение, равна 0, т.е. имеет смысл рассматривать вероятность попадания X не в точку, а в интервал, пусть сколь угодно малый.

5. Если возможные значения случайной величины принадлежат интервалу ( a , b ), то . Если возможные значения случайной величины расположены на всей оси x, то имеют место следующие предельные соотношения ; .

Функция биномиального закона распределения вероятностей , где , а x - случайная величина, принимающая целочисленные значения в диапазоне от 1 до n.

Биномиальное распределение вероятностей при  переходит в распределение Пуассона. Функция пуассоновского закона распределения вероятностей , где x - случайная величина, принимающая целочисленные значения в диапазоне от 1 до n.

Последовательность событий, которые наступают в случайные, заранее неизвестные моменты времени называется потоком событий. К основным свойствам, которые характеризуют потоки событий, относятся свойства стационарности, отсутствия последействия и ординарности.

Свойство стационарности потока событий проявляется в том, что вероятность наступления событий на любом отрезке времени зависит только от числа событий и от длительности промежутка времени и не зависит от начала его отсчета при условии, что различные промежутки времени являются непересекающимися.

Свойство отсутствия последействия потока событий проявляется в том, что вероятность наступления событий на любом отрезке времени не зависит от того, наступали или не наступали события в моменты времени, которые предшествовали началу рассматриваемого временного отрезка. Таким образом, если поток событий обладает свойством отсутствия последействия, то появления какого либо числа событий в различные непересекающиеся отрезки времени считаются взаимно независимыми.

Свойство ординарности потока событий проявляется в том, что наступление двух и более событий за малый промежуток времени практически невозможно. Таким образом, если поток событий обладает свойством ординарности, то за бесконечно малый промежуток времени может появиться не более одного события.

Поток событий, который обладает свойствами стационарности, отсутствия последействия и ординарности, называется простейшим или пуассоновским потоком. Вероятность появления k событий простейшего потока за временной отрезок t можно рассчитать по формуле Пуассона  где  – среднее число событий, которые наступают в единицу времени, называемое интенсивностью потока.

Непрерывную случайную величину можно задать не только с помощью интегральной функции распределения, но и с помощью дифференциальной функции распределения вероятностей, называемой еще функцией плотности вероятностей. Дифференциальная функция неприменима для задания распределения вероятностей дискретной случайной величины.

Функция плотности вероятности определяется как первая производная от функции распределения, т. е. .

В связи с таким определением функции плотности вероятности можно утверждать, что вероятность того, что непрерывная случайная величина X примет значение, принадлежащее интервалу ( a , b ), равна .

Зная функцию плотности вероятности можно найти функцию распределения .

Свойства функции плотности вероятности

 

1. Функция плотности вероятности неотрицательна, т. е. .

2. Интеграл от функции плотности вероятности в пределах от –µ до +µ равен 1, т. е. .

Итак, функция плотности вероятности определяет плотность распределения вероятности для каждой точки x, т. е. вероятность того, что случайная величина примет значение, принадлежащее интервалу , приближенно равна (с точностью до бесконечно малых высшего порядка по отношению к D x) произведению плотности вероятности в точке x на длину интервала D x, т.е. .

При решении задач, которые выдвигает практика, сталкиваются с различными распределениями непрерывных случайных величин.

1. Равномерное распределение. Распределение называется равномерным, если на интервале, которому принадлежат все возможные значения случайной величины, функция плотности вероятности имеет постоянное значение, т. е. аналитически это можно записать

2. Нормальное или гауссово распределение. Нормальным или гауссовым распределением называется распределение непрерывной случайной величины, которое описывается функцией плотности вероятности

.

Данная функция задается двумя параметрами a и s. Параметр a в этом случае понимается как математическое ожидание, а параметр s – как среднеквадратическое отклонение нормального распределения.

График этой функции называется нормальной кривой или кривой Гаусса. Ее свойства:

а) данная функция определена на всей оси x ;

б) нормальная кривая расположена над осью x , т.к. при всех значениях x функция принимает положительные значения;

в) предел функции при неограниченном возрастании x равен нулю, т.е. ось x служит горизонтальной асимптотой графика;

г) функция достигает своего максимума, равного , при x = a;

д) график функции симметричен относительно прямой x = a;

Изменение параметра a , т. е. математического ожидания, не меняет формы нормальной кривой, а приводит к ее сдвигу вдоль оси абсцисс. При возрастании a сдвиг кривой происходит вправо, при убывании – влево.

При возрастании параметра s максимальная ордината нормальной кривой убывает, а сама кривая становится более пологой, т.е. сжимается к оси абсцисс. При убывании параметра s нормальная кривая становится более островершинной и растягивается в положительном направлении оси ординат. Площадь фигуры, ограниченной нормальной кривой и осью абсцисс, при любых значениях параметров a и s равна единице. Если нормальное распределение задано математическим ожиданием, равным нулю, и среднеквадратическим отклонением, равным единице, то нормальную кривую называют нормированной кривой.

Если непрерывная случайная величина подчиняется нормальному закону распределения, то абсолютная величина ее отклонения от математического ожидания не превосходит утроенного среднеквадратического отклонения. Это утверждение известно под названием правила трех сигм.

Если случайная величина X распределена по нормальному закону, то по определению вероятность того, что X примет значение, принадлежащее интервалу , равна . Для использования эту формулу удобнее преобразовать путем введения новой переменной , что обеспечивает возможность сведения ее к известной табличной функции Лапласа (1.16)  и получения более удобного выражения: .

Числовые характеристики непрерывной случайной величины. Распространим определения числовых характеристик дискретной случайной величины на непрерывную случайную величину.

Математическое ожидание непрерывной случайной величины X , возможные значения которой принадлежат интервалу ( a , b ), определяется как .

Если возможные значения принадлежат всей оси, то .

В частности, математическое ожидание равномерного распределения , а нормального .

Дисперсией непрерывной случайной величины X называют математическое ожидание квадрата ее отклонения  или .

В частности дисперсия равномерного распределения , а нормального .

Среднеквадратическое отклонение непрерывной случайной величины определяется как и для дискретной .

 

Многомерные непрерывные случайные величины

 

По аналогии с одномерным случаем функцией распределения двумерной непрерывной случайной величины ( X , Y ) называют функцию W ( x , y ), определяющую для каждой пары чисел x и y вероятность того, что X примет значение, меньшее x, и при этом Y примет значение, меньшее y, т.е.

Функция плотности вероятности двумерной непрерывной случайной величины ( X , Y ) определяется как  и, следовательно, .

Функцию  можно рассматривать как предел отношения вероятности попадания случайной точки в прямоугольник со сторонами D x и D y к площади этого прямоугольника, когда обе стороны прямоугольника стремятся к нулю.

Для того чтобы случайные величины X и Y были независимыми, необходимо и достаточно, чтобы функция распределения системы ( X , Y ) была равна произведению функций распределения составляющих . Аналогично и по отношению к функции плотности вероятности .

Так же, как и для двумерных дискретных случайных величин для двумерной непрерывной случайной величины определяется корреляционный момент  и коэффициент корреляции.

Сохраняются те же отношения между понятиями независимости и некоррелированности. Можно сделать существенное дополнение, касающееся нормально распределенных составляющих двумерной случайной величины. Для этого случая понятия независимости и некоррелированности равносильны.

Обобщая сказанное о непрерывных случайных величинах можно заключить:

1. Основными характеристиками непрерывных случайных величин являются функция распределения и функция плотности вероятности.

2. Числовыми параметрами, описывающими непрерывную случайную величину, служат математическое ожидание и дисперсия.

3. Статистические связи между отдельными составляющими многомерной случайной величины описываются корреляционным моментом.

4. Некоррелированные гауссовы величины статистически независимы.

 

Непрерывные случайные процессы

 

По определению случайный процесс X ( t ) – это особого вида функция, характеризующаяся тем, что в любой момент времени t принимаемые ею значения являются случайными величинами.

Фиксируя на определенном временном интервале мгновенные значения этой функции, получаем единственную реализацию x 1 ( t ) случайного процесса X ( t ).

Случайный процесс X ( t ) представляет собой бесконечную совокупность таких реализаций, образующих статистический ансамбль (рис. 1.1).

Фиксируя величины { x 1 ( t 1 ), x 2 ( t 1 ), . . . , xk ( t 1 )}, полученные в отдельных реализациях, получаем так называемое одномерное сечение данного случайного процесса и наблюдаем тем самым случайную величину X ( t 1 ).

Рис. 1.1. Случайный процесс X ( t )

Ее плотность вероятности w ( x , t 1 ) называют одномерной плотностью вероятности процесса X ( t ) в момент времени t 1. Она по определению характеризует вероятность того, что реализации случайного процесса в момент времени t 1 примут значения, лежащие в интервале ( x , dx ).

Естественным обобщением является n-мерное сечение, приводящее к n-мерной плотности вероятности. Описание случайных процессов с помощью плотностей вероятностей высокой размерности может быть весьма подробным, но приводит к значительным математическим трудностям.

Менее подробное, но вполне удовлетворительное описание случайных процессов можно выполнить с помощью числовых характеристик тех случайных величин, которые наблюдаются в сечениях процессов. Поскольку в общем случае для случайных процессов эти характеристики зависят от времени, они называются моментными функциями.

По аналогии с ранее изложенным математическое ожидание непрерывного случайного процесса есть среднее значение процесса X ( t) в текущий момент времени t, причем усреднение проводится по всему ансамблю реализаций процесса .

Дисперсия непрерывного случайного процесса, так же определяемая по аналогии, позволяет судить о степени разброса мгновенных значений, принимаемых отдельными реализациями, в фиксированном сечении t относительно среднего значения

.

Функция корреляции определяется в соответствии с выражением

и характеризует степень статистической связи тех случайных величин, которые наблюдаются в сечениях t 1 и t 2. При совмещении сечений t 1 = t 2 = t функция корреляции численно равна дисперсии D ( t ).

Случайные процессы, статистические характеристики которых одинаковы во всех сечениях, принято называть стационарными.

Говорят, что случайный процесс стационарен в узком смысле, если его любая n-мерная плотность вероятности инвариантна относительно временного сдвига t ..

Если ограничиться требованием того, чтобы математическое ожидание и дисперсия процесса не зависели от времени, а функция корреляции зависела лишь от разности , т.е. m ( t 2 - t 1 ) = m ( t ), то такой случайный процесс называют стационарным в широком смысле. Из стационарности в узком смысле следует и стационарность в широком смысле, но не наоборот.

Функция корреляции стационарного процесса является четной, т. е m ( t ) = m (- t ). Кроме того, абсолютное значение этой функции при любых t не превышает ее значения при t = 0, т.е. .

Часто удобнее пользоваться нормированной функцией корреляции , которая при t =0 равна 1, т.е. r (0)=1.

Стационарный случайный процесс X ( t ) называется эргодическим, если при нахождении его моментных функций усреднение по статистическому ансамблю можно заменить усреднением по времени над единственной реализацией x ( t ), длительность Т которой может быть сколь угодно велика Т ® µ . Это означает, что если стационарный случайный процесс является эргодическим, то его единственная реализация достаточной длины есть «типичный представитель» статистического ансамбля.

Обозначая усреднение по времени угловыми скобками, можно записать для эргодического процесса выражение для математического ожидания , которое имеет физический смысл постоянной составляющей выбранной реализации.

Дисперсия подобного процесса

.

Поскольку величина  имеет физический смысл средней мощности реализации, а М2 – мощности постоянной составляющей, то D - мощность флуктуационной составляющей эргодического процесса.

Аналогично находят функцию корреляции эргодического процесса

.

Достаточным условием эргодичности стационарного в широком смысле процесса является стремление к нулю функции корреляции при неограниченном росте временного сдвига t, т.е. .

Доказано, что это требование можно несколько ослабить. Оказывается, что стационарный в широком смысле случайный процесс является эргодическим, если выполняется условие Слуцкого .

Среди прочих случайных процессов особое место занимает стационарный гауссов процесс - любая его многомерная плотность вероятности определяется двумя характеристиками: математическим ожиданием и функцией корреляции.

Чем быстрее убывает функция m ( t), тем меньшей оказывается статистическая связь между мгновенными значениями случайного процесса в два несовпадающих момента времени.

Числовой характеристикой, служащей для оценки скорости изменения реализаций случайного процесса, является интервал корреляции (рис. 1.2) t к, определяемый выражением

.

Рис. 1.2. Интервал корреляции

Смысл этого понятия состоит в следующем. Если известна информация о поведении какой-либо реализации в прошлом, то возможен вероятностный прогноз случайного процесса на время порядка t к.

Попытка прогнозировать на время существенно большее t к окажется безрезультатной, поскольку мгновенные значения реализации случайного процесса, сколь угодно далеко отстоящие друг от друга по времени, практически некоррелированы, т.е. среднее значение произведения  стремится к нулю.

Для оценки статистической связи между двумя стационарными случайными процессами X ( t ) и Y ( t ) вводится понятие взаимной корреляционной функции (ВКФ) этих процессов, определяемой в соответствии с выражениями

.

Случайные процессы называются стационарно связанными, если их ВКФ зависят не от самих аргументов, а лишь от величины их разности

t = t 2 - t 1. В этом случае m xy ( t ) = m yx (- t ).

Приведенные ранее выводы о соотношениях независимости и некоррелированности случайных величин справедливы и для случайных процессов.

Обобщая сказанное о случайных процессах, можно сделать следующие выводы:

1. Случайный процесс задается бесконечным ансамблем своих реализаций.

2. Важнейшими характеристиками случайного процесса являются математическое ожидание, дисперсия и функция корреляции.

3. Если статистические характеристики случайного процесса неизменны во времени, то такой процесс называется стационарным.

4. Характеристики стационарного эргодического случайного процесса можно изучать, анализируя единственную его реализацию достаточно большой длины.

 

Контрольные вопросы к лекции 4

 

4-1. Что называется функцией распределения непрерывной случайной величины?

4-2. Перечислите свойства функции распределения непрерывной случайной величины?

4-3. Что называют потоком событий?

4-4. В чем состоит свойство стационарности потока событий?

4-5. В чем состоит свойство отсутствия последействия потока событий?

4-6. В чем состоит свойство ординарности потока событий?

4-7. Какой поток событий называется пуассоновским?

4-8. Что называется интенсивностью пуассоновского потока событий?

4-9. Что называется функцией плотности вероятности?

4-10. Перечислите свойства функции плотности вероятности.

4-11. Какое распределение называется равномерным?

4-12. Какое распределение называется нормальным?

4-13. Перечислите свойства нормальной кривой.

4-14. Как сказывается на виде нормальной кривой изменение величины математического ожидания?

4-15. Как сказывается на виде нормальной кривой изменение величины среднеквадратического отклонения нормального распределения?

4-16. Как определяется математическое ожидание непрерывной случайной величины?

4-17. Как определяется математическое ожидание непрерывной случайной величины с равномерным законом распределения?

4-18. Как определяется математическое ожидание непрерывной случайной величины с нормальным законом распределения?

4-19. Как определяется дисперсия непрерывной случайной величины?

4-20. Как определяется дисперсия непрерывной случайной величины с равномерным законом распределения?

4-21. Как определяется дисперсия непрерывной случайной величины с нормальным законом распределения?

4-22. Как, используя геометрическую интерпретацию, можно рассматривать функцию плотности вероятности двумерной непрерывной случайной величины?

4-23. Чему должна быть равна функция распределения системы ( X , Y ) для того чтобы случайные величины X и Y были независимыми?

4-24. Что называется случайным процессом?

4-25. Что называется реализацией случайного процесса?

4-26. Что называется одномерным сечением случайного процесса?

4-27. Как определяется математическое ожидание непрерывного случайного процесса?

4-28. Как определяется дисперсия непрерывного случайного процесса?

4-29. Что характеризует функция корреляции непрерывного случайного процесса?

4-30. Какие случайные процессы называются стационарными?

4-31. Какие случайные процессы называются стационарными в узком смысле?

4-32. Какие случайные процессы называются стационарными в широком смысле?

4-33. Какой случайный стационарный процесс называется эргодическим?

4-34. В чем состоит физический смысл математического ожидания эргодического процесса?

4-35. В чем состоит физический смысл дисперсии эргодического процесса?

4-36. Что является достаточным условием эргодичности стационарного в широком смысле процесса?

4-37. В чем состоит физический смысл понятия интервала корреляции?

4-38. Для чего вводится понятие взаимной корреляционной функции?

4-39. Какие случайные процессы называются стационарно связанными?


 

Лекция 5.
Методы
спектрального
описания
случайных
процессов

 

1.3. Методы спектрального описания случайных процессов

1.3.1. Понятие спектра детерминированного процесса

 

Для теории сигналов большое значение имеет разложение заданной функции f ( x ) по различным ортогональным системам функций j n ( x ).

Бесконечная система функций j n ( x ) называется ортогональной на отрезке [ a , b ], если . При этом предполагается, что  т.е. что никакая из функций j n ( x ) не равна тождественно нулю.

В математике доказывается, что если функции j n ( x ) непрерывны, то произвольная абсолютно интегрируемая функция f ( x ) может быть представлена в виде ряда , который называется обобщенным рядом Фурье по данной системе функций j n ( x ).

Совокупность коэффициентов с n называется спектром функции f ( x ) в ортогональной системе j n ( x ). Применительно к сигналам s ( t ), которые являются функциями времени можно записать .

При разложении периодического сигнала s ( t ) в ряд Фурье в качестве ортогональной системы функций берут функции

или

.

Интервал ортогональности в обоих случаях совпадает с периодом T =2 p / w 1 функции s ( t ).

Первая система функций приводит к тригонометрической форме ряда Фурье, вторя – к комплексной форме.

При использовании комплексной формы ряд Фурье записывается следующим образом .

При такой записи ряда Фурье периодический сигнал заменяется суммой простых гармонических колебаний, как с положительными, так и с отрицательными частотами. Конечно, отрицательные частоты здесь не имеют физического смысла. Они появляются в результате применения символического метода расчета и анализа электрических цепей. Действительно, каждое слагаемое первого ряда можно представить в виде вектора на комплексной плоскости, который вращается против часовой стрелки с частотой k w 1. Каждое слагаемое второго ряда – вектор, вращающийся с той же частотой, но в противоположном направлении.

Отрицательная частота - k w 1 только указывает направление вращения вектора. Так как  и  - комплексно сопряженные величины, то сумма векторов в любой момент времени дает вектор, направленный по вещественной оси, т.е k-ю гармоническую составляющую вещественной функции времени s ( t ).

При переходе к тригонометрической форме базисных функций понятие отрицательной частоты теряет смысл, и ряд Фурье записывается следующим образом .

Чтобы разложить периодическую функцию в ряд. Фурье, нужно определить амплитуды и начальные фазы всех гармоник, а также постоянную составляющую. Аналитически разложение выполняется по формулам:

Совокупность коэффициентов ряда Фурье в базисе тригонометрических функций называется частотным спектром периодической функции.

Спектр периодической функции называется линейчатым или дискретным, так как состоит из отдельных линий, длина которых пропорциональна амплитудам (коэффициентам ряда) гармоник, имеющих дискретные частоты k w 1.

Пользуясь приведенными ранее выражениями, можно определить спектр периодической последовательности прямоугольных импульсов длительностью t с периодом T и амплитудой U.

Для этого сигнала  Следовательно, сигнал можно представить рядом Фурье

Анализ этого выражения показывает, что амплитуды спектральных составляющих убывают по закону , обращаясь в нуль на частотах, кратных скважности  последовательности.

Если предположить, что период последовательности прямоугольных импульсов T ® µ , то получим спектр одиночного прямоугольного импульса, т.е. непериодического сигнала.

Математически спектр непериодической функции, определяется уже не рядом Фурье, а интегралом Фурье, он будет не дискретным, а сплошным, и называться спектральной плотностью .

Полученное выражение, обеспечивающее переход от представления сигнала во временной области к его представлению в частотной области, называется прямым преобразованием Фурье. Если известно представление сигнала в частотной области , то можно найти его представление во временной области за счет использования обратного преобразования Фурье .

Спектральная плотность одиночного прямоугольного импульса, вычисленная с помощью интеграла Фурье, имеет следующий вид: .

Из сопоставления закона изменения амплитуд гармонических составляющих дискретного спектра периодической последовательности прямоугольных импульсов и формы кривой спектральной плотности одиночного прямоугольного импульса можно сделать важный и общий для всех форм импульсов вывод.

Дискретный спектр периодической последовательности импульсов вписывается в кривую спектральной плотности одиночного импульса этой же формы, которая называется огибающей дискретного спектра.

Если сигнал описывается функцией вида , то он называется гауссовым импульсом. Такой сигнал лишь условно можно назвать импульсом из-за его поведения при t ® µ. Однако, условие b > 0 обеспечивает достаточно быстрое уменьшение мгновенного значения сигнала с ростом времени. Поэтому применяют понятие эффективной длительности подобных импульсов, определяемое из условия десятикратного уменьшения уровня сигнала, т.е. tи находится из условия . С учетом этого спектральная плотность гауссова импульса .

Таким образом, спектральная плотность гауссова импульса вещественна и описывается гауссовой же функцией частоты.

Пусть сигнал s ( t ) представляет собой короткий импульс, сосредоточенный в точке t =0 и имеющий площадь А. Его математическая модель s ( t ) = А d ( t ), где d ( t ) - дельта - функция. Спектральная плотность этого сигнала , т.е. дельта - импульс имеет равномерный спектр на всех частотах.

Если ввести понятие ширины спектра детерминированного сигнала и понимать под ней частотный интервал, в пределах которого модуль спектральной плотности не меньше некоторого наперед заданного уровня, например (рис. 1.3),

Рис. 1.3. Ширина спектра

изменяется в пределах от | S | max до 0,1 | S | max, то из рассмотренных примеров можно заключить, что , откуда следует важный вывод: чем меньше длительность импульса, тем шире его спектр.

Обобщая сказанное о спектральном представлении детерминированных процессов, можно сделать следующие выводы:

1. Спектральное представление детерминированного процесса представляет собой разложение его на сумму (конечную или бесконечную) элементарных гармонических процессов с различными частотами.

2. Периодические процессы представляются в виде рядов Фурье, которые образуются суммированием бесконечного числа гармоник с частотами, кратными основной частоте периодического процесса.

3. Спектральное представление непериодических, в частности импульсных, процессов осуществляется путем их разложения в интеграл Фурье.

4. В частотной области непериодический процесс характеризуется своей спектральной плотностью. Процесс и его спектр взаимно связаны парой прямого и обратного преобразований Фурье.

5. Для существования спектральной плотности в классическом смысле необходимо, чтобы функция, описывающая процесс, была абсолютно интегрируема.

6. Спектральная плотность неинтегрируемой функции содержит особенности типа дельта – функции

 

1.3.2. Спектральное описание случайных процессов

 

Понятно, что применение преобразования Фурье непосредственно к случайному процессу невозможно. Однако его можно применить к конкретной реализации случайного процесса как неслучайной функции времени, а затем произвести усреднение по реализациям.

В соответствии с этим методом для каждой реализации xi ( t ) случайного процесса X ( t ) находится спектральная функция .

Затем может быть найдена средняя за время Тр существования реализации мощность .

Функция, определяемая в соответствии с выражением , называется плотностью мощности по частоте или спектром мощности реализации. Она характеризует распределение энергии реализации по оси частот.

Усреднение этой функции по всем реализациям xi ( t ) случайного процесса X ( t ) дает спектральную характеристику этого случайного процесса, называемую спектральной плотностью мощности или спектром мощности процесса

.

Таким образом, случайный процесс во временной области порождает другой случайный процесс в частотной области, поскольку функции SX ( w ) являются случайными функциями частоты.

Следует подчеркнуть различие между спектральной плотностью S ( w ) детерминированного процесса и спектральной плотностью мощности SX ( w ) случайного процесса X ( t ). Первая характеризует меру энергии, приходящуюся на единичную полосу частот, а вторая - удельную меру мощности. Этот факт находит свое отражение и в разных физических размерностях этих величин.

По своему физическому смыслу спектр мощности веществен и неотрицателен, т.е. SX ( w ) ³ 0. В связи с этим целесообразно ввести понятие т.н. одностороннего спектра мощности N ( w ) случайного процесса, определяемого следующим образом

Вывод о стационарности случайного процесса, представленного спектром мощности SX ( w ), можно сделать по виду этой функции. Для того, чтобы процесс был стационарен, любые два ее значения, отвечающие двум несовпадающим частотам, должны быть некоррелированы между собой, а дисперсия неограниченно велика при любых частотах.

Между спектром мощности SX ( w ) стационарного случайного процесса X ( t ) и его корреляционной функцией m X ( t ) существует связь, определяемая теоремой Хинчина - Винера, в соответствии с которой спектр мощности SX ( w ) стационарного случайного процесса X ( t ) и его корреляционная функция m X ( t ) связаны между собой прямым и обратным преобразованием Фурье

.

Поскольку m X ( t ) - четная функция t, а SX ( w ) - четная функция w, то эти выражения можно записать, используя интегралы в полубесконечных пределах

.

Использование этих выражений, а также понятия одностороннего спектра позволяет вычислить дисперсию стационарного случайного процесса путем интегрирования только по положительным, т.е. физическим частотам .

Стационарный случайный процесс со спектром мощности гауссова вида  имеет корреляционную функцию  и дисперсию , откуда можно сделать вывод о том, что гауссов характер спектра мощности приводит к функции корреляции тоже гауссова вида.

По аналогии с интервалом корреляции для временной области вводится понятие эффективной ширины спектра при описании случайных процессов в частотной области.

Пусть случайный процесс X ( t ) характеризуется односторонним спектром мощности N ( w ), причем Nmax - экстремальное значение этой функции (рис. 1.4). Заменим мысленно данный случайный процесс другим, у которого спектральная плотность мощности постоянна и равна Nmax в пределах эффективной полосы

Рис. 1.4. Эффективная ширина спектра

частот D w эф, выбираемой из условий равенства средних мощностей обоих процессов, т.е. , откуда получается выражение для эффективной ширины спектра .

Из свойств преобразования Фурье следует, что величины интервала корреляции t к и эффективной ширины спектра D w эф связаны соотношением , т.е. увеличение интервала корреляции приводит к сокращению ширины спектра и наоборот. Это является общим свойством любой пары функций, связанных преобразованием Фурье.

Стационарный случайный процесс X ( t ) с равномерной спектральной плотностью  в некоторой полосе частот (рис. 1.5) называют квазибелым шумом по аналогии с белым светом, т.е. электромагнитными колебаниями, имеющими равномерный спектр в области видимых частот.

Рис. 1.5. Спектральная плотность Рис. 1.6. Корреляционная функция

Корреляционная функция этого процесса (рис. 1.6) . Отсюда следует, что при значениях t, кратных 1/2 f в корреляционная функция m X ( t ) = 0. Таким образом, сечения процесса, разделенные интервалом k /2 f в, где k - целое число, некоррелированы между собой.

Здесь уместно сделать важное наблюдение. Интервал корреляции t к, представляющий собой оценку ширины основного лепестка корреляционной функции, связан с величиной f в соотношением .

Если беспредельно увеличивать f в, то придем к процессу, у которого любые два несовпадающих сечения некоррелированы, т.е. функция корреляции равна нулю во всех точках, кроме t = 0 и выражается через дельта - функцию .

Некоррелированность мгновенных значений такого случайного процесса означает бесконечно большую скорость изменения его во времени - как бы мал ни был интервал t, процесс за это время может измениться на любую величину.

Спектральная плотность такого процесса постоянна на всех частотах, а не в ограниченном диапазоне, а дисперсия бесконечна. Такой процесс называется белым шумом.

Белый шум представляет собой не реальный физический процесс, а абстрактную математическую модель, весьма полезную и широко применяемую. Это обусловлено тем, что на практике часто приходится встречаться с процессами, имеющими равномерную спектральную плотность в полосе частот, которая является гораздо более широкой, чем полосы пропускания цепей, на которые эти процессы воздействуют. В этом смысле белый шум будет адекватной математической моделью.

 

Контрольные вопросы к лекции 5

5-1. Какая система функций называется ортогональной?

5-2. Что называется спектром функции в ортогональной системе функций?

5-3. Перечислите известные вам ортогональные системы функций?

5-4. На что указывает отрицательная частота в комплексной форме ряда Фурье?

5-5. Что называется частотным спектром периодической функции?

5-6. Почему спектр периодической функции называется дискретным?

5-7. Какие гармоники отсутствуют в спектре периодической последовательности прямоугольных импульсов?

5-8. Что представляет собой спектр непериодической функции?

5-9. Как соотносятся между собой дискретный спектр периодической последовательности импульсов и кривая спектральной плотности одиночного импульса этой же формы?

5-10. Как соотносятся между собой длительность импульса и ширина его спектра?

5-11. Что характеризует спектр мощности случайного процесса?

5-12. В чем состоит различие спектральной плотности детерминированного процесса и спектральной плотности мощности случайного процесса?

5-13. Что называется односторонним спектром мощности случайного процесса?

5-14. Как можно сделать вывод о стационарности случайного процесса, представленного спектром мощности, по виду этой функции?

5-15. Как связаны между собой спектр мощности стационарного случайного процесса и его корреляционная функция?

5-16. Как определяется эффективная ширина спектра случайного процесса?

5-17. Как связаны между собой интервал корреляции и эффективная ширина спектра случайного процесса?

5-18. Какой случайный процесс называется квазибелым шумом?

5-19. Какой случайный процесс называется белым шумом?

5-20. В чем состоит отличие белого и квазибелого шума?


Лекция 6.
Дискретизация и
квантование

 

1.4. Дискретизация и квантование

Как уже отмечалось ранее, для описания различных информационных объектов используются различные функции времени.

1. Непрерывная функция непрерывного аргумента t (рис. 1.7). Функция в любой из бессчетного множества моментов времени из конечного интервала времени ( t 0 , tn ) может принимать любое значение из бесконечного множества значений, расположенных в конечном интервале ( xmin , xmax ).

Рис. 1.7. Непрерывная функция непрерывного аргумента t

 

2. Непрерывная функция дискретного аргумента t (рис. 1.8). Функция может принимать любые значения из бесконечного множества значений, расположенных в конечном интервале ( xmin , xmax ), но только в фиксированные, наперед заданные моменты времени tk, k =0,1,2,..., n.

Рис. 1.8. Непрерывная функция дискретного аргумента t

 

3. Дискретная функция непрерывного аргумента t (рис. 1.9). Значения, которые может принимать функция, образуют дискретный конечный ряд значений, расположенных в интервале ( xmin , xmax ). Значения аргумента t могут быть любыми в интервале ( t 0 , tn ).

Рис. 1.9. Дискретная функция непрерывного аргумента t

 

4. Дискретная функция дискретного аргумента t (рис. 1.10). Значения, которые могут принимать аргумент t и функция x ( t ), образуют конечные дискретные ряды, заполняющие соответствующие интервалы ( t 0 , tn ) и ( xmin , xmax ).

Рис. 1.10. Дискретная функция дискретного аргумента t

Во многих случаях переход от непрерывного сообщения (сигнала) к дискретному осуществляется специально, поскольку это обеспечивает значительные преимущества при передаче, обработке и хранении информации. В связи с тем, что каждому из дискретных значений конечного множества можно сопоставить число, возникает возможность перейти к цифровому представлению информации, что позволит использовать ЭВМ при ее обработке.

Для выполнения этого перехода над непрерывной функцией непрерывного аргумента осуществляются преобразования, называемые квантованием по времени или дискретизацией и квантованием по уровню. В дальнейшем во избежание путаницы под дискретизацией будем понимать квантование по времени, а квантование по уровню будем называть просто квантованием.

 

1.4.1. Дискретизация

 

Дискретизация сводится к замене непрерывной по аргументу функции, функцией дискретного аргумента. В результате непрерывная функция отображается конечным числом ее мгновенных значений, взятых через определенные (равные или неравные) промежутки времени D t.

Таким образом, дискретизация представляет собой, по сути, разложение непрерывной функции на совокупность составляющих ее элементарных функций. Для решения этой задачи используется упомянутое ранее обобщенное преобразование Фурье.

Примером ортогонального базиса, кроме рассмотренных ранее гармонических функций, являются функции отсчета Котельникова. Наличие разнообразных базисов в различных областях (частотной и временной) говорит о возможности различных спектральных представлений процессов.

Однако при любом из них возникает вопрос о возможности сколь угодно точного восстановления мгновенных значений процесса, исходя из отсчетных или выборочных значений, взятых через определенные интервалы. Дискретизация должна производиться так, чтобы по отсчетным значениям или коэффициентам разложения можно было получить воспроизводящую функцию, которая с заданной точностью отображает исходную функцию.

Восстановление непрерывной функции по конечному числу ее значений на конечном интервале времени T =( t 0 , tn ) приводит к погрешности, зависящей от числа взятых значений этой функции на этом интервале, т.е. от частоты дискретизации и от выбранного способа восстановления (интерполяции).

Таким образом, при дискретизации приходится решать вопрос о том, как часто следует производить отсчеты функции, т.е. каков должен быть шаг дискретизации D t или частота дискретизации f =1/ D t.

При малом D t количество отсчетов на интервале Т будет больше, точность воспроизведения - выше, но увеличится и количество информации, которое нужно хранить, передавать, обрабатывать. При большом D t соответственно наоборот.

Оптимальной является такая дискретизация, которая обеспечивает восстановление исходной функции с заданной точностью при минимальном количестве отсчетов. В этом случае все отсчеты существенны для восстановления исходной функции. В случае неоптимальной дискретизации, кроме существенных, производятся и избыточные отсчеты. Эти отсчеты не нужны для восстановления исходной функции с заданной точностью. Наличие избыточной информации нежелательно при ее передаче, обработке и хранении, так как требует больших ресурсов. Устранение этой избыточности может производиться в процессе дискретизации, в связи с чем дискретизацию можно рассматривать не только как операцию по преобразованию непрерывного сообщения в дискретное, но и как один из методов устранения избыточности.

Методы дискретизации и восстановления непрерывных функций классифицируются по следующим основным признакам:

а) регулярность отсчетов,

б) критерии оценки точности дискретизации и восстановления,

в) вида базисной функции.

Регулярность отсчетов в многом предопределяет степень устранения избыточности и сложность устройств дискретизации и восстановления. В соответствии с этим признаком можно выделить равномерную и неравномерную дискретизации. Дискретизация называется равномерной, если D t = const на всем интервале Т. Величина D t выбирается на основе априорных сведений о характере дискретизируемой функции. Равномерная дискретизация применяется достаточно широко из-за простоты алгоритмов и аппаратуры для ее реализации. Однако при ее использовании возможна значительная избыточность отсчетов.

Дискретизация называется неравномерной, если D t = var. Выделяются два вида неравномерной дискретизации: адаптивная и программная.

При адаптивных методах дискретизации D t изменяется в зависимости от текущего изменения значений дискретизируемой функции. При программной дискретизации D t изменяется в соответствии с заранее составленной на основе априорных сведений о поведении дискретизируемой функции программой.

В качестве критериев оценки точности дискретизации и восстановления чаще других используются следующие критерии:

а) наибольшего отклонения;

б) среднеквадратический;

в) вероятностный;

г) интегральный.

Все эти критерии предлагают метод оценки отклонения воспроизводимой функции от исходной (т.е. ошибки дискретизации) на каждом из интервалов дискретизации. Если максимальная величина ошибки дискретизации задана, то эти критерии позволяют выбрать величину интервала дискретизации D t, который обеспечить требуемую точность воспроизведения.

Существуют два способа воспроизведения исходного сигнала: воспроизведение с экстраполяцией и воспроизведение с интерполяцией. Методы дискретизации с экстраполяцией воспроизводящей функции не требуют задержки сигнала в пределах интервала дискретизации, т.е. могут использоваться в системах, работающих в реальном масштабе времени. Дискретизация с интерполяцией требует задержки сигнала на интервал интерполяции.

Выбор системы базисных функций определяется, с одной стороны, требуемой точностью восстановления, с другой – требованиями ограничения сложности устройств и программ дискретизации и восстановления. Требованию простоты нахождения коэффициентов разложения, прежде всего, отвечают степенные алгебраические полиномы. Использование в качестве базисных ортогональных систем функций в ряде случаев оказывается целесообразным, так как для такой системы относительно просто вычисляются коэффициенты разложения, и вычисление их включает операцию интегрирования сигнала, что положительно сказывается на помехоустойчивости алгоритма дискретизации. Задача оптимального выбора конкретного узкого класса базисных функций может решаться лишь при наличии значительной априорной информации о характере дискретизируемой функции. Так, например, если известно, что сигналы являются периодическими, то поиск базисных функций следует направит в класс гармонических функций.

Тот факт, что функция времени, отображающая непрерывной сообщение или сигнал, является произвольной и случайной, означает, что она может иметь временные изменения любой скорости – от самых медленных до бесконечно быстрых скачкообразных изменений. Это, в свою очередь, означает, что такая функция имеет бесконечный спектр. Реальные сообщения обладают спектром, основная часть энергии которых сосредоточена в ограниченной полосе частот. Это обусловлено тем, что устройства, формирующие и преобразующие сообщения и сигналы, обладают конечной ограниченной полосой пропускания. Функции, описывающие такие реальные процессы, называют функциями с ограниченным или финитным спектром.

Для таких функций сформулирована и доказана теорема Котельникова, суть которой состоит в том, что функцию s ( t ) с финитным спектром можно точно восстановить по ее отсчетам s ( k D t ), взятым через интервалы времени D t =1/2 f в, где f в - верхняя частота спектра функции. Это осуществляется с помощью разложения функции в ряд Котельникова .

Функции , образующие базис Котельникова, называют функциями отсчета.

Они отличаются друг от друга только сдвигом по оси времени (рис. 1.11) на интервалы, кратные D t.

Рис. 1.11 Функции отсчета

Свойства функции отсчетов:

1) в моменты времени t = k D t, где k – любое целое число, j k достигает своего максимального значения равного единице;

2) в моменты времени t = n D t, где n - любое целое число, причем n ¹ k, j k=0;

3) функции отсчетов ортогональны на бесконечно большом интервале времени.

Теорема Котельникова обобщается и на случайные процессы. В этом случае она формулируется следующим образом: «Для случайного процесса X ( t ) с финитным спектром ряд Котельникова , где X ( k D t ) - сечения процесса X ( t ), взятые через интервалы D t , сходится в среднеквадратическом смысле к процессу X ( t )».

Фундаментальное значение теоремы Котельникова состоит в том, что она, во-первых, позволяет заменить исследование непрерывных процессов более простой задачей исследования дискретных процессов. Во-вторых, она позволяет наряду с частотным представлением процессов (разложение в гармонический ряд Фурье, спектральные функции) применять и временное представление - разложение во временной ряд.

Полезно сопоставить вид функции отсчетов и получаемое по теореме Котельникова значение D t с результатами рассмотрения параметров квазибелого шума. Из этого сопоставления можно сделать вывод о том, что шаг дискретизации D t не должен быть больше интервала корреляции t к дискретизируемого процесса.

Однако применение этой теоремы встречает некоторые трудности. Строго говоря, функция с ограниченным спектром не ограничена (не финитна) во времени и, наоборот, финитная функция времени имеет неограниченный спектр.

На практике часто приходится иметь дело с сообщениями и сигналами конечной длительности, энергия или мощность которых почти полностью сосредоточена в интервале времени от Т1 до Т2 и в полосе частот D F = f в - f н. Слово «почти» оправдывает применение к этим объектам теоремы Котельникова и позволяет представлять их не бесконечным рядом, а конечной суммой. Естественно, такое представление уже не является точным и выполняется с некоторой погрешностью.

Будем полагать, что вся энергия сигнала содержится в полосе частот до f в, а все отсчеты за пределами интервала (Т1, Т2) равны нулю. Тогда .

Ограничение членов ряда конечным числом приводит к появлению ошибки, абсолютное значение которой равно , а относительное , где знаменатель представляет собой полную мощность сигнала x ( t ), а числитель - часть его мощности, отброшенную при введении ограничения по времени и ограничения по спектру.

Очень полезной и более простой формулой для определения допустимой величины шага дискретизации D t при заданной погрешности D t для стационарного случайного процесса X ( t ) является формула , где  - значение коэффициента корреляции процесса X ( t ) при аргументе D t. Из этой формулы при заданной погрешности d д можно получить выражение для допустимой величины шага дискретизации , где  - функция, обратная коэффициенту корреляции процесса X ( t ).

Не смотря на наличие указанной погрешности, достоинство такого преобразования состоит в переходе от бесконечномерного пространства к конечномерному пространству сигналов, т. е. сигналов, финитных и по спектру и по времени. Размерность этого пространства определяется числом элементов суммы членов ряда, которое равно  или .

Эту величину B =2 D FT называют базой сигнала. Физически она указывает на количество отсчетов, необходимых для описания сигнала

Обобщая сказанное о дискретизации можно заключить:

1. Представление процесса в виде разложения по ортонормированному базису называется обобщенным преобразованием Фурье. Энергия сигнала равна сумме энергий всех элементов обобщенного ряда Фурье. Разложение сигнала по ортонормированному базису обеспечивает минимум ошибки аппроксимации.

2. Ряд Котельникова представляет собой частный случай обобщенного ряда Фурье. Базисными функциями в этом случае являются функции отсчета, сдвинутые во времени относительно друг друга на интервалы, кратные 1/2 f в . Коэффициентами ряда Котельникова служат отсчеты разлагаемого процесса, взятые через равные промежутки времени D t =1/2 f в . Если в спектре процесса отсутствуют составляющие с частотами выше f в , то ряд Котельникова дает точное в среднеквадратическом смысле представление процесса.

 

1.4.2. Квантование

 

После дискретизации реализации непрерывного процесса (сообщения) он может быть представлен совокупностью отсчетов, каждый из которых, вообще говоря, может иметь бесконечное множество значений. Реальные получатели сообщений имеют конечную разрешающую способность, т.е. весьма малый, но не нулевой интервал, внутри которого все разные значения отсчетов воспринимаются как одинаковые. Сказанное свидетельствует о целесообразности квантования. Квантование функции есть, по сути, отображение непрерывного множества ее возможных значений на конечное подмножество ее значений, каждое из которых представляется в виде одного из заранее определенных дискретных уровней, называемых уровнями квантования.

Под шагом квантования понимается разность D x = xm - xm -1 значений соседних уровней квантования. Число уровней квантования n на единицу больше числа интервалов квантования n -1. Если квантуемая функция x ограничена диапазоном от xmin до xmax, то n -1= ( xmax - xmin )/ D x.

При квантовании обычно истинное значение функции x отождествляется или заменяется значением xi, соответствующим ближайшему уровню квантования.

Естественно, замена истинных значений на значения уровней квантования приводит к ошибке e = xi - x, называемой ошибкой или шумом квантования.

Обычно полагается, что при равномерном квантовании, когда D x = const , шум квантования – случайная величина с равномерным законом распределения в пределах шага квантования. Максимальная ошибка квантования не превосходит половины шага квантования D x /2. Среднеквадратическая ошибка квантования равна корню квадратному из дисперсии равномерного распределения , т. е. в Ö3 раз меньше максимальной ошибки.

Таким образом, ошибка квантования уменьшается с уменьшением шага квантования D x. Однако при уменьшении шага растет число уровней квантования, а, следовательно, растет и разрядность чисел, требуемая для их представления. Кроме того, при уменьшении шага квантования его величина может оказаться сопоставимой с уровнем помех. Так что к выбору величины шага квантования необходимо подходить с тех же позиций, что и к выбору шага дискретизации, т. е. выбирать оптимальный шаг квантования с точки зрения обеспечения минимума уровней квантования и заданной величины ошибки квантования.

Рассмотренное квантование производилось с постоянным шагом D x = const , вследствие чего квантованная функция состояла из одинаковых по величине ступенек. Некоторые функции, подлежащие квантованию, изменяются так, что их целесообразно квантовать с различным приращением уровней, т.е. с переменным шагом квантования D x = var. Так, например, если необходимо получить более точные значения в какой-либо части квантуемой функции, то в этом диапазоне шаг квантования следует уменьшить.

Таким образом, после выполнения операций дискретизации и квантования непрерывное сообщение представляется конечной последовательностью отсчетов, величина которых может принимать только вполне определенные значения, соответствующие уровням квантования. Если сопоставить каждому уровню квантования число, то непрерывное сообщение в результате выполнения операций дискретизации и квантования будет представлять собой последовательность чисел из конечного интервала, т.е. будет представлено в цифровой форме.

 

 

Контрольные вопросы к лекции 6

 

6-1. Какое преобразование называется дискретизацией?

6-2. Какое преобразование называется квантованием?

6-3. Что называется шагом дискретизации?

6-4. Как зависит точность восстановления непрерывной функции от величины шага дискретизации?

6-5. Какая дискретизация считается оптимальной?

6-6. Какая дискретизация называется равномерной?

6-7. Какая дискретизация называется адаптивной?

6-8. Чем отличаются способы воспроизведения с интерполяцией и экстраполяцией?

6-9. Чем определяется выбор системы базисных функций?

6-10. В чем состоит суть теоремы Котельникова?

6-11. Перечислите свойства функции отсчетов, образующих базис Котельникова?

6-12. Как формулируется теорема Котельникова для случайных процессов?

6-13. Как величина шага дискретизации по Котельникову соотносится с интервалом корреляции дискретизируемого случайного процесса?

6-14. Чем обусловлена погрешность дискретизации по Котельникову?

6-15. Как по заданной погрешности дискретизации можно определить допустимую величину шага дискретизации?

6-16. Что называется базой сигнала?

6-17. Что называется шагом квантования?

6-18. Что называется шумом квантования?

6-19. Какое квантование называется равномерным?

6-20. Как при равномерном квантовании распределен шум квантования в пределах шага квантования?

6-21. Какие критерии используются при выборе оптимальной величины шага квантования?

6-22. В каких случаях целесообразно использование неравномерного квантования?

 


Лекция 7.
Классификация
помех

 

1.5. Классификация помех

Степень соответствия переданного и принятого сообщения определяется, главным образом, искажениями сигналов в канале и присутствующими в канале помехами.

Под искажениями понимаются нежелательные изменения формы передаваемых сигналов, которые вносятся самим каналом. При этом следует иметь в виду, что термин «искажения» относится к изменению формы сигнала в тех звеньях канала, которые по своему назначению не должны этого делать и ни в коей мере не относятся к звеньям канала, которые осуществляют целевые преобразования сигналов, невозможные без изменения их формы (например, модуляция и демодуляция).

Если искажения обусловлены известными характеристиками звеньев канала, то они могут быть, по крайней мере теоретически, устранены за счет введения соответствующей коррекции.

Помехи, в отличие от искажений, носят случайный характер и не могут быть полностью устранены. Помехой называется любое случайное воздействие на сигнал, которое ухудшает верность воспроизведения переданного сообщения. Помехи весьма разнообразны по своему происхождению и физическим свойствам.

В общем случае влияние помехи n ( t ) на сигнал u ( t ) можно выразить оператором z = y ( u , n ).

В частном случае, когда оператор y вырождается в сумму z = u + n, помеха называется аддитивной. Аддитивные помехи по своей электрической и статистической структурам подразделяются на:

1) флуктуационные или распределенные по частоте и по времени;

2) гармонические или сосредоточенные по частоте;

3) импульсные или сосредоточенные по времени.

Флуктуационная помеха - это непрерывный во времени случайный процесс. Чаще всего его полагают стационарным и эргодическим с нормальным распределением мгновенных значений и нулевым средним. Энергетический спектр такой помехи в пределах анализируемой полосы частот полагают равномерным.

Гармоническая помеха - это аддитивная помеха, спектр которой сосредоточен в сравнительно узкой полосе частот, сопоставимой или даже существенно более узкой, чем полоса частот сигнала. Эти помехи полагают равномерно распределенными в полосе частот, т.е. вероятность появления этой помехи в некоторой полосе частот пропорциональна ширине этой полосы и зависит от среднего числа n гп помех, превышающих пороговый уровень средней мощности сигнала в единице полосы частот.

Импульсная помеха - аддитивная помеха, представляющая собой последовательность импульсов, возбуждаемых кратковременными ЭДС апериодического или колебательного характера. Моменты появления импульсной помехи полагают равномерно распределенными во времени. Это означает, что вероятность появления импульсной помехи в течение интервала времени Т пропорциональна длительности этого интервала и среднему числу n ип помех в единицу времени, зависящему от допустимого уровня помех.

Если оператор y может быть выражен в виде произведения z = kn, где k ( t ) - случайный процесс, то помеху называют мультипликативной.

В реальных каналах обычно имеют место как аддитивные, так и мультипликативные помехи, т.е. z = ku + n.

Степень соответствия принятого сообщения переданному называется верностью. Количественная мера верности может быть определена по-разному, в зависимости от характера сообщений и требований получателя.

Если сообщение представляет собой дискретную последовательность элементов из некоторого конечного множества, то влияние помехи на передачу такого сообщения проявляется в том, что вместо фактически переданного элемента может быть принят какой-либо другой. Такое событие называется ошибкой.

В качестве количественной меры верности в этом случае может быть выбрана вероятность ошибки p ош.

При передаче непрерывных сообщений степенью соответствия принятого сообщения  переданному  может служить их «разность». Часто используется критерий среднеквадратического отклонения .

Количественную меру верности можно также определить как вероятность того, что отклонение  не превзойдет некоторого заранее заданного значения , т.е. .

 

Контрольные вопросы к лекции 7

 

7-1. Что называется искажениями сигналов в канале?

7-2. Что называется помехой, воздействующей на сигнал в канале?

7-3. Какая помеха называется аддитивной?

7-4. Перечислите основные типы аддитивных помех.

7-5. Чем флуктуационные помехи отличаются от гармонических?

7-6. Чем гармонические помехи отличаются от импульсных?

7-7. Чем импульсные помехи отличаются от флуктуационных?

7-8. Что представляет собой флуктуационная помеха?

7-9. Что представляет собой гармоническая помеха?

7-10. Что представляет собой импульсная помеха?

7-11. Какая помеха называется мультипликативной?

7-12. К какому типу помех можно отнести дрейф коэффициента усиления канального усилителя?

7-13. Какое событие называется ошибкой?

7-14. Что может служить количественной мерой достоверности при передаче дискретных сообщений?

7-15. Что может служить количественной мерой достоверности при передаче непрерывных сообщений?


Лекция 8.
Модели
каналов

 

1.6. Модели каналов

 

Как было упомянуто во введении, каналы передачи информации могут классифицироваться по различным признакам. В настоящем курсе их классификация осуществляется по характеру сигналов на их входе и выходе. С этой точки зрения каналы подразделяются на дискретные и непрерывные.

Точное математическое описание любого реального канала является весьма сложным. Вместо этого можно использовать упрощенные математические модели, которые позволяют выявить важнейшие закономерности реального канала.

Основные требования к модели:

- приемлемая точность;

- общий характер, чтобы при переходе от одного канала к другому модель не менялась, а менялись бы только параметры модели;

- сравнительная простота, т.е. небольшое число параметров, описывающих модель.

 

1.6.1. Модели дискретных каналов

 

Начнем рассмотрение с моделей дискретного канала, помня (см. введение), что в его состав всегда входит и непрерывный канал. На входе и выходе дискретного канала наблюдаются дискретные сигналы, как по уровням, так и по состояниям информационного параметра во времени, или те или иные символы из конечного алфавита.

Дискретный канал считается математическим описанным, если заданы:

1) алфавит кодовых символов на входе  (i =1,2,3 . . . , m) с их вероятностями ;

2) алфавит кодовых символов на выходе  (k =1,2,3 . . . , m !) и значения условных вероятностей , т.е. вероятностей того, что на выходе канала появится символ  при условии, что на вход канала подан символ .

Дискретный канал называется однородным или стационарным, если вероятности  для каждой пары i и k не меняются во времени.

Рассмотрим наиболее простые и широко используемые модели дискретных каналов.

1. Симметричный канал без памяти. Этот канал определяется как дискретный канал, в котором каждый переданный символ может быть принят ошибочно с фиксированной вероятностью p и правильно с вероятностью q =1- p, причем в случае ошибки вместо переданного символа  может быть принят с равной вероятностью (свойство симметричности) любой другой символ  из множества m символов. Таким образом, вероятность того, что принят символ  , если был передан символ , равна .

Термин «без памяти» в названии модели канала означает, что вероятность ошибочного приема символа не зависит от предыстории канала, т.е. от того, какие символы передавались ранее и как они были приняты.

Вероятность того, что произошло  каких угодно ошибок, расположенных как угодно на протяжении последовательности длины n, определяется формулой Бернулли , где  - биномиальный коэффициент, равный числу различных сочетаний  ошибок в блоке длиной n. Эту модель называют также биномиальным каналом.

Для двоичного (m =2) симметричного канала без памяти вероятности переходов можно показать в виде графа (рис. 1.12).

Рис. 1.12. Симметричный канал без памяти Рис. 1.13. Симметричный канал без памяти со стиранием

2. Симметричный канал без памяти со стиранием. Эта модель канала отличается от предыдущей тем, что алфавит на выходе канала содержит >m символов, причем чаще всего = m +1 , т.е. выходной алфавит по сравнению с входным содержит один дополнительный символ, который можно обозначить «?». Этот символ появляется тогда, когда приемник не может надежно опознать принятый символ, в результате чего возникает отказ от решения или стирание, т.е. считается, что не принят никакой символ. Вероятность pc стирания в данной модели постоянна и не зависит от передаваемого символа. За счет введения стирания удается значительно снизить вероятность ошибки. Для двоичного канала со стиранием граф переходных вероятностей можно представить следующим образом (рис. 1.13).

3. Несимметричный канал без памяти. Он отличается от симметричного тем, что в нем вероятность ошибки зависит от того, какой символ передается.

Для простейшего двоичного канала (m=2) это означает, что вероятность p (1/0) приема 1, если передавался 0, не равна вероятности p (0/1) приема 0, если передавалась 1, т.е. p (1/0) ¹ p (0/1). Граф переходных вероятностей для такого канала выглядит следующим образом (рис. 1.14).

Рис. 1.14. Несимметричный канал

4. Канал с памятью. Простейшей моделью дискретного канала с памятью является марковский канал. В этой модели вероятность ошибки образует простую цепь Маркова, т.е. зависит от того, правильно или ошибочно принят предыдущий символ, но не зависит от того, какой символ передается.

Рассмотренные выше модели отличаются исключительной простотой, поскольку единственным параметром канала, необходимым для определения всех характеристик системы является вероятность искажения символа, а ошибки считаются независимыми. Исследования реальных каналов показали, что статистика ошибок не удовлетворяет столь простой модели. Ошибки являются зависимыми и обладают ярко выраженной тенденцией к группированию или пакетированию. Эти исследования привели к тому, что в настоящее время насчитывается несколько десятков моделей каналов, более или менее удовлетворительно описывающих потоки ошибок в реальных каналах.

5. Модель Гилберта. Исторически первой моделью, учитывающей группирование ошибок, является модель Гилберта. В этой модели канал может находиться в одном из двух состояний – «хорошем», когда ошибки отсутствуют, и «плохом», когда возникают независимые ошибки с вероятностью p ОШ ПЛ. Для описания модели необходимо задать еще вероятность p ХП того, что при переходе к следующему биту хорошее состояние сменится на плохое, и вероятность p ПХ того, что плохое состояние сменится на хорошее. Модель Гилберта удовлетворительно описывает лишь телефонные каналы, в которых преобладают длинные и плотные пакеты ошибок.

6. Модель Фройлиха-Беннета. Другой распространенной моделью является модель Фройлиха-Беннета. Она основана на следующих предположениях: а) ошибки группируются в пакеты; б) пакеты независимы; в) ошибки внутри пакета также независимы. Эта модель задается тремя параметрами:

- вероятностью появления пакета p П, равной отношению числа пакетов к общему числу переданных бит;

- распределением вероятностей пакетов p П ( L ) различной длины L;

- вероятностью ошибки внутри пакета p.

7. Модель Попова-Турина. Обобщением модели Фройлиха-Беннета является модель Попова-Турина, которая предполагает существование в канале независимо возникающих цепочек пакетов ошибок. Внутри цепочек независимо появляются пакеты ошибок. Внутри пакетов задается условная вероятность появления ошибок.

Все рассмотренные модели каналов, являясь моделями с постоянными параметрами, могут быть использованы для описания реальных каналов лишь на сравнительно коротких промежутках времени. Более близкой к реальности оказывается модель, параметры которой зависят от времени, т.е. нестационарная модель с переменными параметрами.

8. Кусочно-стационарная модель канала. Сложная нестационарная модель канала может быть представлена в виде более простой модели, параметры которой случайным образом изменяются во времени. Это осуществляется за счет декомпозиции единого источника ошибок на N составляющих, которые можно пронумеровать и поставить каждой в соответствие одно из значений дискретной совокупности параметров. Момент подключения той или иной составляющей источника ошибок (ИО), длительность интервала между переключениями и номер подключенной составляющей определяется источником коммутирующего процесса (ИКП). Эквивалентная схема определенной подобным образом кусочно-стационарной модели канала представлена на рис. 1.15.

Рис. 1.15. Кусочно-стационарная модель канала

Время, в течение которого к сумматору подключен i-й ИО, называется i-м стационарным состоянием. Разложение на N составляющих в значительной мере условно и может быть выполнено многими способами. Это обеспечивает определенную свободу при выборе моделей ИО и модели ИКП. Чем более простыми выбираются модели ИО, тем чаще должны происходить переключения, тем важнее становится роль ИКП и тем сложнее должна быть его модель. Целесообразен разумный компромисс: с одной стороны, модели ИО должны быть достаточно просты, чтобы можно было за короткое время производить расчеты, с другой стороны – описывать особенности поведения канала на достаточно больших отрезках времени, чтобы возможно проще задать модель ИКП. С этой точки зрения в качестве модели ИО можно использовать модель Гилберта, которая отражает процессы пакетирования ошибок и проста для расчетов. Модель ИКП, если стационарные состояния канала предполагаются достаточно продолжительными, в расчетах может быть представлена в виде вероятностей стационарных состояний.

Таким образом, рассматриваемый подход, с одной стороны, позволяет строить модели, детально описывающие канал на длительных промежутках времени, с другой стороны, сложность расчетов по такой модели при рациональном выборе параметров лишь незначительно отличается по сложности от расчетов по каждой составляющей, что делает ее наиболее приемлемой для использования.

 

1.6.2. Модели непрерывных каналов

 

1. Идеальный канал без помех. В непрерывном канале действует непрерывный по структурному параметру сигнал, который называют также аналоговым сигналом. Часто непрерывный канал рассматривается как линейная система, описываемая либо импульсной, либо частотной характеристикой. Из такого описания следует, что в общем случае канал изменяет форму и спектр входного сигнала. Для многих систем передачи данных при передаче сигналов по непрерывному каналу важно, чтобы сохранялась форма передаваемых сигналов, что необходимо для правильного распознавания сигналов на приемной стороне канала. При таком ограничении передаваемый сигнал считается неискаженным, если, кроме линейного масштабного преобразования с коэффициентом k и задержки на некоторый интервал времени t, сигнал не претерпевает никаких изменений, т.е если выполняется равенство y ( t )= kx ( t - t ), где y ( t ) –выходной сигнал, x ( t ) –входной сигнал. Такое возможно лишь в том случае, если АЧХ канала есть постоянная величина, а ФЧХ канала является линейной функцией частоты. В действительности такие характеристики непрерывного канала получить невозможно, в связи с чем эта модель канала носит названия идеального канала без помех. Она иногда используется для описания кабельных каналов.

2. Канал с аддитивным гауссовским шумом. Рассмотренная модель непригодна для описания реальных каналов в которых присутствуют аддитивные помехи. В этом случае используется модель, называемая каналом с аддитивным гауссовским шумом. Эта модель описывается выражением y ( t )= kx ( t - t )+ n ( t ), где n ( t ) -гауссовский аддитивный шум с нулевым математическим ожиданием и заданной корреляционной функцией. Чаще всего в качестве такового рассматривается квазибелый или белый шум. Такая модель удовлетворительно описывает многие проводные каналы и радиоканалы при связи в пределах прямой видимости.

3. Канал с неопределенной фазой. Следующая модель, называемая каналом с неопределенной фазой, отличается от предыдущей тем, что в ней запаздывание t ( t ) является случайным процессом. Эта модель удовлетворительно описывает те же каналы, что и предыдущая, если фаза сигнала в них флуктуирует. Эти флуктуации могут вызываться небольшими изменениями свойств среды распространения сигнала, а также фазовой нестабильностью опорных генераторов.

4. Однолучевой гауссовский канал с общими замираниями. Если кроме флуктуации фазы имеет место и флуктуация амплитуды, т.е и k ( t ) является случайным процессом, то такая модель называется однолучевым гауссовским каналом с общими замираниями. Эта модель достаточно хорошо описывает многие каналы радиосвязи в различных диапазонах волн.

Для статистического описания непрерывного канала надо задать плотности вероятности  входных сигналов  и условные плотности вероятностей перехода , где  - выходные сигналы.

Непрерывный канал называется однородным или стационарным, если плотности вероятности перехода  не зависят от времени, и каналом без памяти, если значения выходного сигнала  в момент времени t зависят от значения входного сигнала  в тот же момент времени. Если значения выходного сигнала  в момент времени t зависят от значений входных сигналов и в предшествующие моменты времени, то такой канал называется каналом с памятью.

 

Контрольные вопросы к лекции 8

 

8-1. Каковы основные требования, предъявляемые к модели канала?

8-2. Что требуется задать для математического описания дискретного канала?

8-3. Какой дискретный канал называется стационарным?

8-4. Какой дискретный канал называется симметричным каналом без памяти?

8-5. Что означает термин «без памяти» в определении дискретного канала?

8-6. Какая модель канала называется биномиальной моделью?

8-7. Чем характеризуется симметричный канал без памяти со стиранием?

8-8. Чем характеризуется несимметричный канал без памяти?

8-9. Что является моделью дискретного канала с памятью?

8-10. Чем характеризуется модель канала, называемая моделью Гилберта?

8-11. Какие реальные каналы удовлетворительно описывает модель Гилберта?

8-12. На каких предположениях основана модель канала, называемая моделью Фройлиха – Беннета?

8-13. Какими параметрами описывается модель канала, называемая моделью Фройлиха – Беннета?

8-14. Чем модель канала Попова – Турина отличается от модели канала Фройлиха – Беннета?

8-15. Из каких составляющих состоит кусочно-стационарная модель дискретного канала?

8-16. Чем определяется выбор сложности компонентов в кусочно-стационарной модели дискретного канала?

8-17. Чем характеризуется модель непрерывного канала, которая носит название идеального канала без помех?

8-18. Чем характеризуется модель непрерывного канала, которая носит название канала с аддитивным гауссовским шумом?

8-19. Чем характеризуется модель непрерывного канала, которая носит название канала с неопределенной фазой?

8-20. Чем характеризуется модель непрерывного канала, которая носит название гауссовского канала с общими замираниями?

8-21. Какой непрерывный канал называется стационарным?

8-22. Какой непрерывный канал называется каналом без памяти?

8-23. Какой непрерывный канал называется каналом с памятью?

 


Лекция 9.
Методы
модуляции

 

1.7. Методы модуляции

 

При передаче информации по непрерывному каналу используется определенный физический процесс, называемый переносчиком или несущей. Математической моделью переносчика может служить функция времени l ( t , A , B ,…), зависящая также от параметров А, В,….

Некоторые параметры функции фиксированы при данных условиях передачи, и тогда они могут играть роль идентифицирующих параметров, т.е. по ним можно определять принадлежность данного сигнала к определенному классу сигналов.

Другие параметры подвергаются воздействию со стороны передатчика. Это воздействие на них называется модуляцией, а эти параметры играют роль информативных параметров.

В общем случае модуляция есть отображение множества возможных значений входного сигнала на множество значений информативного параметра переносчика. Устройство, осуществляющее модуляцию, называется модулятором. На один вход модулятора действует реализация входного сигнала x ( t ), на другой– сигнал-переносчик l ( t , A ). Модулятор формирует выходной сигнал l ( t , A [ x ( t )]), информативный параметр которого изменяется во времени в соответствии с передаваемым сигналом. В более узком смысле под модуляцией понимается воздействие на переносчик, выражающееся в умножении информативного т.е. модулируемого параметра на множитель [1+ M * h ( t )], где h ( t )- модулирующая функция, соответствующая реализации x ( t ) входного сигнала, определяемая так, что ½ h ( t ) ½ £ 1, а М – коэффициент модуляции.

Основное назначение модуляции состоит в перенесении спектра сигнала в заданную частотную область для обеспечения возможности передачи его по каналу и повышения помехоустойчивости передачи.

В зависимости от вида используемого при модуляции переносчика различают непрерывные и импульсные виды модуляции. При непрерывной модуляции в качестве несущего используется гармоническое колебание. При импульсной модуляции в качестве несущей используется периодическая последовательность прямоугольных импульсов.

 

1.7.1. Непрерывные методы модуляции и манипуляции

 

Рассмотрим основные принципы непрерывных методов модуляции, когда в качестве переносчика или несущей или модулируемого напряжения используется гармоническое напряжение (рис. 1.16) , где  – амплитуда напряжения,  – несущая частота,  – начальная фаза.

Рис. 1.16. Гармоническая несущая

Это напряжение можно представить на комплексной плоскости (рис. 1.17) в виде вектора длиной . Этот вектор в начальный момент времени t =0 повернут к вещественной оси на угол  и вращается со скоростью , т. е. в любой другой момент времени повернут на угол . Его проекция  на вещественную ось в любой момент времени равна мгновенному значению напряжения .

При модуляции  первичными сигналами или модулирующим напряжением можно воздействовать на амплитуду (амплитудная модуляция), частоту (частотная модуляция) или фазу (фазовая модуляция). При этом следует заметить, что аргумент гармонического колебания , называемый полной фазой, определяет текущее значение фазового угла, в связи

Рис. 1.17. Векторное представление гармонической несущей

с чем ЧМ и ФМ получили обобщающее название угловой модуляции.

В случае амплитудной модуляции (АМ) частота модулируемого напряжения не изменяется и остается равной , начальная фаза  задается

моментом начала модуляции, а амплитуда изменяется в соответствии с законом изменения величины модулирующего напряжения (рис. 1.18).

Рис. 1.18. Амплитудная модуляция

Если обозначить  – наибольшее изменение амплитуды модулированного напряжения, то амплитуда модулированного напряжения может быть определена как  где h ( t )-закон изменения модулирующего напряжения, а  – относительное изменение амплитуды, которое называется коэффициентом или глубиной АМ. Таким образом, напряжение, модулированное по амплитуде, можно записать как

Рассмотрение спектра сигнала, модулированного по амплитуде, целесообразно начать с простейшего случая, когда модулирующий сигнал - простое гармоническое колебание , имеющее наиболее простой спектр – одну спектральную линию. Положив , получим

.

После несложных преобразований можно получить

.

Таким образом, в этом случае спектр сигнала, модулированного по амплитуде, состоит из трех гармонических составляющих (рис. 1.19): несущей с частотой  и двух боковых – нижней с частотой

Рис. 1.19. Спектр АМ-сигнала

и верхней с частотой .

В общем случае (рис. 1.20), когда спектр модулирующего сигнала представляет собой не одну спектральную линию, а полосу частот от  до , для получения

Рис. 1.20. Спектр АМ-сигнала

спектра модулированного колебания нужно:

1) сместить спектр модулирующего сигнала на интер-вал частот, равный несущей;

2) построить зеркальное отображение смещенного спектра относительно спектральной линии на несущей частоте .

Таким образом, полоса частот напряжения, модулированного по амплитуде, зависит от максимальной частоты модулирующего сигнала  и равна , т. е. вдвое больше максимальной частоты спектра модулирующего сигнала.

Если первичный модулирующий сигнала представляет собой последовательность однополярных или двухполярных прямоугольных импульсов, что и имеет место на входе дискретного канала, то такой вид модуляции называется манипуляцией. При амплитудной манипуляции модулированный сигнал представляет собой гармоническое колебание с частотой несущей, амплитуда которого в общем случае принимает лишь два значения:  и . Если спектр модулирующего колебания известен, то можно построить спектр сигнала после амплитудной манипуляции по общему правилу: сместить спектр модулирующего сигнала в область несущей и зеркально отобразить его относительно несущей. Пусть, например, модулирующий сигнал – последовательность прямоугольных импульсов со скважностью, равной двум. Спектр такого сигнала, как известно, бесконечен и содержит постоянную составляющую (для однополярных импульсов) и бесконечное число нечетных гармоник, т. к. амплитуды гармоник, номера которых кратны скважности, равны нулю (рис. 1.21).

Если спектр модулирующего сигнала ограничить с помощью ФНЧ частотой , то ширина спектра манипулированного сигнала составит =6 W1. Спектр сигнала можно ограничить и после манипуляции с помощью полосового фильтра с частотой .

Рис. 1.21. Спектр сигнала при амплитудной манипуляции

Ограничение полосы приводит к искажению прямоугольной формы огибающей модулированного сигнала, а следовательно и к искажению формы восстановленного после демодуляции первичного сигнала. Однако для практики часто оказывается достаточно передать первую и третью гармоники сигнала, т.к. при этом сохраняется более 90% энергии исходного сигнала.

Передача АМ-сигнала с указанным спектром получила название метода передачи двух боковых и несущей. Основным достоинством этого метода является относительная простота модулятора и демодулятора и канальных фильтров. Один из основных недостатков состоит в удвоении требуемой полосы частот по сравнению с полосой частот исходного сигнала. Другой недостаток вытекает из соотношения мощностей несущей и боковых. Можно доказать, что , т. е. например, при МАМ=0,2 мощность несущей в 100 раз превосходит мощность боковых. Следовательно, при формировании канального сигнала по этому методу уровень сигнала, на который накладываются жесткие ограничения сверху, вызванные, во-первых, необходимостью уменьшения влияний на другие каналы и, во-вторых, необходимостью исключения перегрузки канальных усилителей, определяется в основном мощностью несущей, не содержащей информации о модулирующем сигнале, которая содержится в боковых.

С учетом этих недостатков используется метод передачи одной боковой полосы (АМ-ОБП), который свободен от них. Кроме того, подавление несущей дает возможность при заданных ограничениях на уровень канального сигнала увеличить мощность боковой и, тем самым, повысить помехозащищенность сигнала.

При частотной модуляции амплитуда модулируемого напряжения остается постоянной, а частота меняется в соответствии с законом изменения модулирующего колебания. Такое напряжение можно представить на комплексной плоскости вектором постоянной длины, который вращается с изменяющейся скоростью. Мгновенное значение модулированного напряжения есть проекция этого вектора на вещественную ось, т.е. , где q- угол между вектором U 0 и вещественной осью. Так как по определению мгновенная угловая скорость вращения вектора , то . Постоянная интегрирования определяет положение вектора в начальный момент времени, следовательно . Тогда .

Если частота w при частотной модуляции может меняться относительно некоторой частоты w 0 в некоторых пределах, тогда , где  – закон изменения модулирующего сигнала, а  называется девиацией частоты. Тогда можно записать .

Для нахождения спектра ЧМ- сигнала положим  и . Тогда , где  называется индексом частотной модуляции.

Последнее выражение может быть преобразовано

Функции  и  раскладываются в бесконечные ряды, но не тригонометрических функций, а функций Бесселя первого рода J ( M ЧМ ) соответственно четного J 2 kЧМ) и нечетного J 2 k +1ЧМ) порядков

и

.

Таким образом, спектр ЧМ-сигнала при гармонической несущей и гармоническом модулирующем сигнале состоит из колебания на несущей частоте w 0, амплитуда которого пропорциональна бесселевой функции нулевого порядка и бесконечного числа верхних и нижних боковых с частотами w 0 + k W 1, амплитуды которых пропорциональны бесселевым функциям соответствующих порядков.

Если в качестве модулирующего напряжения используется последовательность прямоугольных импульсов, то такая частотная модуляция называется частотной манипуляцией. Если частотная манипуляция осуществляется без разрыва фазы несущей, то, рассматривая простейший случай, когда скважность модулирующих импульсов равна двум, можно получить формулы для амплитуд спектральных составляющих:

,  для нечетных k,

 для четных k, где k – номер гармоники с частотой , , T – период модулирующих импульсов. Поскольку спектр теоретически бесконечен, то возникает вопрос о практически необходимой ширине спектра, т. е. о том, сколько нужно передавать гармоник, чтобы передать более 90% энергии сигнала.

Из приведенных формул видно, что амплитуды спектральных составляющих зависят от МЧМ – индекса частотной модуляции. Чем меньше индекс частотной модуляции, тем меньшее число боковых составляющих

нужно принимать во внимание и тем уже практически необходимая ширина спектра ЧМ- сигнала (рис. 1.22).

Поэтому частотную модуляцию при МЧМ<1 называют узкополосной.

Рис. 1. 22. Спектры ЧМ-сигналов

В этом случае ширина спектра 2 W 1, а его вид почти такой же, как и при АМ, отличаясь от него лишь значениями амплитуд спектральных составляющих. Число n сохраняемых боковых при МЧМ>1 рекомендуется определять как n =МЧМ+1, тогда необходимая ширина спектра 2 W 1 n = 2 W 1ЧМ+1) = 2( D w + W 1 ).

При больших индексах частотной модуляции МЧМ>>1 можно пренебречь 1 по сравнению с МЧМ и тогда 2 W1 n = 2 W1МЧМ = 2 D w, т. е. необходимая ширина спектра равна удвоенной величине девиации частоты и не зависит от частоты W1 модулирующего сигнала. Частотную модуляцию при МЧМ>>1 называют широкополосной, так как при больших индексах модуляции удельный вес боковых составляющих высоких номеров k растет. Этот рост продолжается пока k, увеличиваясь, приближается к МЧМ, а затем при k>МЧМ быстро убывает, поэтому можно ограничить спектр гармониками с k=МЧМ. Основное преимущество широкополосной ЧМ – значительно большая помехоустойчивость, чем АМ и узкополосной ЧМ.

При фазовой модуляции в соответствии с законом изменения модулирующего сигнала, так же как и при частотной модуляции, изменяется полная фаза q. Но если при частотной модуляции , то при фазовой модуляции , где МФМ представляет собой максимальное значение фазового сдвига и называется индексом фазовой модуляции. Тогда мгновенное значение напряжения, модулированного по фазе, может быть записано как .

Таким образом, принципиальное отличие ЧМ и ФМ состоит в том, что при ФМ фазовый сдвиг между ФМ - сигналом и немодулированным колебанием пропорционален h( t), а при ЧМ фазовый сдвиг между ЧМ- сигналом и немодулированным колебанием пропорционален интегралу от h( t).

Спектр ФМ-сигнала при гармоническом модулирующем сигнале  по виду получается таким же, как и при ЧМ. Действительно, если записать  и сопоставить с аналогичным выражением для ЧМ, то это будет очевидным. Однако следует иметь в виду, что ЧМ и ФМ-сигналы ведут себя по разному при изменении частоты и амплитуды модулирующего напряжения. Это объясняется тем, что индекс фазовой модуляции МФМ = D j m= KU W, где К – коэффициент пропорциональности, U W - амплитуда модулирующего сигнала. Таким образом, индекс фазовой модуляции пропорционален амплитуде модулирующего сигнала и не зависит от его частоты, в то время как индекс частотной модуляции в общем случае зависит как от амплитуды, поскольку от нее зависит девиация частоты, так и от частоты модулирующего сигнала.

В простейшем случае фазовой манипуляции гармонической несущей используется изменение фазы несущей на 1800 (рис. 1.23). Такой сигнал можно представить как сумму сигнала,

Рис. 1.23. Фазовая манипуляция

модулированного по амплитуде, с удвоенной амплитудой и несущей в противофазе.

В связи с этим вид спектра сигнала, манипулированного по фазе, практически совпадает с видом спектра сигнала, манипулированного по амплитуде. При фазовой манипуляции с МФМ=1800 амплитуды несущей и боковых могут быть рассчитаны по формулам  и , где k – номер боковой гармоники, a- скважность модулирующего сигнала. Таким образом, при a =2 в спектре сигнала, манипулированного по фазе, отсутствует несущая. Практически необходимая ширина спектра при ФМ такая же, как и при АМ.

Основной технической проблемой, возникающей при реализации такого метода фазовой манипуляции, является создание в месте приема синфазного с сигналом опорного немодулированного напряжения (несущей), путем сравнения фазы которого с фазой принимаемого ФМ-сигнала в фазовом детекторе осуществляется демодуляция. Поскольку почти во всех реальных каналах фаза напряжения принимаемого сигнала флуктуирует, то решение этой проблемы путем создания высокостабильного местного генератора опорного напряжения исключается в принципе. Влияние флуктуации фазы сигнала на достоверность приема может быть значительно ослаблено, если формировать опорное напряжение (несущую) из самого принимаемого сигнала. Существуют различные схемы формирования опорного напряжения, однако практически для всех из них характерно явление, называемое обратной работой, и состоящее в том, что под действием на передаваемый сигнал помех возможно скачкообразное изменение фазы формируемого на приемной стороне опорного напряжения на 1800. Это вызовет изменение полярности посылок на выходе демодулятора, т. е. «1» будут регистрироваться как «0» и наоборот. Искажается вся дальнейшая последовательность принимаемых элементов.

От явления обратной работы свободен метод относительной фазовой модуляции (ОФМ), который отличается от ФМ тем, что при передаче «1» фаза несущего колебания передаваемого элемента остается той же, что и у предыдущего элемента вне зависимости от того, каким был предыдущий элемент (0 или 1), а при передаче «0» его фаза меняется на 1800 вне зависимости от того, каким был предыдущий элемент (0 или 1) (рис. 1.24).

На приемной стороне для выявления информации, заключенной в каждом данном элементе, он сопоставляется (сравнивается по фазе) с предыдущим элементом.

Рис. 1.24. Относительная фазовая манипуляция

Если фаза не изменилась, регистрируется 1, если изменилась – 0. Практически необходимая ширина спектра при ОФМ такая же, как и при ФМ.

Если в качестве манипулирующего элемента в ОФМ используется не один бит, а совокупность из N бит, то имеет место т.н. многократная или N- кратная ОФМ. Принцип многократной ОФМ заключается в том, что каждой последовательности из N бит присваивается определенное значение фазового угла несущего колебания. Следовательно, для N- кратной ОФМ необходимо использовать 2 N различных значений фазовых сдвигов несущего колебания, кратных некоторому минимальному углу манипуляции, равному D j min =2 p /2 N.

При двукратной ОФМ (ДОФМ) D j min = p /2 и используются два варианта наборов фаз в зависимости от манипуляционного элемента, называемого в этом случае дибитом.

 

дибит 1 вариант 2 вариант
00 00 450
01 900 1350
10 2700 3150
11 1800 2250

 

Таким образом, при ДОФМ передаваемый сигнал имеет четыре возможных значения фазы, однако, как и в случае ОФМ, информация содержится в соотношении фаз соседних элементов. При трехкратной ОФМ (ТОФМ) D j min = p /4, а манипуляционный элемент представляет собой совокупность из трех бит, называемую трибитом.

В каждой конкретной системе, использующей многократную ОФМ, манипуляционный элемент- дибит или трибит, может быть образован по разному. Это, во-первых, могут быть смежные элементы одной информационной последовательности. Тогда за счет использования многократной ОФМ обеспечивается увеличение удельной скорости передачи по каналу. Во-вторых, каждый из разрядов дибита или трибита можно рассматривать как элементы различных независимо формируемых информационных последовательностей. Это означает, что в полосе частот канала организуется два или три канала, что называется вторичным уплотнением. Наконец, в-третьих, дибит или трибит может быть получен с выхода кодера сверточного кода, если не коммутировать выходы сумматоров по модулю два, а подавать их непосредственно на входы модулятора многократной ОФМ.

Помехоустойчивость систем с относительной фазовой манипуляцией резко уменьшается по мере увеличения кратности, что главным образом обусловлено воздействием флуктуационных помех. Однако, во многих реальных каналах помехоустойчивость в основном определяется действием импульсных помех, а флуктуационные играют второстепенную роль. Поэтому в проводных каналах связи системы с ДОФМ и ТОФМ находят достаточно широкое применение, обеспечивая существенное увеличение скорости передачи при незначительном снижении достоверности.

Системы с относительной фазовой манипуляцией при кратности более трех используются редко из-за сложности реализации и низкой помехоустойчивости. Большее применение находят многопозиционные системы с одновременной амплитудной и фазовой манипуляцией при однополосной передаче. В наиболее общем виде этот принцип выражен в т.н. квадратурной амплитудной модуляции (КАМ). Квадратурное представление сигналов является удобным и достаточно универсальным средством их описания. Квадратурное представление заключается в выражении колебания линейной комбинацией двух ортогональных составляющих – синусоидальной и косинусоидальной: , где x ( t ) и y ( t ) – дискретные величины, представляющие собой входные манипулирующие воздействия, которые могут быть как биполярными, так и многоуровневыми. Такая манипуляция осуществляется по двум каналам на несущих, сдвинутых друг относительно друга на 900, т.е. находящихся в квадратуре, откуда и первое слово в названии метода модуляции. Поскольку для него характерна взаимная независимость многоуровневых манипулирующих импульсов x ( t ) и y ( t ), то выходной сигнал u ( t ) квадратурной схемы изменяется не только по фазе, но и по амплитуде, откуда второе слово в названии метода модуляции.

Любые сигналы, пользуясь геометрической интерпретацией, можно изобразить векторами в сигнальном пространстве. Отмечая только концы векторов, получим совокупность точек, которая называется сигнальным созвездием.

Сигнальное созвездие КАМ для случая, когда x ( t ) и y ( t ) принимают значения + 1 и + 3 (четырехуровневая КАМ) приведена на рис. 1.25.

Рис. 1.25. Сигнальное созвездие КАМ Рис. 1.26. Сигнальное созвездие ОФМ

Величины + 1 и + 3 определяют уровни модуляции и имеют относительный характер. Созвездие содержит 16 сигнальных точек (КАМ-16), каждая из которых соответствует четырем передаваемым информационным битам.

Из теории связи известно, что при равном числе точек в сигнальном созвездии спектр сигналов КАМ идентичен спектру сигналов ОФМ. Однако помехоустойчивость систем ОФМ и КАМ различна.

Сравнение ансамблей сигнальных точек по помехоустойчивости удобно производить по коэффициенту помехоустойчивости, в котором соотносятся минимальное расстояние между сигнальными точками и энергетические затраты на передачу одного бита.

Расстояние между сигнальными точками в системе с ОФМ (рис. 1.26) определяется по формуле , где М- число фазовых углов.

Расстояние между сигнальными точками в системе КАМ с L уровнями манипулирующих импульсов определяется по формуле .

Например, когда М=16, следовательно, L =4, , а  при одном и том же уровне мощности. Это говорит о том, что системы с КАМ предпочтительнее систем с ОФМ по помехоустойчивости.

 

1.7.2. Методы импульсной модуляции

 

В качестве переносчика при импульсных видах модуляции используется периодическая (с периодом Т) последовательность импульсов (рис. 1.27) с исходной амплитудой U и длительностью импульса t.

Рис. 1.27. Импульсная несущая

При АИМ под воздействием модулирующего сигнала изменяется амплитуда переносчика.

Если амплитуда импульса принимается равной мгновенному значению модулирующей функции в момент начала импульса и остается таковой в течение всей длительности импульса, то такую АИМ принято называть АИМ-2. При АИМ-1 происходит изменение прямоугольной формы импульсов несущей, выражающееся в том, что крыши импульсов повторяют закон изменения модулирующего сигнала в соответствующие интервалы времени.

При использовании ШИМ под действием мгновенных значений модулирующего сигнала изменяется длительность или другими словами, ширина импульса несущей, расширяясь при увеличении и сужаясь при уменьшении мгновенных значений модулирующего сигнала. Существует несколько разновидностей ШИМ, отличающихся тем, что указанное изменение ширины импульса могут происходить за счет изменения положения заднего фронта импульса, или переднего фронта, или обоих фронтов.

При ФИМ изменяется положение импульсов несущей относительно так называемых тактовых точек в зависимости от мгновенного значения модулирующего сигнала.

При ЧИМ в зависимости от мгновенного значения модулирующего напряжения изменяется частота следования импульсов несущей

Рассмотрение спектров сигналов с импульсными видами модуляции начнем с того, что вспомним выражение для спектра несущей , где U –амплитуда импульса, t –длительность импульса, Т –период последовательности импульсов,  –круговая частота импульсов, - относительные амплитуды гармоник.

Предположим, что последовательность импульсов модулируется гармоническим первичным сигналом  по амплитуде, т. е. амплитуда импульсов изменяется по закону .

Тогда после подстановок и преобразований получим

Таким образом, спектр АИМ-сигнала содержит (рис. 1.28): 1) постоянную составляющую; 2) составляющую с частотой модулирующего сигнала W 1; 3) бесконечное число составляющих с частотами, кратными основной частоте w 0, каждая из которых имеет; 4) верхнюю с частотой k w 0 + W 1 и нижнюю с частотой k w 0 - W 1 боковые составляющие.

Рис. 1.28. Спектр АИМ-сигнала

Так как в спектре есть составляющая с частотой модулирующего сигнала W 1, то выделить модулирующий сигнал из АИМ- сигнала можно с помощью ФНЧ.

Если последовательность импульсов модулируется не простым гармоническим сигналом, а некоторым первичным сигналом, ширина спектра которого W min - W max, то в спектре частот АИМ- сигнала появятся не отдельные спектральные линии, а полосы частот.

В этом случае первичный сигнал можно выделить из АИМ- сигнала с помощью ФНЧ только в том случае, если полоса частот W min - W max не перекрывается полосой ( w 0 - W max ) – ( w 0 - W min ). А это возможно только в том случае, если частота следования импульсов w 0 по меньшей мере вдвое больше W max.

Практически необходимая ширина спектра при АИМ мало зависит от модулирующего сигнала и полностью определяется параметрами несущей, т. е. длительностью t импульсов и скважностью Т/ t импульсной последовательности.

Спектры сигналов при остальных видах импульсной модуляции будут отличаться от спектра АИМ-сигнала тем, что около составляющей с основной частотой  и ее высших гармоник  появляется не по одной верхней и нижней боковой, а дискретные полосы боковых гармоник с частотами .

Сравнивая рассмотренные методы импульсной модуляции по помехоустойчивости можно сделать следующие выводы. Наименьшей помехоустойчивостью обладает АИМ. Поэтому АИМ для передачи непосредственно не применяется, хотя и используется в качестве предварительной операции в системах с временным разделением каналов.

Сравнивая ФИМ и ШИМ, можно сказать, что при одинаковой полосе пропускания тракта помехоустойчивость ФИМ и ШИМ одинакова. Однако при ШИМ средняя мощность сигнала больше, чем при ФИМ, так как для обеспечения возможности модуляции ширины импульса среднюю длительность импульса при ШИМ приходится брать большей, чем при ФИМ. Следовательно, при сохранении средней мощности сигнала, переход к ФИМ дает возможность увеличить амплитуду импульса и тем самым увеличить отношение сигнал/помеха на входе приемника.

Кроме того, при ШИМ длительность импульсов по сравнению с исходной t может увеличиваться и уменьшаться. Если длительность импульса в процессе модуляции уменьшается значительно, т. е. имеет место большая глубина ШИМ, то соответственно расширяется практически необходимая полоса частот для передачи.

Таким образом, при ШИМ ширина полосы пропускания тракта передачи должна обеспечивать достаточно малые искажения наиболее короткого импульса, т. е. она оказывается более широкой, чем требуется для импульса средней длительности. При ФИМ длительности всех импульсов одинаковы, что позволяет выбрать оптимальную ширину полосы пропускания.

Таким образом, ФИМ характеризуется рядом преимуществ по сравнению с другими видами импульсной модуляции, благодаря чему она применяется в большинстве систем импульсной связи.

 

1.7.3. Методы цифровой модуляции

 

Наиболее известными методами цифровой модуляции являются:

1) импульсно- кодовая модуляция (ИКМ);

2) ИКМ с предсказанием, среди разновидностей которой чаще используется дифференциальная ИКМ (ДИКМ);

3) дельта- модуляция (ДМ).

ИКМ является наиболее простым методом цифровой модуляции.

Суть ее состоит в том, что отсчеты сигнала, т.е. АИМ-импульсы квантуются по уровню, а затем кодируются с помощью того или иного кода (рис. 1.29).

Кодирование состоит в замене по определенному правилу каждого из импульсов с квантованной амплитудой кодовой комбинацией из двоичных символов.

Рис. 1.29. Импульсно-кодовая модуляция

Одной из причин, приводящих к отличию принятого сообщения от переданного в системе с ИКМ, является шум квантования, другой – помехи в канале, которые воздействуют на передаваемую кодовую комбинацию и могут вызвать ошибки.

Ошибки в символах кодовых комбинаций при отсутствии в ней избыточности приводят к ошибочному декодированию всей кодовой комбинации. В результате ошибочного декодирования действительно переданное значение отсчета заменяется другим, причем не обязательно ближайшим, поскольку это зависит от того, какие символы кодовой комбинации приняты с ошибкой. Назовем эту составляющую шума шумом ложных импульсов. При оценке помехоустойчивости систем с ИКМ необходимо учитывать суммарный шум, состоящий из шума ложных импульсов и шума квантования. Однако в правильно спроектированной системе с ИКМ мощность сигнала превышает пороговую, при которой соотношение «сигнал/шум ложных импульсов» таково, что шумом ложных импульсов по сравнению с шумом квантования можно пренебречь.

Шум квантования не связан с помехами в канале и полностью определяется выбором числа уровней квантования. Его можно сделать сколь угодно малым, увеличивая число уровней квантования. Но при этом придется увеличивать число разрядов в кодовой комбинации, а следовательно, сокращать длительность битового интервала, что приведет к расширению спектра сигнала.

Поскольку непосредственное измерение шума квантования затруднительно, то для его оценки используются расчетные методы, в соответствии с которыми, например, с переходом от 128 уровней квантования к 256 шум квантования уменьшается на 6 дБ. При этом вместо семи символов в кодовой комбинации будет восемь символов, так что длительность битового интервала уменьшиться в 8/7~1,14 раза, во столько же раз увеличиться ширина спектра сигнала. При этом необходимо учитывать еще одно обстоятельство. Величина шума ложных импульсов и связанная с ней вероятность ошибки зависят от энергии элемента сигнала, следовательно при уменьшении его длительности придется увеличивать во столько же раз его мощность, чтобы она превышала пороговую.

Воздействие шума квантования можно заметно уменьшить, применяя неравномерное квантование, при котором входные сигналы с большим значением квантуются с большим шагом, а с малым значением – с меньшим шагом.

Из описанного принципа реализации ИКМ следует, что каждый отсчет сигнала кодируется отдельно и независимо от других и, соответственно, каждая кодовая комбинация несет информацию только об одном отсчете сигнала. Значения отсчетов берутся через интервал, определяемый теоремой Котельникова.

Значения отсчетов, взятых через интервал, определяемый теоремой Котельникова, взаимно некоррелированы только в том случае, если спектр сообщения в занимаемой им полосе частот равномерен. На практике чаще передаются сообщения с неравномерным спектром, кроме того, частоту отсчетов по ряду соображений выбирают несколько больше, чем по теореме Котельникова. В связи с этим корреляция между отсчетами обычно не равна нулю.

При использовании классической ИКМ корреляционные связи, которые имеются в сигнале, никак не влияют на процесс кодирования и поэтому необходимое число уровней квантования при выбранном шаге квантования определяется только динамическим диапазоном сигнала. Ясно, что при наличии корреляции между значениями сигнала в моменты дискретизации можно уменьшить требуемое число уровней квантования и снизить при этом требуемую пропускную способность канала, не увеличивая мощность шума квантования, либо, сохраняя неизменным число уровней квантования, уменьшить мощность шума квантования.

Эта идея реализована в так называемой ИКМ с предсказанием.

Последовательность отсчетов a ( i ) подается на один вход вычитающего устройства, на второй вход которого подается сигнал предсказания , сформированный из предыдущих отсчетов по определенному правилу. Полученный таким образом разностный сигнал D a и подается в тракт передачи. Поскольку именно в разностном сигнале содержатся новые сведения, представляющие собой разность между истинным и предсказанным значениями, то такой способ получил название ИКМ с предсказанием. Поскольку на приемной стороне имеется такой же предсказатель, оперирующий с теми же предыдущими отсчетами, то и предсказанное им значение нового отсчета будет таким же, как на передающей стороне. Добавив к нему полученное из тракта передачи значение разностного сигнала, можно восстановить истинный отсчет.

Если разностный сигнал определяется по правилу D a ( i )= a ( i ) - a ( i -1), а затем квантуется и кодируется, то такой метод носит название дифференциальной ИКМ (ДИКМ).

Поскольку значения приращений сигнала D a значительно меньше значений самих отсчетов a, то шкала квантования разностного сигнала будет содержать меньшее число уровней и требуемая скорость передачи окажется ниже, чем в классической ИКМ.

Поскольку мощность шума квантования составляет вполне определенную долю мощности квантуемого процесса, а мощность разностного сигнала, как правило, меньше мощности отсчетов, шум квантования при ДИКМ меньше, чем при обычной ИКМ при том же числе уровней квантования.

Наибольшим искажениям от шума квантования подвергаются разностные сигналы малой величины. Для уменьшения этих искажений применяется неравномерное квантование, при котором шаг квантования возрастает по мере увеличения значения разностного сигнала. Такой метод называется адаптивной ДИКМ (АДИКМ), поскольку при этом происходит адаптация величины шага квантования к параметрам квантуемого сигнала.

При использовании ДИКМ возможно появление специфического вида искажений, называемых перегрузкой по крутизне. Если число уровней и шаг квантования выбраны таким образом, что максимальная разность, которая может быть закодирована, равна D amax, а очередная полученная разность D a > D amax, то эта разность передается с ошибкой, которая вызовет искажения формы восстановленного на приемной стороне сигнала. Этот вид искажений и называется перегрузкой по крутизне.

Анализ показывает, что в общем случае ДИКМ обеспечивает одинаковое с ИКМ качество передачи при меньшем числе символов в кодовой комбинации, соответствующей отсчету сигнала.

Существенным недостатком ДИКМ является то, что ошибки, возникающие в кодовых комбинациях при передаче, ухудшают верность приема в большей степени, чем при обычной ИКМ. Это объясняется тем, что ошибочный прием кодовой комбинации при ДИКМ ведет к ошибочному восстановлению не только одного отсчета, но и ряда последующих отсчетов, поскольку предсказанные значения на приемной стороне будут отличаться от предсказанных на передающей. Поэтому допустимая вероятность ошибки при ДИКМ меньше, чем при ИКМ.

Существуют различные методы уменьшения влияния указанного накопления ошибки при ДИКМ.

Разновидность способа с предсказанием, когда кодируется и передается информация только о знаке приращения разности за интервал дискретизации, называют дельта- модуляцией (ДМ).

Идея, положенная в основу ДМ, состоит в следующем. Величина разностного сигнала D a зависит от корреляции между значениями отсчетов, сдвинутых на интервал дискретизации. По мере уменьшения интервала дискретизации корреляция между отсчетами увеличивается, а величина D a уменьшается.

Если выбрать интервал дискретизации настолько малым, что D a не будет превышать одного шага квантования d, то передачу разностного сигнала можно осуществить, используя одноразрядный код. Если, например, окажется, что D a >0, то кодирующее устройство формирует символ «1», а если D a <0, то символ «0». Получающаяся при этом двоичная последовательность называется дельта - кодом.

Для того, чтобы величина разностного сигнала не превышала шага квантования, частота дискретизации при ДМ должна выбираться значительно большей, чем при ДИКМ. Тем не менее, для ДМ, как и для ДИКМ, возможно возникновение перегрузки по крутизне, если величина разностного сигнала окажется больше шага квантования

Выбор величины шага квантования подчиняется противоречивым требованиям. С одной стороны, шаг квантования следует выбирать как можно меньшим, чтобы уменьшить шум квантования до допустимого значения. С другой стороны, при заданной частоте дискретизации шаг квантования следует выбирать достаточно большим, чтобы не возникло перегрузки по крутизне. Если оставлять шаг квантования постоянным, то удовлетворить этим требованиям удается только при частоте дискретизации в 2–3 раза превышающей частоту дискретизации ИКМ- сигнала при тех же шумах квантования. Снизить частоту дискретизации без увеличения шумов квантования возможно при использовании адаптивной ДМ, когда шаг квантования в процессе модуляции не остается постоянным, а изменяется в зависимости от параметров модулируемого сигнала.

При ДМ ошибки в линейном тракте вызывают ошибку в выходном сигнале, не превосходящую двух шагов квантования. При ИКМ ошибка в наихудшем случае составляет 2 m -1 уровней квантования, где m – число разрядов в кодовой комбинации. Этим определяется, что требования к линейному тракту по достоверности передачи при ДМ на несколько порядков ниже, чем при ИКМ.

При ИКМ для демодуляции сигнала требуется два вида синхронизации: тактовая (по битам) и по кодовым комбинациям. При ДМ принципиально отсутствуют кодовые комбинации, и требуется только синхронизация по тактам.

Рассмотренное описание цифровых методов модуляции показывает их глубокое единство. Наиболее общий метод – ИКМ с предсказанием. Частными случаями являются ДИКМ и ДМ. Метод ИКМ можно рассматривать как ИКМ с предсказанием, при которой предсказанное значение на каждом такте принимается равным нулю, а кодируются независимые отсчеты сигнала. В случае ИКМ перегрузка по крутизне имеет ту же природу и возникает, если отсчеты сигнала выходят за пределы шкалы квантования. Такое единство методов цифровой модуляции позволяет производить их анализ и сравнение с общих позиций.

 

1.8. Согласование характеристик сигнала и канала

 

Из всего сказанного ранее можно сделать вывод о том, что сигнал, как и канал, могут быть охарактеризованы множеством параметров. Однако для решения практических задач на предварительном этапе анализа системы передачи существенными оказываются лишь небольшое их число.

Рассмотрим три основных параметра сигнала, которые являются наиболее существенными с точки зрения передачи его по каналу.

Первым из таких важных параметров является время передачи сигнала Тс.

Второй существенной характеристикой является мощность сигнала Рс, передаваемого по каналу с определенным уровнем помех Рп в нем. Чем больше Рс по сравнению с Рп, тем меньше, в общем случае, вероятность ошибки. Таким образом, интерес представляет не абсолютные значения Рс и Рп, а их отношение, более того, удобнее пользоваться логарифмом этого отношения. В качестве единицы измерения чаще всего используют дБ, поскольку выбирают десятичный логарифм и, если это отношение мощностей, то с коэффициентом 10, а если напряжений или токов – то с коэффициентом 20. Этот параметр называется динамическим диапазоном сигнала .

Третьим важнейшим параметром является спектр сигнала, точнее - его ширина Fc.

Эти три параметра позволяют представить сигнал в трехмерном пространстве в виде параллелепипеда с объемом, равным их произведению. Данное произведение носит название объема сигнала .

Соответственно канал может быть охарактеризован временем использования канала ТК, т. е. временем, в течение которого канал предоставлен для работы, полосой пропускания канала F К и динамическим диапазоном D К, равным разности максимально допустимого уровня сигнала в канале и уровня помех, взятой в логарифмическом масштабе .

Таким образом, канал также может быть охарактеризован объемом канала .

Для того, чтобы сигнал мог быть передан по каналу, необходимо выполнение условия . Это условие является необходимым, но недостаточным, поскольку требуется и выполнение условий .

Тем не менее, если условие  выполняется, а некоторые из условий  не выполняются, сигнал может быть определенным образом преобразован или трансформирован для того, чтобы его передача по каналу стала возможной.

Рассмотрим, каким явлениям соответствуют различные преобразования сигнала, выполняемые с целью согласования с каналом, т.е. с целью выполнения условий  и . Это рассмотрение начнем с простейших преобразований, называемых преобразованиями переноса, выполняемых без деформации объема сигнала.

1. Перенос вдоль оси времени (рис. 1.30) означает задержку сигнала на время Т0.

2. Перенос по оси частот (рис. 1.31) соответствует однополосной модуляции с несущей F 0. Ширина спектра сигнала FC при этом остается неизменной.

3. Перенос вдоль оси динамического диапазона (рис. 1.32) означает усиление или ослабление сигнала и содержащейся в нем помехи, так что изменения динамического диапазона не происходит.

Рис. 1.30. Перенос по оси времени Рис. 1.31. Перенос по оси частот Рис. 1.32. Перенос по оси динамического диапазона

Рассмотрим далее преобразования деформации, которые отличаются от рассмотренных тем, что при сохранении общей величины объема сигнала VC увеличивается (уменьшается) одна из координат за счет пропорционального уменьшения (увеличения) другой координаты.

Достаточно просто пояснить деформацию объема путем увеличения FC и соответствующего уменьшения TC или наоборот. Примером служит запись сообщения на магнитную ленту с повышенной скоростью v1 и последующее воспроизведение с нормальной скоростью v2. В последнем случае время воспроизведения (передачи) возрастает в v2/v1 раз, но во столько же раз уменьшается полоса частот спектра сигнала. Такое преобразование позволяет согласовать сигнал с каналом, имеющим полосу пропускания FK, меньшую, чем спектр сигнала FC, записываемого на ленту. Наоборот, если полоса пропускания канала FK не используется полностью, то можно сократить время передачи, записывая сигнал на ленту, движущуюся замедленно, а затем воспроизводя его с нормальной скоростью.

Несколько более сложным примером деформации служит применение ИКМ (рис. 1.29), при которой происходит деформация по осям D и F.

Одной из наиболее важных задач передачи информации является повышение помехоустойчивости. Оно всегда связано с введением определенной избыточности, т. е. с увеличением объема сигнала. Если объем канала допускает увеличение объема сигнала, могут быть приняты меры, повышающие надежность передачи. Перечислим некоторые из них:

1. Простейшей мерой является увеличение мощности сигнала. Это приводит к дополнительному превышению сигнала над помехой, увеличению динамического диапазона и соответствующему увеличению объема сигнала. Однако в стандартных каналах строго нормируется предельный верхний уровень сигнала на входе, так как превышение мощности сигнала может привести к перегрузке и выходу из строя каналообразующей аппаратуры и возникновению недопустимо больших перекрестных помех.

2. Применение помехоустойчивых видов модуляции. Большая помехоустойчивость некоторых видов модуляции достигается либо благодаря более широкому спектру модулированных сигналов (частотная, фазовая модуляция), либо благодаря увеличению времени передачи, например, при использовании для импульсно-кодовой модуляции достаточно широких импульсов, что сужает спектр, но увеличивает длительность передачи. В обоих случаях имеет место соответствующее увеличение объема сигнала.

3. Применение помехоустойчивых методов приема, к которым можно отнести использование различных методов фильтрации принимаемого сигнала. Эти методы фильтрации связаны с увеличением времени приема и, следовательно, требуют увеличения времени передачи, т. е. увеличения объема сигнала.

4. Применение каналов с обратной связью. Если имеется возможность установить дополнительный канал между передатчиком и приемником или такой канал уже существует, то его можно использовать как канал обратной связи. По каналу обратной связи может передаваться: а) весь объем принимаемой информации с целью контроля работы прямого канала; б) только информация о сомнительных сигналах. В последнем случае на приемной стороне устанавливается решающее устройство, делающее заключение о том, какой сигнал был передан. Если уверенность в принятом сигнале достаточно велика, обратный сигнал не посылается, если уверенность недостаточна, делается запрос на повторную передачу. Системы передачи первого типа называются системами с информационной обратной связью, а системы второго типа – системами с решающей или управляющей обратной связью или системами с переспросом. В обоих случаях повышение помехоустойчивости связано с увеличением оборудования (два канала вместо одного) и увеличением времени передачи, т. е. соответствующим увеличением объема сигнала.

5. Применение помехоустойчивого кодирования. Помехоустойчивое кодирование всегда связано с введением избыточных символов в код передаваемого сообщения. Эти символы позволяют на приемной стороне обнаружить и /или исправить ошибки. Введение дополнительных символов увеличивает либо время передачи, либо частоту, что приводит к расширению спектра сигнала, либо то и другое одновременно. В любом случае это приводит к увеличению объема сигнала.

В реальных системах все эти методы повышения помехоустойчивости применяются в различной степени в различных сочетаниях.

 

Контрольные вопросы к лекции 9

 

9-1. Для чего предназначены идентифицирующие параметры несущей при модуляции?

9-2. Для чего предназначены информативные параметры несущей при модуляции?

9-3. В чем состоит основное назначение модуляции?

9-4. На какие виды подразделяется модуляция в зависимости от вида используемой несущей?

9-5. Какой параметр гармонической несущей является информативным при амплитудной модуляции?

9-6. Какой параметр гармонической несущей является информативным при частотной модуляции?

9-7. Какой параметр гармонической несущей является информативным при фазовой модуляции?

9-8. Что называется коэффициентом или глубиной амплитудной модуляции?

9-9. Из каких гармонических составляющих состоит спектр синусоиды, модулированной по амплитуде синусоидой?

9-10. Как можно найти спектр модулированного по амплитуде сигнала при гармонической несущей и произвольном модулирующем сигнале с известным спектром?

9-11. Как полоса частот модулированного по амплитуде сигнала зависит от максимальной частоты модулирующего сигнала?

9-12. Какой вид модуляции называется манипуляцией?

9-13. К чему приводит ограничение полосы пропускания при амплитудной манипуляции?

9-14. В чем состоят недостатки метода амплитудной модуляции с двумя боковыми полосами?

9-15. В чем состоят достоинства метода АМ-ОБП?

9-16. Что называется девиацией частоты при частотной модуляции?

9-17. Что называется индексом частотной модуляции?

9-18. Из каких гармонических составляющих состоит спектр ЧМ-сигнала при гармонической несущей и гармоническом модулирующем сигнале?

9-19. Как ширина спектра ЧМ-сигнала зависит от величины индекса частотной модуляции?

9-20. Какую частотную модуляцию называют узкополосной?

9-21. Чем определяется практически необходимая ширина спектра при широкополосной частотной модуляции?

9-22. В чем состоит принципиальное отличие двух видов угловой модуляции?

9-23. Что представляет собой индекс фазовой модуляции?

9-24. В чем состоит явление обратной работы?

9-25. В чем состоит отличие относительной фазовой модуляции от фазовой модуляции?

9-26. Какими способами образуется манипуляционный элемент при методах многократной фазовой модуляции?

9-27. Какие параметры несущей модулируются при КАМ?

9-28. Что называется сигнальным созвездием?

9-29. Как с помощью сигнальных созвездий осуществляется сравнение различных методов модуляции по помехоустойчивости?

9-30. Чем отличаются АИМ –1 и АИМ –2?

9-31. Какой параметр несущей модулируется при ШИМ?

9-32. Какой параметр несущей модулируется при ФИМ?

9-33. Какой параметр несущей модулируется при ЧИМ?

9-34. Какие гармонические составляющие содержит спектр АИМ-сигнала при гармоническом модулирующем сигнале?

9-35. С помощью какого устройства можно выделить модулирующий сигнал из АИМ-сигнала?

9-36. При каком условии можно выделить модулирующий сигнал из АИМ-сигнала с помощью ФНЧ?

9-37. Чем определяется практически необходимая ширина спектра при АИМ?

9-38. Каковы преимущества ФИМ по сравнению с другими видами импульсной модуляции?

9-39. В чем состоит суть ИК-модуляции?

9-40. Что квантуется и кодируется при ДИКМ?

9-41. Какой метод ДИКМ называется адаптивной ДИКМ?

9-42. Какой вид искажений при ДИКМ называется перегрузкой по крутизне?

9-43. Почему ДИКМ предъявляет более высокие требования к качеству канала связи?

9-44. В чем состоит суть метода дельта-модуляции?

9-45. Что называется дельта-кодом?

9-46. Какие требования предъявляются к частоте дискретизации при использовании дельта-модуляции?

9-47. Почему ДМ предъявляет более низкие требования к качеству канала связи, чем ИКМ?

9-48. Как определяется объем сигнала?

9-49. Как определяется объем канала?

9-50. Что является необходимым и достаточным условиями передачи сигнала по каналу?

9-51. Чему эквивалентно преобразование переноса сигнала вдоль оси времени?

9-52. Чему эквивалентно преобразование переноса сигнала вдоль оси частот?

9-53. Чему эквивалентно преобразование переноса сигнала вдоль оси динамического диапазона?

9-54. Чем преобразования деформации объема сигнала отличаются от преобразований переноса объема сигнала?

9-55. В чем состоят достоинства и недостатки метода повышения помехоустойчивости за счет увеличения мощности сигнала?

9-56. В чем состоят достоинства и недостатки метода повышения помехоустойчивости за счет использования различных видов модуляции?

9-57. В чем состоят достоинства и недостатки метода повышения помехоустойчивости за счет использования различных методов фильтрации?

9-58. Какие системы передачи данных называются системами с информационной обратной связью?

9-59. Какие системы передачи данных называются системами с решающей обратной связью?

9-60. В чем состоят достоинства и недостатки метода повышения помехоустойчивости за счет использования различных методов помехоустойчивого кодирования?

 


Лекция 10.
Основы
статистического
подхода к
определению
количества
информации

Глава 2.
Количественные оценки информационных объектов и процессов

 

2.1. Подходы к определению количества информации

 

Одним из фундаментальных понятий теории информации является понятиеколичества информации. В связи с этим возникает вопрос об установлении меры количества информации.

Существует множество различных подходов и, следовательно, различных мер количества информации. Основными из этих подходов являются структурный, статистический и семантический подходы.

При структурном походе рассматривается строение и структура массивов информации и их измерение простым подсчетом максимально возможного количества информационных элементов, которое определяется этой структурой. Под информационными элементами понимаются неделимые частицы – кванты информации в дискретных моделях реальных информационных комплексов, а также элементы алфавитов в числовых системах. При структурном подходе различают геометрическую, комбинаторную и аддитивную меры информации.

Геометрической мерой определяется потенциальное, т.е. максимально возможное количество информации в заданных структурных габаритах, называемое информационной емкостью информационной системы. Информационная емкость может быть представлена числом, показывающим, какое количество квантов содержится в массиве информации.

К комбинаторной мере целесообразно прибегать тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов. Образование комбинаций есть одна из форм кодирования информации. Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Таким образом, оценке подвергается комбинаторное свойство потенциального структурного разнообразия информационных систем. Комбинирование возможно в системах с неодинаковыми элементами, переменными связями или разнообразными позициями.

Наибольшее распространение получила аддитивная мера, так называемая мера Хартли, измеряющая количество информации в двоичных единицах. Таким образом, структурный подход применяется для оценки потенциальных возможностей информационной системы вне зависимости от условий ее применения.

При статистическом подходе учитывается вероятностный характер появления того или иного сообщения и устанавливается зависимость количества информации, содержащегося в сообщении, от вероятности появления этого сообщения. Таким образом, статистический подход учитывает конкретные условия применения информационных систем.

С другой стороны, при статистическом подходе совершенно не учитывается смысловое содержание и субъективная ценность сообщения.

Для оценки этих и других подобных характеристик используется семантический подход к установлению количественной меры информации. Семантический подход вводит меры содержательности, целесообразности и существенности информации.

Оценка содержательности информации требует формализации смысла. За основу описания объекта берется атомарное, т.е неделимое предложение или квант сообщения. Мерой измерения смысла являются функции истинности и ложности логических высказываний. Эти функции имеют формальное сходство с функциями вероятности события и его отрицания в теории вероятностей. Отличие вероятностной оценки от логической состоит в том, что в первом случае учитывается вероятность реализации тех или иных событий, а во втором – меры истинности или ложности событий, что приближает их к оценке смысла информации.

В качестве меры целесообразности информации предлагается использовать изменение вероятности достижения цели при получении информации. Полученная информация может не изменять вероятность достижения цели, и в этом случае мера ее целесообразности равна нулю, она может уменьшать вероятность достижения цели и тогда будет равна отрицательной величине, или увеличивать вероятность достижения цели и принимать положительное значение.

Функция существенности отражает степень важности информации о том или ином значении параметра события с учетом времени и пространства.

В настоящем курсе будет рассматриваться только статистический подход к установлению количественной меры информации. Это объясняется тем, что статистический подход так или иначе включает в себя структурный подход в качестве частного предельного случая, а основы семантического подхода являются предметом изучения в последующих дисциплинах учебного плана специальности.

 

 

2.2. Основы статистического подхода
к определению количества информации

 

Интуитивно понятно, что количество информации, которое получает адресат, приняв сообщение, некоторым образом связано с априорной неопределенностью (доопытной, существовавшей до получения сообщения), которая, в свою очередь, зависит от числа возможных сообщений. Чем больше число возможных сообщений, тем больше априорная неопределенность получения одного из них и тем большее количество информации получает адресат, когда эта неопределенность снимается после получения сообщения.

Первая попытка ввести научно обоснованную меру количества информации была сделана в 1928 году Р. Хартли. Он предложил и обосновал количественную меру, позволяющую сравнивать способность различных систем передавать информацию. Эта мера подходит как для систем передачи, так и для систем хранения информации, поэтому она явилась отправной точкой для создания теории информации.

Естественным требованием, предъявляемым к информационной мере, является ее аддитивность: количество информации, которое можно сохранить в двух однотипных ячейках, должно быть в два раза больше, а в n одинаковых ячейках в n раз больше, чем в одной ячейке. Если ячейка для хранения информации имеет m возможных состояний, то две такие ячейки будут иметь m 2 возможных состояний, а n одинаковых ячеек – m n возможных состояний. Следовательно, существует экспоненциальная зависимость между числом возможных состояний и числом ячеек. Учитывая эту зависимость, для количественной оценки способности системы хранить или передавать информацию Хартли ввел логарифмическую меру информационной емкости

Ih = log m ,                                                                                    (2.1)

где m – число различных состояний системы. Такая мера удовлетворяет требованию аддитивности. Емкость устройства, состоящего из n ячеек и имеющего m n состояний, равна емкости одной ячейки, умноженной на число ячеек

C= log mn=n log m.

За единицу измерения информационной емкости принята двоичная единица – бит, равная емкости одной ячейки с двумя возможными состояниями.

Хартли ограничился рассмотрением информационной емкости как величины характеризующей физическую систему. Эта оценка дает представление о потенциальной максимально возможной информационной емкости информационной системы, в ней не учтены вероятности различных состояний. Таким образом, мера Хартли, строго говоря, является не статистической, а структурной мерой количества информации.

Дальнейшее развитие теория информации получила в трудах К.Шеннона, который ввел в нее понятия неопределенности и энтропии. Он ограничил применимость формулы Хартли (2.1) лишь тем случаем, когда все m исходов опыта X (т. е. состояний системы) равновероятны. В этом случае вероятность любого исхода  и тогда формулу Хартли (2.1.) можно переписать в следующем виде

.                                                                   (2.2.)

Принципиальное отличие этой формулы от (2.1.) состоит в том, что она показывает, что неопределенность исхода зависит от вероятности исхода.

Далее Шеннон применил эту формулу к разновероятным событиям, усреднив затем полученные неопределенности по всем исходам.

Для опыта X = { x 1 ,. . . xm }, где x 1 ,. . . xm - возможные исходы с вероятностями p 1 ,. . . pm, неопределенность каждого исхода - logp 1 ,. . . - logpm, а математическое ожидание определяется по формуле

.                                                     (2.3.)

Получаемую по формуле (2.3) величину Шеннон назвал энтропией.

Таким образом, неопределенность каждой ситуации характеризуется величиной, называемой энтропией. Понятие энтропии существует в ряде областей знаний. Энтропия в термодинамике означает вероятность теплового состояния вещества, в математике – степень неопределенности ситуации или задачи, в теории информации – способность источника отдавать информацию. Все эти понятия родственны между собой. Так, например, согласно второму закону термодинамики энтропия замкнутого пространства выражается как , где N – общее количество молекул в данном пространстве, ni – количество молекул, имеющих скорость vi. Но  есть частоты событий, следовательно, вероятности того, что молекулы имеют скорость vi ,равна . Тогда , что аналогично (2.3). Выбор основания логарифма несуществен, поскольку определяет лишь единицы измерения энтропии.

Поясним далее соотношение понятий энтропии и количества информации.

В соответствии с определением понятия энтропия является мерой априорной неопределенности, существовавшей до получения сообщения. Под количеством информации, содержащимся в сообщении, понимается мера снятой неопределенности после получения сообщения.

Предположим, что до получения сообщения ситуация характеризовалась энтропией H 1, после получения сообщения энтропия уменьшилась и стала равной H 2. Тогда количество информации, содержащееся в этом сообщении, равно I = H 1 - H 2. Если неопределенность в результате получения сообщения снимается полностью, т. е. H 2 = 0, то I = H 1.

Энтропия обладает следующими свойствами:

1. Энтропия всегда неотрицательна, т. к. значения вероятностей выражаются числами, не превосходящими единицу, а их логарифмы, следовательно, отрицательными числами, так что члены суммы в формуле (2.3) всегда положительны.

2. Энтропия равна 0 в том и только в том случае, когда вероятность одного из исходов pk = 1, следовательно, вероятность всех остальных исходов равна 0. Это соответствует тому случаю, когда исход опыта может быть предсказан с полной достоверностью и отсутствует всякая неопределенность, сообщение об исходе не несет никакой информации.

3. Энтропия имеет наибольшее значение, когда вероятности всех исходов равны между собой p 1 = p 2 . . . = pm = 1/ m, тогда

.                                                  (2.4.)

Если полученное выражение сравнить с (2.1), то это явится еще одним доказательством того, что мера Хартли дает представление о потенциальных возможностях информационной системы. В случае неравенства вероятностей количество информации по Шеннону меньше информационной емкости системы.

Рассмотрим простейший пример с элементарным двоичным событием:

1) пусть p 1 = p 2 = 0,5, тогда H = -(0,5 log 0,5 + 0,5 log 0,5) = 1 бит;

2) пусть p 1 = 0,9, p 2 = 0,1, тогда H = -(0,9 log 0,9 + 0,1 log 0,1) = 0,46 бит;

3) пусть p 1 = 1, p 2 = 0, тогда H = -(1 log 1 + 0 log 0) = 0 бит.

Если во всех полученных выражениях под опытом X понимать способность некоторого дискретного источника формировать то или иное сообщение из их совокупности X, то все сказанное о количестве информации и энтропии может быть отнесено к источнику информации.

Введение понятия энтропии источника позволяет дать точные определения упомянутых во введении характеристик, называемых избыточностью источника и производительностью источника.

Относительная избыточность источника определяется по формуле

,                                      (2.5)

где m – объем алфавита источника, т.е. способность формировать m различных сообщений (символов). Относительная избыточность показывает, какая доля максимально возможной при данном объеме алфавита энтропии не используется источником.

Пусть, например, источник выдает символы x 1 , x 2 , x 3 , x 4 с вероятностями p ( x 1 )=0,2, p ( x 2 )=0,3, p ( x 3 )=0,4, p ( x 4 )=0,1. Найти количество информации в каждом из символов источника при их независимом выборе (источник без памяти). Требуется найти энтропию и избыточность данного источника. Количество информации в каждом из символов xi определяется по формуле (2.2)

Энтропия источника, выдающего эти символы, по формуле (2.3)

бит/символ.

Избыточность источника находится по формуле (2.5)

.

Избыточность источника зависит как от степени неравновероятности отдельных символов, так и от наличия и протяженности статистических связей между последовательно выбираемыми символами, т. е. от памяти источника.

Если источник без памяти, т. е. последовательно передаваемые символы независимы, и все символы равновероятны, то H ( X ) = Hmax и r отн = 0.

Источник, как и случайный процесс, называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

Пусть, например, стационарный источник выдает за время Т=106 секунд 107 бит информации двоичными посылками длительностью t =10 мс. За какое время и каким количеством двоичных посылок можно передать тот же объем информации, если соответствующей обработкой полностью устранить избыточность источника. Определить избыточность источника.

Заданное количество информации I = 107 бит источник передает n посылками или символами, где n = Т/ t = 108. Тогда среднее количество информации, приходящееся на одну посылку или символ, H = I / n =0,1 бит/символ. Если в результате соответствующей обработки избыточность полностью устранена, то каждый символ двоичного источника несет в себе Hmax = 1 бит информации. Тогда заданное количество информации может быть передано n 0 = I / Hmax = 107 посылками при той же их длительности t =10 мс за время T 0 = t n 0 =105 c.

Избыточность источника по формуле (2.5)

.

Если дискретный источник выдает сообщения, затрачивая в среднем время Т на каждое сообщение, то производительностью (в битах в секунду) такого источника называется суммарная энтропия сообщений, переданных в единицу времени

,                                                            (2.6)

где  – скорость источника, под которой понимается количество сообщений (символов), выдаваемых источником в единицу времени.

 

2.3. Энтропия объединения (ансамбля)

 

Формула (2.3) получена в предположении, что существует неопределенная ситуация X, которая характеризуется вполне определенным набором альтернатив x 1 , x 2 , . . . , xm и известными априорными вероятностями этих альтернатив p ( x 1 ), p ( x 2 ), . . . , p ( xm ). Таким образом, на множестве (ансамбле) возможных сообщений задается распределение вероятностей, и это позволяет вычислить по формуле (2.3) энтропию источника.

Однако информационный акт в любой информационной системе состоит в передаче сообщения от источника к получателю. В связи с этим возникает необходимость в определении количества информации, содержащегося в одном ансамбле относительно другого.

Для этого рассмотрим объединение двух дискретных ансамблей X и Y, вообще говоря, зависимых друг от друга. Интерпретировать это объединение в зависимости от решаемой задачи можно по-разному: а) как пару ансамблей сообщений; б) как ансамбль сообщений X и ансамбль сигналов Y, с помощью которого эти сообщения передаются; в) как ансамбль сообщений (сигналов) X на входе канала и ансамбль сообщений (сигналов) Y на выходе канала и т. д.

При этом ансамбль Y задается аналогичной ансамблю X схемой

,

а схема объединения ансамблей выглядит следующим образом

 

              x1  x2 . . . xm

y1           p(x1y1) p(x2y1) . . . p(xmy1)

y2           p(x1y2) p(x2y2) . . . p(xmy2)

                       . . . .

ym          p(x1ym) p(x2ym) . . . p(xmym),

где вероятности произведения совместных зависимых событий определяются по формуле

С объединением событий связаны понятия совместной и условной энтропии и взаимной информации.

Совместной энтропией H ( XY ) называется среднее количество информации на пару сообщений (например, переданного и принятого). По аналогии с теоремой умножения вероятностей (1.7)

                                    (2.7)

Здесь  – условная энтропия Y относительно X или мера количества информации в приемнике, если известно, что передается X, а  – условная энтропия X относительно Y или мера количества информации об источнике, когда известно, что принимается Y.

Для условной энтропии справедливо неравенство . При этом равенство  имеет место тогда, когда Y содержит полную информацию об X . Другое равенство  имеет место тогда, когда X и Y независимы, т. е. Y не содержит никакой информации об X.

Выражения для нахождения условных энтропий через вероятностные схемы ансамблей X и Y и их объединений могут быть получены исходя из следующего.

Пусть на основании статистических данных могут быть установлены вероятности событий y 1 , y 2 , . . . , ym при условии, что имело место событие xi. Это будут условные вероятности p ( y 1 / xi ), p ( y 2 / xi ), . . . , p ( ym / xi ). Тогда частная условная энтропия будет равна по общему определению энтропии (2.3) .

Далее нужно подсчитать среднее значение H ( Y / X ) для всех xi при i =1, ..., n , т.е.  или в развернутом виде

  (2.8)

и аналогично

.                            (2.9)

В общем случае условная энтропия H ( X / Y ) меньше H ( X ) и знание Y снижает в среднем априорную неопределенность X. Из этих соображений целесообразно назвать разность

                                                    (2.10)

количеством информации, содержащемся в Y относительно X . Эту величину называют взаимной информацией между X и Y.

Взаимная информация измеряется в тех же единицах, что и энтропия, т. е. в битах. Величина I ( X , Y ) показывает, сколько в среднем бит информации получаем о реализации ансамбля X, наблюдая реализацию ансамбля Y.

Основные свойства взаимной информации:

1. I ( X , Y ) ³ 0, причем равенство нулю имеет место тогда и только тогда, когда X и Y независимы друг от друга.                             (2.11)

2. I ( X , Y ) = I ( Y , X ), т.е. Y содержит такое же количество информации об X, какое X содержит относительно Y.                                 (2.12)

3. I ( X , Y ) £ H ( X ), причем равенство имеет место тогда, когда по реализации Y можно однозначно восстановить X.                               (2.13)

4. I ( Y , X ) £ H ( Y ), причем равенство имеет место тогда, когда по реализации X можно однозначно восстановить реализацию Y.          (2.14)

5. Полагая Y = X и учитывая, что H ( X / X ) = 0, получим, что I ( X , X )= H ( X ). Это позволяет интерпретировать энтропию источника, как его собственную информацию, т.е. содержащуюся в ансамбле X о самом себе. (2.15)

Все сказанное о безусловной, условной, совместной энтропии и взаимной информации можно свести в табл. 2.1.

Таблица 2.1. Сводная таблица по видам энтропий

Название Обозначение Диаграмма Соотношения

Безусловная

энтропия

H( X) H(X) ³ H(X/Y) H(X)= H(X/Y)+ I(X,Y)
H( Y) H(Y) ³ H(Y/X) H(Y)= H(Y/X)+ I(X,Y)

Условная

энтропия

H(X/Y) H(X/Y)= H(X) - I(X,Y)
H(Y/X) H(Y/X)= H(Y) - I(X,Y)
Совместная энтропия H(XY)=H(YX) H(XY)= H(X)+ H(Y/X)= = H(Y)+ H(X/Y)= = H(X)+ H(Y) - I(X,Y)
Взаимная информация I(X,Y) I(X,Y)= H(X) - H(X/Y)= = H(Y) - H(Y/X)= = H(XY) - H(X/Y) - H(Y/X)

 

Если обозначить T – среднее время передачи одного сообщения, а u к – количество символов, поступающих на вход канала в единицу времени, то величина

                                           (2.16)

показывает количество информации, приходящееся не на одно сообщение, а на единицу времени и называется скоростью передачи информации от X к Y.

Полученные соотношения позволяют взглянуть на сущность энтропии с другой точки зрения.

Пусть X – ансамбль дискретных сообщений, а Y – ансамбль дискретных сигналов, в которые преобразуются сообщения X. Тогда (2.13, 2.14) I ( X , Y ) = H ( X ) в том и только в том случае, когда преобразование X ® Y обратимо. При необратимом преобразовании I ( X , Y ) < H ( X ) и разность H ( X ) - I ( X , Y ) = H ( X / Y ) можно назвать потерей информации при преобразовании X ® Y.

Таким образом, информация не теряется только при строго обратимых преобразованиях.

Далее, понимая под X ансамбль сигналов на входе дискретного канала, а под Y – ансамбль сигналов на его выходе, на основании (2.10) можно записать

.                    (2.17)

Это соотношение можно проиллюстрировать рис. 2.1. Здесь H ( X ) - энтропия источника на входе канала,

 

Рис. 2.1. Графическая иллюстрация выражения (2.17)

H ( Y ) - энтропия на выходе канала, H ( X / Y ) - потери информации в канале, эта величина называется иногда ненадежностью канала, H ( Y / X ) - посторонняя информация в канале, создаваемая действующими в нем помехами и называемая иногда энтропией шума. Соотношение между H ( X / Y ) и H ( Y / X ) определяется свойствами канала. Например, при передаче телефонного сигнала по каналу с узкой полосой частот и низким уровнем помех H ( X / Y ) >> H ( Y / X ). Если полоса частот канала достаточна, но сильны наводки от соседнего канала, то H ( X / Y ) << H ( Y / X ).

Если в системе нет потерь информации, искажений и помех, то условные энтропии в выражении (2.17) равны нулю, а количество взаимной информации равно энтропии либо источника, либо приемника.

 

Контрольные вопросы к лекции 10

 

10-1. Чем характеризуется структурный подход к определению количества информации?

10-2. Как определяется геометрическая мера количества информации при использовании структурного подхода?

10-3. Как определяется комбинаторная мера количества информации при использовании структурного подхода?

10-4. Как определяется аддитивная мера количества информации при использовании структурного подхода?

10-5. Для чего используется семантический подход к определению количества информации?

10-6. Как оценивается содержательность информации при использовании семантического подхода?

10-7. Что служит в качестве меры целесообразности информации при использовании семантического подхода?

10-8. Что служит в качестве меры существенности информации при использовании семантического подхода?

10-9. Чем отличаются подходы Хартли и Шеннона к определению количества информации?

10-10. Что характеризует энтропия?

10-11. Чем отличаются понятия количества информации и энтропии?

10-12. Почему энтропия всегда положительна?

10-13. В каком случае энтропия равна нулю?

10-14. В каком случае энтропия имеет максимальное значение?

10-15. Как определяется относительная избыточность источника?

10-16. В каком случае относительная избыточность источника равна нулю?

10-17. Какой источник информации называется стационарным?

10-18. Что называется производительностью источника информации?

10-19. Что называется совместной энтропией пары сообщений?

10-20. Что называется условной энтропией одного сообщения относительно другого?

10-21. Что называется взаимной информацией между двумя сообщениями?

10-22. В каком случае взаимная информация между двумя сообщениями равна нулю?

10-23. В каком случае взаимная информация между двумя сообщениями равна энтропии одного из сообщений?

10-24. Что называется собственной информацией источника?

10-25. Что называется скоростью передачи информации?

10-26. При каких преобразованиях отсутствуют потери информации?

10-27. Что называется ненадежностью канала?

10-28. Что называется энтропией шума в канале?


Лекция 11.
Основная
теорема
Шеннона

2.4. Основная теорема Шеннона для дискретного канала

 

Определенную в разделе 2.3 скорость передачи I ! ( X , Y ) от X к Y можно интерпретировать и как скорость передачи информации по дискретному каналу, если под ансамблями X и Y понимать ансамбли сообщений на его входе и выходе

. (2.18)

Из четырех энтропий, фигурирующих в этом выражении, только H ( X ) – собственная информация передаваемого сообщения, определяемая источником дискретного сообщения и не зависящая от свойств канала. Остальные три энтропии в общем случае зависят как от источника, так и от канала. Отсюда следует, что такой параметр, как скорость передачи не может характеризовать канал как средство передачи.

Представим, что на вход канала можно подавать сообщения от разных источников, характеризуемых разными распределениями вероятностей p ( X ). Для каждого такого источника количество информации, передаваемое в канал, будет разным.

Максимальное количество информации, передаваемое в единицу времени, взятое по всем возможным источникам, называется пропускной способностью канала

 бит/с.                                                     (2.19)

В качестве примера определим пропускную способность дискретного симметричного канала без памяти, через который в единицу времени передаются u символов из алфавита с объемом m.

Можно записать с учетом (2.18) и (2.19)

.                (2.20)

Величина H ( Y / X ) в данном случае легко находится, поскольку условная вероятность p ( yj / xi ) принимает только два значения

,                                           (2.21)

где p – вероятность того, что при передаче символа xi будет принят любой другой символ, кроме yj, т.е. вероятность ошибки. Первое из этих значений  возникает с вероятностью p, а второе – 1- p возникает с вероятностью 1- p. К тому же, поскольку рассматривается канал без памяти, результаты приема отдельных символов независимы. Поэтому в соответствии с полученной ранее формулой (2.8) и с учетом (2.21) можно записать .

Следовательно, при этих условиях H ( Y / X ) не зависит от распределения вероятностей в ансамбле X, а определяется только переходными вероятностями канала.

Таким образом, поскольку в выражении (2.20) только член H ( Y ) зависит от распределения вероятностей p ( X ), то максимизировать необходимо именно его.

Максимальное значение H ( Y ) реализуется тогда, когда все выходные символы yj равновероятны и независимы, а это условие, в свою очередь, выполняется, когда равновероятны и независимы входные символы xi. При этом в соответствии с (2.4) . Отсюда пропускная способность канала в расчете на единицу времени

.

Для двоичного ( m =2) симметричного канала пропускная способность  бит/с.

При p =0,5 пропускная способность двоичного канала C =0, поскольку при такой вероятности ошибки последовательность выходных двоичных символов можно получить, совсем не передавая сигналы по каналу (канал не нужен), а просто выбирая их наудачу (например, бросая монету), т. е. при p =0,5 последовательности символов на входе и на выходе канала независимы. То, что пропускная способность при p =0 (канал без шумов) равна пропускной способности при p =1, объясняется тем, что p =1 означает, что все входные символы при прохождении через канал обязательно преобразуются под воздействием помех в противоположные. Следовательно, чтобы правильно восстановить на выходе входное сообщение, достаточно инвертировать все выходные символы.

Пусть, например, по каналу передается сообщение, формируемое из восьми символов xi с вероятностями их появления pi.

xi x1 x2 x3 x4 x5 x6 x7 x8
pi 0,20 0,15 0,20 0,15 0,10 0,10 0,05 0,05

Канал имеет полосу пропускания, позволяющую передавать элементы сообщения со средней длительностью t и = 0,5 мс. Шум в канале отсутствует.

Тогда, поскольку шум отсутствует, энтропия шума H ( Y / X ) из формулы (2.18) равна нулю. Тогда из этой же формулы . В соответствии с (2.4) , т.е. . Канал способен пропускать в единицу времени  символов. Следовательно С = 3*2000 = 6000 бит/с. Скорость передачи определяется по формуле (2.18) . Величина H ( Y ) находится по определению энтропии (2.3)

=0,464+0,411+0,464+0,411+0,332+0,332+

+0,216+0,216=2,846 бит/символ.

Тогда скорость передачи  = 2000*2,846 = 5692 бит/с.

Пропускная способность канала характеризует потенциальные возможности канала по передаче информации. Они раскрываются в фундаментальной теореме теории информации, известной как основная теорема Шеннона.

Применительно к дискретному источнику и каналу она формулируется так: «Если производительность источника сообщений  меньше пропускной способности С канала , то существует способ кодирования (преобразования сообщения в сигнал на входе) и декодирования (преобразования сигнала в сообщение на выходе канала), при котором вероятность ошибочного декодирования может быть сколь угодно малой. Если , то таких способов не существует». Таким образом, согласно теореме Шеннона, конечная величина С – это предельное значение скорости безошибочной передачи информации по каналу.

Этот результат оказывается особенно ценным, так как интуиция его не подтверждает. Действительно, очевидно, что при уменьшении скорости передачи информации можно повысить достоверность. Этого можно добиться, например, путем многократного повторения каждой буквы сообщения. Однако для обеспечения нулевой ошибки интуитивно кажется, что скорость передачи должна стремиться к нулю, так как число повторений должно быть бесконечно большим. Теорема же утверждает, что всегда путем выбора подходящего кода можно обеспечить ненулевую скорость передачи.

К сожалению, теорема Шеннона неконструктивна, поскольку она доказывает только существование таких способов кодирования и декодирования, не указывая какого-либо конкретного способа. Тем не менее, значение и фундаментальность теоремы Шеннона трудно переоценить, поскольку она устанавливает пределы достижимого в области кодирования и передачи информации.

Рассмотрим ее содержание более подробно. Как отмечалось ранее, для восстановления по пришедшему сигналу переданного сообщения необходимо, чтобы сигнал содержал о нем информацию, равную энтропии сообщения. Следовательно, для правильной передачи сообщения необходимо, чтобы скорость передачи информации  была не меньше производительности источника .                                                      (2.22)

Так как по определению скорость передачи информации не превышает значения пропускной способности канала, то неравенство  является необходимым условием для точной передачи сообщения. Но является ли оно достаточным? Вопрос сводится к тому, можно ли установить такое соответствие (код) между сообщением X и сигналом Y, чтобы вся информация, полученная на выходе канала о сигнале Y, была в то же время информацией о сообщении X?

Положительный ответ на этот вопрос очевиден в случае, когда в канале нет помех, и сигнал принимается безошибочно. При этом скорость передачи информации по каналу равна производительности кодера  и, если между X и Y установлено однозначное соответствие, то по принятому сигналу можно однозначно восстановить сообщение.

В общем случае в канале имеются помехи, сигнал Y принимается с ошибками, так что скорость передачи информации по каналу меньше производительности кодера . Отсюда с учетом подчеркнутого выше (2.22) утверждения следует, что .                                       (2.23)

Это значит, что производительность кодера, на выходе которого формируется сигнал Y, должна быть выше производительности источника, на выходе которого формируется сообщение X. Следовательно, Y содержит кроме информации об X дополнительную собственную информацию. Часть информации о сигнале Y в канале теряется. Вопрос сводится к следующему: можно ли осуществить кодирование так, чтобы терялась только дополнительная, избыточная часть собственной информации Y, а информация об X сохранялась? Теорема Шеннона дает на этот вопрос почти положительный ответ, с той лишь поправкой, что скорость потери информации не равна в точности нулю, но может быть сделана сколь угодно малой. Соответственно, сколь угодно малой может быть сделана вероятность ошибочного декодирования. При этом, чем меньше допустимая вероятность ошибочного декодирования, тем сложнее должен быть код.

Верхняя граница средней вероятности ошибочного декодирования  по всем возможным кодам определяется выражением

,                                                                  (2.24)

где Т – длительность последовательности кодируемых сообщений или длительность последовательности сигналов, соответствующей последовательности сообщений.

Из выражения (2.24) следует, что верность передачи тем выше, чем больше Т, т.е. чем длиннее кодируемый отрезок сообщения, а, следовательно, и больше задержка при приеме информации, и чем менее эффективно используется пропускная способность канала, т. е. чем больше разность , называемая иногда запасом пропускной способности. Из этого следует также, что существует возможность обмена между верностью, величиной задержки и эффективностью системы. С увеличением Т существенно возрастает сложность кодирования и декодирования (число операций, число элементов и стоимость аппаратуры). Поэтому чаще всего на практике предпочитают иметь умеренное значение Т, которое, кстати, не во всех системах можно произвольно увеличивать, и добиваются повышения верности за счет менее полного использования пропускной способности канала.

Подчеркнем, что чем больше запас пропускной способности, тем легче реализуется система передачи, но одновременно падает ее эффективность.

Уменьшение запаса пропускной способности, т. е. рост эффективности системы, при сохранении неизменной вероятности ошибки, т. е. качества передачи, влечет за собой увеличение длительности кодовой комбинации, что приводит к усложнению системы, в частности, за счет усложнения устройств памяти на передаче и приеме.

 

2.5. Энтропийные характеристики
непрерывных информационных объектов

 

Обобщим понятия энтропии и взаимной информации на ансамбли непрерывных информационных объектов.

Пусть случайная величина X – сечение или отсчет случайного процесса, определенная в некоторой непрерывной области. Ее распределение вероятностей характеризуется плотностью вероятности . Разобьем область значений X на небольшие интервалы D x. Вероятность того, что значение X лежит в интервале xk < X < xk + D x, приблизительно равна *D x по определению плотности вероятности, причем приближение тем точнее, чем меньше интервал D x . Если не уточнять значение X в пределах интервала D x, а заменить его значением xk в начале интервала, то непрерывный ансамбль замениться дискретным, а его энтропия определиться в соответствии с формулой (2.3), в которой вместо вероятности следует подставить плотность вероятности

.                                                    (2.25)

Теперь увеличим точность определения значения X, уменьшая D x. В пределе при D x ® 0 получается энтропия непрерывной случайной величины X, т. е.

        (2.26)

Анализируя полученное выражение, приходим к выводу о том, что энтропия непрерывного сигнала X стремиться к бесконечности при неограниченном уменьшении величины D x.

Первый член правой части выражения (2.26) является конечным и полностью определяется статистикой значений сигнала X. Это та часть энтропии непрерывного сигнала, которая зависит от функции плотности вероятности . Эту величину называют дифференциальной энтропией и обозначают

.                                                 (2.27)

Второй член правой части выражения (2.26) зависит лишь от интервала неопределенности D x и при увеличении или уменьшении величины D x энтропия соответственно монотонно убывает или возрастает.

Дифференциальная энтропия h ( X ) обладает свойствами во многом аналогичными свойствам энтропии дискретных сигналов H ( X ). Но есть и различия.

Дифференциальную энтропию, в отличие от обычной энтропии дискретного ансамбля, нельзя рассматривать как меру собственной информации. Она не обладает многими свойствами обычной энтропии, в частности, может принимать и отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и объясняется ее название. Дифференциальная энтропия непрерывного сигнала не изменится, если к сигналу прибавить некую неслучайную величину, т. е. дифференциальная энтропия не зависит от постоянной составляющей сигнала или, другими словами, от математического ожидания соответствующей случайной величины.

Определим далее взаимную информацию между двумя непрерывными случайными процессами X ( t ) и Y ( t ). Для этого воспользуемся приведенным выше предельным переходом и аналогией с формулой (2.17), полученной для дискретных ансамблей. Тогда получим

.                              (2.28)

Здесь h ( X ) и h ( Y ) – дифференциальные энтропии процессов X ( t ) и Y ( t ), определяемые в соответствии с (2.27), а h ( X / Y ) – условная дифференциальная энтропия отсчета X ( t ) при известном отсчете Y ( t ) и h ( Y / X ) – условная дифференциальная энтропия отсчета Y ( t ) при известном отсчете X ( t ). Приведенные в (2.28) дифференциальные энтропии имеют тот же смысл, что и в (2.17), т. е., например, h ( Y / X ) представляет собой дифференциальную энтропию шума в канале на один отсчет помехи. Условная дифференциальная энтропия h ( X / Y ) может быть найдена из выражения

.                                            (2.29)

Определение взаимной информации через дифференциальные энтропии позволяет продолжить аналогии с дискретным случаем и определить скорость передачи по непрерывному каналу с дискретным временем по формуле, аналогичной (2.16)

,                                                            (2.30)

где u – число отсчетов сигнала, передаваемое по каналу в единицу времени.

В качестве примера, который будет использоваться и в дальнейшем, найдем дифференциальную энтропию случайной величины X с нормальным распределением вероятности, т. е.

,                                                          (2.31)

где a – математическое ожидание, s2 – дисперсия X. Подставив (2.31) в (2.27), получим

                          (2.32)

В выражении (2.32) первый интеграл по общему свойству плотности вероятности равен 1, второй – по определению дисперсии равен s2.

Тогда

.                            (2.33)

Таким образом, дифференциальная энтропия гауссовой случайной величины не зависит от ее математического ожидания и монотонно возрастает с увеличением дисперсии.

Отметим еще одно важное свойство нормального распределения: из всех непрерывных случайных величин X с одинаковой дисперсией s 2 наибольшую дифференциальную энтропию имеет величина с нормальным распределением.                                                   (2.34)

Сравним дифференциальные энтропии нормального процесса и процесса с равномерным распределением на интервале (-а, а), если их дисперсии одинаковы.

Дифференциальная энтропия процесса с нормальным распределением находится по формуле (2.33) .

Дифференциальную энтропию процесса с равномерным распределением можно найти из общего определения дифференциальной энтропии (2.27) .

Дисперсия процесса с равномерным распределением равна дисперсии  нормального распределения при , поскольку . Следовательно . Тогда при заданной дисперсии  дифференциальная энтропия нормального процесса больше энтропии процесса с равномерным распределением на величину  = 0,3 бита и не зависит от величины дисперсии.

Если не накладывать ограничений на дисперсию сигнала, то дифференциальная энтропия достигает максимума, когда значения сигнала распределены по равномерному закону.

Продолжим рассмотрение для случая, когда по каналу передается сигнал X ( t ), представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией , ав канале действует независимый от сигнала аддитивный нормальный шум N ( t ) с нулевым математическим ожиданием и дисперсией . Найдем дифференциальные энтропии h ( X ) входногои h ( Y ) выходного сигналов и условные дифференциальные энтропии h ( Y / X ) и h ( X / Y ). В соответствии с выражением (2.33) . Выходной сигнал Y ( t ) в силу аддитивности шума в канале Y ( t ) = X ( t ) + N ( t ). Так как X ( t ) и N ( t ) независимы и имеют нормальное распределение, Y ( t ) будет также распределен по нормальному закону с дисперсией . Тогда в соответствии с (2.33) .

Условная дифференциальная энтропия Y ( t ) при известном X ( t ) определяется энтропией шума в канале (2.17) . Условная дифференциальная энтропия отсчета X ( t ) при известном отсчете Y ( t ) находится с помощью выражения, аналогичного (2.17)

При этом среднее за один отсчет сигнала количество информации, переданное по каналу, определяется по формуле (2.28) и после всех подстановок полученных выражений для энтропий и преобразований равно: .

Второй член выражения (2.26) стремиться к бесконечности. Это значит, что собственная информация любой непрерывной случайной величины бесконечно велика. Смысл этого вывода заключается в том, что для передачи непрерывного сообщения с абсолютной точностью нужно было бы передать бесконечно большое количество информации, что невозможно сделать за конечное время, пользуясь каналом с конечной пропускной способностью.

Тем не менее, непрерывные сообщения передаются по каналам связи даже при наличии помех. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного непрерывного сообщения. А для передачи даже с очень высокой, но ограниченной точностью требуется конечное количество информации, так же как и при передаче дискретных сообщений. Разумеется, это количество информации тем больше, чем выше точность, с которой требуется передавать непрерывное сообщение.

Пусть допустимая неточность измеряется некоторым малым параметром e. То минимальное количество информации, которое требуется передать по каналу для воспроизведения непрерывного сообщения с неточностью не более e называется e энтропией.                   (2.35)

Критерий e, определяющий требуемую точность, может быть каким угодно. Будем называть два варианта одного и того же сообщения, различающиеся не более чем на e, эквивалентными. Это значит, что если послано одно сообщение, а принято другое, но эквивалентное первому, то по данному критерию переданное сообщение считается принятым верно.

При передаче дискретных сообщений верность передачи определяется вероятностью правильного приема или вероятностью ошибки. Такое определение верности можно распространить и на непрерывные сообщения, если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будет пониматься вероятность того, что принятое сообщение эквивалентно переданному.

Чтобы пользоваться таким определением верности, нужно установить критерий эквивалентности. Наиболее часто применяемым методом определения эквивалентности служит критерий среднего квадрата разности между принятым и переданным сообщениями.

Если обозначить переданное непрерывное сообщение X ( t ), а принятое - Y ( t ), то случайный процесс e ( t ) = Y ( t ) - X ( t ) называется шумом воспроизведения. Сообщения будем называть эквивалентными, если среднеквадратическое отклонение  не превышает заданной величины e 0 , т.е.  £ e 0 или .

После того, как введен критерий можно от общего определения e-энтропии перейти к более конкретному ее определению. Взаимная информация I ( X , Y ) между двумя не тождественно равными непрерывными сообщениями в общем случае конечна. Из (2.28) следует . Дифференциальная энтропия h ( X ) полностью определяется плотностью вероятности w ( x ). Условная дифференциальная энтропия h ( X / Y ) в свою очередь зависит от условной плотности вероятности w ( x / y ). Варьируя w ( x / y ) можно добиться минимального (2.35) значения величины I ( X , Y ) при заданных требованиях к точности e воспроизведения.

Тогда можно определить e – энтропию непрерывной величины X как минимальное количество информации, необходимое для того, чтобы непрерывная величина Y воспроизводила X со среднеквадратической погрешностью, не превышающей заданной величины e. Или, другими словами, e – энтропией называется минимальное количество информации, содержащееся в Y относительно X, при котором они еще эквивалентны по среднеквадратическому критерию. Таким образом, можно записать

, (2.36)

где min или max берется по всем w ( x / y ) для которых .

Продолжим начатый в предыдущем параграфе пример, т. е. положим, что источник непрерывного сообщения - гауссовский, т. е. сообщение X ( t ) –стационарный гауссовский процесс с заданной мощностью Px. Поскольку X ( t ) = Y ( t ) - e ( t ), то условная дифференциальная энтропия h ( X / Y ) при заданном X ( t ) полностью определяется шумом воспроизведения e ( t ). Поэтому . На основании утверждения (2.34) и формулы (2.33) можно записать

,                                                    (2.37)

где  – фиксированная дисперсия шума воспроизведения. При заданной дисперсии сообщения  дифференциальная энтропия источника на основании (2.33)

.                                                         (2.38)

Следовательно, e – энтропия гауссовского непрерывного источника

.                 (2.39)

Величина  характеризует минимальное отношение мощности сигнала к мощности шума воспроизведения, при котором X ( t ) и Y ( t ) еще эквивалентны.

e – энтропия, полученная в соответствии с выражением (2.39) с учетом утверждения (2.34) может быть названа максимальной e – энтропией непрерывного сигнала и этот максимум достигается при нормальном распределении сигнала X ( t ), т.е.

.                                            (2.40)

После получения значения максимальной e – энтропии (2.40) можно определить избыточность непрерывного стационарного источника по формуле, аналогичной (2.5) для дискретного источника

.                                                                (2.41)

Производительность источника непрерывных сообщений можно определить как количество информации, которое необходимо передать в единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности.

Если источник выдает независимые отсчеты сообщения дискретно во времени со средней скоростью n, то его e – производительность по аналогии с (2.6) может быть найдена как

.                                                             (2.42)

Для источников непрерывных сообщений, ограниченных частотной полосой FC, согласно теореме Котельникова, шаг дискретизации , т. е. необходимое число отсчетов в секунду равно 2 FC.

Тогда для гауссовского источника e-производительность с учетом (2.39) равна

.                                          (2.43)

Сопоставим e – производительность источника с нормальным распределением с e – производительностью источника с равномерным распределением при условии, что их дисперсии  одинаковы, а дисперсия шума воспроизведения  фиксирована. В соответствии с (2.43) , а в соответствии с (2.36) , где  – дифференциальная энтропия источника,а  –энтропия шума воспроизведения, которая, как следует из выражения (2.37), равна . Для нормального процесса - . Ранее получено, что , тогда для процесса с равномерным распределением - . Разность между ними .

Таким образом, при одинаковых дисперсиях e – производительность источника с нормальным распределением больше e – производительности источника с равномерным распределением на фиксированную величину.

Количество информации, выдаваемое гауссовским источником за время TC, равно

,                                                       (2.44)

что с точностью до смысла совпадает с выражением для объема сигнала.

Пропускная способность непрерывного канала находится аналогично пропускной способности дискретного канала (2.20) путем максимизации взаимной информации между входным и выходным сообщениями по всем возможным распределениям входного сообщения, т. е.

.                                                             (2.45)

Для примера найдем пропускную способность непрерывного канала без памяти, имеющего полосу пропускания шириной FK, если средняя мощность (дисперсия) сигнала не превышает некоторой заданной величины PC, Пусть в канале действует аддитивный гауссовский шум с мощностью (дисперсией) в полосе частот канала равной P Ш . Отсчеты входного X и выходного Y сигналов связаны равенством Y = X + N, поскольку шум аддитивный, а N – отсчет шума в канале. Так как N по условиям задачи имеет нормальное распределение с нулевым математическим ожиданием, то условная плотность вероятности w ( y / x ) при фиксированном x будет также нормальной с математически ожиданием, равным x, и дисперсией РШ, а дифференциальная энтропия нормального распределения w ( y / x ) в соответствии с (2.33) не зависит от математического ожидания и равна

.                                                      (2.46)

Поэтому для нахождения пропускной способности такого канала следует найти такую плотность вероятности w ( x ) при которой максимизируется h ( Y).

Поскольку X и N – независимые случайные гауссовские величины, то дисперсия Y будет равна сумме их дисперсий (1.29), т.е. PC + P Ш. Тогда

.                                           (2.47)

Переходя к пропускной способности в расчете на секунду, заметим, что информация, переданная за несколько отсчетов, максимальна в том случае, когда отсчеты независимы. Для гауссовских процессов независимость означает отсутствие корреляции. Из теоремы Котельникова следует, что отсчеты будут взаимно некоррелированы, если они взяты через интервал . Поэтому пропускная способность такого канала

. (2.48)

Это выражение иногда называют формулой Шеннона.

Этот весьма важный результат указывает теоретический предел скорости передачи информации по каналу при ограниченной средней мощности передаваемых сигналов и при наличии аддитивной помехи в виде белого шума. Пропускная способность, определяемая формулой (2.48), есть предельная скорость передачи информации по каналу со сколь угодно редкими ошибками, достигаемая путем определенных преобразований и соответствующего кодирования. Для обеспечения этой скорости передаваемый сигнал должен обладать свойствами белого шума. Это должен быть случайный нормально распределенный и слабо коррелированный, имеющий широкий равномерный энергетический спектр, сигнал. Если распределение отличается от нормального, то скорость передачи информации будет меньше пропускной способности канала.

Так как энергетический спектр помехи типа белого шума равномерен в полосе частот от 0 до , мощность  в формуле (2.48) можно выразить через удельную мощность   на единицу частоты. Тогда формула (2.48) примет вид . При расширении полосы пропускания канала  пропускная способность увеличивается, но стремится к конечному пределу  при измерении в битах. Это ограничение, вносимое помехой с уровнем мощности , которое не может быть превышено без увеличения мощности сигнала.

Если помеха имеет неравномерный энергетический спектр, то скорость передачи информации может быть увеличена путем перераспределения мощности сигнала с увеличением ее на участках спектра, где мощность помехи меньше. Канал с неравномерным спектром помехи имеет большую пропускную способность. Следовательно, в этом смысле помеха типа белого шума обладает наихудшей спектральной характеристикой.

Формула Шеннона устанавливает зависимость пропускной способности рассматриваемого канала от таких его технических характеристик, как ширина полосы пропускания канала и отношения сигнал/шум в канале. Кроме того, она указывает на возможность обмена полосы пропускания на мощность и наоборот. Однако, поскольку пропускная способность зависит от полосы линейно, а от отношения сигнал/шум – по логарифмическому закону, компенсировать возможное сокращение полосы пропускания увеличением мощности сигнала, как правило, невыгодно. Более эффективным оказывается обратный обмен мощности сигнала на полосу пропускания.

Максимальный объем информации, который можно передать в среднем по каналу с пропускной способностью, определяемой по (2.48) за время действия канала ТК определяется выражением

,                                                (2.49)

которое при  с точностью до смысла совпадает с выражением для объема канала.

Существует основная теорема Шеннона и для непрерывного канала. Она формулируется следующим образом «Если при заданном критерии эквивалентности  сообщений источника его e -производительность  меньше пропускной способности канала, т.е. , то существует способ кодирования и декодирования при котором неточность воспроизведения сколь угодно близка к . При  такого способа не существует.»                                                            (2.50)

 

Контрольные вопросы к лекции 11

 

11-1. Что называется пропускной способностью канала?

11-2. Чем определяется пропускная способность двоичного симметричного канала?

11-3. В каком случае пропускная способность двоичного симметричного канала равна нулю?

11-4. Какие ограничения на производительность источника накладывает основная теорема Шеннона для дискретного канала?

11-5. Как скорость передачи информации соотносится с производительностью источника?

11-6. Что называется запасом пропускной способности канала?

11-7. Как величина запаса пропускной способности соотносится с эффективностью системы передачи информации?

11-8. Что называется дифференциальной энтропией непрерывного сообщения?

11-9. От чего зависит дифференциальная энтропия гауссовой случайной величины?

11-10. Какая из случайных величин при условии равенства их дисперсий имеет максимальную дифференциальную энтропию?

11-11. Какая случайная величина имеет максимальную дифференциальную энтропию?

11-12. Чему равна собственная информация любой непрерывной случайной величины?

11-13. Что называется эпсилон – энтропией?

11-14. Какие варианты одного и того же сообщения называются эквивалентными?

11-15. Что называется шумом воспроизведения?

11-16. Как определяется эпсилон – энтропия непрерывной случайной величины?

11-17. При каком распределении непрерывной случайной величины достигается максимум эпсилон – энтропии?

11-18. Как определяется избыточность непрерывного стационарного источника?

11-19. Как определяется эпсилон – производительность непрерывного источника?

11-20. От чего зависит эпсилон – производительность непрерывного гауссова источника?

11-21. Как соотносятся эпсилон – производительности источников с нормальным и равномерным распределениями при одинаковых дисперсиях?

11-22. Как зависит пропускная способность непрерывного канала от ширины пропускания канала?

11-23. Как зависит пропускная способность непрерывного канала от соотношения сигнал/шум в канале?

11-24. Как формулируется основная теорема Шеннона для непрерывного канала?


Лекция 12.
Назначение и
классификация
кодов

 

 

Глава 3.
Основы теории кодирования

 

3.1. Назначение и классификация кодов

 

В этой главе будет рассматриваться кодирование дискретных сообщений, передаваемых в дискретном канале, т. е. кодирование в узком смысле. Следует напомнить, что кодированием в широком смысле называют любое преобразование сообщения в сигнал путем установления взаимного соответствия.

Пусть источник выдает некоторое дискретное сообщение А, которое можно рассматривать как последовательность элементарных сообщений или символов а i ( i = 1, 2, . . . К). Совокупность символов а i называется алфавитом источника, а К – объемом алфавита.

Кодирование заключается в том, что каждый символ источника (сообщения) а i заменяется последовательностью кодовых символов - кодовой комбинацией. Совокупность правил, по которым образуется набор кодовых комбинаций, однозначно соответствующий алфавиту источника, называется кодом.

При кодировании отдельным символам а i удобно сопоставить целые числа от 0 до К-1, обозначив их, например, Mi

Любое число M может быть представлено в позиционной системе счисления с основанием m в виде

M = bn-1mn-1 + bn-2mn-2 +. . . + b1m1 + b0m0                                           (3.1)

Основанием позиционной системы счисления называется количество символов в алфавите системы счисления, а в качестве коэффициентов bi в (3.1) могут использоваться только символы, входящие в алфавит этой системы, т.е. bi могут принимать значения 0, 1, . . . , m -1.

Тогда кодирующее преобразование можно отобразить так

а i ® Mi ® (bn-1 bn-2 . . . b1 b0),                                                             (3.2)

где выражение в скобках представляет собой совокупность коэффициентов полинома (3.1), называемую кодовой комбинацией для а i. Такое преобразование является взаимно однозначным и обратимым, если не учитывать воздействия помех, что позволяет осуществлять декодирование.

Число m символов в алфавите кода называется основанием кода.

Число разрядов n в каждой кодовой комбинации постоянно при всех i, т. е. n=const, то такой код называется равномерным.

Необходимость замены каждого символа а i из К символов источника последовательностью кодовых символов ( bn -1 bn -2 . . . b 1 b 0 ) или кодовой комбинацией объясняется тем, что в большинстве случаев объем алфавита K > m, т.е. основания кода или объема алфавита кодовых символов. Например, в телеграфном коде каждая буква русского алфавита (К=32) кодируется кодовой комбинацией из n=5 двоичных (m=2) символов (0 и 1).

Если сообщение «а» заменяется кодовой комбинацией « b » при условии их однозначного соответствия и обратимости преобразования, то на основе свойств взаимной информации (2.13. и 2.14) можно записать I ( a , b ) = H ( a ) = = H ( b ), где I ( a , b ) - количество информации в кодовой последовательности « b » относительно сообщения «а», H ( a ) – энтропия сообщения, H ( b ) – энтропия кодовой последовательности. Следовательно, при кодировании энтропия не меняется.

Иначе обстоит дело с избыточностью, определяемой соотношением между энтропией (2.5) и ее максимальным значением при данном объеме алфавита (2.4). Поскольку при кодировании чаще всего происходит изменение объемов алфавитов, избыточность может как возрастать, так и уменьшаться.

Число возможных кодовых комбинаций из n разрядов для кода с основанием m равно N = mn . Если из этих N комбинаций для кодирования используется только часть, равная N р, которые называются рабочими или разрешенными, то величина N р называется мощностью кода.

Избыточность кода характеризуется коэффициентом избыточности

r к = 1 - ( logmNp / logmN ).                                                           (3.3)

Код, у которого N р = N, т. е. используются все возможные комбинации, имеет r к = 0 и называется безизбыточным или неизбыточным.

Простейшим безизбыточным равномерным кодом является обычный двоичный (m=2) n-разрядный код, называемый иногда кодом на все сочетания. Число комбинаций такого кода N = 2 n.

К таким кодам можно отнести уже упомянутый телеграфный код, а также стандартные коды для обмена информацией КОИ-7, КОИ-8, ASCII и другие.

Еще одним примером простейшего двоичного кода на все сочетания является код, называемый отраженным или рефлексным кодом, у которого каждая кодовая комбинация отличается от соседней содержимым лишь одного разряда. Наибольшее распространение из таких кодов получил код Грея, основным преимуществом которого по сравнению с другими рефлексными кодами является простота преобразования из обычного двоичного кода в код Грея и обратно. Обычный двоичный код преобразуется в код Грея путем суммирования по модулю 2 данной комбинации двоичного кода и такой же точно комбинации, но сдвинутой на один разряд вправо с отбрасыванием младшего (правого) разряда.

Например: 1101

                1101

                1011.

Или, другими словами, если начинать преобразование с младшего (правого) разряда, то алгоритм выглядит следующим образом: «Если последующий разряд равен 1, то данный разряд инвертируется, если последующий разряд равен 0, то данный разряд остается неизменным. Старший разряд остается неизменным».

Пример 3.1. Составить таблицу соответствия обычного двоичного четырехразрядного кода и кода Грея.

Решение . Таблица соответствия обычного двоичного четырехразрядного кода и кода Грея будет выглядеть следующим образом.

Десятичный эквивалент Обычный двоичный код Код Грея
0 0000 0000
1 0001 0001
2 0010 0011
3 0011 0010
4 0100 0110
5 0101 0111
6 0110 0101
7 0111 0100
8 1000 1100
9 1001 1101
10 1010 1111
11 1011 1110
12 1100 1010
13 1101 1011
14 1110 1001
15 1111 1000

Функциональная схема преобразователя обычного двоичного кода в код Грея для четырехразрядных комбинаций представлена на рис. 3.1

Обратное преобразование из кода Грея в обычный двоичный код осуществляется в соответствии со следующим алгоритмом: 1) старший разряд кодовой комбинации кода Грея остается без изменений. 2) каждый последующий разряд, начиная от старшего, инвертируется столько раз, сколько единиц ему предшествует в кодовой комбинации кода Грея.

 

Рис. 3.1 Преобразователь обычного кода в код Грея Рис. 3.2. Преобразователь кода Грея в обычный код

Пример 3.2. Синтезировать функциональную схему четырехразрядного преобразователя кода Грея в обычный двоичный код.

Решение . Функциональная схема четырехразрядного преобразователя кода Грея в обычный двоичный код представлена на рис. 3.2

Преимущества кода Грея проявляются при преобразованиях аналоговых (непрерывных) величин в код. Если при таком преобразовании используется обычный двоичный код, то некоторые комбинации отличаются друг от друга во всех разрядах и при считывании такого кода может возникнуть ошибка, достигающая максимальной величины 2 n -1, где n - число разрядов кода. Например, комбинация 0111 при неправильном считывании старшего разряда преобразуется в комбинацию 1111, т.е. ошибка составит величину 15-7 =8 = 24-1. При тех же значениях и при той же ошибке, но при использовании кода Грея (см. таблицу) комбинация 0100 будет считана как 1100, т.е. ошибка составит величину 8-7=1, т. е. единицу младшего разряда.

Еще одним классом примитивных кодов, используемых при различных промежуточных преобразованиях, являются двоично-десятичные коды. В таком коде каждая цифра (декада) десятичного числа записывается в виде четырехразрядного двоичного числа (тетрады). С помощью 4 разрядов можно образовать 24 = 16 различных комбинаций, из которых любые 10 могут составить алфавит двоично-десятичного кода. В связи с этим существует большое количество различных двоично-десятичных кодов. Наиболее употребительные из них представлены в таблице.

 

Десятичная цифра Код 8421 Код 5421 Код 2421 Код «с избытком 3»
0 0000 0000 0000 0011
1 0001 0001 0001 0100
2 0010 0010 0010 0101
3 0011 0011 0011 0110
4 0100 0100 0100 0111
5 0101 1000 1011 1000
6 0110 1001 1100 1001
7 0111 1010 1101 1010
8 1000 1011 1110 1011
9 1001 1100 1111 1100

 

Двоично-десятичные коды, в отличие от рассмотренных ранее, обладают некоторой избыточностью , но это их свойство практически не используется для обнаружения ошибок.

Отметим в связи с этим общее негативное свойство безизбыточных кодов. При передаче кодовой комбинации безизбыточного кода по каналу связи в ней под воздействием помех возникают ошибки, но никаких признаков ошибочности принятая комбинация иметь не будет, поскольку вследствие безизбыточности любая подвергшаяся воздействию помех комбинация преобразуется в другую разрешенную или рабочую комбинацию.

Рассмотренные до сих пор безизбыточные коды были равномерными, т.е. содержали одинаковое число разрядов в каждой кодовой комбинации вне зависимости от статистических свойств символов источника, кодируемых этими комбинациями. В том случае, если символы источника неравновероятны, такие коды окажутся избыточными. Уменьшение существующей избыточности источника является задачей т.н. эффективного кодирования или кодирования для источника. Алгоритмы построения наиболее известных эффективных кодов будут рассмотрены в разделе 3.2. Здесь же отметим, что вследствие упомянутого выше негативного свойства безизбыточных кодов эффективное кодирование в чистом виде используется только тогда, когда кодовые комбинации не подвергаются воздействию помех.

Если при кодировании не устранять, а специальным образом вводить избыточность, то это приводит к увеличению возможностей по обнаружению и даже исправлению ошибок в принятых кодовых комбинациях. Такое кодирование называют помехоустойчивым или кодированием для канала. При помехоустойчивом кодировании чаще всего считают избыточность источника равной или близкой к нулю. Если это не так, то целесообразно уменьшить избыточность источника методами эффективного кодирования, а затем методами помехоустойчивого кодирования ввести такую избыточность, которая позволит увеличить верность передачи. Классификация и алгоритмы построения основных классов помехоустойчивых кодов будут рассмотрены в последующих разделах настоящей главы.

 

3.2. Эффективное кодирование

 

Целью эффективного кодирования является устранение избыточности сообщений, поскольку избыточные сообщения требуют большего времени для передачи и большего объема памяти для хранения.

Очевидно, что для уменьшения избыточности кодовых комбинаций, кодирующих символы сообщений, необходимо выбирать максимально короткие кодовые комбинации. Однако для полного устранения избыточности этого недостаточно. При кодировании необходимо учитывать вероятности появления каждого символа в сообщениях и наиболее вероятным символам сопоставлять короткие кодовые комбинации, а наименее вероятным - более длинные.

В качестве иллюстрации - простой пример. Пусть сообщение может состоять из двух слов. Длина первого - один кодовый символ, второго - три кодовых символа. Вероятности появления слов в сообщении соответственно 0,1 и 0,9. Тогда статистически средняя длина слова в сообщении 1*0,1 + 3*0,9 = 2,8 символа. Если слова будут иметь другие вероятности, например, 0,9 и 0,1, то средняя длина слова составит 1*0,9 + 3*0,1 = 1,2 символа. Отсюда видно, что длина кодовой комбинации должна выбираться в зависимости от вероятности появления кодируемого этой комбинацией символа сообщения. Чем чаще он появляется, т.е. чем больше его вероятность, тем более короткую кодовую комбинацию ему следует сопоставить.

Формализуем задачу эффективного кодирования. Пусть входным алфавитом кодирующего отображения является множество сообщений . Пусть выходным алфавитом кодирующего отображения будет множество В , число элементов которого равно m .Кодирующее отображение сопоставляет каждому сообщению а i кодовую комбинацию, составленную из ni символов алфавита В . Требуется оценить минимальную среднюю длину кодовой комбинации. Сравнивая ее со средней длиной кодовой комбинации, вычисленной для какого-либо конкретного кода, можно оценить, насколько данный конкретный код находится близко к эффективному, т. е. безизбыточному коду.

Энтропия сообщения А по определению (2.3)

.                                                            (3.4)

Средняя длина кодовой комбинации

,                                                                         (3.5)

где ni – длина кодовой комбинации, сопоставленной сообщению а i. Максимальная энтропия, которую может иметь сообщение из n СР символов алфавита В, число элементов которого равно m , равна в соответствии с (2.4)

.                                                                (3.6)

Очевидно, что для обеспечения передачи информации, содержащейся в сообщении А, с помощью кодовых комбинаций алфавита В должно выполняться неравенство

                                                                       (3.7)

или с учетом (3.6)  или с учетом (3.4)

.                                             (3.8)

При строгом неравенстве (3.7) закодированное сообщение обладает избыточностью, т. е. для кодирования используется больше символов, чем это минимально необходимо. Для числовой оценки избыточности в предыдущей главе использовался коэффициент избыточности

.                                                                                (3.9)

Поскольку из (3.6) и (3.7) следует, что , то ясно, что

.                                                                       (3.10)

Тогда формулу (3.9) для коэффициента избыточности для кода можно переписать в следующем виде

.                                                                      (3.11)

Под эффективным кодом понимается код, r К которого равен 0, т. е. для абсолютно эффективных кодов . Тогда и неравенство (3.8) переходит в равенство , откуда .

Предположив очевидное, что А не содержит элементов с p ( ai ) = 0, получим

                                                                    (3.12)

для всех i. Но отношение (3.12) не всегда дает целочисленный результат. Следовательно, не для любого набора А с заданным распределением вероятностей p ( ai ) можно построить абсолютно эффективный код с r К = 0. Тем не менее, всегда можно обеспечить выполнение неравенства , умножая которое на p ( ai ) и суммируя по i , получим

.                                                  (3.13)

Неравенство (3.13) может служить критерием для оценки эффективности какого-либо конкретного кода.

Для построения эффективных кодов используются различные алгоритмы. Одним из них является код Шеннона – Фано. Код Шеннона – Фано строится следующим образом. Символы алфавита источника выписываются в порядке убывания их вероятностей. Затем вся совокупность разделяется на две группы так, чтобы суммы вероятностей в каждой из групп были по возможности одинаковыми. Далее всем символам одной группы в качестве первого кодового символа приписывается 1, а другой группы - 0. Далее каждая из полученных групп в свою очередь разбивается на две подгруппы с одинаковыми суммарными вероятностями и т.д. Процесс повторяется до тех пор, пока в каждой группе останется по одному символу.

Пример 3.3. Закодировать двоичным кодом Шеннона – Фано ансамбль { ai } ( i =1,2,...,8), если вероятности pi символов ai имеют следующие значения

ai a1 a2 a3 a4 a5 a6 a7 a8
pi 0,25 0,25 0,125 0,125 0,0625 0,0625 0,0625 0,0625

Найти среднее число символов в кодовой комбинации и коэффициент избыточности кода.

Решение.

ai pi кодовая комбинация ni pini H(ai)
a1 0,25 11 2 0,5 0,5
a2 0,25 10 2 0,5 0,5
a3 0,125 011 3 0,375 0,375
a4 0,125 010 3 0,375 0,375
a5 0,0625 0011 4 0,25 0,25
a6 0,0625 0010 4 0,25 0,25
a7 0,0625 0001 4 0,25 0,25
a8 0,0625 0000 4 0,25 0,25

По формуле (3.5) , по формуле (3.4) , тогда по формуле (3.10)  и по формуле (3.11) , таким образом, построен абсолютно эффективный код.

Алгоритм кодирования Шеннона – Фано имеет простую графическую иллюстрацию в виде графа, называемого кодовым деревом. Граф для кода Шеннона – Фано строится следующим образом. Из нижней или корневой вершины графа исходят два ребра, одно из которых помечается символом 0, а другое – 1. Эти два ребра соответствуют разбиению множества символов алфавита источника на две примерно равновероятные группы, одной из которых сопоставляется кодовый символ 0, а другой – 1. Ребра, исходящие из вершин следующего уровня, соответствуют разбиению получившихся групп на равновероятные подгруппы и т.д. Построение графа заканчивается, когда множество символов алфавита источника будет разбито на одноэлементные подмножества. Каждая концевая вершина графа, т.е. вершина, из которой уже не исходят ребра, соответствует некоторой кодовой комбинации. Чтобы сформировать эту комбинацию, надо пройти путь от корневой вершины до соответствующей концевой, выписывая в порядке следования по этому пути кодовые символы с ребер пути.

Рассмотренная методика Шеннона – Фано не всегда приводит к однозначному построению кода, поскольку в зависимости от вероятностей отдельных символов можно несколькими способами осуществить разбиение на группы.

Пример 3.4. Закодировать двоичным кодом Шеннона – Фано ансамбль { ai } ( i =1,2,...,8), если вероятности pi символов ai имеют следующие значения

ai a1 a2 a3 a4 a5 a6 a7 a8
pi 0,22 0,20 0,16 0,16 0,10 0,10 0,04 0,02

Найти коэффициент избыточности кода.

Решение .1

ai pi кодовая комбинация ni pini H(ai)
a1 0,22 11 2 0,44 0,4806
a2 0,20 101 3 0,6 0,4643
a3 0,16 100 3 0,48 0,4230
a4 0,16 01 2 0,32 0,4230
a5 0,10 001 3 0,30 0,3322
a6 0,10 0001 4 0,40 0,3322
a7 0,04 00001 5 0,20 0,1857
a8 0,02 00000 5 0,10 0,1129

По формуле(3.5)

,

по формуле (3.4)

,

тогда по формуле (3.10)

и по формуле (3.11)

.

Решение .2

ai pi кодовая комбинация ni pini H(ai)
a1 0,22 11 2 0,44 0,4806
a2 0,20 10 2 0,40 0,4643
a3 0,16 011 3 0,48 0,4230
a4 0,16 010 3 0,48 0,4230
a5 0,10 001 3 0,30 0,3322
a6 0,10 0001 4 0,40 0,3322
a7 0,04 00001 5 0,20 0,1857
a8 0,02 00000 5 0,10 0,1129

По формуле(3.5) , по формуле (3.4) , тогда по формуле (3.10)  и по формуле (3.11) , т.е. второй вариант решения ближе к оптимальному, поскольку обеспечивает меньший коэффициент избыточности.

От данной неоднозначности построения эффективного кода свободен код Хаффмена. Для двоичного кода методика Хаффмена сводится к следующему. Символы алфавита источника выписываются в основной столбец таблицы в порядке убывания вероятностей. Далее два последних символа объединяются в один вспомогательный с вероятностью, равной сумме вероятностей объединяемых символов. Вероятности символов, не участвовавших в объединении, и полученная суммарная вероятность снова располагаются в порядке убывания в дополнительном столбце таблицы, после чего два последних символа вновь объединяются. Процесс повторяется до тех пор, пока не буде получен единственный вспомогательный символ с вероятностью, равной 1. Для составления кодовых комбинаций, соответствующих символам, необходимо проследить пути переходов по строкам и столбцам таблицы.

Для наглядного представления этого процесса удобнее всего построить граф, называемый кодовым деревом. Процедура построения кодового дерева выглядит следующим образом. Из вершины, соответствующей последнему единственному вспомогательному символу с вероятностью, равной 1, направляются две ветви, причем ветви с большей вероятностью присваивается кодовый символ 1, а с меньшей – 0. Такое последовательное ветвление из вершин, соответствующих вспомогательным символам, продолжается до получения вершин, соответствующих основным исходным символам.

Пример 3.5. Закодировать двоичным кодом Хаффмена ансамбль из примера 3.4. Решение представлено на рис. 3.3.

 
Рис. 3.3. Алгоритм кодирования кодом Хаффмена

 

Кодовое дерево для этого примера изображено на рис. 3.4 Рис. 3.4. Кодовое дерево   Составленная в соответствии с графом таблица кодовых комбинаций  
ai кодовая комбинация ni
a 1 01 2
a 2 00 2
a 3 111 3
a 4 110 3
a5 100 3
a6 1011 4
a7 10101 5
a8 10100 5

 

Таким образом, получены те же параметры в смысле избыточности, что и в примере 3.4, решение 2 для кода Шеннона – Фано, хотя кодовые комбинации по составу другие.

Из рассмотрения методов построения эффективных кодов следует, что эффект уменьшения избыточности достигается за счет различия в числе разрядов в кодовых комбинациях, т. е. эти эффективные коды являются неравномерными, а это приводит к дополнительным трудностям при декодировании. Как вариант, можно для различения кодовых комбинаций ставить специальный разделительный символ, но при этом снижается эффект, т. к. средняя длина кодовой комбинации увеличивается на один разряд.

Более целесообразно обеспечить однозначное декодирование без введения дополнительных разрядов. Для этого эффективный код необходимо строить так, чтобы ни одна комбинация кода не совпадала с началом другой более длинной кодовой комбинации. Коды, удовлетворяющие этому условию, называются префиксными.

Наличие или отсутствие свойства префиксности отражается и на кодовом дереве. Если свойство префиксности отсутствует, то некоторые промежуточные вершины кодового дерева могут соответствовать кодовым комбинациям.

Префиксные коды иногда называют мгновенно декодируемыми, поскольку конец кодовой комбинации опознается сразу, как только мы достигаем конечного символа кодовой комбинации при чтении кодовой последовательности. В этом состоит преимущество префиксных кодов перед другими однозначно декодируемыми неравномерными кодами, для которых конец каждой кодовой комбинации может быть найден лишь после анализа одной или нескольких последующих комбинаций, а иногда и всей последовательности. Это приводит к тому, что декодирование осуществляется с запаздыванием по отношению к приему последовательности.

Очевидно, что практическое применение могут иметь только префиксные коды. Коды Шеннона – Фано и Хаффмена являются префиксными.

При использовании префиксных кодов возникает вопрос о том, каковы возможные длины кодовых комбинаций префиксного кода. Обозначим кодовые комбинации префиксного двоичного кода a 1 , a 2 , . . . , aN. Пусть nk – число кодовых комбинаций длины k . Число nk совпадает с числом вершин k -го уровня кодового дерева. Конечно, справедливо неравенство nk £ 2 k, поскольку 2 k - максимально возможное число вершин на k -м уровне двоичного дерева. Однако для префиксного кода можно получить гораздо более точную оценку. Если n 1 , n 2 , . . . , nk -1 - число вершин 1-го, 2-го, . . . , ( k -1)-го уровней дерева, то число всех вершин k -го уровня кодового дерева префиксного кода равно , и поэтому

,

или иначе

.

Деля обе части неравенства на 2 k,получим . Это неравенство справедливо для любого k £ L, где L – максимальная длина кодовых комбинаций . Если обозначить l 1 , l 2 , . . . , lN длины кодовых комбинаций a 1 , a 2 , . . . , aN , то последнее неравенство можно записать следующим образом .

Это и есть условие, которому должны удовлетворять длины кодовых комбинаций двоичного префиксного кода. Это неравенство в теории кодирования называется неравенством Крафта и является достаточным условием того, что существует префиксный код с длинами кодовых комбинаций l 1 , l 2 , . . . , lN .

Если кодовый алфавит содержит не два, а S символов, то подобным же образом доказывается, что необходимым и достаточным условием для существования префиксного кода является выполнение неравенства .

 

Контрольные вопросы к лекции 12

 

12-1. Что называется кодом?

12-2. Что называется основанием кода?

12-3. Какой код называется равномерным?

12-4. Что называется мощностью кода?

12-5. Как определяется коэффициент избыточности кода?

12-6. Какой код называется безизбыточным?

12-7. Являются ли безизбыточными двоично-десятичные коды?

12-8. Что является целью эффективного кодирования?

12-9. Опишите методику Шеннона – Фано для построения эффективного кода.

12-10. В чем состоит недостаток методики Шеннона – Фано для построения эффективного кода?

12-11. Опишите методику Хаффмена для построения эффективного кода.

12-12. Опишите методику построения кодового дерева для кода Хаффмена.

12-13. Какие эффективные коды называются префиксными?

12-14. Что устанавливает неравенство Крафта?

 


Лекция 13.
Общие
принципы
построения
помехоустойчивых
кодов

 

3.3. Помехоустойчивое кодирование

 

3.3.1. Общие принципы построения помехоустойчивых кодов

 

У примитивного непомехоустойчивого кода для каждой кодовой комбинации во всей совокупности кодовых комбинаций, образующих код, всегда найдется другая кодовая комбинация, отличающаяся от первой лишь в одном разряде. При искажении в одном разряде переданная кодовая комбинация превратится в другую комбинацию, следовательно, будет принята с ошибкой.

Помехоустойчивый код отличается тем, что для кодирования используются не все возможные кодовые комбинации, которые можно сформировать из имеющегося количества разрядов, а лишь некоторые из них (искусственно вводимая избыточность), обладающие определенными свойствами и называемые разрешенными. Остальные, не используемые для кодирования символов источника, кодовые комбинации называются запрещенными.

Любые коды могут быть представлены как конечные множества N р слов, каждое из которых состоит из n символов. Интерпретировать кодовые слова можно по-разному:

1) как наборы из n предметов, располагаемых в некотором порядке в n позициях – комбинаторная интерпретация;

2) как наборы n-значных элементов множества, замкнутого относительно операций над наборами – алгебраическая интерпретация;

3) как множество точек некоторой геометрической фигуры – геометрическая интерпретация.

Все модели, представляющие коды, условно можно разделить на три соответствующих вида. К комбинаторным моделям относят сочетания, перестановки и т.п.; к алгебраическим – группы, поля, кольца, линейные векторные пространства и т.п.; к геометрическим – графы, многогранники и т.п. В дальнейшем изложении в той или иной степени будут использоваться все названные виды представления кодов.

Таким образом, все множество N =2 n двоичных кодовых комбинаций, где n - число разрядов в комбинации, разбивается на два подмножества - разрешенных N р и запрещенных N - N р кодовых комбинаций. Если в результате воздействия помех передаваемая кодовая комбинация перейдет из подмножества разрешенных в подмножество запрещенных, ошибка будет обнаружена при приеме (рис. 3.5)

Рис. 3.5. Кодовые пространства при обнаружении ошибок

Коды, позволяющие определить только наличие ошибки, но не указывающие номера разряда, в котором она произошла, называются кодами с обнаружением ошибок.

Пусть, например, требуется передавать два сообщения – А1 и А2. Для этого достаточно одного двоичного разряда - А1 = 0, А2 = 1. Под воздействием помехи одно сообщение неминуемо преобразуется в другое.. Добавим к каждой кодовой комбинации еще по одному разряду, выбрав его значение таким, чтобы в каждой разрешенной кодовой комбинации было нечетное число единиц, т. е. А1 = 01, А2 = 10. Эти комбинации образуют подмножество разрешенных кодовых комбинаций. В подмножество запрещенных, следовательно, войдут комбинации, содержащие четное число единиц – 00 и 11. Одиночная ошибка может перевести сообщение А1 в 00 или в 11, аналогично и по отношению к сообщению А2, т. е. при наличии одиночной ошибки обе комбинации переходят в подмножество запрещенных, таким образом, любая одиночная ошибка будет обнаружена.

При необходимости построения кода с исправлением ошибок все множество кодовых комбинаций N разбивается на Np непересекающихся подмножеств. Каждое из подмножеств приписывается одной из Np разрешенных кодовых комбинаций. Если передавалась кодовая комбинация Aj, принадлежащая подмножеству Nj, а принятой оказалась комбинация Ai, которая также принадлежит подмножеству Nj, то принимается решение о том, что принята комбинация Aj, т. е. ошибка исправляется. Если комбинация в результате воздействия помех перейдет в другое подмножество, то она будет принята с ошибкой (рис. 3.6).

Рис. 3.6. Кодовые пространства при исправлении ошибок

Коды, которые не только обнаруживают ошибку, но и указывают номер разряда, в котором произошла ошибка, а для двоичных кодов это означает ее исправление, называются кодами с исправлением ошибок.

Для иллюстрации сказанного продолжим рассмотренный ранее пример, введя в использованные в нем кодовые комбинации еще один дополнительны разряд. В результате образуется множество из N=23 = 8 кодовых комбинаций. Его следует разделить на два (по числу передаваемых сообщений А1 и А2) непересекающихся подмножества. Пусть, например, для передачи А11 используется комбинация 001. Одиночная ошибка в любом из разрядов этой комбинации приведет к комбинациям А12 = 000, А13 = 011 и А14 = 101. Эти четыре комбинации и образуют первое подмножество. При приеме любой из них будет принято решение о том, что передавалось А1, т.е. любая одиночная ошибка будет исправлена. Аналогично относительно А2, если положить, что А21 = 110, то А22 = 111, А23 = 100, А24 = 010. При приеме любой из этих комбинаций будет принято решение, что передавалось А2.

Введением дополнительных разрядов в кодовые комбинации устанавливается нужное кодовое расстояние между разрешенными комбинациями. Из рассмотренных примеров можно, пока не обобщая, сделать вывод о том, что для обнаружения одиночной ошибки разрешенные кодовые комбинации должны различаться не менее, чем в двух разрядах, а для исправления одиночной ошибки – не менее, чем в трех разрядах. Под кодовым расстоянием или расстоянием Хэмминга понимается минимальное число позиций, на которых символы одной комбинации данного кода отличаются от символов другой комбинации этого же кода.

В общем случае для двоичных кодов расстояние между i-ой и j-ой комбинациями кода определяется по формуле

,                                                                  (3.14)

где xil – символ на l-ой позиции i-ой комбинации, xjl – символ на l-ой позиции j-ой комбинации,  – символ суммирования по модулю два.

Формула (3.14) означает, что для определения расстояния между двумя кодовыми комбинациями необходимо просуммировать их по модулю два и подсчитать число единиц в полученной комбинации, оно и будет равно кодовому расстоянию между комбинациями.

Величина min dij = dmin, где минимум берется по всем комбинациям, входящим в данный код, называется кодовым расстоянием кода.

Множество n-разрядных кодовых комбинаций можно рассматривать как n-мерное векторное пространство, называемое кодовым пространством, а его элементы – кодовые комбинации, можно назвать кодовыми векторами.

При таком подходе целесообразно ввести понятие вектора ошибки, который представляет собой n-разрядную комбинацию, в которой единица устанавливается в тех разрядах, номера которых соответствуют искаженным разрядам принятой кодовой комбинации.

Пусть, например, v 1 = 11111 – переданный кодовый вектор, а v 2 = 10111 – принятый кодовый вектор, тогда вектор ошибки е=01000.

С этих позиций модель дискретного двоичного канала можно представить в виде сумматора по модулю 2 (рис. 3.7).

При теоретических исследованиях процесса возникновения ошибок в дискретном канале используют математические модели ошибок.

 
Рис. 3.7. Модель дискретного двоичного канала

Под математической моделью ошибки понимается распределение вероятностей по всем возможным векторам ошибок. Одной из наиболее часто встречающихся моделей ошибок является модель, основанная на следующей статистической гипотезе: «В каждом разряде вектора ошибки единица появляется с вероятностью p независимо от того, какие значения получили остальные разряды вектора ошибки».

Назовем величину, равную числу единиц в векторе ошибки, кратностью ошибки и обозначим ее символом q.

В теории вероятности доказано, что выдвинутой статистической гипотезе отвечает биномиальный закон распределения кратности ошибки. Таким образом, для рассматриваемого примера математической моделью ошибки может служить формула Бернулли

                                                             (3.15)

Здесь pn , q – вероятность того, что при передаче по дискретному каналу в кодовой комбинации двоичного кода с разрядностью n возникнет ошибка кратности q .

Используя (3.15) можно получить следующие выражения для вероятности ошибочного декодирования род при исправлении ошибок  и для вероятности необнаруженной ошибки рно при обнаружении ошибок .

Здесь [ d /2] означает целую часть d /2. Знак неравенства в этих выражениях ставится потому, что код, вообще говоря, может исправлять некоторые ошибки кратности d /2 и выше и обнаруживать ошибки кратности d и выше.

Неравенства, приведенные выше, иллюстрируют важную роль кодового расстояния d как основного показателя исправляющих и обнаруживающих свойств кода в симметричном канале без памяти – чем больше d, тем меньше род и рно. С учетом этого задачу поиска наилучшего кода в смысле максимального d следует формулировать так: «При заданном числе кодовых комбинаций М разрядности n найти код длины n, содержащий М комбинаций и имеющий наибольшее возможное d». В общем виде эта задача в теории кодирования не решена, хотя для некоторых М и n ее решения получены.

Пример 3.6. Определить вероятность возникновения ошибок кратности q =0,1,2,3,4,5 в кодовой комбинации длины n =5 двоичного кода, если вероятность ошибочного приема разряда p =0,1. Определить вероятность ошибочного приема кодовой комбинации.

Решение . В качестве ответа на первый вопрос вероятности, вычисленные по формуле (3.15) сведем в таблицу

q 0 1 2 3 4 5
p5,q 0,56 0,33 0,07 0,008 0,0004 0,00001

Из таблицы видно, что вероятность появления ошибок большой кратности мала. Наиболее часто появляются однократные ошибки.

Для ответа на второй вопрос воспользуемся формулой , где p 5,0 -вероятность безошибочного приема. Тогда .

Следует учесть, что эффективность кода в смысле помехоустойчивости зависит от вида помех, действующих в канале. Код может быть очень хорошим при одной статистике помех и очень плохим – при другой. Поэтому при выборе помехоустойчивых кодов следует ориентироваться на определенный вид помех и в соответствии с ним выбирать определенную модель ошибок, которая может отличаться от рассмотренной в примере.

При выполнении статистической гипотезы о том, что ошибки меньшей кратности появляются чаще ошибок большей кратности, определяют максимальную кратность qmax ошибки, начиная с которой, исходя из требований к верности передачи, все ошибки меньшей кратности должны обнаруживаться помехоустойчивым кодом. По максимальной кратности ошибки qmax выбирают такое кодовое расстояние, при котором все разрешенные кодовые комбинации под действием ошибок кратностью не более qmax переходят в подмножество запрещенных и, следовательно, обнаруживаются.

Результатом действия ошибки кратностью qmax на разрешенную кодовую комбинацию будет новая кодовая комбинация, удаленная от первой на расстояние qmax.

Отсюда ясно, что для обнаружения всех ошибок, кратностью не превышающей qmax, кодовое расстояние должно быть d > qmax, по крайней мере

d = qmax + 1 .                                                                    (3.16)

В теории кодирования доказывается, что для обеспечения возможности исправления ошибок кратности не более qmax кодовое расстояние должно быть больше 2 qmax. Обычно оно выбирается по формуле

d = 2 qmax + 1 .                                                                  (3.17)

 

3.3.2. Классификация избыточных двоичных кодов

Из сказанного ранее следует, что код приобретает свойства обнаруживать и исправлять ошибки только в том случае, если он обладает избыточностью.

Рассмотрим одну из возможных классификаций избыточных корректирующих кодов (рис. 3.8):

1. Так же как и неизбыточные, избыточные коды могут быть подразделены на равномерные и неравномерные. Признаком равномерности является то, что в каждой кодовой комбинации содержится n = const разрядов. Неравномерные коды получили существенно меньшее распространение.

2. Если каждый символ сообщения кодируется, т. е. превращается в кодовую комбинацию (блок) независимо от других символов сообщения, так, что закодированная последовательность символов представляет собой последовательность независимых кодовых комбинаций одинаковой длины, то такой код называют блоковым. Если кодирование каждого символа сообщения зависит от предшествующих или последующих символов, так, что закодированная последовательность представляет собой одно полубесконечное слово, то такой код называется непрерывным. Эти коды появились сравнительно недавно, но бурно развиваются.

 
Рис. 3.8. Классификация избыточных корректирующих кодов

3. Если в каждой кодовой комбинации длины n блокового кода можно выделить k разрядов, предназначенных собственно для передачи информации и называемых информационными, и n - k разрядов, избыточно введенных для увеличения кодового расстояния кода с целью придания ему корректирующих свойств, то такой код называется разделимым. Эти n - k разрядов называются контрольными или проверочными. Если такого разделения разрядов кодовой комбинации по их функциональному назначению произвести нельзя, то такой код называется неразделимым.

4. Если в разделимом коде при кодировании информационные символы не изменяются, то такой код называется систематическим. В противном случае, т.е. когда при кодировании изменяются не только проверочные, но и информационные разряды, код называется несистематическим. Характерной особенностью большинства систематических кодов является то, что проверочные n - k разрядов кодовой комбинации представляют собой результаты определенных линейных операций над k информационными разрядами. Такие коды называются линейными. Линейные коды образуют векторное пространство и обладают следующим важным свойством: две кодовые комбинации можно сложить (для двоичных кодов – по модулю два), в результате чего получится третья кодовая комбинация этого же кода. Это свойство приводит к двум важным следствиям. Первое – каждая кодовая комбинация выражается в виде линейной комбинации небольшого числа выделенных кодовых комбинаций, называемых базисными векторами. Это существенно упрощает как описание кода (см.далее – матричное описание), так и процедуры кодирования и декодирования. Второе – линейность существенно упрощает вычисление параметров кода, в частности, кодового расстояния. Расстояние Хэмминга между данной кодовой комбинацией и нулевой кодовой комбинацией равно числу ненулевых элементов в данной кодовой комбинации. Это число часто называют весом Хэмминга данной кодовой комбинации. Список, содержащий число кодовых комбинаций каждого веса, называют спектром кода.

5. Из класса систематических кодов можно выделить еще один подкласс кодов, называемых циклическими. Характерной особенностью циклических кодов, при сохранении всех свойств систематических кодов, является то, что если комбинация принадлежит циклическому коду, то комбинация, полученная из первой путем циклического сдвига, тоже будет принадлежать этому коду.

Все рассмотренные выше коды являются избыточными, т. е. такими, у которых d ³ 2. В зависимости от величины d коды подразделяются на коды, только обнаруживающие ошибки, и коды исправляющие ошибки.

 

3.3.3. Простейшие блоковые коды с обнаружением ошибок

 

1. Код на одно сочетание (или код с постоянным весом)

Как следует из названия кода, в каждой его кодовой комбинации, состоящей из n разрядов, содержится t единиц, причем t = const для всех комбинаций.

Мощность кода, т. е. число разрешенных комбинаций, равна числу сочетаний из n по t: .

Следовательно, коэффициент избыточности такого кода

.

В качестве примера кода на одно сочетание можно привести код «из 5 по 2», для которого  и  и d=2.

Разрешенные комбинации этого кода: 00011, 00101, 00110, 01001, 01010, 01100, 10001, 10010, 10100, 11000.

Из рассмотренного примера можно сделать вывод о том, что этот код является неразделимым.

Идея построения устройства, обнаруживающего ошибки при приеме такого кода, очевидна. Приемник (декодер) подсчитывает число единиц в принятой комбинации и, если оно оказывается отличным от заданного t, то фиксируется ошибка и реализуется так называемый защитный отказ в приеме ошибочной комбинации. Код на одно сочетание обнаруживает все ошибки нечетной кратности и часть ошибок четной кратности, а именно ту часть, которая приводит к нарушению условия t = const.

2. Разделимые коды с обнаружением ошибок

Из названного класса рассмотрим принципы образования и характеристики следующих кодов:

* код с проверкой паритета (на четность или нечетность);

* код с простым повторением;

* инверсный код;

* корреляционный код.

Правила образования этих кодов ясны из приводимой ниже таблицы.

 

N0 Примитивный безизбыточный код Код с проверкой на нечетность Код с простым повторением Инверсный код Корреляционный код
0 000 000 1 000 000 000 000 01 01 01
1 001 001 0 001 001 001 110 01 01 10
2 010 010 0 010 010 010 101 01 10 01
3 011 011 1 011 011 011 011 01 10 10
4 100 100 0 100 100 100 011 10 01 01
5 101 101 1 101 101 101 101 10 01 10
6 110 110 1 110 110 110 110 10 10 01
7 111 111 0 111 111 111 000 10 10 10

 

При приеме кода с проверкой на нечетность содержимое всех разрядов кодовой комбинации суммируется по модулю два. Если результат этой операции равен 1 (что будет при нечетном числе единиц в кодовой комбинации), то полагается, что комбинация принята правильно. Если результат операции равен 0, что будет при четном числе единиц в кодовой комбинации, то полагается, что комбинация принята с ошибкой и выполняется защитный отказ.

Этот код обнаруживает все ошибки нечетной кратности. Мощность кода Np = 2 n -1. Коэффициент избыточности  уменьшается с увеличением числа разрядов кодовой комбинации.

Для разделимых равномерных двоичных кодов формулу для коэффициента избыточности можно упростить , где n – общее число разрядов в кодовой комбинации, k – число информационных разрядов в кодовой комбинации.

Одним из параметров, характеризующих свойства того или иного избыточного кода, является коэффициент повышения верности, определяемый как отношение вероятности появления ошибки рош к вероятности появления необнаруженной ошибки рн ош.

.                                                                (3.18)

Пусть, например, используется код с проверкой на нечетность и справедлива модель ошибок из примера 3.8., в котором рош = 0,44. Как было сказано, код с проверкой на нечетность обнаруживает все ошибки нечетной кратности, следовательно, вероятность появления необнаруженной ошибки (см.табл.в примере 3.8.) равна рн ош = р5,2 + р5,4 = 0,07 + 0,0004 = =0,0704. Тогда .

При приеме кода с простым повторением осуществляется сравнение k информационных разрядов комбинации с остальными n - k контрольными разрядами. Если значения сравниваемых одноименных разрядов совпадают, то комбинация полагается принятой верно. В противном случае реализуется защитный отказ. Этот код обнаруживает все ошибки нечетной кратности и часть ошибок четной кратности. Мощность кода Np = 2 n /2. Коэффициент избыточности .

Прием инверсного кода осуществляется в два этапа. На первом этапе анализируется четность информационной части комбинации. Если она четна, то проверочная часть остается без изменения. Если она нечетна, то проверочная часть инвертируется. На втором этапе информационная часть поразрядно сравнивается с проверочной. Если они совпадают, то полагается, что комбинация принята верно. Этот код обнаруживает все ошибки кратностью 1,2,5,6 и большую часть 3- и 4-кратных ошибок. Мощность кода и коэффициент избыточности имеют те же значения, что и для кода с простым повторением.

При приеме корреляционного кода сравниваются парные элементы кодовой комбинации. Если хотя бы в одном случае они совпадают, принимается решение об ошибочно принятой комбинации. Характеристики кода полностью совпадают с характеристиками кода с простым повторением.

 

Контрольные вопросы к лекции 13

 

13-1. Что называется расстоянием Хэмминга между двумя кодовыми комбинациями?

13-2. Как определяется кодовое расстояние между двумя кодовыми комбинациями двоичного кода?

13-3. Как определяется кодовое расстояние кода?

13-4. Что называется вектором ошибки?

13-5. Что называется кратностью ошибки?

13-6. Каким должно быть кодовое расстояние кода для того, чтобы он обнаруживал все ошибки кратности не более qmax?

13-7. Каким должно быть кодовое расстояние кода для того, чтобы он исправлял все ошибки кратности не более qmax?

13-8. Какие коды называются блоковыми?

13-9. Какие коды называются разделимыми?

13-10. Какие коды называются неразделимыми?

13-11. Какие коды называются систематическими?

13-12. Какие коды называются несистематическими?

13-13. Какие коды называются линейными?

13-14. Что называется спектром кода?

13-15. Как определяется мощность кода с постоянным весом?

13-16. Как осуществляется обнаружение ошибок при использовании кода с постоянным весом?

13-17. Является ли разделимым код с постоянным весом?

13-18. Как осуществляется обнаружение ошибок при использовании кода с проверкой на нечетность?

13-19. Как определяется коэффициент избыточности для разделимых равномерных двоичных кодов?

13-20. Как определяется коэффициент повышения верности при использовании того или иного кода, обнаруживающего ошибки?

13-21. Как осуществляется обнаружение ошибок при использовании кода с простым повторением?

13-22. Как осуществляется обнаружение ошибок при использовании инверсного кода?

13-23. Как осуществляется обнаружение ошибок при использовании корреляционного кода?


Лекция 14.
Коды с
обобщенными
проверками на
четность

3.3.4. Групповые коды с обнаружением и исправлением ошибок

Коды с обобщенными проверками на четность

 

Все систематические коды являются разделимыми. Их принято иногда называть ( n , k )-кодами, где n – общее число разрядов в кодовой комбинации, k – число информационных разрядов. Число контрольных разрядов в кодовой комбинации, следовательно, равно n - k.

Точных аналитических выражений, связывающих корректирующие свойства кода с его параметрами, не существует. Получены лишь асимптотические выражения, называемые границами, для кодового расстояния.

Наиболее важными и полезными границами для кодового расстояния являются граница Хэмминга, граница Плоткина и граница Варшамова – Гилберта.

Граница Хэмминга, выражаемая обычно следующим образом,

,                                                               (3.19)

указывает на наибольшее число кодовых комбинаций, возможных при данных n и числе обнаруживаемых и исправляемых ошибок.

Граница Плоткина также является верхней границей для кодового расстояния при данных n и k и может выражаться следующим образом

.                                                                         (3.20)

Выражение (3.20) удобно для получения максимально возможного d при заданных n и k, но не очень удобно для получения максимального k при данных d и n, в связи с чем другая форма границы Плоткина выглядит следующим образом

.                                                          (3.21)

Граница Хэмминга обычно близка к оптимальной для высокоскоростных кодов (т. е. для больших значений k / n), а граница Плоткина – для низкоскоростных кодов.

Согласно границе Варшамова – Гилберта, выражаемой как

,                                                             (3.22)

существует ( n , k )-код с кодовым расстоянием, не меньшим d, и с числом проверок на четность, не превышающим n - k. Таким образом, граница Варшамова – Гилберта является границей существования и дает нижнюю оценку для кодового расстояния «наилучшего» кода.

Приведем пример использования этих границ. Предположим, что требуется найти код длиной n =63 с кодовым расстоянием d =5 и наибольшим возможным значением k. Примером такого кода является (63,51)-код БЧХ. Для оценки того, насколько хорошим является этот код, используем границы Хэмминга и Варшамова – Гилберта. Из (3.19) следует, что 2017 £ 2 n - k , откуда n - k ³ 11. Граница Варшамова – Гилберта (3.22) «утверждает», что 39774>2 n - k , откуда n - k £ 16. Таким образом, из границы Хэмминга следует, что не существует кодов, обеспечивающих заданные параметры, с n - k <11, а граница Варшамова – Гилберта гарантирует существование таких кодов с n - k £ 16. Отсюда можно сделать вывод, что код (63,51) является «хорошим» и дальнейшие поиски могут привести лишь к незначительному улучшению.

Для кодов с d =3 для определения требуемого числа контрольных разрядов можно найти более простое выражение, воспользовавшись следующими рассуждениями. При передаче кодовой комбинации может быть искажен любой из n разрядов комбинации или комбинация принята без искажений. Следовательно, всего может быть n +1 вариантов исхода. Использование контрольных разрядов должно обеспечить возможность различения всех n +1 вариантов. С помощью n - k разрядов можно описать 2 n - k событий, следовательно, должно выполняться условие  или

                                                                 (3.23)

Рассматриваемые ( n , k )-коды называются групповыми. Своим названием они обязаны тому, что множество кодовых комбинаций вместе с нулевой кодовой комбинацией, снабженное операцией посимвольного сложения по модулю два, образуют математическую структуру, называемую группой. Основные свойства группы:

1) замкнутость – т.е. сумма по модулю два двух элементов группы всегда лежит в группе;

2) ассоциативность – т. е. ( a Å b ) Å c = a Å ( b Å c );

3) наличие единичного элемента – для двоичных кодов это нулевая комбинация;

4) каждый элемент группы обладает обратным элементом, для которого а+(-а)=0, для двоичных кодов каждая кодовая комбинация совпадает со своей обратной комбинацией.

Каждая кодовая комбинация группового кода разбивается на две части. Первая часть содержит k информационных символов и всегда совпадает с передаваемой информационной последовательностью. Каждый из n - k символов второй части вычисляется как линейная комбинация фиксированного подмножества информационных символов. Согласно данным ранее определениям, эти коды можно назвать также систематическими и линейными. Символы второй части, представляющие собой контрольные разряды, называются символами обобщенных проверок на четность.

Значения контрольных разрядов в каждой кодовой комбинации определяются в результате сложения по модулю два тех или иных информационных разрядов этой комбинации. Особенностью группового кода является постоянство набора информационных разрядов, определяющего данный контрольный разряд.

Другими словами, для данного группового кода имеется единый алгоритм образования значений контрольных разрядов по значениям информационных разрядов, определяемый так называемыми проверочными уравнениями.

Пусть кодовая комбинация двоичного группового кода имеет n разрядов: unun -1 un -2 . . . u 1. Положим, что среди этих n разрядов символы ur , ul , us – контрольные. Число проверочных уравнений определяется числом контрольных символов:

                                           (3.24)

В этих уравнениях коэффициенты  принимают значения 1 или 0 в зависимости от того, используется или нет соответственно для определения значения i-го контрольного разряда j-й информационный разряд.

С помощью этих уравнений могут быть составлены все Np =2 k разрешенных или рабочих комбинаций кода путем записи информационных разрядов каждой комбинации и вычисления значений контрольных разрядов по уравнениям (3.24) для каждой комбинации информационных разрядов. Таким образом, тот или иной код может быть задан таблицей информационных кодовых комбинаций и системой проверочных уравнений.

Однако свойство линейности групповых кодов обеспечивает возможность более компактной записи кода. Из свойств групповых кодов вытекает, что все множество кодовых комбинаций данного кода можно получить путем суммирования по модулю два в различных сочетаниях образующих кодовых комбинаций или базисных векторов.

Удобно в качестве образующих выбрать комбинации, которые содержать лишь по одной единице в информационных разрядах. Следовательно, число таких комбинаций равно k – числу информационных разрядов. Если к тому же упорядочить разряды, расположив слева направо сначала информационные разряды, начиная со старшего, а затем контрольные разряды, и записать упорядоченные таким образом комбинации одна под другой, то получим матрицу, содержащую n столбцов и k строк, которая называется образующей матрицей систематического ( n , k )-кода и обозначается Gn , k.

Пример.3.7. Построить образующую матрицу (7,4)-кода, имеющего следующие проверочные уравнения

Решение. Сначала целесообразно построить полную таблицу кода в соответствии с проверочными уравнениями.

a4 a3 a2 a1 b3 b2 b1
0 0 0 0 0 0 0
0 0 0 1 1 0 1
0 0 1 0 1 1 1
0 0 1 1 0 1 0
0 1 0 0 1 1 0
0 1 0 1 0 1 1
0 1 1 0 0 0 1
0 1 1 1 1 0 0
1 0 0 0 0 1 1
1 0 0 1 1 1 0
1 0 1 0 1 0 0
1 0 1 1 0 0 1
1 1 0 0 1 0 1
1 1 0 1 0 0 0
1 1 1 0 0 1 0
1 1 1 1 1 1 1

Выберем образующие кодовые комбинации (выделены жирным шрифтом) и запишем их в виде образующей матрицы

.

При наличии образующей матрицы можно найти все остальные кодовые комбинации кода без использования полной таблицы кода. Например, требуется найти кодовую комбинацию для информационной комбинации 1101. Для этого нужно суммировать по модулю 2 три соответствующих строки образующей матрицы:

1000011

Å 0100110

0001101

1101000,

после чего можно сопоставить результат с полной таблицей кода.

Анализ вида образующей матрицы приводит к выводу, что она состоит из двух матриц – единичной

 и дополняющей .

Обобщая рассмотренный пример на любой систематический групповой блоковый ( n , k )-код можно записать для него образующую матрицу

                                                            (3.25)

Единичная матрица является образующей для равномерного примитивного кода, поскольку с ее помощью могут быть построены все 2 k -1 ненулевых комбинаций этого кода путем суммирования по модулю два ее строк в различных сочетаниях.

Дополняющая матрица, если не заданы проверочные уравнения, может быть получена путем подбора k различных комбинаций, содержащих n - k разрядов. Эти комбинации должны удовлетворять следующим условиям:

1) количество единиц в комбинации должно быть не менее d -1;

2) сумма по модулю два любых двух комбинаций должна содержать не менее d -2 единиц.

Пример.3.8.Построить образующую матрицу систематического кода (7,4) с d =3.

Решение . Начать построение целесообразно с нахождения дополняющей матрицы . В данном случае n =7, k =4, n - k =3, т.е. D 3,4 .. Следовательно, надо подобрать трехразрядные комбинации, каждая из которых содержит по d -1=3-1=2 единицы.Поскольку таких комбинаций всего три, а их требуется k =4, то в качестве четвертой выберем, не нарушая первого условия, комбинацию, содержащую три единицы. Тогда дополняющая матрица

 и образующая матрица ,(3.26)

из которой может быть найдена система проверочных уравнений

.                                                           (3.27)

Сравнивая примеры 3.7 и 3.8 можно сделать вывод: для каждой образующей матрицы Gn , k существует своя единственная система проверочных уравнений и, наоборот, поскольку то и другое является описанием одного и того же кода.

В качестве еще одной равноправной формы описания систематического ( n , k )-кода служит так называемая проверочная матрица, обозначаемая обычно Hn , n - k. При построении проверочной матрицы к единичной квадратной матрице Jn - k слева приписывают матрицу, содержащую k столбцов и n - k строк, причем каждая ее строка формируется из соответствующего столбца дополняющей матрицы, т. е. приписываемая матрица представляет собой транспонированную дополняющую матрицу

.                                                      (3.28)

Пример.3.9.Для кода из примера 3.8- построить проверочную матрицу.

Решение .

.                                          (3.29)

Проверочная матрица позволяет выбрать алгоритм кодирования и декодирования, исходя из того, что единицы в каждой ее строке соответствуют тем символам кодовой комбинации, сумма которых по модулю два должна быть равна 0. Так, из матрицы (3.29) можно получить следующие уравнения проверок:

                                                      (3.30)

Естественно, что (3.27) и (3.30) полностью совпадают с той лишь разницей, что операции по (3.27) выполняются при кодировании для получения значений контрольных разрядов в каждой кодовой комбинации, а операции по (3.30) выполняются при декодировании для обнаружения и исправления ошибок.

Из анализа (3.30) видно, что a 1 входит во все три уравнения, а2 – в первое и второе, а3 – в первое и третье, а4 – во второе и третье. Следовательно, искажение любого а i нарушит вполне определенные уравнения, т. е. сумма по модулю два в них будет рана не нулю, а единице. По тому, какие именно уравнения нарушены, можно определить, в каком разряде произошла ошибка, и восстановить его истинное значение.

Таким образом, результаты проверок дают кодовую комбинацию вида , которую называют контрольной последовательностью или, чаще, синдромом. При  считается, что кодовая комбинация принята верно или произошла не обнаруживаемая ошибка. Если , считается, что комбинация принята неверно, т. е. имеет место обнаружение ошибки. Если ( n , k )-код используется только для обнаружения ошибок, то в теории кодирования доказывается, что при любой вероятности ошибочного приема кодового символа р £ 1/2 найдется код, для которого вероятность необнаруженной ошибки будет меньше вполне определенного значения . Такие коды называются кодами равномерно обнаруживающими ошибки.

Для исправления ошибок каждому ненулевому синдрому может быть сопоставлен исправляющий вектор Ej, сумма по модулю два которого с принятой кодовой комбинацией образует переданную комбинацию. Пусть, например, передается кодовая комбинация из примера 3.8

,

а принимается

.

При выполнении проверок на приеме в соответствии с системой (3.30) получается

т. е. синдром R =110, нарушены первое и второе уравнения, в которые входит а2, следовательно, ошибка в разряде а2 и тогда исправляющий вектор Е=0010000, а исправленная кодовая комбинация

.

Пользуясь этим примером, обратим внимание на третью стоку образующей матрицы (3.26). В части этой строки, соответствующей единичной матрице, единица расположена на месте разряда, в котором произошла ошибка, а получившийся синдром R равен части этой же строки, входящей в дополняющую матрицу.

Обобщая, можно сказать, что при ошибке в разряде а4 синдром будет 011, при ошибке в разряде а3 – 101, при ошибке в разряде а1 – 111.

То же самое следует из проверочной матрицы этого кода (3.29), где первый столбец – синдром при ошибке в разряде а4 и т. д.

На основании любого из приведенных ранее описаний группового систематического кода (системы проверочных уравнений, образующей матрицы, проверочной матрицы) могут быть синтезированы функциональные схемы кодера и декодера такого кода.

Так, кодер (рис. 3.9) для кода из примера 3.8 должен содержать

Рис. 3.9. Кодер систематического кода (7,4)

параллельный регистр, предназначенный для приема от источника и временного хранения четырех информационных разрядов, совокупность из трех трехвходовых сумматоров по модулю два, предназначенных для формирования значений контрольных разрядов, и параллельный семиразрядный регистр для промежуточного хранения сформированной кодовой комбинации, которая далее может быть последовательно передана в линию связи. Соединение входов сумматоров по модулю два с выходами первого регистра выполняются в соответствии с системой проверочных уравнений.

Сложность схемы декодера для такого кода будет зависеть от того, используется ли данный код в режиме обнаружения ошибки или в режиме исправления ошибки.

Для режима исправления ошибки в составе декодера (рис. 3.10) должны присутствовать следующие функциональные узлы:

- регистр для временного хранения принятой кодовой комбинации;

- устройство вычисления синдрома;

- дешифратор синдрома;

- устройство исправления ошибки;

- регистр для хранения исправленной информационной части комбинации.

Устройство вычисления синдрома представляет собой совокупность из трех сумматоров по модулю два, каждый из которых имеет по четыре входа, которые соединяются с выходами первого регистра в соответствии с системой проверочных уравнений, а выходы подключены к входам дешифратора синдрома. Дешифратор синдрома осуществляет преобразование синдрома в исправляющий вектор. Устройство исправления ошибок может быть реализовано в виде совокупности из четырех сумматоров по модулю два, каждый из которых имеет по два входа. Первые входы сумматоров соединяются с выходами информационных разрядов первого регистра, а вторые входы подключаются к соответствующим выходам дешифратора синдрома, а выходы соединены с соответствующими входами второго регистра.

 

 
Рис. 3.10. Декодер систематического кода (7,4)

Декодер, работающий в режиме обнаружения ошибок, проще, поскольку в нем отсутствует устройство исправления ошибок, а дешифратор синдрома может быть заменен одной схемой выявления ненулевого синдрома (рис. 3.11).

Рис. 3.11. Схема выявления ненулевого синдрома

Рассмотренный алгоритм декодирования блоковых групповых линейных систематических (n , k)-кодов, называемый иногда синдромным, относится к классу алгебраических методов декодирования, в основе которых лежит решение системы уравнений, задающих расположение и значение ошибки.

Для декодирования этих кодов могут использоваться и неалгебраические методы, использующие простые структурные понятия теории кодирования, которые позволяют найти комбинации ошибок более прямым путем. Одним из таких алгоритмов является декодирование по максимуму правдоподобия.

Этот метод основывается на том предположении, что если все кодовые комбинации передаются по двоичному симметричному каналу с равной вероятностью, то наилучшим решением при приеме является такое, при котором переданной считается кодовая комбинация, отличающаяся от принятой в наименьшем числе разрядов.

В связи с этим алгоритм максимального правдоподобия реализуется в виде следующей последовательности действий:

1) принятая кодовая комбинация Y суммируется по модулю два последовательно со всеми кодовыми комбинациями кода Xi , в результате каждого суммирования вычисляются векторы ошибок ei = Y + Xi;

2) подсчитывается число di единиц в каждом из векторов ошибки ei;

3) та из Xi, для которой di минимально, считается переданной кодовой комбинацией.

Для некоторых систематических ( n , k )-кодов неравенство (3.23)

превращается в строгое равенство

.                                                                (3.31)

Для таких кодов можно записать  и, поскольку , то . ( n , k )-коды вида  называются кодами Хэмминга.

Образующая матрица кода Хэмминга (7,4) приведена ранее (3.26). Образующие матрицы кодов больших размерностей строятся аналогично. Уравнение (3.31) имеет целочисленные решения при k=0,1,4,11,26,57,120, и т. д., что дает соответствующие коды Хэмминга (3,1), (7,4), (15,11), (31,26), (63,57), (127,120), и т. д. Коды Хэмминга относятся к немногим известным совершенным кодам.

С учетом данных ранее определений кодового пространства и кодового расстояния представим некоторый код в виде сфер с центрами во всех разрешенных кодовых комбинациях. Все сферы имеют одинаковый целочисленный радиус. Будем увеличивать его, оставляя целочисленным, до тех пор, пока сферы не соприкоснутся. Значение этого радиуса равно числу исправляемых кодом ошибок. Этот радиус называется радиусом сферической упаковки кода.

Теперь позволим этому радиусу увеличиваться до тех пор, пока каждая точка кодового пространства не окажется внутри хотя бы одной сферы. Такой радиус называется радиусом покрытия кода. Радиус упаковки и радиус покрытия кода могут совпадать.

Код, для которого сферы некоторого одинакового радиуса вокруг кодовых слов, не пересекаясь, покрывают все кодовое пространство, называются совершенными. Совершенный код удовлетворяет границе Хэмминга с равенством. Код Хэмминга, имеющий длину , является совершенным.

Код, у которого сферы радиуса t вокруг каждого кодового слова не пересекаются и все кодовые слова, не лежащие внутри какой-либо из этих сфер, находятся на расстоянии t +1 хотя бы от одного кодового слова, называется квазисовершенным. Квазисовершенные коды встречаются чаще, чем совершенные. Если для заданных n и k существует квазисовершенный и не существует совершенного кода, то для этих n и k не существует кода с большим, чем у квазисовершенного, кодовым расстоянием.

Систематические коды, в том числе и код Хэмминга, допускают различные преобразования, которые, порождая новые коды, тем не менее, не выводят их из класса линейных групповых кодов.

К числу наиболее часто используемых преобразований кодов относят укорочение и расширение кодов.

Укорочение кода состоит в уменьшении длины кодовых комбинаций путем удаления лишних информационных разрядов. Если код задан порождающей матрицей, то это приводит к уменьшению обоих размеров порождающей матрицы на одно и то же число. Так, например, как упоминалось ранее, коды Хэмминга с d =3 могут быть построены с вполне определенным сочетанием n и k. Как поступить в том случае, если требуется код Хэмминга с d =3, для передачи информации достаточно k =8, а на длину кодовой комбинации наложено ограничение n <15. Для выполнения этих требований можно выбрать код Хэмминга (15,11) и прибегнуть к его укорочению. Укорочение производится за счет удаления требуемого числа лишних информационных разрядов, обычно это первые слева разряды. В образующей матрице кода (15,11) полагаются равными нулю столько столбцов слева, сколько разрядов надо удалить, после чего вычеркиваются нулевые столбцы и строки с полностью нулевыми строками единичной матрицы. Относительно проверочной матрицы операция укорочения выражается в удалении соответствующего количества первых слева столбцов, так как число строк проверочной матрицы, равное числу контрольных разрядов, остается неизменным при укорочении. Для приведенных значений k =8 и n <15 из кода (15,11) нужно удалить три лишних информационных разряда, в результате чего получится укороченный код (12,8), который также называется кодом Хэмминга.

Расширение кода состоит в увеличении длины кодовых комбинаций за счет введения новых контрольных разрядов, что приводит к увеличению большего размера порождающей матрицы, и, естественно, к увеличению d, т.е. повышению корректирующих способностей. В качестве примера можно привести расширенный код Хэмминга (8,4) с d =4. Этот код образуется путем добавления к каждой кодовой комбинации кода Хэмминга (7,4) еще одного контрольного разряда, значение которого определяется как сумма по модулю два всех остальных разрядов кодовой комбинации, т.е. общая проверка на четность всей кодовой комбинации. При декодировании комбинаций этого кода возможны следующие варианты: 1) ошибок нет, это показывает как общая проверка на четность, так и равенство нулю синдрома; 2) одиночная ошибка, общая проверка на четность указывает на наличие ошибки, а по синдрому находится номер искаженного разряда и ошибка в нем исправляется, нулевой синдром в этом случае указывает на наличие ошибки в дополнительном разряде, таким образом. имеет место режим исправления ошибок; 3) две ошибки, общая проверка на четность указывает на отсутствие ошибок, ненулевой синдром – на их наличие, причем значение синдрома указывает на разряд, в котором якобы произошла ошибка, однако в этом случае ее не следует исправлять, а лишь констатировать наличие двух ошибок, таким образом реализуется режим обнаружения ошибок.

Рассмотренные преобразования (укорочение и расширение) можно использовать для модификации известных кодов, чтобы сделать их подходящими для каких-либо конкретных приложений, а также для получения новых классов хороших кодов.

 

Контрольные вопросы к лекции 14

 

14-1. Почему коды с обобщенными проверками на четность называются групповыми?

14-2. Что связывают проверочные уравнения группового кода?

14-3. Чем определяется количество проверочных уравнений того или иного группового кода?

14-4. Какие кодовые комбинации выбираются в качестве базисных при построении образующей матрицы группового кода?

14-5. Как строится образующая матрица ( n , k )-кода?

14-6. Как с помощью образующей матрицы можно найти любую разрешенную комбинацию ( n , k )-кода?

14-7. Из каких подматриц состоит образующая матрица ( n , k )-кода?

14-8. Как может быть построена образующая матрица ( n , k )-кода, если не задана система проверочных уравнений?

14-9. Как может быть построена проверочная матрица ( n , k )-кода?

14-10. Что называется синдромом ошибки?

14-11. Какое значение синдрома указывает на наличие ошибки в принятой кодовой комбинации?

14-12. Что называется исправляющим вектором?

14-13. Из каких функциональных узлов состоит кодер ( n , k )-кода?

14-14. Чем определяется количество сумматоров по модулю два в составе кодера ( n , k )-кода?

14-15. Чем определяется количество входов у сумматоров по модулю два в составе кодера ( n , k )-кода?

14-16. Из каких функциональных узлов состоит синдромный декодер ( n , k )-кода?

14-17. Что представляет собой устройство вычисления синдрома в составе синдромного декодера ( n , k )-кода?

14-18. Чем определяется количество входов у сумматоров по модулю два в составе устройства вычисления синдрома?

14-19. Какую функцию реализует дешифратор синдрома в составе синдромного декодера ( n , k )-кода?

14-20. Как реализуется устройство исправления ошибок в составе синдромного декодера ( n , k )-кода?

14-21. Как реализуется устройство обнаружения ошибок в составе синдромного декодера ( n , k )-кода?

14-22. Как реализуется декодер максимального правдоподобия?

14-23. Какие ( n , k )-коды называются кодами Хэмминга?

14-24. Что называется радиусом сферической упаковки кода?

14-25. Что называется радиусом покрытия кода?

14-26. Какие коды называются совершенными?

14-27. Какие коды называются квазисовершенными?

14-28. Как выполняется укорочение кода?

14-29. Как выполняется расширение кода?

14-30. Для чего выполняется расширение кода?


 

Лекция 15.
Полиномиальные
коды

 

Полиномиальные коды

 

В предыдущем разделе кодовые комбинации (n,k)-кода представлялись в виде набора символов (а0, а1, . . .а n -1) длиной n. Другой способ представления того же кодового слова состоит в том, чтобы элементы а0, а1, . . .а n -1 считать коэффициентами полинома n -1 степени от некоторой фиктивной или формальной переменной x, т. е.

.

Используя это обозначение, можно определить полиномиальный код, как множество всех полиномов степени, не большей n -1, содержащих в качестве сомножителя некоторый фиксированный полином g( x ). Полином g( x ) называется порождающим полиномом кода.

Для того чтобы иметь возможность умножать кодовые полиномы, разлагать их на множители и производить другие операции, необходимо потребовать, чтобы все коэффициенты полинома были элементами некоторого конечного алгебраического поля. Конечное поле, называемое также полем Галуа и обозначаемое GF ( q ) – это конечное множество, состоящее из q элементов, в котором определены правила для выполнения арифметических операций. Основное отличие их от обычных арифметических операций состоит в том, что в конечном поле все операции производятся над конечным числом элементов, в связи с чем все конечные поля обладают следующими свойствами:

1. Существуют две операции, используемые для комбинирования элементов – умножение и сложение.

2. Результатом сложения или умножения двух элементов является третий элемент, лежащий в том же поле.

3. Поле всегда содержит мультипликативную единицу, обозначаемую 1, и аддитивную единицу, обозначаемую 0, так, что а*1=а и а+0=а для любого элемента а поля.

4. Для любого элемента а поля существует обратный элемент по сложению (), такой, что а + (-а)=0 и обратный элемент по умножению а-1 (при а ¹ 0), такой, что а* а-1=1. Существование этих элементов позволяет использовать обычные обозначения для вычитания и деления.

5. Выполняются обычные правила ассоциативности, коммутативности и дистрибутивности.

Конечные поля существуют не при любом числе элементов q, а только в том случае, если число элементов q является простым числом или степенью простого числа. В первом случае поле называется простым, во втором – расширенным. Для каждого допустимого q существует ровно одно поле. Другими словами, правила сложения и умножения, удовлетворяющие всем указанным требованиям можно задать только одним способом. Если q – простое число, то элементами поля являются числа 0, 1, . . . , q-1, а сложение и умножение являются сложением и умножением по модулю q.

С учетом сказанного о полиномиальном представлении кодовых комбинаций и операций над ними для двоичного случая, т. е. над полем GF (2), эти операции выполняются следующим образом.

1. Кодовая комбинация 100101 может быть представлена в виде полинома

f(x)=1*x5+0*x4+0*x3+1*x2+0*x1+1*x0b = x5+x2+1.

2. Сложение таких полиномов осуществляется следующим образом. Пусть, например, f 1 = x 7 + x 4 + x 3 + x +1, а f 2 = x 5 + x 4 + x 2 + x , тогда f 3 = f 1 + f 2 = = x 7 + x 5 + x 3 + x 2 +1. в двоичном виде 10011011 Å 00110110 = 10101101.

3. Умножение полиномов. Пусть, например, f 1 = x 3 + x 2 +1 и f 2 = x +1, тогда f 3 = f 1 * f 2 = x 4 + x 3 + x + x 3 + x 2 +1 = x 4 + x 2 + x +1. В двоичном виде (1101)*(11)=(01101) Å (11010) = 10111. Циклический сдвиг некоторого полинома соответствует простому умножению этого полинома на x.

4. Деление полиномов. Пусть, например, f 3 = x 4 + x 2 + x +1, а f 2 = x +1, тогда f 1 = f 3 / f 2 = x 3 + x 2 +1, что можно продемонстрировать, выполняя деление полиномов столбиком или делая то же самое в двоичном виде.

При некоторых значениях n полиномиальные коды обладают свойством цикличности и называются циклическими. Свойство цикличности состоит в том, что если кодовая комбинация а n , а n -1 , . . . , а1 является разрешенной кодовой комбинацией данного кода, то и кодовая комбинация, получаемая из нее путем циклического сдвига а n -1 , . . . , а1, а n,, тоже будет разрешенной кодовой комбинацией данного кода. Сдвиг обычно осуществляется справа налево, причем крайний левый символ переносится в конец комбинации. Число возможных циклических ( n , k )-кодов значительно меньше числа различных групповых ( n , k )-кодов.

При использовании циклических кодов процесс кодирования, так же, как и в рассмотренных ( n , k )-кодах, сводится к определению значений n - k контрольных разрядов на основании известных значений k информационных разрядов для каждой кодовой комбинации.

При полиномиальном представлении этот процесс осуществляется следующим образом. Полином f ( x ), отображающий комбинацию безизбыточного двоичного кода умножается на xn - k. Это приводит к увеличению длины кодовой комбинации на n - k разрядов, которые и используются в качестве контрольных. Далее произведение f ( x )* xn - k делится на некоторый полином g ( x ), названный ранее образующим, и остаток от этого деления r ( x ) суммируется с произведением f ( x )* xn - k. Полученная кодовая комбинация описывается полиномом

,                                                       (3.32)

который без остатка делится на образующий полином g ( x ).

Сказанное является важным свойством циклических кодов, используемым при декодировании для обнаружения или исправления ошибок

Пример 3.10. Пусть n =7, k =4, g ( x )= x 3 + x 2 +1. Найти кодовую комбинацию s ( x ), если ее информационная часть описывается полиномом f ( x )= x 3 + x +1.

Решение: n - k =7-4=3, тогда f ( x )* xn - k = ( x 3 + x +1) x 3 = x 6 + x 4 + x 3 .

 с остатком r ( x )= x 2 . Таким образом, искомая кодовая комбинация  = x 6 + x 4 + x 3 + x 2 или в двоичном виде 1011100, где левые четыре разряда представляют собой информационные разряды, соответствующие полиному f ( x )= x 3 + x +1, а остальные три разряда – контрольные, соответствующие полиному r ( x )= x 2 .

Таким образом, выявлено первое свойство образующего полинома g( x), состоящее в том, что все разрешенные комбинации данного кода делятся на него без остатка. Он позволяет выбрать из большого числа комбинаций только те, которые удовлетворяют заданному закону построения кода, т. е. разрешенные. Именно поэтому полином g( x) и называется образующим.

Степень l образующего полинома g ( x ) не может быть меньше требуемого числа контрольных разрядов n - k. Для упрощения обычно полагают l = n - k. Но не любой полином этой степени может выступать в качестве образующего полинома циклического кода. В качестве таковых могут использоваться только так называемые неприводимые полиномы. Полином называется приводимым, если он может быть представлен в виде произведения полиномов низших степеней, в противном случае полином называется неприводимым. Другими словами, неприводимый полином делится без остатка только на самого себя и на единицу. Неприводимые полиномы играют роль, сходную с простыми числами в теории чисел. Из нескольких неприводимых полиномов данной степени в качестве образующего полинома следует выбирать самый короткий, однако число ненулевых членов g ( x ) не должно быть меньше требуемого кодового расстояния кода.

Циклические коды являются подклассом рассмотренных ранее групповых систематических ( n , k )-кодов. Следовательно, кроме полиномиального описания, они могут быть описаны с помощью образующей и проверочной матриц.

Образующая матрица циклического кода может быть построена методом, аналогичным рассмотренному ранее.

Пример 3.11. Построить образующую матрицу циклического кода (7,4) с образующим полиномом g ( x )= x 3 + x +1.

Решение.

Запишем базовые информационные комбинации:

0001 0010 0100 1000

Представим их в виде полиномов:

1 x x 2 x 3

Умножим на xn - k = x 3

x3 x 4 x 5 x 6

Поделим каждый из них на образующий полином и зафиксируем остаток:

  Частное

Остаток

1 011
110
111
101

Тогда образующая матрица этого кода может быть представлена следующим образом  или в общем виде .

Существует другой способ построения образующей матрицы, базирующийся на основной особенности циклического ( n , k )-кода. Первая строка образующей матрицы формируется путем приписывания слева к представленному двоичным кодом образующему полиному k -1 нулей. Каждая следующая строка образуется циклическим сдвигом предыдущей строки на один разряд влево. Для того же образующего полинома g ( x )= x 3 + x +1 образующая матрица, построенная таким способом, будет выглядеть следующим образом .

Рассмотренный метод проще, но получающаяся матрица менее удобна для использования. Такой вид образующей матрицы в отличие от предыдущего называется неканоническим.

Переход от неканонической формы образующей матрицы к канонической осуществляется на основании того, что циклический код, будучи подклассом рассмотренных ранее групповых систематических ( n , k )-кодов, является групповым и линейным и, следовательно, обладает свойством замкнутости.

Метод получения канонической формы проверочной матрицы циклического кода аналогичен рассмотренному ранее общему для групповых кодов методу, т.е. .

Тогда для рассматриваемого циклического кода с образующим полиномом g ( x )= x 3 + x +1 проверочная матрица будет выглядеть следующим образом .

Идея обнаружения ошибок в кодовой комбинации циклического кода основана на сформулированном ранее утверждении, что при отсутствии ошибок принятая кодовая комбинация совпадает с переданной , т. е. без остатка делится на образующий полином g ( x ).

При наличии ошибок переданная комбинация  преобразуется в , где  - полином ошибок, содержащий столько членов и на тех позициях, в которых не совпадают элементы переданной и принятой комбинаций.

Следовательно, при делении  на g ( x ) получим .

При наличии однократной ошибки в каком-либо информационном разряде полиномы ошибок имеют вид:

1 x x 2 x 3

Деление этих полиномов на образующий полином уже было выполнено ранее. С этих позиций можно по-другому взглянуть на содержимое образующей матрицы. Если строки единичной подматрицы рассматривать как полиномы ошибок, то соответствующие строки дополняющей подматрицы представляют собой остатки, указывающие на ошибку в разряде, указываемом полиномом ошибки. Таким образом, остаток от деления полинома принятой кодовой комбинации на образующий полином играет роль синдрома, что свидетельствует о возможности применения к циклическим кодам метода синдромного декодирования.

Возможность матричного описания циклических кодов указывает на то, что кодеры и декодеры циклических кодов могут быть построены на основе этого писания методами, рассмотренными ранее.

Из полиномиального описания циклических кодов следует, что процессы кодирования и декодирования этих кодов представляют собой операции деления полиномов. Для аппаратной реализации операции деления полиномов используются циклические регистры сдвига, т.е. последовательные регистры с обратной связью, в цепи которой устанавливаются сумматоры по модулю два.

Один из методов построения кодера циклического кода на основе упомянутых регистров можно описать следующим образом.

1. Число разрядов регистра, т. е. число триггеров, выбирается равным числу проверочных разрядов n - k, т. е. равным степени образующего полинома.

2. Число двухвходовых сумматоров по модулю два берется на единицу меньше числа членов образующего полинома.

3. Триггеры регистра нумеруются слева направо от 1 до n - k.

4. Сумматоры по модулю два располагаются после тех триггеров, номера которых совпадают со степенями ненулевых членов образующего полинома.

5. Выходы предыдущих триггеров соединяются с входами последующих через сумматоры по модулю два там, где они есть, или непосредственно, там, где их нет.

6. На второй вход сумматора по модулю два, первый вход которого соединен с выходом последнего триггера с номером n - k, подаются в последовательном коде информационные разряды, т.е. этот вход является входом кодера. Выход этого сумматора соединяется с входом первого триггера и вторыми входами всех остальных сумматоров по модулю два.

После того, как все k информационных разрядов последовательно поступят в кодер, одновременно будучи выданными в линию, в триггерах регистра будет сформирован остаток, состоящий из n - k контрольных символов, которые должны быть переданы вслед за информационными. Для управления этим процессом в структуру кодера необходимо ввести три ключа К1, К2, К3. Ключи К1 и К2 необходимы для того, чтобы коммутировать выход кодера либо с входом кодера при передаче k информационных разрядов, либо с выходом регистра при передаче n - k контрольных разрядов. Чтобы эти уже сформированные разряды выдвигались из регистра без искажений, необходимо разорвать цепь обратной связи, для чего и служит ключ К3.

С учетом всего сказанного построим структуру кодера (рис. 3.12) циклического кода (7,4) с образующим полиномом g ( x )= x 3 + x +1.

Рис. 3.12. Кодер циклического кода (7,4)

Иногда более удобной оказывается другая реализация кодера с использованием не ( n - k )-разрядного, а k-разрядного регистра сдвига с обратной связью на основе сумматоров по модулю два, который описывается не образующим, а так называемым проверочным полиномом h ( x ), получаемым в соответствии с выражением . Для рассмотренного ранее кода проверочный полином .

Построенная в соответствии с этим полиномом структура кодера приведена на рис. 3.13.

 
Рис. 3.13. Кодер циклического кода (7,4)

Работа кодера начинается с того, что в регистр с отключенной обратной связью (0 на входе управления) заносятся четыре информационных символа (старший разряд в Т4). Затем обратная связь включается (1 на входе управления) и регистр сдвигается семь раз. Первые четыре символа, поступающие с выхода кодера, являются информационными, следующие за ними три символа – контрольными.

Декодер циклического кода в соответствии с изложенным ранее принципом декодирования содержит устройство деления полинома принятой кодовой комбинации на образующий полином. Это устройство реализуется так же, как и в кодере с помощью циклического регистра сдвига с сумматорами по модулю два, расставленными между триггерами регистра в соответствии с образующим полиномом. Отличие декодера состоит в том, что цепь обратной связи берется не с выхода последнего сумматора, а с выхода последнего триггера регистра. Кроме того, в состав декодера необходимо ввести буферный регистр для хранения информационных разрядов и дешифратор остатка (синдрома).

Дешифратор остатка может быть реализован по-разному в зависимости от того, в каком режиме используется данный код: только для обнаружения ошибок или для исправления ошибок.

В первом случае дешифратор остатка только выявляет, равен остаток нулю или не равен. В последнем случае вырабатывается сигнал о наличии ошибки в принятой комбинации и запрещается передача хранящихся в буферном регистре информационных разрядов для дальнейшей обработки. С учетом этого структуру такого декодера можно представить следующим образом (рис. 3.14).

 
Рис. 3.14. Декодер циклического кода (7,4) с обнаружением ошибки

 

Для построения декодера с исправлением одиночной ошибки в него необходимо включить дешифратор синдрома, построенный в соответствии с образующей матрицей, и схему исправления ошибок (рис. 3.15), аналогичную использованной ранее.

Рис. 3.15. Дополнение для исправления ошибки

Циклические коды, будучи подклассом линейных групповых кодов, так же как и рассмотренные ранее коды, могут быть подвергнуты в зависимости от требований системы, в которой они используются простым преобразованиям, среди которых ранее упоминались расширение кода и укорочение кода. В некоторых случаях преобразования может получиться код, в котором циклический сдвиг его кодовой комбинации не всегда приводит к другой разрешенной кодовой комбинации. Такие коды называются псевдоциклическими.

Для увеличения кодового расстояния циклического кода может быть использовано преобразование расширения кода, выполняемое за счет введения дополнительных контрольных разрядов. Одним из простейших способов расширения кода является введение одного контрольного разряда общей проверки на четность. В результате, например, циклический код (7,4) с образующим полиномом  превратиться в циклический код (8,4) с образующим полиномом , поскольку полином ( x +1) является образующим для циклического кода с одним контрольным разрядом, способным обнаруживать все ошибки нечетной кратности. Отсюда (попутно) можно сделать вывод о том, что код с проверкой на четность является циклическим кодом с образующим полиномом ( x +1). Полученный расширенный код с d =4 будет обладать такими же корректирующими свойствами, что и аналогичный расширенный код Хэмминга. Можно сделать обобщение, состоящее в том, что для любого кода с нечетным кодовым расстоянием введение общей проверки на четность увеличивает кодовое расстояние на 1.

Если далее над этим кодом выполнить операцию укорочения, состоящую в удалении одного информационного разряда, то получится код (7,3) с d =4 и проверочной матрицей

.

Этот код приведен здесь, во-первых, в качестве примера выполнения простых операций по преобразованию кодов, а во-вторых, для того, что с его помощью проще всего продемонстрировать еще один метод декодирования, отличающийся от рассмотренного ранее синдромного метода, и называемый методом мажоритарного декодирования.

Метод мажоритарного декодирования применим тогда, когда систему общих контрольных проверок удается за счет использования различных линейных комбинаций из уравнений, входящих в нее, изменить так, что для каждого символа aj может быть построена система уравнений:

,

называемая системой раздельных контрольных проверок и обладающая тем свойством, что в правую часть каждого уравнения входят символы, отличные от aj и всякий такой символ входит не более чем в одно уравнение. Такая система проверок называется ортогональной.

Если число уравнений, входящих в каждую ортогональную систему, не меньше s, то путем голосования по большинству могут быть исправлены любые  ошибок. В самом деле, ошибка в одном символе влияет в силу ортогональности не более чем на одну проверку, следовательно, среди значений символа aj, которые получены из всех s проверок, неправильными могут оказаться не более t, т. е. не более половины уравнений. Тогда, сравнивая значения правых частей проверок, а также значение самого символа aj, можно по большинству значений определить верное значение этого символа. Если при нечетном s  имеет место равенство голосов, то ошибка обнаруживается, но не исправляется.

Случай, когда число s проверок в каждой ортогональной системе на единицу меньше кодового расстояния s=d -1 является в известном смысле идеальным. В этом случае голосование позволяет полностью реализовать корректирующие свойства кода. Код, для каждого символа которого существует система из d -1 ортогональных проверок, называется полностью ортогонализируемым.

Именно к таким кодам относится код (7,3), проверочная матрица которого получена ранее в результате последовательных операций расширения и укорочения циклического кода. Пользуясь ею , можно записать систему проверочных уравнений

.

Суммируя по модулю два второе и третье уравнения и разрешая полученные три уравнения относительно а7, получаем систему

,

отвечающую сформулированным ранее условиям ортогональности.

Такие ортогональные системы могут быть достаточно просто в силу свойства цикличности составлены для всех символов кодовой комбинации, т. е. уравнения циклически сдвигаются в индексах с выполнением операции по модулю n.

Анализируя указанным выше способом каждый символ принятой кодовой комбинации можно правильно восстановить посланную кодовую комбинацию, если произошло не более одной ошибки, или обнаружит двойную ошибку. Тем самым полностью реализуются корректирующие способности этого кода, поскольку его кодовое расстояние d =4.

Метод мажоритарного декодирования отличается простотой технической реализации особенно в случае двоичных циклических кодов. Наряду с регистром сдвига для приема кодовой комбинации и совокупностью сумматоров по модулю два, которые реализуют ортогональную систему проверок, декодер должен содержать мажоритарный элемент. Для рассматриваемого примера функция мажоритарного элемента описывается таблицей истинности, приведенной ниже.

1 проверка 2 проверка 3 проверка М
0 0 0 0
0 0 1 0
0 1 0 0
0 1 1 1
1 0 0 0
1 0 1 1
1 1 0 1
1 1 1 1

 

Важнейшие классы полиномиальных кодов

 

Коды БЧХ. Циклический код, исправляющий более одной ошибки, т. е. код с d ³ 5, в общем случае можно построить следующим образом:

а) по заданному k определить необходимое для исправления одной ошибки n - k и построить (n , k)-код описанным ранее методом;

б) рассматривая этот (n , k)-код как некорректирующий n-разрядный код, определить количество n 1 - n дополнительных контрольных разрядов для обеспечения исправления одной ошибки в этом коде и построить тем самым (n 1 , n)-код;

в) повторяя данную процедуру s раз, можно получить код, исправляющий независимые ошибки кратности до s включительно.

Однако код, построенный таким образом, не будет оптимальным с точки зрения количества контрольных символов при данной величине k, т. е. будет обладать излишней избыточностью. Минимальное число контрольных символов при данном k и данной корректирующей способности может быть получено при использовании одной из разновидностей полиномиальных кодов, называемой кодами Боуза – Чоудхури – Хоквингема или БЧХ-кодами.

Заданными при кодировании с помощью БЧХ-кодов является число ошибок s, которое требуется исправлять, и общая длина кодовой комбинации n. На выбор величины n накладывается ограничение: n =2 f – 1, где f – любое целое число больше нуля. Число информационных символов k и число контрольных символов n - k и их состав подлежат определению.

При заданной величине s кодовое расстояние кода может быть определено следующим образом:

                                                                             (3.33)

и названо конструктивным кодовым расстоянием, которое может быть и меньше реального кодового расстояния.

Образующий полином g ( x ) БЧХ-кода находится как наименьшее общее кратное (НОК) так называемых минимальных полиномов до номера 2 s -1 или d -2 включительно, т. е. g ( x ) = НОК [ Mi ( x )], где i = 1,3,5, . . ., 2 s -1 – номера минимальных полиномов. Поскольку минимальные полиномы по определению являются простыми и неприводимыми, то, условившись об отбрасывании возможных одинаковых Mi ( x), можно НОК заменить произведением полиномов

,                                      (3.34)

число которых в этом произведении L = s. Далее определяется старшая степень j минимального полинома. Степень j есть такое наименьшее число, при котором 2 j – 1 нацело делится на n , отсюда следует, что j = f. После того, как определены число минимальных полиномов и старшая степень полинома, сами полиномы, из которых составляется произведение (3.34) выписываются из справочных таблиц. При этом, если в таблицах отсутствует полином нужного номера данной степени, то следует взять ближайший с нужным номером, но меньшей степени. Кроме того, если среди выбранных полиномов окажутся два одинаковых, то в (3.34) включают только один из них. После того, как (3.34) сформировано, можно определить степень b образующего полинома g ( x ), перемножив входящие в него полиномы, при этом

.                                                                             (3.35)

Знак нестрогого равенства появился как результат того, что степени некоторых Mi ( x ) могут быть меньше j.

Далее можно определить число контрольных разрядов n - k, которое по определению равно степени образующего полинома, т. е. n - k = b, после чего становится возможным и определение числа информационных разрядов k = n -( n - k ). Если получившееся k окажется меньше требуемого для передачи заданного объема информации, необходимо перейти к следующему по порядку разрешенному n =2 f – 1 и выбрать для формирования g ( x ) минимальные полиномы степени f. Далее по описанной ранее методике для обычных циклических кодов при известном g ( x ) могут быть построены образующая и проверочная матрицы кода и, тем самым, код полностью построен и описан. Минимальные полиномы различных степеней и номеров являются справочными данными.

Для декодирования БЧХ-кодов могут быть использованы как алгоритмы анализа остатка от деления и мажоритарного декодирования, так и другие алгоритмы.

Важнейший подкласс БЧХ-кодов образуют коды Рида – Соломона, являющиеся недвоичными БЧХ-кодами. Они достаточно широко используются в системах двухуровневого каскадного кодирования.

Коды максимальной длины. Кодами максимальной длины называются циклические коды с параметрами (2 k -1, k ), у которых в качестве образующего полинома выбран проверочный полином, полученный описанным ранее образом. Например, требуется построить код (15,4) максимальной дины. Выбрав по описанным выше правилам примитивный полином четвертой степени, например x 4 + x + 1, найдем для него проверочный полином, который и будет образующим полиномом для кода (15,4) максимальной длины . Этот полином является полиномом кодовой комбинации кода. Остальные 14 ненулевых кодовых комбинаций являются четырнадцатью циклическими сдвигами этой комбинации (полинома). Отсюда вытекает одно важное свойство этих кодов. Поскольку все ненулевые комбинации являются циклическими сдвигами одной ненулевой комбинации, то все комбинации этого кода имеют один и тот же вес. Такие коды называются эквидистантными или симплексными. Кодеры для таких кодов иногда называют регистрами сдвига с линейными обратными связями, формирующими последовательности максимальной длины. Они имеют несколько различных применений. При большом числе разрядов такой регистр формирует последовательность с очень хорошими свойствами случайности. Такие устройства используются на практике в качестве генераторов псевдослучайных последовательностей.

Коды Рида – Малера. Коды Рида – Маллера являются двоичными групповыми кодами, эквивалентными циклическим кодам с добавленной общей проверкой на четность.

Коды Файра. Подкласс полиномиальных кодов, разработанный для обнаружения и исправления пакетов ошибок, называется кодами Файра.

Пакетом ошибок длины b называется последовательность b символов, в которой крайний слева и крайний справа символы обязательно искажены, а любые из b -2 символа, заключенные между ними могут быть как искаженными, так и неискаженными.

Образующий полином кода Файра определяется выражением , где g ( x )- неприводимый полином степени m, причем m>b, где b- длина исправляемого пакета ошибок, а c ³ 2 b -1, причем с должно выбираться таким, чтобы оно не делилось нацело на число e =2 m -1. Число контрольных разрядов в кодовой комбинации кода Файра определяется по формуле n - k = c + m, а общее число разрядов в кодовой комбинации n находится как наименьшее общее кратное чисел с и е, т.е. n = НОК(с,е).

Коды Файра являются высокоскоростными кодами с малой избыточностью. Если использовать код БЧХ с той же корректирующей способностью, то он будет обладать большим коэффициентом избыточности. Вывод очевиден, поскольку исправить ошибки, сгруппированные в пакет проще, чем ошибки, рассредоточенные по всей длине комбинации.

 

Контрольные вопросы к лекции 15

 

15-1. Какие коды называются полиномиальными?

15-2. Какое конечное алгебраическое поле называется простым?

15-3. Какие коды называются циклическими?

15-4. Опишите процесс нахождения значений контрольных разрядов циклического ( n , k )-кода при полиномиальном представлении?

15-5. Какими свойствами должен обладать образующий полином циклического ( n , k )-кода?

15-6. Какой полином называется неприводимым?

15-7. Как по заданному образующему полиному построить каноническую образующую матрицу циклического ( n , k )-кода?

15-8. Как по заданному образующему полиному построить неканоническую образующую матрицу циклического ( n , k )-кода?

15-9. Какое свойство циклического ( n , k )-кода позволяет осуществить переход от неканонической образующей матрицы к канонической?

15-10. Как обнаруживается наличие ошибки в принятой комбинации циклического ( n , k )-кода при полиномиальном представлении?

15-11. Какое устройство используется для аппаратной реализации операции деления полиномов в кодерах и декодерах циклических кодов?

15-12. Сколько двухвходовых сумматоров по модулю два входит в состав кодера циклического кода?

15-13. Чем определяется расположение двухвходовых сумматоров по модулю два в составе кодера циклического кода?

15-14. Чем определяется количество входов сумматора по модулю два в составе кодера циклического кода на основе k-разрядного регистра сдвига?

15-15. Чем определяется соединение входов сумматора по модулю два с выходами триггеров регистра в составе кодера циклического кода на основе k-разрядного регистра сдвига?

15-16. Как находится проверочный полином циклического кода?

15-17. Когда применим метод мажоритарного декодирования?

15-18. Какая система проверочных уравнений называется ортогональной?

15-19. Какую функцию реализует мажоритарный элемент в составе мажоритарного декодера?

15-20. Как находится образующий полином БЧХ-кода?

15-21. Какие коды называются кодами максимальной длины?

15-22. Какие коды называются эквидистантными или симплексными?

15-23. Что называется пакетом ошибок?

15-24. Как находится образующий полином кода Файра?

15-25. В чем преимущество кодов Файра по сравнению с БЧХ-кодами?


Лекция 16.
Сверточные
коды

 

3.3.5. Сверточные коды

 

Все рассмотренные ранее помехоустойчивые коды относились к блоковым кодам. Отличительной особенностью блоковых кодов является то, что закодированная последовательность символов представляет собой последовательность кодовых комбинаций (блоков) одинаковой длины n, каждая из которых кодировалась независимо от других. Иначе обстоит дело при использовании сверточных кодов. Дополнительные символы в таких кодах зависят от ряда предшествующих информационных символов, в результате чего передаваемая последовательность становится одним полубесконечным кодовым словом.

Построение сверточных кодов лучше всего рассмотреть на примере работы кодера, который любым k 0 символам входной информационной последовательности ставит во взаимно однозначное соответствие n 0 символов выходной последовательности. Простейший сверточный кодер (рис. 3.16) представляет собой регистр сдвига с k 0 разрядами, в котором символы кодовой последовательности формируются суммированием по модулю два значений с выходов некоторых разрядов регистра.

Рис. 3.16. Структура сверточного кодера

Сверточные кодеры (и коды) характеризуются скоростью кодирования R = k 0 / n 0, означающей, что если в каждый момент времени (такт)k0 символов входного кода поступают в регистр, то за это же время с выхода снимается n 0 символов выходного кода. Для приведенного выше примера R = k 0 / n 0 = 1/2, т. е. поступление каждого символа на вход приводит к появлению двух символов на выходе. Другой важнейшей характеристикой является длина кодового ограничения или простокодовое ограничение, равное числу разрядов регистра, в связи с чем эту характеристику называют иногда памятью кода. Величина nA = m ´ n 0 называется полной длиной кодового ограничения. Величина полного кодового ограничения характеризует протяженность корреляционных связей в кодированной последовательности для одного информационного символа. Если на вход кодера подавать различные информационные последовательности и каждый раз на длине nA выходной последовательности фиксировать ее вес, то минимальный зафиксированный вес даст значение так называемого свободного кодового расстояния d СВ.

Связи между разрядами регистра и сумматорами по модулю два удобно описывать порождающими полиномами. Для приведенной схемы  и . При таком представлении символы на входе кодера могут быть получены путем умножения входной последовательности на порождающие полиномы, т. е.  и . Рассматриваемый в примере сверточный код является несистематическим, поскольку ни , ни  не совпадают с входной последовательностью . Для получения систематического сверточного кода необходимо было бы положить или , или , т.е. убрать один из сумматоров, чтобы информационная входная последовательность стала частью выходной.

Рассматриваемый сверточный кодер под воздействием нулевой входной последовательности будет выдавать нулевую выходную последовательность. Если, например, подать в кодер один символ 1, за которой последуют нули, то выходная последовательность будет иметь вид

  1 такт 2 такт 3 такт 4 такт
Сост. регистра 100 010 001 000
Т1 1 0 1 0
Т2 1 1 1 0

Таким образом, входная последовательность 1000 . . . порождает выходную последовательность 1101110000 . . . .

Порождающая матрица кода может быть построена аналогично ранее рассмотренным, но в виде полубесконечной матрицы

.

Выходная последовательность, соответствующая произвольной входной последовательности может быть получена путем суммирования по модулю два соответствующих сочетаний строк этой матрицы.

Таким образом, сверточный код, формируемый этим кодером, имеет следующие параметры:

- скорость кодирования R =1/2;

- кодовое ограничение m =3;

- полное кодовое ограничение nA =6;

- свободное кодовое расстояние d СВ =5.

Другой способ описания связей между входной и выходной последовательностями сверточного кодера состоит в использовании кодового дерева, в котором каждая вершина соответствует очередному входному символу, а на ребре, ведущем к этой вершине, записывается соответствующая совокупность входных символов. Таким образом, каждая входная последовательность задает некоторый путь на дереве, а совокупности символов, соответствующие ребрам, составляющим этот путь, образуют выходную последовательность. Ясно, что при росте длины входной последовательности число возможных путей растет экспоненциально, так что использование такого дерева не очень удобно.

Более удобным является представление в виде так называемого решетчатого графа. Решетчатым называют граф, узлы которого находятся в узлах прямоугольной координатной сетки, т.е. образуют строки и столбцы. Граф полубесконечен справа, т. е. число столбцов полубесконечно. Число узлов в каждом столбце, т. е. число строк конечно и равно , где m – длина кодового ограничения. Конфигурация ребер, соединяющих узлы каждого столбца с узлами столбца справа, одинакова для всего графа. На основании сказанного построим решетчатый граф (рис. 3.17) для кодера, приведенного ранее, условившись, что из двух ребер, выходящих из каждого узла, верхнее соответствует входному символу 0, нижнее – 1.

Рис. 3.17. Решетчатый граф

Продемонстрируем процесс кодирования с помощью решетчатого графа, например, кодируя входную комбинацию =101100 . . ., т. е. выходная комбинация, найденная по графу (жирные линии) будет 1101001010, что можно проверить, воспользовавшись построенной ранее образующей матрицей и сложив по модулю два 1, 3 и 4 ее строки

.

Задачу декодирования сверточного кода можно рассматривать как задачу нахождения пути на решетчатом графе с помощью некоторых правил декодирования. Как и в случае декодирования блоковых кодов по максимуму правдоподобия целесообразными оказываются попытки выбрать правильный путь, который лучше всего согласуется с принятой последовательностью, т. е. попытки минимизировать вероятность ошибки последовательности. Поскольку с ростом длины последовательности число путей растет экспоненциально, то на первый взгляд задача построения оценки последовательности по максимуму правдоподобия для сверточного кода кажется безнадежной. Однако, метод построения такой оценки достаточно легко найти, пытаясь непосредственно вычислить метрику для каждого пути на решетке. Вначале число путей действительно растет экспоненциально с ростом длины последовательности. Однако, вскоре появляется возможность исключить из рассмотрения такое число путей в каждой вершине, которое в точности уравновешивает число вновь появившихся путей. Таким образом, оказывается возможным иметь сравнительно небольшой список путей, который всегда будет содержать наиболее правдоподобный путь. Эта итеративная процедура декодирования называется алгоритмом Витерби. Проще всего рассмотреть функционирование алгоритма Витерби на примере уже приведенной решетчатой диаграммы для кода с R = 1/2 и m =3. Заметим, что в ней имеется ровно по два пути, ведущих в каждую вершину уровня 4. Поскольку, начиная с этого уровня, соответствующие пути совпадают, декодер максимального правдоподобия может без потери общности принимать решение соответствующее этой вершине. После того, как это сделано, аналогичная процедура может быть применена к следующему уровню и т. д. Именно таким образом работает алгоритм Витерби. Согласно ему на каждом уровне сравниваются два пути, входящие в каждую вершину, и сохраняется лишь тот из них, метрика которого лучше. В качестве метрики может служить расстояние Хэмминга между принятой последовательностью и кодовыми словами, считываемыми с ребер решетки. Другой путь с худшей метрикой исключается из рассмотрения. Оставшиеся пути называются выжившими. Для рассматриваемого кода с m =3 в каждый момент будет сохраняться не более 4 выживших путей.

Для упрощения демонстрации работы алгоритма Витерби положим, что передавалась нулевая последовательность 00000000. . . , а принятой оказалась последовательность с одной ошибкой 10000000. . . .

Тогда работа алгоритма может быть описана следующими фрагментами:

1) принимаемый кадр n 0 символов – 10. Декодер выберет оба пути и определит метрику каждого из них – цифра над узлом;

 

2) принимаемый кадр 00;

 

3) принимаемый кадр 00;

 

4) принимаемый кадр 00;

 

5) принимаемый кадр 00;

 

6) принимаемый кадр 00.

 

Можно заметить, что 5 и 6 кадры аналогичны, т. е. процесс будет повторяться при приеме каждого очередного кадра, поскольку больше ошибок в принятой комбинации нет. Можно также заметить, что метрика нулевого пути лучше всех остальных. Из примера ясно, что выживающие пути могут отличаться друг от друга в течение долгого времени. Однако в данном примере при приеме 6 кадра первые 4 ребра всех путей совпадают. В этот момент согласно алгоритму Витерби принимается решение о переданных символах, т. к. выжившие пути приходят из одной вершины, т. е. соответствуют оному информационному символу, т. е. по 6 кадру можно с максимальным правдоподобием предположить, что передавалась последовательность 00000000, соответствующая декодированной последовательности 0000.

Глубина, на которой осуществляется принятие решения, не может быть вычислена заранее, она является случайной величиной, зависящей от серьезности происходящих в канале ошибок. Поэтому при практической реализации декодера Витерби устанавливается фиксированная глубина декодирования или ширина окна декодирования b. Каждый раз при приеме нового кадра декодер выдает выходящий за пределы окна самый старый символ одного из выживших путей. Такой процесс декодирования кадров продолжается бесконечно. Если b выбрано достаточно большим, то почти всегда при декодировании может быть принято однозначное решение. Если для данного канала с известными параметрами помех код выбран надлежащим образом, то это решение с большой вероятностью будет правильным. Этому, однако, может помешать несколько обстоятельств. Не все выжившие пути могут проходить через один и тот же узел. Возникает неопределенность, и процесс декодирования нарушается. Декодер может разрешить неопределенность, используя любое произвольное правило. Другая возможность состоит в том, что декодер не принимает решения, а отмечает этот участок последовательности, как сегмент кодового слова, который невозможно исправить. В этом случае декодер становится неполным декодером. Иногда декодер принимает однозначное, но ошибочное решение. Оно обязательно сопровождается последующими дополнительными ошибочными решениями, но декодер через некоторое время обнаружит это.

Основные трудности при реализации алгоритма Витерби возникают из-за того, что сложность декодера экспоненциально растет с ростом длины кодового ограничения m. Поэтому значения m должны быть сравнительно небольшими m <10 или должны использоваться другие алгоритмы декодирования. Для того чтобы ослабить влияние больших длин кодового ограничения, была разработана стратегия декодирования, игнорирующая маловероятные пути по решетке, как только они становятся маловероятными. Все такие стратегии поиска наиболее вероятного пути на решетке известны по общим названием последовательного декодирования.

В отличие от декодера Витерби, который производит продолжение и обновление метрики всех путей, которые могут оказаться наилучшими, последовательный декодер в каждый момент времени продолжает лишь один путь, который имеет вид наиболее вероятного. На каждом уровне последовательный декодер находится в одном узле, смотрит на следующий кадр и выбирает ребро, ближайшее к принятому кадру, переходя по этому ребру в узел на следующем уровне. Если нет ошибок, процедура работает отлично, однако при наличии ошибок декодер может выбрать неправильный путь. Если декодер продолжает следовать по ложному пути, он обнаруживает, что происходит слишком много ошибок. Но это ошибки декодера, а не канала. Последовательный декодер вернется назад на несколько кадров и начнет исследовать альтернативные пути до тех пор, пока не найдется правдоподобный путь, затем он будет следовать вдоль этого альтернативного пути. Разработаны различные подробные алгоритмы реализации этих процедур. Наиболее популярным из них является алгоритм Фано.

В этом алгоритме требуется знать вероятность p появления ошибочного символа в канале. Пока декодер следует по правильному пути вероятное число ошибок в первых lкадрах приблизительно равно pln 0. Декодер допускает несколько большее число ошибок, но если оно намного больше, то декодер сделает вывод о том, что он находится на ложном пути.

Для декодера выбирается некоторый параметр p 1, такой, что p < p 1 <1/2 и определяется перекошенное расстояние , где  – расстояние Хэмминга между принятым словом и текущим путем по решетке. Для правильного пути » , в связи с чем  и возрастает по мере движения. До тех пор, пока  возрастает, декодер продолжает движение вперед по решетке. Если  начинает уменьшаться, то декодер заключает, что в некотором узле он выбрал неправильное решение и возвращается по решетке, проверяя другие пути. Для того чтобы решить, когда  уменьшится на недопустимую величину, декодер пользуется переменным порогом Т, который может быть уменьшен или увеличен на величину D, называемую приращением порога. На каждом шаге декодер решает, что делать, основываясь на сравнении перекошенного расстояния  и текущего значения порога Т. До тех пор, пока  остается выше порога, декодер продолжает двигаться вперед и повышать порог, подсуммируя D, так, чтобы он оставался близким к . Если  опускается ниже порога, то декодер проверяет альтернативные ребра этого кадра, пытаясь найти то ребро, которое находится выше порога. Если он не может этого сделать, то возвращается назад. Алгоритм заставляет декодер двигаться назад до тех пор, пока он не найдет альтернативный путь, который находится над текущим значением порога, или, если это невозможно, не найдет узел, в котором был установлен текущий порог и понизит его на D. Затем декодер снова начнет двигаться вперед с уже пониженным порогом и порог не будет повышаться до тех пор, пока декодер не придет в новый, ранее не исследованный узел решетки.

Таким образом, каждый раз, когда декодер, двигаясь вперед, посещает ранее исследованный узел, он имеет меньший порог. Декодер никогда не посетит один и тот же узел дважды с одним и тем же порогом. Следовательно, он может посещать любой узел конечное число раз. Это поведение гарантирует декодер от зацикливания. Декодер продолжает обработку данных, проводя правильное или неправильное декодирование.

Основная сложность при реализации последовательного декодера состоит в том, что число вычислительных операций, необходимых для продвижения в следующую вершину кодового дерева, является случайной величиной. Наиболее существенным следствием непостоянства объема вычислений, требуемых для декодирования одного символа, является необходимость в наличии большой емкости памяти для буферизации поступающих и обрабатываемых данных. Использование в последовательном декодере буферной памяти любого, но конечного объема, приводит к ненулевой вероятности его переполнения. Исходя их этой характеристики, находится так называемая вычислительная скорость декодера R 0 . Если скорость кода R > R 0 , то в любом последовательном декодере будут возникать серьезные вычислительные трудности, связанные с частыми переполнениями буфера.

Для декодирования сверточных кодов могут использоваться и методы синдромного декодирования, среди которых наиболее часто употребляемыми являются метод порогового декодирования и метод табличного поиска. Следует отметить, что синдромное декодирование в преобладающем большинстве случаев используется только для систематических сверточных кодов, т. е. таких, у которых кодовая последовательность содержит явно выделяемые информационные и контрольные символы.

Пороговое декодирование сверточных кодов основано на тех же принципах, что и мажоритарное декодирование блоковых кодов. Декодер, реализующий этот алгоритм, по принятой информационной последовательности вычислят проверочные символы. Для этого декодер содержит копию кодера. Далее полученные с помощью этой копии проверочные символы складываются по модулю два с принимаемой проверочной последовательностью, в результате чего формируется синдромная последовательность, записываемая в регистр сдвига. С помощью линейного преобразования синдрома формируется система ортогональных проверок. Если результаты этих проверок подать на входы пороговой или решающей схемы, то на ее выходе будет формироваться оценка ошибочного символа. Суммируя его по модулю два с соответствующим информационным символом, который хранится в копии кодера, можно исправить ошибку. При этом выходной символ пороговой схемы по цепи обратной связи подается еще и на схему вычисления синдрома и корректирует его, устраняя влияние вычисленной ошибки на последующие символы. Такая процедура порогового декодирования называется декодированием с обратной связью.

Среди сверточных кодов, допускающих пороговое декодирование, самыми простыми являются так называемые самоортогональные коды. Декодирование самоортогональных кодов осуществляется крайне просто. Это связано с тем, что при декодировании нет необходимости проводить линейное преобразование символов синдрома для получения ортогональных проверок, поскольку в качестве таковых используются непосредственно символы синдрома.

Еще одним классом сверточных кодов, допускающих пороговое декодирование, являются ортогонализируемые коды. Ортогонализируемый код – это код, который допускает для каждого информационного символа построение системы ортогональных проверок, являющихся линейными комбинациями символов синдрома.

Если шумы в канале не выходят за пределы допустимых, то исправление ошибок осуществляется правильно. Если шумы превышают корректирующие способности кода, то могут возникнуть естественные ошибки декодирования. Однако, поскольку декодер содержит цепь обратной связи, то при возникновении ошибки декодирования по неправильной оценке значений ошибок осуществляется неправильная коррекция синдрома, что может привести к новой ошибке декодирования. Это явление характерно для сверточных кодов и известно под названием распространения ошибок.

Одним из методов борьбы с распространением ошибок является метод дефинитного декодирования. При этом декодировании исправления синдрома не производится, т. е. обратная связь отсутствует. Однако при таком декодировании и достаточно больших кодовых ограничениях корректирующие способности кодов обычно оказываются хуже, чем при декодировании с обратной связью.

Отличие метода табличного поиска от метода порогового декодирования с обратной связью состоит только в том, что в качестве решающего устройства используется ПЗУ с произвольным доступом, из которого по адресу, равному текущему синдрому, выбирается наиболее вероятная комбинация ошибок, записанная в него на этапе проектирования системы.

 

Контрольные вопросы к лекции 16

 

16-1. Как определяется скорость кодирования сверточного кода?

16-2. Чем определяется память сверточного кода?

16-3. Что называется полной длиной кодового ограничения сверточного кода?

16-4. Что характеризует полная длина кодового ограничения сверточного кода?

16-5. Как определяется свободное кодовое расстояние сверточного кода?

16-6. Какой граф называется решетчатым?

16-7. Чем определяется число узлов в каждом столбце решетчатого графа, описывающего сверточный кодер?

16-8. Что служит критерием выживания путей на решетчатом графе при использовании для декодирования сверточного кода алгоритма Витерби?

16-9. Чем принципиально отличается алгоритм Фано от алгоритма Витерби?

16-10. Как определяется перекошенное кодовое расстояние при использовании алгоритма Фано для декодирования сверточного кода?

16-11. За счет чего обеспечивается отсутствие зацикливания декодера Фано?

16-12. Для декодирования каких сверточных кодов может быть использовано синдромное декодирование?

16-13. Чем вызвано явление распространения ошибок в синдромном декодере сверточного кода с обратной связью?

16-14. В чем состоит особенность дефинитного декодирования сверточных кодов?

16-15. Что используется в качестве решающего устройства при использовании для декодирования сверточных кодов метода табличного поиска?

 


Лекция 17.
Каскадные
коды.
Эффективность
помехоустойчивого
кодирования

 

3.3.6. Каскадные коды

 

Каскадные коды были введены в качестве метода практической реализации кодов с очень большой длиной блока и весьма высокой корректирующей способностью. Эти цели достигаются при наличии нескольких уровней кодирования многими различными способами. Распространенной является схема с двумя уровнями кодирования (рис. 3.18).

   
Рис. 3.18. Структура каскадного кодирования

 

Совокупность внутреннего кодера, канала и внутреннего декодера называется суперканалом. Совокупность внешнего и внутреннего кодеров называется суперкодером, а соответствующая совокупность на приемной стороне – супердекодером. Длина кодовой комбинации каскадного кода N * = nN, количество информационных символов в ней K * = kK, а скорость кода определяется по известной формуле . Каскадирование обеспечивает такую структуру кода, что декодирование может осуществляться с помощью двух декодеров для кодов с длинами N и n соответственно, что позволяет существенно снизить сложность декодера по сравнению с той, которая потребовалась бы при одном уровне кодирования при прочих равных условиях.

Наиболее часто в качестве внешнего кода используются коды Рида – Соломона, поскольку они являются кодами с максимальным расстоянием d = n - k +1 и относительно просто реализуются. В качестве внутреннего кода может использоваться, например, (2 K -1, K)-код максимальной длины.

Однако эти коды могут быть полезны только при использовании в широкополосных каналах, т. е. когда требуемые скорости передачи намного меньше той, которую обеспечивает полоса частот канала, поскольку эти коды обладают очень низкой скоростью.

Для получения скоростей передачи в диапазоне  в качестве внутреннего кода может быть использован короткий блоковый код, обеспечивающий высокоскоростное декодирование. В качестве внутренних кодов применяются также сверточные коды с малой длиной кодового ограничения и декодированием Витерби. Эта структура каскадного кодирования является одной из самых эффективных и перспективных.

 

3.3.7. Оценка эффективности применения корректирующих кодов

 

Обычно качество системы связи оценивается отношением ( Eб/ N0) энергии Eб, приходящейся на один информационный символ (бит) к спектральной мощности N0 шума в канале, которое требуется обеспечить для достижения заданной вероятности ошибки pб (т. е. верности передачи).

Термин «выигрыш от кодирования» указывает на улучшение характеристик системы от использования данной схемы кодирования. Представление о взаимосвязи указанных характеристик дают графики зависимостей pб = f( Eб/ N0) .

Обычный метод определения выигрыша от кодирования состоит в сравнении графиков pб = f( Eб/ N0) для систем без кодирования и с кодированием и определении разности значений Eб/ N0 при данной вероятности ошибки.

Например, в системе без кодирования для получения вероятности ошибки на бит на выходе фазового демодулятора, не больше pб =10-5 необходимо обеспечить Eб/ N0 = 9,6 дБ (рис. 3.19).

Рис. 3.19. Графики зависимостей pб = f( Eб/ N0)

В этой же системе, но при использовании циклического кода с n=255 и RK=0,8 та же верность, т.е. pб =10-5 может быть достигнута при величине Eб/ N0 = 6,3 дБ. В этом случае энергетический выигрыш от кодирования составляет 3,3 дБ.

Меняя для данного типа кода параметры кода, можно построить семейство таких характеристик. Семейства зависимостей pб = f( Eб/ N0) для различных кодов можно найти в справочной литературе.

По этим кривым можно оценить энергетический выигрыш от кодирования, который учитывает как возможность снижения отношения сигнал/шум за счет уменьшения уровня сигнала, обеспечиваемую исправлением ошибок в декодере, так и дополнительные затраты энергии на передачу кодовых комбинаций, вызванные введением избыточности.

Методы исправления ошибок получили широкое распространение в каналах с аддитивным гауссовским шумом. Типичные случаи применения – радиолинии прямой видимости, в том числе линии космической и спутниковой связи. В подобных случаях цель состоит в уменьшении требуемого значения Eб/ N0  при фиксированной вероятности ошибки по сравнению с этим значением в системе без кодирования. Выигрыш от кодирования может быть затем использован наиболее эффективным способом: можно, например, уменьшить размер антенн или увеличить скорость передачи. Для получения значительного выигрыша от кодирования в таких каналах наиболее пригодны сверточные коды с малой длиной кодового ограничения и с декодированием Витерби. В частности, сверточный код с R=1/2 и полной длиной кодового ограничения равной 6 при pб=10-5 дает энергетический выигрыш 5 дБ. При фиксированном уровне сложности такой подход обычно предпочтительнее блоковых кодов. При умеренных и высоких скоростях поступления данных (от 10 кбит/c до 20 Мбит/с) сложность реализации данного подхода существенно меньше, чем других методов, приводящих к сравнимому выигрышу от кодирования. Если будут созданы более эффективные алгоритмы декодирования блоковых кодов, они, несомненно, будут сравнимы с алгоритмом Витерби. Пока что сложность существенно уменьшается лишь при использовании очень простого порогового декодирования и декодирования с табличным поиском. Однако получаемый при этом выигрыш от кодирования уменьшается на несколько децибел. При очень высоких скоростях поступления данных (свыше 20 Мбит/с) система, в которой каскадируются коды Рида – Соломона и короткие блоковые коды, при меньшей сложности дает примерно тот же выигрыш от кодирования, что и декодер Витерби. Для очень высоких скоростей поступления данных в некоторых системах использовались параллельные декодеры Витерби. Однако такая система оказалась очень дорогой. Алгоритм Витерби при высоких скоростях поступления данных является одним из лучших по зависимости стоимости от сложности. Сложность методов, которые могут оказаться лучше декодирования Витерби, пропорциональна скорости поступления данных. Оказывается, что они становятся привлекательными лишь при умеренных скоростях поступления данных (до 1 Мбит/с). При таких скоростях каскадная система в которой применяется код Рида – Соломона и декодер Витерби, дает примерно на 2 децибела больший выигрыш, чем обычный декодер Витерби, однако сложность при этом удваивается или утраивается. Несколько лучшим оказывается использование последовательного декодирования. При скоростях поступления данных до нескольких сотен килобит в секунду этот метод обеспечивает лучшие характеристики, чем декодирование Витерби, при примерно той же сложности. При более низких скоростях преимущества последовательного декодирования возрастают. При очень малой вероятности ошибки (pб =10-8) дополнительные преимущества приобретают коды с большим кодовым расстоянием. Например, каскадная система с последовательным декодированием приводит к выигрышу от кодирования, превышающему выигрыш, получаемый при декодировании Витерби, на 1 децибел. Таким образом, при очень низких вероятностях ошибки эти методы требуют дополнительного внимания.

Все приведенные до сих пор оценки характеристик относились к каналам без памяти, т.е. к каналам, в которых вероятность ошибки не зависит от времени. В случаях, когда нужно учитывать пакеты ошибок, возможные решения состоят в применении таких циклических кодов, какими являются коды Файра, или каких-либо кодера и декодера, предназначенных для исправления случайных ошибок (а не пакетов), вместе с парой устройств, состоящей из устройства перемежения и устройства восстановления после перемежения (рис. 3.20).

 
Рис. 3.20. Структура системы с перемежением

 

При таком подходе последовательность на выходе кодера подвергается перемежению до передачи по каналу и восстанавливается перед декодированием, так что на входе декодера ошибки распределяются более равномерно (не пакетируются).

Устройство перемежения переупорядочивает (переставляет) символы в последовательности некоторым детерминированным образом. С устройством перемежения связано устройство восстановления после перемежения, с помощью которого осуществляется обратная перестановка и восстанавливается исходный порядок символов. Существует много типов таких устройств. Два важных класса устройств перемежения – это периодические и псевдослучайные устройства перемежения.

Периодическим называют такое устройство перемежения, в котором перестановка является периодической функцией времени. Среди периодических устройств перемежения можно выделить два основных типа – блоковые устройства перемежения и сверточные устройства перемежения. На вход блоковых устройств перемежения символы поступают блоками, и устройство производит одну и ту же перестановку каждого блока символов. Сверточные устройства перемежения не имеют фиксированной блочной структуры, они осуществляют периодическую перестановку полубесконечной последовательности кодовых символов. Различие между устройствами перемежения этих двух типов очень похоже на различие между блоковыми и сверточными кодами.

Псевдослучайное устройство перемежения представляет собой блоковое устройство, которое берет блоки из определенного количества символов и переставляет их псевдослучайным образом. Это можно сделать, записав символы блока последовательно в ОЗУ устройства перемежения, а затем считав их псевдослучайным образом. Требуемую перестановку можно записать в ПЗУ, содержимое которого использовать для адресации ОЗУ устройства перемежения.

Такой метод обеспечивает высокую степень устойчивости при изменении параметров пакетов ошибок, однако его сложность превышает сложность блокового или сверточного устройства перемежения того же объема. Наиболее интересным является применение таких устройств для защиты от организованных помех.

Из анализа семейств характеристик pб = f( Eб/ N0) построенных для различных кодов при различных длинах пакетов и их интенсивностях следует, что при малых длинах пакетов или их малой интенсивности применение перемежения не приносит ощутимых результатов. Так, для упомянутого ранее сверточного кода с R=1/2 и полной длиной кодового ограничения равной 6 использование перемежения не оправдано, если длины пакетов не превышают пяти. И наоборот, ухудшение характеристик, вызываемое случайными пакетами ошибок, показывает, что перемежение необходимо во всех случаях, кроме случая, когда длина пакета или их интенсивность очень мала.

Таким образом, применение корректирующих кодов позволяет повысить верность передачи, т. е. уменьшить вероятность ошибки, либо при заданной верности повысить энергетическую эффективность системы снижением отношения сигнал/шум за счет уменьшения уровня сигнала.

Многообразие кодов и методов декодирования делает почти невозможным составление полного каталога на все потенциально возможные случаи. Поэтому окончательное решение о целесообразности применения того или иного корректирующего кода с тем или иным методом декодирования можно принять лишь после сравнения показателей эффективности системы с кодированием и без него, с кодированием тем или иным классом кодов, с использованием того или иного метода декодирования.

Техническая эффективность системы передачи информации определяется количеством и качеством информации, переданной за некоторый промежуток или в единицу времени, т. е. скоростью передачи R (бит/с) и верностью передачи или вероятностью ошибки p. Для обеспечения требуемых R и p используется канал с полосой F и отношением сигнал/шум Q, которые являются основными ресурсами канала.

Целесообразно ввести коэффициенты эффективности, определяющие энергетическую b и частотную g эффективность системы передачи:

 и .                                                             (3.36)

Эти коэффициенты имеют физический смысл удельных скоростей передачи, приходящихся на единицу отношения сигнал/шум и на единицу полосы пропускания канала соответственно.

В качестве обобщенного показателя технической эффективности системы передачи вводится коэффициент использования пропускной способности канала или информационная эффективность

,                                                                             (3.37)

где С – пропускная способность канала.

С учетом формулы Шеннона (2.29) и выражений (3.36) и (3.37) можно выразить информационную эффективность через частотную и энергетическую

.                                                                    (3.38)

Если принять эту функцию в качестве целевой, можно определить ее максимальное значение из следующих соображений. Согласно теореме Шеннона при соответствующих способах передачи (кодирования и модуляции) и приема (декодирования и демодуляции) значение h может быть сколь угодно близким к единице при сколь угодно малой ошибке. Положив h max=1, из (3.38) получим

.                                                                         (3.39)

Если (3.39) представить в виде кривой на плоскости , то получим границу Шеннона (рис. 3.21). Полученная кривая является предельной и отражает наилучший обмен между b и g. Следует заметить, что g – эффективность может изменяться в широких пределах: от 0 до µ при

Рис. 3.21. Граница Шеннона

аналоговой передаче и от 0 до 2 logm при дискретной передаче, в то время как b – эффективность ограничена сверху, поскольку при g ® 0 b max =1/ ln 2 (1,6 дБ). Для реальных систем ошибка всегда имеет место и h<1.

В этом случае можно отдельно определить b и g и построить кривые  при p = const, которые будут расположены ниже границы Шеннона. Ход этих кривых зависит от вида модуляции, типа и параметров используемого кода и способов обработки сигнала. Полученные таким образом b g – диаграммы позволяют выбрать системы, удовлетворяющие заданным требованиям, т.е. осуществить оптимизацию по коэффициентам b и g. При этом можно осуществить оптимизацию по одной из частных стратегий:

1) максимизировать энергетическую эффективность b при допустимых изменениях g<g!, где g! – область допустимых изменений g, и заданной ошибке p < p доп ;

2) максимизировать частотную эффективность g при допустимых изменениях b<b !, где b ! – область допустимых изменений b, и заданной ошибке p< pдоп .

Например, пусть заданы скорость передачи R, полоса частот канала F и отношение сигнал-шум Q. Тогда область возможных значений b и g можно разбить на четыре квадранта. Системы, расположенные в I квадранте, удовлетворяют требованиям по обоим показателям b >b* и g > g *. Системы, расположенные в квадранте II, удовлетворяют требованиям только по b, а системы квадранта IV удовлетворяют требованиям только по g – эффективности. Системы квадранта III не удовлетворяют требованиям по обоим показателям.

Возможные системы передачи сообщений условно можно разделить на две группы: системы с высокой b – эффективностью, но малой g – эффективностью и, наоборот, системы с высокой g – эффективностью, но малой b – эффективностью. К первой группе относятся системы, в которых первостепенной значение имеют энергетические показатели, т. е., например, космические и спутниковые системы связи. Для них определяющей является первая стратегия, согласно которой необходимо обеспечить наилучшее использование мощности сигнала при заданной верности передачи. В системах проводной связи важнейшим показателем является g – эффективность. Оптимизация таких систем производится по второй стратегии, согласно которой необходимо добиться наилучшего использования полосы частот канала при заданной верности передачи. В ряде случаев требуется компромиссное решение, при котором одновременно достигаются заданные достаточно высокие значения b и g.

При использовании первой стратегии технический эффект удобно определять по энергетическому выигрышу D b = b / b э при g = g доп. Здесь b – энергетическая эффективность выбранного варианта системы, а b э – энергетическая эффективность эталонной (базовой) системы. При использовании второй стратегии определяется выигрыш по удельной скорости или, в частности, выигрыш по занимаемой полосе частот: D g = g / g э при b = b доп. Здесь g – энергетическая эффективность выбранного варианта системы, а g э – энергетическая эффективность эталонной (базовой) системы. Выигрыш в децибелах определяется по кривым  как разность соответствующих координат. Базовый вариант необходим для того, чтобы оценить уровень совершенства выбранного варианта системы по сравнению с наиболее распространенными или наиболее совершенными из известных разработанных систем. Полезным может оказаться сравнение с идеальной системой, т. е. с границей Шеннона: D b = b - b ш ; D g = g - g ш. В этом случае выигрыш будет отрицательным, т. е. проигрышем. По величине проигрыша можно судить насколько близка выбранная система к идеальной и насколько целесообразна разработка более совершенной системы.

Анализ кривых b g – эффективности для блоковых кодов показывает, что короткие блоковые коды дают малый выигрыш по энергетической эффективности b при значительном проигрыше по удельной скорости g. С увеличением длины кодовой комбинации выигрыш по b возрастает до некоторого оптимального значения g, при которой b максимально. У кодов средней длины (n =31-127) оптимальной является скорость RK = 0,3-0,5.

Рассматривая аналогичные кривые для циклических кодов, можно увидеть, что все они при изменении длины блока в диапазоне n =31 – 1023 располагаются под соответствующими кривыми для кодов, лежащих на границе Хэмминга, т. е. циклические коды обеспечивают несколько меньший энергетический выигрыш, однако его максимума они достигают при скоростях RK =0,7 – 0,8. Таким образом, при использовании циклических кодов, например, с параметрами n =127 – 255 и RK = 0,8 возможно получение энергетического выигрыша порядка 2 3 дБ.

Анализ кривых эффективности для сверточных кодов показывает, что с уменьшением удельной скорости g энергетическая эффективность b монотонно растет, хотя при g £ 0,5 этот рост существенно замедляется. Например, для сверточных кодов с кодовым ограничением порядка 10 и использованием при декодировании алгоритма максимального правдоподобия энергетический выигрыш может достигать 6 дБ. Анализ кривых эффективности для каскадных систем кодирования позволяет сделать вывод о том, что наибольшей эффективностью обладают системы, у которых в качестве внутреннего кода используется сверточный код с декодированием Витерби. При р=10-5 они обеспечивают энергетический выигрыш порядка 8 дБ.

После того как выбрана система по показателям b и g по формуле (3.38) определяется обобщенный показатель технического эффекта – информационная эффективность h. После определения приемлемых вариантов системы по техническому эффекту h, рассчитываются затраты W для этих вариантов. После этого можно осуществить технико-экономический анализ по принципу минимальных затрат.

При этом необходимо иметь в виду следующие обстоятельства:

1. При анализе систем по показателям h  и W решение, обращающее в максимум или минимум один показатель, не обращает в максимум или минимум другой показатель. Лучшей считается такая система, которая обеспечивает максимум или минимум одного показателя при заданном втором показателе, например, максимум информационной эффективности h при заданных затратах W , или минимум затрат W при заданном значении информационной эффективности h.

2. Высокая информационная h эффективность может быть достигнута различными путями: при большом значении b за счет уменьшения g или наоборот. При этом потребуется реализация совершенно разных систем. Диаграммы b и g четко указывают, какие системы необходимо выбирать в первом случае, а какие во втором. В обобщенном показателе информационной эффективности h это различие теряется. Поэтому технико-экономическому анализу по минимуму затрат W при допустимых значениях h должен обязательно предшествовать выбор приемлемых вариантов систем по показателям b и g.

Контрольные вопросы к лекции 17

 

17-1. Что называется суперканалом при использовании каскадного кодирования?

17-2. Что называется суперкодером при использовании каскадного кодирования?

17-3. Как определяется выигрыш от помехоустойчивого кодирования?

17-4. В чем состоит функция устройства перемежения?

17-5. Какие устройства перемежения называются периодическими?

17-6. Какие устройства перемежения называются псевдослучайными?

17-7. Как определяется коэффициент энергетической эффективности системы передачи информации?

17-8. Как определяется коэффициент частотной эффективности системы передачи информации?

17-9. Как определяется коэффициент информационной эффективности системы передачи информации?

17-10. Что называется границей Шеннона?


Библиографический список

 

1. Олифер, В. Г. Компьютерные сети. Принципы, технологии, протоколы: учеб. пос. / Олифер, В. Г., Олифер, Н. А. - 3-е изд. - СПб.: Питер, 2007. - 958c.: ил. - Библиогр.: с. 919-922. - ISBN 5-469-00504-6.

2. Ланских, Владимир Георгиевич. Теоретические основы информационной техники: учеб. пособие: дисциплина "Теория информации": специальность 230201, 2 курс / Ланских, Владимир Георгиевич; ВятГУ, ФАВТ, каф. АТ, 2009. - 179c. (электронный вариант)

3. Баскаков, Святослав Иванович. Радиотехнические цепи и сигналы: учеб. / Баскаков, Святослав Иванович. - 5-е изд., стер. - М.: Высш. шк., 2005. - 462c.: ил. - Библиогр.: с. 457-459. - ISBN 5-06-003843-2.

4. Ланских, Владимир Георгиевич. Теория информации в задачах: сб. задач для практич. занятий: дисциплина "Теория информации": специальность 230201, 2 курс, д/о / Ланских, Владимир Георгиевич; ВятГУ, ФАВТ, каф. АТ, 2009. - 33c. (электронный вариант)

5. Исследование сигналов и методов модуляции: Лаб. практикум. Дисциплина "Математические основы передачи данных". Специальность 071900 / ВятГУ, ФАВТ, каф. АТ; Сост. М. И. Красиков. - Киров, 2006 (электронный вариант)

 

Учебное издание

 

Ланских Владимир Георгиевич

 

ТЕОРИЯ ИНФОРМАЦИИ

 

Учебное пособие

 

 

Подписано в печать хх.хх.13. Заказ № 805.

 

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Вятский государственный университет» 

 

610000, Киров, ул. Московская, 36 Тел.: (8332) 64-23-56, http://vyatsu.ru


Дата добавления: 2019-03-09; просмотров: 173; Мы поможем в написании вашей работы!




Мы поможем в написании ваших работ!