Узкополосные случайные процессы.
К узкополосным случайным процессам относят процессы, спектральная плотность мощности которых соредоточена в относительно узкой полосе частот в окрестности некоторой достаточно высокой частоты f0 (рис. 2), то есть ∆ f<<f0.
Пример реализации такого случайного процесса показан на рис. 3, где X(t) - огибающая.
Рис. 3
Шумовое колебание с узкополосным спектром следует рассматривать как высокочастотное колебание с медленно изменяющимися огибающей X(t) и фазой φ (t):
x(t) = X(t)cos[ω 0t+φ (t)] = X(t)cosφ(t),
причем ω0 является центральной частотой спектра шума. Мгновенные значения амплитуды X(t), фазы φ(t) и частоты
являются случайными функциями времени 
.
Энтропия как мера неопределенности. Энтропия по Хартли и Шеннону.
энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Определение по Шеннону
Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:
1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
|
|
|
3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.
Поэтому функция энтропии H должна удовлетворять условиям:
1. 
определена и непрерывна для всех 
, где 
для всех 
и 
. (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)
2. Для целых положительных n, должно выполняться следующее неравенство:
3. Для целых положительных bi, где 
, должно выполняться равенство:
Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:
где K — константа (и в действительности нужна только для выбора единиц измерения).
Шеннон определил, что измерение энтропии ( 
), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении.
|
|
|
Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.
H=log2(N)
Из нее явно следует, что чем больше количество альтернатив (N), тем больше неопределенность (H). Эти величины связаны в формуле не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам. Энтропия будет являться целым числом лишь в том случае, если N является степенью числа 2, т.е. если N принадлежит ряду: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}
Для решения обратных задач, когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще:
N=2H
Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле, как N=23=8 этажей. Если же вопрос стоит так: “в доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?”, нужно воспользоваться формулой: I=log2(8)=3 бита.
|
|
|
Дата добавления: 2018-02-18; просмотров: 991; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!