Порядок выполнения контрольной работы

Контрольная работа (номер варианта по списку)

Информационные характеристики дискретных случайных систем

Сведения, являющиеся объектом хранения, передачи и преобразования, называют информацией. Для измерения количества информации о некоторой дискретной случайной системе Х используется энтропия, которая показывает степень неопределенности состояния этой системы. К.Шеннон ввел следующую формулу для определения энтропии:

где x₁, x₂, … x_i,…, x_n – возможные состояния системы X, p(x₁), (x₁), …, p(x_i),…, p(x_n) – вероятности состояний ( ).

Свойства энтропии:

1. энтропия есть величина вещественная, ограниченная и неотрицательная;

2. энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно;

3. энтропия максимальна и равна логарифму числа состояний, если состояния системы равновероятны;

4. энтропия бинарных величин изменяется от 0 до 1 – она равна 0, если вероятность одного из состояний равна 0, затем возрастает и достигает максимума при вероятностях 0.5.

Пусть имеется сложная система, состоящая из двух систем X и Y:

X = (x₁, …, x_i, …, x_n ), Y = (y₁, … , y_j, …, y_m ).

Ее поведение определяется матрицей вероятностей совместных событий P(X, Y) = [p(x_i, y_j)]_n_´_m=[p_ij]_n_´_m:

Энтропия сложной системы вычисляется по формуле:

В случае независимых систем X и Y энтропия сложной системы рассчитывается следующим образом:

H(X, Y) = H(X) + H(Y)

В случае зависимых систем X и Y можно определить условную частную энтропию H(Y/x_i) системы Y относительно отдельного события x_i:

где p(x_i/y_j) – условные вероятности, задаваемые матрицей:

Если частную условную энтропию усреднить по всем состояниям x_i с учетом вероятности появления каждого из состояний p(x_i), то можно найти полную условную энтропию системы Y относительно системы X:

В случае зависимых систем X и Y энтропию сложной системы можно вычислить с помощью соотношений:

H(X, Y) = H(X) + H(X/Y) = H(Y) + H(X/Y).

Энтропию сложной системы также называют энтропией объединения. В общем случае энтропия объединенной системы

H(X, Y) ≤ H(Y) + H(X/Y),

что следует из неравенства

H(Y/X) ≤ H(Y).

В случае полной зависимости систем, состояния одной системы полностью определяют состояния другой:

H(X, Y) = H(X) = H(Y).

При передаче сообщений с информацией о какой-либо системе происходит уменьшение неопределенности: чем более неопределенным было состояние системы, тем большее количество информации содержится в сообщении. Поэтому количество информации о системе X измеряют уменьшением энтропии:

I(X) = H₁(X) – H₂(X),

где H₁(X) – энтропия системы до наблюдения, H₂(X) – энтропия в результате наблюдения. Пусть H₁(X) = H(X). В результате наблюдения неопределенность исчезает, т.е. H₂(X) становится равным 0, и поэтому

I(X) = H(X),

т.е. количество информации, приобретаемое при полном выяснении состояния некоторой системы, равно энтропии этой системы.

Сообщение, которое требуется передать, можно представить в виде последовательности символов некоторого первичного алфавита. В свою очередь, при передаче этих символов они могут быть закодированы с помощью символов некоторого вторичного алфавита. Поэтому следует различать количество информации, которое вычисляется относительно первичного алфавита, и объем информации, который вычисляется относительно вторичного алфавита. Количество информации зависти от вероятностных характеристик первичного алфавита, а объем зависит от числа символов вторичного алфавита, используемых для представления одного символа первичного алфавита и равен

где l – число символов вторичного алфавита, используемых для представления одного символа первичного алфавита сообщения, а k - количество передаваемых букв первичного алфавита в сообщении.

На практике часто встречается ситуация, когда интересующая система Х для наблюдения не доступна. Поэтому наблюдение ведут за другой системой Y, связанной каким-либо образом с системой Х. Между системой X и Y имеются различия, которые могут быть двух видов:

1. различия за счет того, что некоторые состояния системы X не находят отражения в системе Y (Y менее подробна, чем система X);

2. различия за счет ошибок: неточностей измерения параметров системы X и ошибок при передаче сообщений о системе X.

Для определения того, какое количество информации о системе X дает наблюдение системы Y, используют следующее выражение:

I_Y_®_X = H(X) – H(X/Y) = H(X) + H(Y) – H(X, Y),

где H(X)- априорная энтропия (энтропия до наблюдения), H(X/Y)- апостериорная (остаточная) энтропия (энтропия после наблюдения), H(Y) – энтропия системы Y, H(X, Y) – энтропия объединения систем X и Y. Величина I_Y_®_X есть полная информация о системе X, содержащаяся в системе Y. В общем случае, при наличии двух систем, каждая содержит относительно другой системы одну и ту же полную информацию:

H(X) – H(X/Y) = H(Y) – H(Y/X).

Тогда I_Y_®_X = I_X_®_Y = I_Y_«_X. Величину I_Y_«_X называют полной взаимной информацией содержащейся в системах X и Y.

Если X и Y независимые системы, то H(Y/X) = H(Y) и I_Y_«_X = 0, т.е. нельзя получить сведений о системе, наблюдая вместо нее другую систему, никак с нею не связанную. Если X и Y полностью определяют друг друга, то

H(X) = H(Y), H(X/Y) = H(Y/X) = 0и I_Y_«_X = I_X = I_Y = H(X) = H(Y). Если между X и Y имеется жесткая односторонняя зависимость (состояние одной из систем полностью определяет состояние другой, но не наоборот), то по состоянию подчиненной системы вообще нельзя однозначно определить состояние другой. Очевидно, энтропия подчиненной системы меньше чем та, которой она подчиняется, так как она менее подробна. Тогда полная взаимная информация, содержащаяся в системах, из которых одна является подчиненной, равна энтропии подчиненной системы. Например, если из двух систем X и Y подчиненной является Y, то H(Y/X) = 0 и I_Y_«_X = H(Y).

Порядок выполнения контрольной работы

1. Ознакомиться с основными сведениями об информационных характеристиках дискретных случайных систем.

2. Получить задание на выполнение лабораторной работы.

3. Выполнить расчеты информационных характеристик дискретных случайных систем с помощью программы Microsoft Excel.

4. Сделать выводы о свойствах информационных характеристик дискретных случайных систем.

5. Оформить отчет о выполнении лабораторной работы.

6. Ответить на контрольные вопросы.

Контрольные вопросы

Что такое энтропия дискретной случайной системы?
Каковы основные свойства энтропии?
Как выражается энтропия объединения двух независимых систем?
Как выражается энтропия объединения двух зависимых систем?
Как выражается количество информации?
В чем разница между объемом информации и количеством информации?
Как зависит количество информации от сообщения об отдельном событии от вероятности этого события?
Как определить взаимную информацию двух систем?
Как определяется полная взаимная информация в случаях полной независимости и полной зависимости систем?
Как определить взаимную информацию двух систем через энтропию объединения?

11. Дифференциальная энтропия.

12. Свойства энтропии непрерывной системы.

13. Взаимная информация непрерывных систем.

14. Условная энтропия непрерывной системы.

15. Принцип экстремума энтропии.

16. Энтропия непрерывной системы при заданной дисперсии.

17. Энтропия непрерывной системы при произвольной дисперсии.

18. Эпсилон-энтропия.

Дата добавления: 2018-08-06; просмотров: 171; Мы поможем в написании вашей работы!

Поделиться с друзьями:

12 Следующая ⇒

Мы поможем в написании ваших работ!