Классификация состояний цепи Маркова.
Цепи Маркова и их свойства.
Пусть функция 
в дискретный момент времени n принимает целое значение i (можно вместо целых чисел i рассматривать любые числа) с вероятностью 
, иначе, некоторая система в момент времени n находится в состоянии i с вероятностью , т. е. 
.
Совместное распределение вероятностей и 
определим формулой 
, а совместное распределение случайного вектора 
зададим следующим выражением 
. Таким образом, переход из состояния i в состояние j определяется вероятностью перехода 
.
Определение 1. Последовательность дискретных случайных величин образует марковский процесс, если для каждого набора целых чисел 
соответствующее совместное распределение 
определено таким образом, что условная вероятность события 
при условиях 
совпадает с условной вероятностью события при единственном условии 
. Числа 
произвольны, а рассматриваемые события имеют положительные вероятности.
Таким образом, в определении 1 постулируется, что для заданного настоящего состояния системы 
никакие дополнительные сведения относительно состояний системы в прошлом не могут изменить (условную) вероятность состояния x в некоторый будущий момент времени.
Дискретный марковский процесс также называется цепью Маркова, но описанный перед О1 процесс обладает дополнительным свойством: переходные вероятности 
не зависят от n.
Обобщением описанной ситуации является случай, когда переходные вероятности 
зависят только от разности 
. Такая цепь Маркова называется однородной. В общей цепи Маркова переходные вероятности зависят от моментов времени и обозначаются 
, так что 
определяют вероятности перехода за один шаг. В дальнейшем рассматриваются только однородные цепи Маркова, для которых 
|
|
|
Теория цепей Маркова является простейшим обобщением схемы независимых испытаний Бернулли, в которой с каждым исходом 
связывалась фиксированная вероятность 
. В цепи Маркова каждой паре исходов 
отвечает условная вероятность 
и должны быть заданы вероятности 
исходов в начальном состоянии. Вероятности последовательных исходов в цепи Маркова удовлетворяют соотношению
,
причем начальному исходу удобно присваивать номер 1, второму – 2 и т. д.
Пусть цепь Маркова описывается начальным вектором вероятностей 
, 
исходов (состояний) 
и квадратной матрицей вероятностей перехода
,
причем 
и 
. Такая матрица называется стохастической.
Любая стохастическая матрица может служить матрицей вероятностей перехода и вместе с начальным вектором вероятностей задает цепь Маркова.
Примеры цепей Маркова.
Графически цепь Маркова описывается направленным графом, вершины которого соответствуют состояниям цепи, а дуга, выходящая из состояния 
и направленная в состояние 
,помечается вероятностью перехода .
|
|
|
Аналогично предыдущему можно определить цепь Маркова с бесконечным числом состояний.
Из определения 1 следует, что вероятности перехода за n шагов можно найти по простой формуле
,
т. е. с формальной точки зрения исследование многих свойств цепей Маркова сводится к изучению степеней матриц вероятностей перехода.
Для любых неотрицательных n и r справедливо уравнение Колмогорова-Чепмена 
, где 
– единичная матрица.
Пусть 
– распределение вероятностей цепи Маркова на n-м шаге, причем 
. Тогда имеем
, 
.
Пример цепи Маркова.
.
Классификация состояний цепи Маркова.
Определение 2. Говорят, что состояние достижимо из состояния , если существует такое 
, что 
. Состояния и называются сообщающимися, если они достижимы друг из друга.
Множество состояний C цепи Маркова называется замкнутым, если никакое состояние вне C недостижимо из C. Цепь Маркова называется неразложимой, если каждое ее состояние достижимо из любого другого состояния, т. е. имеется всего одно замкнутое множество состояний.
|
|
|
Определение 3. Состояние имеет период 
, если 
, пока n не является кратным d, и – наименьшее целое число, обладающее этим свойством. Состояние называется непериодическим, если такого не существует.
Пример. Простейшим примером цепи Маркова с периодом 3 является цепь с тремя состояниями, которая описывается матрицей переходов
, 
, 
.
Изобразить орграф.
В неразложимой цепи Маркова все ее состояния имеют одинаковый период, в частности, все состояния являются непериодическими.
Вероятность возврата в состояние i равна 
, где 
– вероятность возврата в состояние i ровно за n шагов, а среднее время возвращения в состояние i равно 
.
Определение 4. Состояние i называется возвратным, если вероятность возвращения в него равна 
и невозвратным, если 
. Если для возвратного состояния 
, то состояние i называется возвратным положительным, а при 
– возвратным нулевым.
Пример. Для цепи Маркова с матрицей переходов за один шаг (изобразить орграф)
имеем 
, а 
.
Возвратное состояние, не являющееся ни нулевым, ни периодическим, называется эргодическим.
Определение 5. Цепь Маркова называется эргодической, если для любых значений 
существует
, 
.
|
|
|
Распределение вероятностей в О4 называется предельным (финальным) распределением.
Теорема 1. Если в конечной цепи Маркова в некоторый момент времени n все элементы матрицы 
положительны, то цепь Маркова эргодическая.
Определение 6. Распределение вероятностей 
, 
, 
называется стационарным распределением цепи Маркова, если для всех j выполняется следующее условие
.
В частности, предельное распределение в определение 5 является стационарным.
Задачи
1. Цепь Маркова имеет матрицу вероятностей перехода
.
Найти замкнутые множества состояний и определить возвратные и невозвратные состояния. Найти периоды периодических состояний.
2. Цепь Маркова задана начальным вектором вероятностей 
и матрицей вероятностей перехода
.
Найти:
а) распределение по состояниям в момент времени 
;
б) вероятность того, что в моменты 
состояниями цепи будут соответственно 
;
в) стационарное распределение.
3. Найти предельное распределение для цепи Маркова с заданной матрицей вероятностей перехода за один шаг:
а) 
;
б) 
.
Дата добавления: 2021-05-18; просмотров: 223; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!