Однородная цепь Маркова. Переходные вероятности. Матрица перехода
Цепь Маркова
Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий 
полной группы и условная вероятность 
того, что в s-м испытании наступит событие 
при условии, что в (s - 1) - м испытании наступило событие 
не зависит от результатов предшествующих испытаний.
Например, если последовательность испытаний образует цепь Маркова и полная группа состоит из четырех несовместных событий 
, причем известно, что в шестом испытании появилось событие 
, то условная вероятность того, что в седьмом испытании наступит событие 
, не зависит от того, какие события появились в первом, втором,..., пятом испытаниях.
Заметим, что независимые испытания являются частным случаем цепи Маркова. Действительно, если испытания независимы, то появление некоторого определенного события в любом испытании не зависит от результатов ранее произведенных испытаний. Отсюда следует, что понятие цепи Маркова является обобщением понятия независимых испытаний.
Далее используется терминология, которая принята при изложении цепей Маркова. Пусть некоторая система в каждый момент времени находится в одном из k состояний: первом, втором,..., k -м. В отдельные моменты времени в результате испытания состояние системы изменяется, т. е. система переходит из одного состояния, например i, в другое, например j. В частности, после испытания система может остаться в том же состоянии («перейти» из состояния i в состояние j = i).
|
|
|
Таким образом, события называют состояниями системы, а испытания — изменениями ее состояний.
Дадим теперь определение цепи Маркова, используя новую терминологию.
Цепью Маркова называют последовательность испытаний, в каждом из которых система принимает только одно из k состояний полной группы, причем условная вероятность того, что в s-м испытании система будет находиться в состоянии j, при условии, что после (s - 1)-го испытания она находилась в состоянии i, не зависит от результатов остальных, ранее произведенных испытаний.
Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.
Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.
Однородная цепь Маркова. Переходные вероятности. Матрица перехода
Однородной называют цепь Маркова, если условная вероятность ) (перехода из состояния i в состояние j) не зависит от номера испытания. Поэтому вместо пишут просто 
.
Пример. Случайное блуждание. Пусть на прямой Ox в точке с целочисленной координатой x = n находится материальная частица. В определенные моменты времени 
... частица испытывает толчки. Под действием толчка частица с вероятностью p смещается на единицу вправо и с вероятностью 1 - p — на единицу влево. Ясно, что положение (координата) частицы после, толчка зависит от того, где находилась частица после непосредственно предшествующего толчка, и не зависит от того, как она двигалась под действием остальных предшествующих толчков.
|
|
|
Таким образом, случайное блуждание — пример однородной цепи Маркова с дискретным временем.
Далее ограничимся элементами теории конечных однородных цепей Маркова.
Переходной вероятностью называют условную вероятность того, что из состояния i (в котором система оказалась в результате некоторого испытания, безразлично какого номера) в итоге следующего испытания система перейдет в состояние j.
Таким образом, в обозначении первый индекс указывает номер предшествующего, а второй — номер последующего состояния. Например, 
— вероятность «перехода» из первого состояния в первое; 
— вероятность перехода из второго состояния в третье.
Пусть число состояний конечно и равно k.
|
|
|
Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:
Так как в каждой строке матрицы помещены вероятности событий (перехода из одного и того же состояния i в любое возможное состояние j), которые образуют полную группу, то сумма вероятностей этих событий равна единице. Другими словами, сумма переходных вероятностей каждой строки матрицы перехода равна единице:
Приведем пример матрицы перехода системы, которая может находиться в трех состояниях:
Здесь = 0,5 — вероятность перехода из состояния i = l в это же состояние j=1; 
= 0,4 — вероятность перехода из состояния i = 2 в состояние j = 1. Аналогичный смысл имеют остальные элементы матрицы.
Равенство Маркова
Обозначим через 
вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j. Например, 
— вероятность перехода за 10 шагов из второго состояния в пятое. Подчеркнем, что при n = 1 получим переходные вероятности
Поставим перед собой задачу: зная переходные вероятности , найти вероятности перехода системы из состояния i в состояние j за n шагов. С этой целью введем в рассмотрение промежуточное (между i и j) состояние r. Другими словами, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью 
, после чего за оставшиеся n - m шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью 
.
|
|
|
По формуле полной вероятности,
(84.1)
Эту формулу называют равенством Маркова.
Пояснение. Введем обозначения: А — интересующее нас событие (за n шагов система перейдет из начального состояния i в конечное состояние j), следовательно,
P(A) = ; 
— гипотезы (за m шагов система перейдет из первоначального состояния i в промежуточное состояние r), следовательно, 
;
- условная вероятность наступления А при условии, что имела место гипотеза 
(за n - m шагов система перейдет из промежуточного состояния r в конечное состояние j); следовательно, 
.
По формуле полной вероятности,
или в принятых нами обозначениях
что совпадает с формулой (84.1) Маркова.
Покажем, что зная все переходные вероятности 
, т. е. зная матрицу 
перехода из состояния в состояние за один шаг, можно найти вероятности 
перехода из состояния в состояние за два шага, следовательно, и саму матрицу перехода 
. По известной матрице можно найти матрицу 
перехода из состояния в состояние за 3 шага, и т. д.
Положив n = 2, m = 1 в равенстве Маркова 
получим
(84.2)
Таким образом, по формуле (84.2) можно найти все вероятности , следовательно, и саму матрицу . Поскольку непосредственное использование формулы (84.2) оказывается утомительным, а матричное исчисление ведет к цели быстрее, напишем вытекающее из (84.2) соотношение в матричной форме:
=
Положив n = 3, m = 2 в (84.1), аналогично получим
В общем случае 
Пример. Задана матрица перехода 
. Найти матрицу перехода
.
Решение. Воспользуемся формулой 
. Перемножив матрицы, окончательно получим
.
Литература
1. Гмурман В.Е. Теория вероятностей и математическая статистика. – М.: Высшая школа, 2002. – 479с.
Дата добавления: 2015-12-18; просмотров: 16; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!