Цепи Маркова с дискретным временем
Способы математического описания марковского случайного процесса, протекающего в системе с дискретными состояниями, существенно зависят от того, в какие моменты времени происходят переходы (скачки) системы из состояния в состояние.
Марковский случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в определенные, заранее фиксированные, моменты времени t1, t2, …. Причем в промежутках времени между этими моментами система сохраняет свое состояние.
Эти заранее известные моменты времени принято называть шагами процесса и рассматривать случайный процесс, происходящий в системе, как функцию целочисленного аргумента – номера шага k.
Пусть имеется система S, которая имеет возможные состояния . Обозначим как событие, состоящее в том, что после k шагов система находится в состоянии . Обозначим вероятность события через и назовем эту вероятность – вероятностью i-го состояния после k-го шага. Очевидно, что для любого шага k события образуют полную группу, т.к. система может находиться только в одном из своих состояний, поэтому можно записать: .
Случайная последовательность событий называется цепью Маркова, если для каждого шага вероятность перехода системы из любого состояния в любое состояние не зависит от того, когда и каким образом система пришла в состояние .
Вероятности перехода системы из любого состояния в любое состояние за один шаг можно записать в виде квадратной матрицы переходных вероятностей . В этой матрице некоторые элементы могут быть равны нулю, что означает невозможность перехода системы из i-го состояния в j-е, а на главной диагонали располагаются вероятности задержки системы в состоянии .
|
|
Цепь Маркова называется однородной, если переходные вероятности не зависят от номера шага, т.е. не изменяются от шага к шагу. В противном случае цепь Маркова называется неоднородной.
Для определения вероятностей состояний системы после любого k-го шага используется формула, которая называется равенством Маркова:
Как следует из этой формулы, вероятности состояний системы после k-го шага определяются через вероятности состояний после предыдущего (k – 1)-го шага. При проведении практических расчетов чаще используется равенство Маркова, записанное в матричной форме:
, |
где матрица-строка вероятностей состояний после (k – 1)-го шага, а матрица-столбец искомых вероятностей после k-го шага.
ПРИМЕР: Найдите вероятности состояний после 2 шага некоторой системы, для которой известно, что в начальный момент она находится в состоянии , а матрица переходных вероятностей имеет вид:
|
|
Согласно условию, для начального момента (k = 0) запишем: . Для вероятностей состояний системы после первого шага, используя равенство Маркова в матричной форме, можно записать:
Искомые вероятности состояний после второго шага будут равны:
Таким образом, после второго шага вероятнее всего система будет находиться в состоянии .
Дата добавления: 2018-06-01; просмотров: 446; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!