Теория вероятности и математическая статистика 4 (стр. 8 из 18)

Дискретные цепи Маркова однозначно определяются либо матрицей переходов

или графом состояний

Р₂₁ Р₃₂ Р₄₃

Х₁ Х₂ Х₃ Х₄

Р₁₂ Р₂₃ Р₃₄

Вектором вероятностей (безусловной вероятностью) состояния цепи Маркова называют вероятности

того, что в момент времени цепь примет значение , которая представляет собой матрицу-строку:

,

где -

.

Вектор вероятностей состояния однородной цепи Маркова после

этапов однозначно определяется вектором вероятностей в начальный момент времени матрицей переходов

Если в цепи Маркова

, то вектор вероятностей состояния превращается в вектор финальной (стационарной) вероятности , определяемый из однородной системы n уравнений:

Учитывая, что

и заменяя этим соотношение одно из вышеприведенных уравнений в системе, находим искомые финальные (стационарные) вероятности однородной цепи Маркова.

Для непрерывных цепей Маркова возможности перехода из состояния

в состояние за время оценивается плотностью вероятностей перехода

при условии, что

Если

не зависит от времени, то непрерывная цепь Маркова называется однородной.

Для непрерывных цепей Маркова вектор вероятностей состояния есть функция времени и определяется путем решения системы дифференциальных уравнений, которые составляются по графу состояния цепи Маркова по следующим правилам :

· в левой части каждого уравнения стоят производные по времени вероятностей состояния цепи;

· правая часть этих уравнений содержит столько членов, сколько переходов (стрелок на графе) связанно с данным состоянием;

· каждый член правой части уравнений равен произведению плотности вероятностей перехода , соответствующей данной стрелки графа состояния, умноженной на вероятность того состояния из которого исходит стрелка;

· каждый член правой части уравнений имеет знак «минус», если стрелка графа состояния входит в данное состояния и знак «плюс», если стрелка выходит из данного состояния.

Например: Имеем граф состояния однородной непрерывной цепи ркова:

X₁

X₃X₂

Для этого графа составляем систему уравнений по вышеуказанным правилам:

Учитывая, что

, известными методами находят .

В случае, когда нас интересую вероятности состояния непрерывных цепей Маркова по истечению длительного промежутка времени (установившейся процесс

), то решение системы получают путем записи в левой части системы дифференциальных вместо производных нулей, т.е. :

Переход из состояния в состояние в непрерывных цепях Маркова происходит вод воздействием потока событий.

Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то случайные моменты времени.

Поток событий называю простейшим или стационарным Пуассоновским, если он стационарен, ординарен и без последействия.

1. Поток называется стационарным, если вероятность попадания события на участок времени

зависит только от длины этого участка и не зависит от места расположения этого участка на оси времени.

2. Поток называют потоком без последействия, если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от числа событий на другом участке.

3. Поток событий называют ординарным, если вероятность попадания на элементарный участок двух и более событий пренебрежительно мала по сравнению с вероятностью попадания на этот участок одного события.

Плотностью вероятностей перехода

цепи Маркова из состояния в состояние является интенсивностью потока событий

или средним числом событий в единицу времени. Для стационарного потока

не зависит от времени. Для нестационарного

- функция времени .

В Пуассоновском потоке событий число событий, попадающих на любой участок времени

, подчиняется закону распределения Пуассона с математическим ожиданием , т.е. вероятность того, что за время произойдет ровно событий, равна:

.

Промежутки времени

между событиями в Пуассоновском потоке событий подчиняются показательному закону распределения с функцией распределения и плотностью распределения , равные:

,

с математическим ожиданием

, дисперсией и среднеквадратичным отклонением .