Цепи Маркова (стр. 3 из 5)

(4)

Из равенств

и

следует

Отсюда из равенств (4) и

получим утверждение теоремы.

Определим матрицу

В матричной записи (3) имеет вид

(5)

Так как

то где − матрица вероятности перехода. Из (5) следует

(6)

Результаты, полученной в теории матриц, позволяют по формуле (6) вычислить

и исследовать их поведение при

Пример 1. Задана матрица перехода

Найти матрицу перехода

Решение. Воспользуемся формулой

Перемножив матрицы, окончательно получим:

.

§4. Стационарное распределение. Теорема о предельных вероятностях

Распределение вероятностей

в произвольной момент времени можно найти, воспользовавшись формулой полной вероятности

(7)

Может оказаться, что

не зависит от времени. Назовем стационарным распределением вектор , удовлетворяющий условиям

,

(8)

где

вероятности перехода.

Если в цепи Маркова

то при любом

Это утверждение следует по индукции из (7) и (8).

Приведем формулировку теоремы о предельных вероятностях для одного важного класса цепей Маркова.

Теорема 1. Если при некотором

>0 все элементы матрица

положительны, то для любых

, при

, (9)

где

стационарное распределение с

а

некоторая постоянная, удовлетворяющая неравенством 0<h<1.

Так как

, то по условию теоремы из любого состояния можно попасть в любое за время с положительной вероятностью. Условия теоремы исключает цепи, являющиеся в некотором смысле периодическими.

Если выполнить условие теоремы 1, то вероятность того, что система находится в некотором состоянии

, в пределе не зависит от начального распределение. Действительно, из (9) и (7) следует, что при любом начальном распределении ,

Рассмотрим несколько примеров цепи Маркова, которых условия теоремы 1, не выполнены. Нетрудно проверить, что такими примерами является примеры . В примере

вероятности перехода имеют приделы, но эти приделы зависят от начального состояния. В частности, при

0< < ,

В других примеров приделы вероятностей

при очевидно, не существуют.

Найдем стационарное распределение в примере 1. Нужно найти вектор

удовлетворяющий условиям (8):

,

,

;

Отсюда,

Таким образом, стационарное распределение существует, но не все координаты векторы положительны.

Для полиномиальной схемы были введены случайные величины, равные чесу исходов данного типа. Введем аналогичные величины для цепей Маркова. Пусть

− число попадания системы в состояние за время . Тогда частота попаданий системы в состояние . Используя формулы (9), можно доказать, что при сближается с . Для этого нужно получить асимптотические формулы для и и воспользоваться неравенством Чебышева. Приведем вывод формулы для . Представим в виде