Использование цепей Маркова в моделировании социально экономических процессов (стр. 1 из 3)
Тема:
” Использование цепей Маркова в моделировании социально-экономических процессов ”
Содержание:
1. Основные понятия теории марковских цепей.
2. Теорема о предельных вероятностях.
3. Области применения цепей Маркова.
4. Управляемые цепи Маркова. Выбор стратегии.
Список использованной литературы.
§1. Основные понятия теории марковских цепей.
Пусть {
, 
, ..., 
} - множество возможных состояний некоторой физической системы. В любой момент времени система может находиться только в одном состоянии. С течением времени система переходит последовательно из одного состояния в другое. Каждый такой переход называется шагом процесса.Для описания эволюции этой системы введем последовательность дискретных случайных величин
, 
,..., 
,... Индекс n играет роль времени. Если в момент времени n система находилась в состоянии 
, то мы будем считать, что = j. Таким образом, случайные величины являются номерами состояний системы.Последовательность
, ,..., ,... образует цепь Маркова, если для любого n и любых 
, 
, ..., 
,...P(
=j / = , ..., 
=i)=P( =j / =i).Для цепей Маркова вероятность в момент времени n попасть в состояние
, если известна вся предыдущая история изучаемого процесса, зависит только от того, в каком состоянии находился процесс в момент n-1. То есть при фиксированном "настоящем" "будущее" не зависит от "прошлого". Свойство независимости "будущего" от "прошлого" при фиксированном "настоящем" называется марковским свойством.Вероятности
( =j / =i), i, j=1,2,..., r называются вероятностями перехода из состояния 
в состояние за один шаг.Цепь Маркова называется однородной, если вероятности перехода
не зависят от n, т.е. если вероятности перехода не зависят от номера шага, а зависят только от того, из какого состояния и в какое осуществляется переход. Для однородных цепей Маркова вместо будем писать 
.Вероятности перехода удобно располагать в виде квадратной матрицы
Матрица P называется матрицей вероятностей перехода однородной цепи Маркова за один шаг. Она обладает следующими свойствами:
а)
;б) для всех i:
Квадратные матрицы, для которых выполняются условия а) и б), называются стохастическими.
Вектор
, где 
=P( 
), i=1,2...,r называется вектором начальных вероятностей.Свойства однородных цепей Маркова полностью определяются вектором начальных вероятностей и матрицей вероятностей перехода.
Приведем пример: Завод выпускает телевизоры определенного типа. В зависимости от того, находит ли данный тип телевизора спрос у населения, завод в конце каждого года может находиться в одном из состояний: состояние 1 – спрос есть, состояние 2 – спроса нет. Пусть вероятность сохранить состояние 1 в в следующем году с учетом возможного изменения спроса равна
, а вероятность изменить состояние 2 с учетом мероприятий по улучшению выпускаемой модели равна 
. Тогда процесс производства на данном заводе можно описать цепью Маркова с матрицей переходов: 
В конкретных случаях для описания эволюции цепи Маркова вместо явного выписывания матрицы P используют граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния
в состояние с числом над ней показывает, что из состояния в состояние возможен переход с вероятностью . В том случае, когда 
, соответствующая стрелка не проводится.Можно показать, что матрица вероятностей перехода цепи Маркова за n шагов равняется n-ой степени матрицы P вероятностей перехода за один шаг. Для однородной цепи Маркова при любом m выполняется равенство
P(
)=P( 
).Но последняя вероятность есть вероятность перехода из состояния
в состояние за n шагов. §2. Теорема о предельных вероятностях.
В 1930 году Дж.Биркгофом и Дж.фон Нейманом была сформулирована и доказана одна из основных эргодических теорем – теорема о предельных вероятностях:
Если при некотором
все элементы матрицы 
=[ 
] положительны, то существуют пределы 
, i,j =1,2,...,r.Предельные вероятности
не зависят от начального состояния 
и являются единственным решением системы уравнений 
, 
, j=1, 2, ..., r.
, 
,..., 
) написанной выше системы (1) называется стационарным распределением вероятностей для марковской цепи с матрицей перехода P = [