Использование цепей Маркова в моделировании социально экономических процессов (стр. 3 из 3)

где

- вектор вида (2), i-я компонента которого, обозначаемая через , является решением, принимаемым в состоянии в момент п. Другими словами, задание стратегии означает полное описание в каждый момент времени t =1, 2, ..., п, ... конкретных решений, которые должны были бы приниматься в i-м состоянии , если бы система находилась в нем в рассматриваемый момент.

Стратегия

обозначается через

и называется стационарной. Стратегия

называется марковской, если решение , принимаемое в каждом конкретном состоянии, не зависит от предшествующих состояний и принимавшихся в них решений. В случае марковской стратегии решения могут зависеть только от момента времени п.

Обозначим произвольную конечную часть стратегии через

. Пусть зафиксированы произвольная стратегия

некоторый момент времени п. Если в этот момент система находилась в состоянии

, то в следующий (п+1)-й момент времени она будет находиться в состоянии с вероятностью , где . Тогда матрица переходных вероятностей в момент п имеет вид

Таким образом, при фиксированной стратегии

получаем цепь Маркова с матрицами перехода

Обозначим

- вектор суммарных средних доходов, полученных до любого момента n включительно, для некоторой стратегии

. Стратегия

максимизирующая , то есть удовлетворяющая неравенству

≥ при любых

называется оптимальной

Верны следующее утверждения:

Утверждение 1. Для бесконечного времени существует оптимальная стационарная стратегия.

Утверждение 2. Для конечного времени существует оптимальная марковская стратегия.

Таким образом, решение (при бесконечном времени) зависит только от состояния, в котором находится система, и не зависит ни от момента времени, ни от всей предыдущей траектории последовательности состояний и принятых решений). В случае конечного времени оптимальная стратегия является марковской, т. е. может зависеть еще и от момента времени принятия решения.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ:

1. «Теория выбора и принятия решений»: учебное пособие. И.М. Макаров, Т.М.

Виноградская, А.А. Рубчинский, В.Б. Соколов. Москва, изд. «Наука», 1982.

2. «Теория вероятностей» Е.С. Вентцель. Москва, изд. «Наука», 1969.