
,
де

,

,

.
Оскільки

, то математичне сподівання

визначене для будь-якої функції

і будь-якого розподілу ймовірностей

на множині

.
Зокрема, якщо

,

,… – розподіл ймовірностей

на множині

, то формулу (6) можна переписати так:

При використанні цього співвідношення треба пам’ятати, що для двох функцій

,

рівність

має місце, якщо виконується хоча б одна з трьох умов:

та

;

та

;

та

.
Відображення

задовольняє припущенню монотонності. Якщо функція

– тотожний нуль, тобто

,

, то за умови

,

, функцію витрат за

кроків можна подати у вигляді:

(7)
де

,

.
Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах

.
При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що

,

, і для довільних простору з мірою

, вимірної функції

і числа

має місце рівність

.
Якщо виконується одна з двох нерівностей

або

,
то функцію витрат за

кроків

можна записати у вигляді:

,
де математичне сподівання обчислюється на добутку мір на

, а стани

,

, виражаються через

за допомогою рівняння

.
Якщо функція

допускає подання у такому вигляді для будь-якого початкового стану

та будь-якої стратегії

, то

-крокова задача може бути сформульована так:

, (8)

. (9)
Відповідна задача з нескінченним горизонтом формулюється так:

, (10)

. (11)
Границя в (10) існує при виконанні будь-якої з трьох наступних умов:
·

,

,

,

;
·

,

,

,

;
·

,

,

,

,

і деякого

.
Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з

-алгеброю в множині

, що складається із всіх підмножин

, в залежності від вимірності або невимірності функцій.
Для багатьох практичних задач виконується припущення про зліченність множини

.
Якщо ж множина

незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання

для будь-якої функції

. Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.