Теория вероятности и математическая статистика (стр. 4 из 10)

Энтропия задается выражением:

. Если P1=0, то Pi× logPi=0.

Самим показать, что:

Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.

Если элементарный исход равновероятен, т.е.

, то энтропия принимает максимальное значение.

0£ Pi£ 1,

,

т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к.

.

Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем условный экстремум этой функции, при условии, что

.

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции:

.

Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему:

i=1, ..., s

Откуда видно, что экстремум достигается при равных между собой p1.

Т.к.

, то p1= p2=, ..., = ps= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства вида:

, которая называется 1 бит.

Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.

Рассмотрим два вероятностных пространства:

Проводим композицию двух испытаний. Композиционное пространство имеет вид:

i=1, ..., s1 j=1, ..., s2

С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.

Биномиальное распределение.

n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие

, либо с вероятностью наступления P(A) = p;

Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:

Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий.

Общий вид элемента этого пространства следующий:

где

При этом вероятность наступления такого события равна:

(умножение при независимых событиях)

Найдем вероятность наступления любого элементарного события из композиционного пространства:

Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз.

Событие A состоит из

- общее кол-во элементарных событий, в которое входит событие А. А произошло m раз, - n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна:

Следовательно, на основании III аксиомы теории вероятности результат равняется:

(сложение вероятностей)

Случайная величина

Пусть имеется вероятностное пространство вида

.

Случайной величиной называется измеримая числовая скалярная функция

, элементами которой являются элементарные события.

Числовая скалярная функция - это функция, удовлетворяющая следующему условию:

событие - алгебре и, следовательно, имеет вероятность наступления.

Если произведено испытание, в результате которого произошло некоторое элементарное событие

. В соответствии с функцией этому элементарному событию соответствует число, которое называется реализацией случайной величины x в данном испытании.

В соответствии с определением случайной величины вводится числовая скалярная функция F(x),

, определенная для каждого действительного x и по определению равная вероятности наступления события:

Эта функция называется функцией распределения случайной величины

.

Рассмотрим три события:

где a<b, a, b - действительные числа.

Свойства:

Покажем, что из факта

A2 Ìs-алгебре

A1 Ìs-алгебре

и равенства

следует, что A3 Ìs.

По определению s-алгебры A3 измерима, поэтому можно принять III аксиому теории вероятности:

F(x) - неубывающая функция

Если x<y, то

т.к.

, то преобразования верны.

Для всех технических приложений функцию распределения можно считать направленной слева.

В силу того, что функция распределения не убывает, она однозначно задает стчетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины.

По введенному полю построим борелевскую алгебру. Обозначим ее b. Возьмем произвольное число BÌb не принадлежащее полю. Это точка или сегмент. Т.к. множество

получено с помощью счетной суммы или счетного пересечения множеств принадлежащих s-алгебре, то и это множество принадлежит s-алгебре и, следовательно, существует вероятность наступления события B. Следовательно, имеет место следующее эквивалентное определение измеримой функции.

Функция

называется измеримой, если для любого BОb множество

алгебре

где

множество, полученное следующим образом:

Функция g(x) называется борелевской функцией, если для любого BÌb множество

Борелевская функция - функция, определяемая на системе борелевских множеств.

В функциональном анализе показано, что все известные аналитические функции являются борелевскими.

ТЕОРЕМА:

Пусть g(x) борелевская функция,

- случайная величина, т.е. измеримая функция. Тогда функция