Теоремы закона больших чисел. Закон больших чисел в форме чебышева

Проведем это доказательство в два этапа. Сначала предположим, что существует, и заметим, что в этом случае D(S„) по теореме о дисперсии суммы. Согласно неравенству Чебышева, при любом t > 0

При t > n левая часть меньше, чем, а последняя величина стремится к нулю. Это завершает первую часть доказательства.

Отбросим теперь ограничительное условие существования D(). Этот случай сводится к предшествующему методом усечения.

Определим два новых набора случайных величин, зависящих от, следующим образом:

U k =, V k =0, если (2.2)

U k =0, V k =, если

Здесь k=1,… , п и фиксировано. Тогда

при всех k.

Пусть {f(j)} -- распределение вероятностей случайных величин (одинаковое для всех j). Мы предположили, что = M() существует, так что сумма

конечна. Тогда существует и

где суммирование производится по всем тем j, при которых. Отметим, что хотя и зависит от п, но оно одинаково для

U 1 , U 2, ..., U n . Кроме того, при, и, следовательно, для произвольного > 0 и всех достаточно больших n

U k взаимно независимы, и с их суммой U 1 +U 2 +…+U n можно поступить точно так же, как и с X k в случае конечной дисперсии, применив неравенство Чебышева, мы получим аналогично (2.1)

Вследствие (2.6) отсюда вытекает, что

Поскольку ряд (2.4) сходится, последняя сумма стремится к нулю при возрастании n. Таким образом, при достаточно большом п

и следовательно

P{V 1 +…+V n 0}. (2.12)

Но, и из (2.9) и (2.12) получаем

Так как и произвольны, правая часть может быть сделана сколь угодно малой, что и завершает доказательство.

Теория «безобидных» игр

При дальнейшем анализе сущности закона больших чисел будем пользоваться традиционной терминологией игроков, хотя наши рассмотрения допускают в равной степени и более серьезные приложения, а два наших основных предположения более реальны в статистике и физике, чем в азартных играх. Во-первых, предположим, что игрок обладает неограниченным капиталом, так что никакой проигрыш не может вызвать окончания игры. (Отбрасывание этого предположения приводит к задаче о разорении игрока, которая всегда интригует изучающих теорию вероятностей.) Во-вторых, предположим, что игрок не имеет нрава прервать игру, когда ему заблагорассудится: число п испытаний должно быть фиксировано заранее и не должно зависеть от хода игры. Иначе игрок, осчастливленный неограниченным капиталом, дождался бы серии удач и в подходящий момент прекратил бы игру. Такого игрока интересует не вероятное колебание в заданный момент, а максимальные колебания в длинной серии партий, которые описываются скорее законом повторного логарифма, чем законом больших чисел.

Введем случайную величину k как (положительный или отрицательный) выигрыш при k-м повторении игры. Тогда сумма S n = 1 +…+ k является суммарным выигрышем при п повторениях игры. Если перед каждым повторением игрок уплачивает за право участия в игре (не обязательно положительный) взнос, то п представляет собой общий уплаченный им взнос, a S n -- п общий чистый выигрыш. Закон больших чисел применим, если p=M(k) существует. Грубо говоря, при больших п весьма правдоподобно, что разность S п -- покажется малой по сравнению с п. Следовательно, если меньше, чем р, то при больших п игрок будет, вероятно, иметь выигрыш порядка. По тем же соображениям взнос практически наверняка приводит к убытку. Короче, случай благоприятен для игрока, а случай неблагоприятен.

Заметим, что мы еще ничего не говорили о случае. В этом случае единственно возможным заключением является то, что при достаточно большом и общий выигрыш или проигрыш S n -- п будет с очень большой вероятностью малым по сравнению с п. Но при этом неизвестно, окажется ли S n -- п положительным или отрицательным, т. е. будет ли игра выгодной или разорительной. Это не было учтено классической теорией, которая называла безобидной ценой, а игру с «безобидной». Нужно понимать, что «безобидная» игра может на самом деле быть и явно выгодной и разорительной.

Ясно, что в «нормальном случае» существует не только M(k), но и D(k). В этом случае закон больших чисел дополняется центральной предельной теоремой, а последняя говорит о том, что весьма правдоподобно, что при «безобидной» игре чистый выигрыш в результате продолжительной игры S n -- п будет иметь величину порядка n 1/2 и что при достаточно больших п этот выигрыш будет с примерно равными шансами положительным или отрицательным. Таким образом, если применима центральная предельная теорема, то термин «безобидная» игра оказывается оправданным, хотя даже и в этом случае мы имеем дело с предельной теоремой, что подчеркивается словами «в результате продолжительной игры». Тщательный анализ показывает, что сходимость в (1.3) ухудшается при возрастании дисперсии. Если велико, то нормальное приближение окажется эффективным только при чрезвычайно больших п.

Для определенности представим машину, при опускании в которую рубля игрок может с вероятностью 10 выиграть (10--1) рублей, а в остальных случаях теряет опущенный рубль. Здесь мы имеем испытания Бернулли и игра является «безобидной». Проделав миллион испытаний, игрок уплатит за это миллион рублей. За это время он может выиграть 0, 1,2,... раз. Согласно приближению Пуассона для биномиального распределения, с точностью до нескольких десятичных знаков вероятность выиграть ровно к раз равна e -1 /k!. Таким образом, с вероятностью 0,368 . . . игрок потеряет миллион, и с той же вероятностью он только окупит свои расходы; он имеет вероятность 0,184... приобрести ровно один миллион и т. д. Здесь 10 6 испытаний эквивалентны одному-единствеиному испытанию при игре с выигрышем, имеющим распределение Пуассона.

Очевидно, бессмысленно применять закон больших чисел в такого рода ситуациях. К этой схеме относится страхование от пожара, автомобильных катастроф и т. п. Риску подвергается большая сумма, но зато соответствующая вероятность очень мала. Однако здесь происходит обычно только одно испытание в год, так что число п испытаний никогда не становится большим. Для застрахованного игра обязательно не является «безобидной», хотя, может быть, экономически вполне выгодной. Закон больших чисел здесь не при чем. Что касается страховой компании, то она имеет дело с большим числом игр, но из-за большой дисперсии все же проявляются случайные колебания. Размер страховых премий должен быть установлен таким, чтобы предотвратить большой убыток в отдельные годы, и, следовательно, компанию интересует скорее задача о разорении, чем закон больших чисел.

Когда дисперсия бесконечна, термин «безобидная» игра становится бессмысленным; нет никаких оснований считать, что общий чистый выигрыш S n -- п колеблется около нуля. Действительно. существуют примеры «безобидных» игр, в которых вероятность того, что в результате игрок потерпит чистый убыток, стремится к единице. Закон больших чисел утверждает только, что этот убыток будет величиной меньшего порядка, чем п. Однако ничего большего утверждать и нельзя. Если а п образуют произвольную последовательность, причем а п /n0 то можно устроить «безобидную» игру, в которой вероятность того, что общий чистый убыток в результате п повторений игры превышаем a n стремится к единице.

Закон больших чисел. Неравенство Чебышева. Теоремы Чебышева и Бернулли.
Изучение статистических закономерностей позволило установить, что при некоторых условиях суммарное поведение большого количества случайных величин почти утрачи-вает случайный характер и становится закономерным (иначе говоря, случайные отклоне-ния от некоторого среднего поведения взаимно погашаются). В частности, если влияние на сумму отдельных слагаемых является равномерно малым, закон распределения суммы приближается к нормальному. Математическая формулировка этого утверждения дается в группе теорем, называемой законом больших чисел .

Неравенство Чебышева.
Неравенство Чебышева, используемое для доказательства дальнейших теорем, справед-ливо как для непрерывных, так и для дискретных случайных величин. Докажем его для дискретных случайных величин.
Теорема 13.1(неравенство Чебышева). p ( | X – M (X )| D(X ) / ε². (13.1)

Доказательство. Пусть Х задается рядом распределения

Так как события |X – M (X )| X – M (X )| ≥ ε противоположны, то р (|X – M (X )| р (|X – M (X )| ≥ ε) = 1, следовательно, р (|X – M (X )| р (|X – M (X )| ≥ ε). Найдем р (|X – M (X )| ≥ ε).

D (X ) = (x 1 – M (X ))²p 1 + (x 2 – M (X ))²p 2 + … + (x n – M (X ))²p n . Исключим из этой суммы те слагаемые, для которых |X – M (X )| k слагаемых. Тогда

D (X ) ≥ (x k + 1 – M (X ))²p k + 1 + (x k + 2 – M (X ))²p k +2 + … + (x n – M (X ))²p n ≥ ε² (p k + 1 + p k + 2 + … + p n ).

Отметим, что p k + 1 + p k + 2 + … + p n есть вероятность того, что |X – M (X )| ≥ ε, так как это сумма вероятностей всех возможных значений Х , для которых это неравенство справедливо. Следовательно, D (X ) ≥ ε² р (|X – M (X )| ≥ ε), или р (|X – M (X )| ≥ ε) ≤ D (X ) / ε². Тогда вероятность противоположного события p ( | X – M (X )| D(X ) / ε², что и требо-валось доказать.
Теоремы Чебышева и Бернулли.

Теорема 13.2 (теорема Чебышева). Если Х 1 , Х 2 ,…, Х п – попарно независимые случайные величины, дисперсии которых равномерно ограничены (D (X i ) ≤ C ), то для сколь угодно малого числа ε вероятность неравенства

будет сколь угодно близка к 1, если число случайных величин достаточно велико.

Замечание. Иначе говоря, при выполнении этих условий

Доказательство. Рассмотрим новую случайную величину
и найдем ее математическое ожидание. Используя свойства математического ожидания, получим, что . Применим к неравенство Чебышева: Так как рассматриваемые случайные величины независимы, то, учитывая условие теоремы, имеем: Используя этот результат, представим предыдущее неравенство в виде:

Перейдем к пределу при
: Поскольку вероятность не может быть больше 1, можно утверждать, что

Теорема доказана.
Следствие.

Если Х 1 , Х 2 , …, Х п – попарно независимые случайные величины с равномерно ограничен-ными дисперсиями, имеющие одинаковое математическое ожидание, равное а , то для любого сколь угодно малого ε > 0 вероятность неравенства
будет как угодно близка к 1, если число случайных величин достаточно велико. Иначе говоря,
.

Вывод: среднее арифметическое достаточно большого числа случайных величин прини-мает значения, близкие к сумме их математических ожиданий, то есть утрачивает характер случайной величины. Например, если проводится серия измерений какой-либо физической величины, причем: а) результат каждого измерения не зависит от результатов остальных, то есть все результаты представляют собой попарно независимые случайные величины; б) измерения производятся без систематических ошибок (их математические ожидания равны между собой и равны истинному значению а измеряемой величины); в) обеспечена определенная точность измерений, следовательно, дисперсии рассматривае-мых случайных величин равномерно ограничены; то при достаточно большом числе измерений их среднее арифметическое окажется сколь угодно близким к истинному значению измеряемой величины.
Теорема Бернулли.
Теорема 13.3 (теорема Бернулли). Если в каждом из п независимых опытов вероятность р появления события А постоянна, то при достаточно большом числе испытаний вероят-ность того, что модуль отклонения относительной частоты появлений А в п опытах от р будет сколь угодно малым, как угодно близка к 1:

(13.2)

Доказательство. Введем случайные величины Х 1 , Х 2 , …, Х п , где X i – число появлений А в i -м опыте. При этом X i могут принимать только два значения: 1(с вероятностью р ) и 0 (с вероятностью q = 1 – p ). Кроме того, рассматриваемые случайные величины попарно независимы и их дисперсии равномерно ограничены (так как D (X i ) = pq , p + q = 1, откуда pq ≤ ¼). Следовательно, к ним можно применить теорему Чебышева при M i = p :

.

Но
, так как X i принимает значение, равное 1, при появлении А в данном опыте, и значение, равное 0, если А не произошло. Таким образом,

что и требовалось доказать.
Замечание. Из теоремы Бернулли не следует , что
Речь идет лишь о вероятно-сти того, что разность относительной частоты и вероятности по модулю может стать сколь угодно малой. Разница заключается в следующем: при обычной сходимости, рассматриваемой в математическом анализе, для всех п , начиная с некоторого значения, неравенство
выполняется всегда; в нашем случае могут найтись такие значения п , при которых это неравенство неверно. Этот вид сходимости называют сходимостью по вероятности .

Лекция 14.

Центральная предельная теорема Ляпунова. Предельная теорема Муавра-Лапласа.
Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточ-но большом числе слагаемых. Этим объясняется важность нормального закона для практичес-ких приложений.
Характеристические функции.

Для доказательства центральной предельной теоремы используется метод характеристичес-ких функций.
Определение 14.1. Характеристической функцией случайной величины Х называется функция

g (t ) = M ( e itX ) (14.1)

Таким образом, g (t ) представляет собой математическое ожидание некоторой комплексной случайной величины U = e itX , связанной с величиной Х . В частности, если Х – дискретная случайная величина, заданная рядом распределения, то

. (14.2)

Для непрерывной случайной величины с плотностью распределения f (x )

(14.3)

Пример 1. Пусть Х – число выпадений 6 очков при одном броске игральной кости. Тогда по формуле (14.2) g (t ) =

Пример 2. Найдем характеристическую функцию для нормированной непрерывной случайной величины, распределенной по нормальному закону
. По формуле (14.3) (использовалась формула
и то, что i ² = -1).

Свойства характеристических функций.
1. Функцию f (x ) можно найти по известной функции g (t ) по формуле

(14.4)

(преобразование (14.3) называется преобразованием Фурье , а преобразование (14.4) – обратным преобразованием Фурье ).

2. Если случайные величины Х и Y связаны соотношением Y = aX , то их характеристические функции связаны соотношением

g y (t ) = g x (at ). (14.5)

3. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: для

(14.6)
Теорема 14.1 (центральная предельная теорема для одинаково распределенных слагае-мых). Если Х 1 , Х 2 ,…, Х п ,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ 2 , то при неограниченном увеличении п закон распределения суммы
неограниченно приближается к нор-мальному.

Доказательство.

Докажем теорему для непрерывных случайных величин Х 1 , Х 2 ,…, Х п (доказательство для дискретных величин аналогично). Согласно условию теоремы, характеристические функции слагаемых одинаковы:
Тогда по свойству 3 характеристическая функция суммы Y n будет
Разложим функцию g x (t ) в ряд Маклорена:

, где
при
.

Если предположить, что т = 0 (то есть перенести начало отсчета в точку т ), то
.

(так как т = 0). Подставив полученные результаты в формулу Маклорена, найдем, что

.

Рассмотрим новую случайную величину
, отличающуюся от Y n тем, что ее дисперсия при любом п равна 0. Так как Y n и Z n связаны линейной зависимостью, достаточно доказать, что Z n распределена по нормальному закону, или, что то же самое, что ее характе-ристическая функция приближается к характеристической функции нормального закона (см. пример 2). По свойству характеристических функций

Прологарифмируем полученное выражение:

где

Разложим
в ряд при п → ∞, ограничившись двумя членами разложения, тогда ln(1 - k ) ≈ - k . Отсюда

Где последний предел равен 0, так как при . Следовательно,
, то есть
- характеристическая функция нормального распределения. Итак, при неограниченном увеличении числа слагаемых характеристическая функция величины Z n неограниченно приближается к характеристической функции нормального закона; следова-тельно, закон распределения Z n (и Y n ) неограниченно приближается к нормальному. Теорема доказана.

А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида:
Теорема 14.2 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие:

, (14.7)

где b k – третий абсолютный центральный момент величины Х к , а D k – ее дисперсия, то Х имеет распределение, близкое к нормальному (условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало).
Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным.

Частным случаем центральной предельной теоремы для дискретных случайных величин является теорема Муавра-Лапласа.

Теорема 14.3 (теорема Муавра-Лапласа). Если производится п независимых опытов, в каждом из которых событие А появляется с вероятностью р , то справедливо соотношение:

(14.8)

где Y – число появлений события А в п опытах, q = 1 – p .

Доказательство.

Будем считать, что
, где Х i – число появлений события А в i -м опыте. Тогда случай-ную величину
(см. теорему 14.1) можно считать распределенной по нормальному закону и нормированной, следовательно, вероятность ее попадания в интервал (α, β) можно найти по формуле

Поскольку Y имеет биномиальное распределение, . Тогда
. Подставляя это выражение в предыдущую формулу, получим равенство (14.8).

Следствие.

В условиях теоремы Муавра-Лапласа вероятность
того, что событие А появится в п опытах ровно k раз, при большом количестве опытов можно найти по формуле:

(14.9)

где
, а
(значения этой функции приводятся в специальных таблицах).

Пример 3. Найти вероятность того, что при 100 бросках монеты число выпадений герба окажется в пределах от 40 до 60.

Применим формулу (14.8), учитывая, что п = 0,5. Тогда пр = 100·0,5 = 50, Тогда, если
Следовательно,

Пример 4. В условиях предыдущего примера найти вероятность того, что выпадет 45 гербов.

Найдем
, тогда

Лекция 15.

Основные понятия математической статистики. Генеральная совокупность и выборка. Вариационный ряд, статистический ряд. Группированная выборка. Группированный статистический ряд. Полигон частот. Выборочная функция распределения и гистограмма.
Математическая статистика занимается установлением закономерностей, которым подчинены массовые случайные явления, на основе обработки статистических данных, полученных в результате наблюдений. Двумя основными задачами математической статистики являются:

Определение способов сбора и группировки этих статистических данных;

Разработка методов анализа полученных данных в зависимости от целей исследования, к которым относятся:

а) оценка неизвестной вероятности события; оценка неизвестной функции распределения; оценка параметров распределения, вид которого известен; оценка зависимости от других случайных величин и т.д.;

б) проверка статистических гипотез о виде неизвестного распределения или о значениях параметров известного распределения.

Для решения этих задач необходимо выбрать из большой совокупности однородных объектов ограниченное количество объектов, по результатам изучения которых можно сделать прогноз относительно исследуемого признака этих объектов.

Определим основные понятия математической статистики.

Генеральная совокупность – все множество имеющихся объектов.

Выборка – набор объектов, случайно отобранных из генеральной совокупности.

Объем генеральной совокупности N и объем выборки n – число объектов в рассматривае-мой совокупности.

Виды выборки:

Повторная – каждый отобранный объект перед выбором следующего возвращается в генеральную совокупность;

Бесповторная – отобранный объект в генеральную совокупность не возвращается.
Замечание. Для того, чтобы по исследованию выборки можно было сделать выводы о поведе-нии интересующего нас признака генеральной совокупности, нужно, чтобы выборка правиль-но представляла пропорции генеральной совокупности, то есть была репрезентативной (представительной). Учитывая закон больших чисел, можно утверждать, что это условие выполняется, если каждый объект выбран случайно, причем для любого объекта вероятность попасть в выборку одинакова.
Первичная обработка результатов.

Пусть интересующая нас случайная величина Х принимает в выборке значение х 1 п 1 раз, х 2 – п 2 раз, …, х к – п к раз, причем
где п – объем выборки. Тогда наблюдаемые значения случайной величины х 1 , х 2 ,…, х к называют вариантами , а п 1 , п 2 ,…, п к – частотами . Если разделить каждую частоту на объем выборки, то получим относительные частоты
Последовательность вариант, записанных в порядке возрастания, называют вариационным рядом, а перечень вариант и соответствующих им частот или относительных частот – стати-стическим рядом :

При проведении 20 серий из 10 бросков игральной кости число выпадений шести очков оказалось равным 1,1,4,0,1,2,1,2,2,0,5,3,3,1,0,2,2,3,4,1.Составим вариационный ряд: 0,1,2,3,4,5. Статистический ряд для абсолютных и относительных частот имеет вид:

Если исследуется некоторый непрерывный признак, то вариационный ряд может состоять из очень большого количества чисел. В этом случае удобнее использовать группированную выборку . Для ее получения интервал, в котором заключены все наблюдаемые значения признака, разбивают на несколько равных частичных интервалов длиной h , а затем находят для каждого частичного интервала n i – сумму частот вариант, попавших в i -й интервал. Составленная по этим результатам таблица называется группированным статистическим рядом :

Полигон частот. Выборочная функция распределения и гистограмма.
Для наглядного представления о поведении исследуемой случайной величины в выборке можно строить различные графики. Один из них – полигон частот : ломаная, отрезки которой соединяют точки с координатами (x 1 , n 1), (x 2 , n 2),…, (x k , n k ), где x i откладываются на оси абсцисс, а n i – на оси ординат. Если на оси ординат откладывать не абсолютные (n i ), а относительные (w i ) частоты, то получим полигон относительных частот (рис.1). Рис. 1.

По аналогии с функцией распределения случайной величины можно задать некоторую функцию, относительную частоту события X x .

Определение 15.1. Выборочной (эмпирической) функцией распределения называют функцию F * (x ), определяющую для каждого значения х относительную частоту события X x . Таким образом,

, (15.1)

где п х – число вариант, меньших х , п – объем выборки.
Замечание. В отличие от эмпирической функции распределения, найденной опытным путем, функцию распределения F (x ) генеральной совокупности называют теоретической функцией распределения . F (x ) определяет вероятность события X x , а F * (x ) – его относительную частоту. При достаточно больших п , как следует из теоремы Бернулли, F * (x ) стремится по вероятности к F (x ).

Из определения эмпирической функции распределения видно, что ее свойства совпадают со свойствами F (x ), а именно:

1. 
   0 ≤ F * (x ) ≤ 1.
2. 
   F * (x ) – неубывающая функция.
3. 
   Если х 1 – наименьшая варианта, то F * (x ) = 0 при х ≤ х 1 ; если х к – наибольшая варианта, то F * (x ) = 1 при х > х к .

Лекция 16.

Числовые характеристики статистического распределения: выборочное среднее, оценки дисперсии, оценки моды и медианы, оценки начальных и центральных моментов. Статистическое описание и вычисление оценок параметров двумерного случайного вектора.
Одна из задач математической статистики: по имеющейся выборке оценить значения числовых характеристик исследуемой случайной величины.

Определение 16.1. Выборочным средним называется среднее арифметическое значений случайной величины, принимаемых в выборке:

, (16.1)

где x i – варианты, n i - частоты.

Замечание. Выборочное среднее служит для оценки математического ожидания исследуемой случайной величины. В дальнейшем будет рассмотрен вопрос, насколько точной является такая оценка.

Определение 16.2. Выборочной дисперсией называется

, (16.2)

а выборочным средним квадратическим отклонением –

(16.3)

Так же, как в теории случайных величин, можно доказать, что справедлива следующая формула для вычисления выборочной дисперсии:

. (16.4)

Пример 1. Найдем числовые характеристики выборки, заданной статистическим рядом

Другими характеристиками вариационного ряда являются:

- мода М 0 – варианта, имеющая наибольшую частоту (в предыдущем примере М 0 = 5).

- медиана т е - варианта, которая делит вариационный ряд на две части, равные по числу вариант. Если число вариант нечетно (n = 2k + 1), то m e = x k + 1 , а при четном n = 2k
. В частности, в примере 1

Оценки начальных и центральных моментов (так называемые эмпирические моменты) определяются аналогично соответствующим теоретическим моментам:

- начальным эмпирическим моментом порядка k называется

. (16.5)

В частности,
, то есть начальный эмпирический момент первого порядка равен выборочному среднему.

- центральным эмпирическим моментом порядка k называется

. (16.6)

В частности,
, то есть центральный эмпирический момент второго порядка равен выборочной дисперсии.
Статистическое описание и вычисление характеристик

двумерного случайного вектора.
При статистическом исследовании двумерных случайных величин основной задачей является обычно выявление связи между составляющими.

Двумерная выборка представляет собой набор значений случайного вектора: (х 1 , у 1), (х 2 , у 2), …, (х п , у п ). Для нее можно определить выборочные средние составляющих:

и соответствующие выборочные дисперсии и средние квадратические отклонения. Кроме того, можно вычислить условные средние : - среднее арифметическое наблюдав-шихся значений Y , соответствующих Х = х , и - среднее значение наблюдавшихся значений Х , соответствующих Y = y .

Если существует зависимость между составляющими двумерной случайной величины, она может иметь разный вид: функциональная зависимость, если каждому возможному значению Х соответствует одно значение Y , и статистическая, при которой изменение одной величины приводит к изменению распределения другой. Если при этом в результате изменения одной величины меняется среднее значение другой, то статистическую зависимость между ними называют корреляционной.

Лекция 17.

Основные свойства статистических характеристик параметров распределения: несме-щенность, состоятельность, эффективность. Несмещенность и состоятельность выборочного среднего как оценки математического ожидания. Смещенность выборочной дисперсии. Пример несмещенной оценки дисперсии. Асимптотически несмещенные оценки. Способы построения оценок: метод наибольшего правдоподобия, метод момен-тов, метод квантили, метод наименьших квадратов, байесовский подход к получению оценок.
Получив статистические оценки параметров распределения (выборочное среднее, выбороч-ную дисперсию и т.д.), нужно убедиться, что они в достаточной степени служат приближе-нием соответствующих характеристик генеральной совокупности. Определим требования, которые должны при этом выполняться.

Пусть Θ* - статистическая оценка неизвестного параметра Θ теоретического распределения. Извлечем из генеральной совокупности несколько выборок одного и того же объема п и вычислим для каждой из них оценку параметра Θ:
Тогда оценку Θ* можно рассматривать как случайную величину, принимающую возможные значения Если математическое ожидание Θ* не равно оцениваемому параметру, мы будем получать при вычислении оценок систематические ошибки одного знака (с избытком, если М (Θ*) >Θ, и с недостатком, если М (Θ*) М (Θ*) = Θ.
Определение 17.2. Статистическая оценка Θ* называется несмещенной , если ее математичес-кое ожидание равно оцениваемому параметру Θ при любом объеме выборки:

М (Θ*) = Θ. (17.1)

Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру.

Однако несмещенность не является достаточным условием хорошего приближения к истин-ному значению оцениваемого параметра. Если при этом возможные значения Θ* могут значительно отклоняться от среднего значения, то есть дисперсия Θ* велика, то значение, найденное по данным одной выборки, может значительно отличаться от оцениваемого параметра. Следовательно, требуется наложить ограничения на дисперсию.
Определение 17.2. Статистическая оценка называется эффективной , если она при заданном объеме выборки п имеет наименьшую возможную дисперсию.
При рассмотрении выборок большого объема к статистическим оценкам предъявляется еще и требование состоятельности.
Определение 17.3. Состоятельной называется статистическая оценка, которая при п →∞ стре-мится по вероятности к оцениваемому параметру (если эта оценка несмещенная, то она будет состоятельной, если при п →∞ ее дисперсия стремится к 0).
Убедимся, что представляет собой несмещенную оценку математического ожидания М (Х ).

Будем рассматривать как случайную величину, а х 1 , х 2 ,…, х п , то есть значения исследуемой случайной величины, составляющие выборку, – как независимые, одинаково распределенные случайные величины Х 1 , Х 2 ,…, Х п , имеющие математическое ожидание а . Из свойств математического ожидания следует, что

Но, поскольку каждая из величин Х 1 , Х 2 ,…, Х п имеет такое же распределение, что и генеральная совокупность, а = М (Х ), то есть М (
) = М (Х ), что и требовалось доказать. Выборочное среднее является не только несмещенной, но и состоятельной оценкой математического ожидания. Если предположить, что Х 1 , Х 2 ,…, Х п имеют ограниченные дисперсии, то из теоремы Чебышева следует, что их среднее арифметическое, то есть , при увеличении п стремится по вероятности к математическому ожиданию а каждой их величин, то есть к М (Х ). Следовательно, выборочное среднее есть состоятельная оценка математического ожидания.

В отличие от выборочного среднего, выборочная дисперсия является смещенной оценкой дисперсии генеральной совокупности. Можно доказать, что

, (17.2)

где D Г – истинное значение дисперсии генеральной совокупности. Можно предложить другую оценку дисперсии – исправленную дисперсию s ² , вычисляемую по формуле

. (17.3)

Такая оценка будет являться несмещенной. Ей соответствует исправленное среднее квадратическое отклонение

. (17.4)

Определение 17.4. Оценка некоторого признака называется асимптотически несмещенной , если для выборки х 1 , х 2 , …, х п

, (17.5)

где Х – истинное значение исследуемой величины.
Способы построения оценок.
1. Метод наибольшего правдоподобия.
Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения х 1 , х 2 , …, х п . Предположим, что нам известен закон распределения этой величины, определяемый параметром Θ, но неизвестно численное значение этого параметра. Найдем его точечную оценку.

Пусть р (х i , Θ) – вероятность того, что в результате испытания величина Х примет значение х i . Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента Θ, определяемую по формуле:

L (х 1 , х 2 , …, х п ; Θ) = p (x 1 ,Θ)p (x 2 ,Θ)…p (x n ,Θ).

Тогда в качестве точечной оценки параметра Θ принимают такое его значение Θ* = Θ(х 1 , х 2 , …, х п ), при котором функция правдоподобия достигает максимума. Оценку Θ* называют оценкой наибольшего правдоподобия .

Поскольку функции L и lnL достигают максимума при одном и том же значении Θ, удобнее искать максимум ln L – логарифмической функции правдоподобия . Для этого нужно:


Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, то уравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно использует данные выборки и поэтому особенно полезен в случае малых выборок.

Недостаток метода наибольшего правдоподобия: сложность вычислений.
Для непрерывной случайной величины с известным видом плотности распределения f (x ) и неизвестным параметром Θ функция правдоподобия имеет вид:

L (х 1 , х 2 , …, х п ; Θ) = f (x 1 ,Θ)f (x 2 ,Θ)…f (x n ,Θ).

Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.
2. Метод моментов.
Метод моментов основан на том, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов, поэтому можно приравнять теоретические моменты соответствующим эмпирическим моментам того же порядка.

Если задан вид плотности распределения f (x , Θ), определяемой одним неизвестным параметром Θ, то для оценки этого параметра достаточно иметь одно уравнение. Например, можно приравнять начальные моменты первого порядка:

,

получив тем самым уравнение для определения Θ. Его решение Θ* будет точечной оценкой параметра, которая является функцией от выборочного среднего и, следовательно, и от вариант выборки:

Θ = ψ (х 1 , х 2 , …, х п ).

Если известный вид плотности распределения f (x , Θ 1 , Θ 2) определяется двумя неизвестными параметрами Θ 1 и Θ 2 , то требуется составить два уравнения, например

ν 1 = М 1 , μ 2 = т 2 .

Отсюда
- система двух уравнений с двумя неизвестными Θ 1 и Θ 2 . Ее решениями будут точечные оценки Θ 1 * и Θ 2 * - функции вариант выборки:

Θ 1 = ψ 1 (х 1 , х 2 , …, х п ),

Θ 2 = ψ 2 (х 1 , х 2 , …, х п ).
3. Метод наименьших квадратов.

Если требуется оценить зависимость величин у и х , причем известен вид связывающей их функции, но неизвестны значения входящих в нее коэффициентов, их величины можно оценить по имеющейся выборке с помощью метода наименьших квадратов. Для этого функция у = φ (х ) выбирается так, чтобы сумма квадратов отклонений наблюдаемых значений у 1 , у 2 ,…, у п от φ(х i ) была минимальной:

При этом требуется найти стационарную точку функции φ(x ; a , b , c … ), то есть решить систему:

(решение, конечно, возможно только в случае, когда известен конкретный вид функции φ).

Рассмотрим в качестве примера подбор параметров линейной функции методом наименьших квадратов.

Для того, чтобы оценить параметры а и b в функции y = ax + b , найдем
Тогда
. Отсюда
. Разделив оба полученных уравнения на п и вспомнив определения эмпирических моментов, можно получить выражения для а и b в виде:

. Следовательно, связь между х и у можно задать в виде:

4. Байесовский подход к получению оценок.
Пусть (Y , X ) – случайный вектор, для которого известна плотность р (у |x ) условного распреде-ления Y при каждом значении Х = х . Если в результате эксперимента получены лишь значения Y , а соответствующие значения Х неизвестны, то для оценки некоторой заданной функции φ(х ) в качестве ее приближенного значения предлагается искать условное математическое ожидание М (φ‌‌(х )‌‌‌‌‌‌|Y ), вычисляемое по формуле:

, где , р (х Х , q (y ) – плотность безусловного распределения Y . Задача может быть решена только тогда, когда известна р (х ). Иногда, однако, удается построить состоятельную оценку для q (y ), зависящую только от полученных в выборке значений Y .

Лекция 18.

Интервальное оценивание неизвестных параметров. Точность оценки, доверительная вероятность (надежность), доверительный интервал. Построение доверительных интервалов для оценки математического ожидания нормального распределения при известной и при неизвестной дисперсии. Доверительные интервалы для оценки среднего квадратического отклонения нормального распределения.
При выборке малого объема точечная оценка может значительно отличаться от оцениваемого параметра, что приводит к грубым ошибкам. Поэтому в таком случае лучше пользоваться интервальными оценками , то есть указывать интервал, в который с заданной вероятностью попадает истинное значение оцениваемого параметра. Разумеется, чем меньше длина этого интервала, тем точнее оценка параметра. Поэтому, если для оценки Θ* некоторого параметра Θ справедливо неравенство | Θ* - Θ | 0 характеризует точность оценки (чем меньше δ, тем точнее оценка). Но статистические методы позволяют говорить только о том, что это неравенство выполняется с некоторой вероятностью.

Определение 18.1. Надежностью (доверительной вероятностью) оценки Θ* параметра Θ называется вероятность γ того, что выполняется неравенство | Θ* - Θ |
p (Θ* - δ
Таким образом, γ есть вероятность того, что Θ попадает в интервал (Θ* - δ, Θ* + δ).

Определение 18.2. Доверительным называется интервал, в который попадает неизвестный параметр с заданной надежностью γ.
Построение доверительных интервалов.
1. Доверительный интервал для оценки математического ожидания нормального распределения при известной дисперсии.

Пусть исследуемая случайная величина Х распределена по нормальному закону с известным средним квадратическим σ, и требуется по значению выборочного среднего оценить ее математическое ожидание а . Будем рассматривать выборочное среднее как случайную величину а значения вариант выборки х 1 , х 2 ,…, х п как одинаково распределенные независимые случайные величины Х 1 , Х 2 ,…, Х п , каждая из которых имеет математическое ожидание а и среднее квадратическое отклонение σ. При этом М () = а ,
(используем свойства математического ожидания и дисперсии суммы независимых случайных величин). Оценим вероятность выполнения неравенства
. Применим формулу для вероятности попадания нормально распределенной случайной величины в заданный интервал:

р (
) = 2Ф
. Тогда, с учетом того, что , р () = 2Ф
=

2Ф(t ), где
. Отсюда
, и предыдущее равенство можно переписать так:

. (18.1)

Итак, значение математического ожидания а с вероятностью (надежностью) γ попадает в интервал
, где значение t определяется из таблиц для функции Лапласа так, чтобы выполнялось равенство 2Ф(t ) = γ.
Пример. Найдем доверительный интервал для математического ожидания нормально распреде-ленной случайной величины, если объем выборки п = 49,
σ = 1,4, а доверительная вероятность γ = 0,9.

Определим t , при котором Ф(t ) = 0,9:2 = 0,45: t = 1,645. Тогда

, или 2,471 a а с надежностью 0,9.
2. Доверительный интервал для оценки математического ожидания нормального распределения при неизвестной дисперсии.

Если известно, что исследуемая случайная величина Х распределена по нормальному закону с неизвестным средним квадратическим отклонением, то для поиска доверительного интервала для ее математического ожидания построим новую случайную величину

, (18.2)

где - выборочное среднее, s – исправленная дисперсия, п – объем выборки. Эта случайная величина, возможные значения которой будем обозначать t , имеет распределение Стьюдента (см. лекцию 12) с k = n – 1 степенями свободы.

Поскольку плотность распределения Стьюдента
, где
, явным образом не зависит от а и σ, можно задать вероятность ее попадания в некоторый интервал (- t γ , t γ ), учитывая четность плотности распределения, следующим образом:
. Отсюда получаем:

(18.3)

Таким образом, получен доверительный интервал для а , где t γ можно найти по соответствую-щей таблице при заданных п и γ.

Пример. Пусть объем выборки п = 25, = 3, s = 1,5. Найдем доверительный интервал для а при γ = 0,99. Из таблицы находим, что t γ (п = 25, γ = 0,99) = 2,797. Тогда
, или 2,161a а с вероятностью 0,99.
3. Доверительные интервалы для оценки среднего квадратического отклонения нормального распределения.

Будем искать для среднего квадратического отклонения нормально распределенной случайной величины доверительный интервал вида (s – δ, s +δ ), где s – исправленное выборочное среднее квадратическое отклонение, а для δ выполняется условие: p (|σ – s |
Запишем это неравенство в виде:
или, обозначив
,

Рассмотрим случайную величину χ, определяемую по формуле

,

которая распределена по закону «хи-квадрат» с п -1 степенями свободы (см. лекцию 12). Плотность ее распределения

не зависит от оцениваемого параметра σ, а зависит только от объема выборки п . Преобразуем неравенство (18.4) так, чтобы оно приняло вид χ 1 Предполо-жим, что q

,

или, после умножения на
,
. Следовательно,
. Тогда
Существуют таблицы для распределения «хи-квадрат», из которых можно найти q по заданным п и γ, не решая этого уравнения. Таким образом, вычислив по выборке значение s и определив по таблице значение q , можно найти доверительный интервал (18.4), в который значение σ попадает с заданной вероятностью γ.
Замечание. Если q > 1, то с учетом условия σ > 0 доверительный интервал для σ будет иметь границы

. (18.5)

Пусть п = 20, s = 1,3. Найдем доверительный интервал для σ при заданной надежности γ = 0,95. Из соответствующей таблицы находим q (n = 20, γ = 0,95) = 0,37. Следовательно, границы доверительного интервала: 1,3(1-0,37) = 0,819 и 1,3(1+0,37) = 1,781. Итак, 0,819

Лемма Чебышева . Если случайная величина х , для которой существует математическое ожидание М [x ], может принимать только неотрицательные значения, то для любого положительного числа a имеет место неравенство

Неравенство Чебышева. Если х – случайная величина с математическим ожиданием М [x ] и дисперсией D [x ], то для любого положительного e имеет место неравенство

. (2)

Теорема Чебышева. (закон больших чисел). Пусть х 1 , х 2 , …, x n ,… - последовательность независимых случайных величин с одним и тем же математическим ожиданием m и дисперсиями, ограниченными одной и той же константой с

. (3)

Доказательство теоремы основано на неравенстве

, (4)

вытекающей из неравенства Чебышева. Из теоремы Чебышева как следствие может быть получена

Теорема Бернулли. Пусть производится n независимых опытов, в каждом из которых с вероятностью р может наступить некоторое событие А , и пусть v n – случайная величина, равная числу наступлений события А в этих n опытах. Тогда для любого e > 0 имеет место предельное равенство

. (5)

Отметим, что неравенство (4) применительно к условиям теоремы Бернулли дает:

. (6)

Теорему Чебышева можно сформулировать в несколько более общем виде:

Обобщенная теорема Чебышева. Пусть х 1 , х 2 , …, x n ,… - последовательность независимых случайных величин с математическими ожиданиями M [x 1 ] = m 1 , M [x 2 ] = m 2 ,… и дисперсиями, ограниченными одной и той же постоянной с . Тогда для любого положительного числа e имеет место предельное равенство

. (7)

Пусть х -число появлений 6 очков при 3600 бросаниях кости. Тогда М [x ] = 3600 = 600. Воспользуемся теперь неравенством (1) при a = 900: .

Используем неравенство (6) при n = 10000, р = , q = . Тогда

Пример.

Вероятность наступления события А в каждом из 1000 независимых опытов равна 0,8. Найдите вероятность того, что число наступлений события А в этих 1000 опытах отклонится от своего математического ожидания по абсолютной величине меньше чем на 50.

Пусть х - число наступлений события А в указанных 1000 опытах. Тогда М [x ] = 1000 × 0,8 = 800 и D [x ] = 1000 × 0,8 × 0,2 = 160. Теперь неравенство (2) дает:

Пример.

Дисперсия каждой из 1000 независимых случайных величин x k (k = 1, 2,..., 1000) равна 4. Оцените вероятность того, что отклонение средней арифметической этих величин от средней арифметической их математических ожиданий по абсолютной величине не превзойдет 0,1.

Согласно неравенству (4) при с = 4 и e = 0,1 имеем.

Закон больших чисел является центральным законом теории вероятностей в силу того, что он формулирует принципиальную связь между закономерностью и случайностью. А именно, он утверждает, что большое число случайностей ведет к закономерности, что позволяет прогнозировать ход событий. В наиболее общей форме он выражается теоремой Чебышева :

Пусть (Χ 1 ; X 2 ; … X n ; … ) независимые случайные величины (их, предполагается, бесконечное число). И пусть их дисперсии равномерно ограничены (то есть дисперсии всех этих случайных величин не превосходят некоторой константы С ):

Тогда как бы ни было мало положительное число , выполняется предельное вероятностное соотношение:

если число случайных величин достаточно велико. Или, что одно и то же, вероятность

Таким образом, теорема Чебышева утверждает, что если рассматривать достаточное большое число n независимых случайных величин (Χ 1 ; X 2 ; … X n ),то почти достоверным (с вероятностью, близкой к единице) можно считать событие, состоящее в том, что отклонение среднего арифметического этих случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство . Χ 1 ; X 2 ; … X n ):

(4)

; (5)

Учитывая условия (1), устанавливаем, что

(6)

Таким образом, при дисперсия . То есть при разброс значений случайной величины вокруг её математического ожидания неограниченно уменьшается. А это значит, что при величина, то есть . Или, если сказать точнее, к нулю стремится вероятность того, что случайная величина будет хоть как-то отклоняться от своего математического ожидания – константы . А именно, при любом сколь угодно малом положительном числе

Итак, согласно доказанной теореме Чебышева, среднее арифметическое большого числа независимых случайных величин (Χ 1 ; X 2 ; … X n ), являясь случайной величиной, фактически утрачивает характер случайности, становясь, по сути, неизменной константой . Эта константа равна среднему арифметическому математических ожиданий величин (Χ 1 ; X 2 ; … X n ). В этом и состоит закон больших чисел.

Можно привести другое доказательство теоремы Чебышева. Для этого воспользуемся неравенством Чебышева. Оно справедливо и для дискретных и для непрерывных случайных величин и имеет ценность само по себе. Неравенство Чебышева позволяет оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине положительного числа . Приведем доказательство неравенства Чебышева для дискретных случайных величин.

Неравенство Чебышева: Вероятность того, что отклонение случайной величины Х от ее математического ожидания по абсолютной величине меньше положительного числа , не меньше, чем :

.

Доказательство : Так как события, состоящие в осуществлении неравенств и , противоположны, то сумма их вероятностей равна 1, т.е. . Отсюда интересующая нас вероятность . (*)

Найдем . Для этого найдем дисперсию случайной величины Х.

Все слагаемые этой суммы неотрицательны. Отбросим те слагаемые, у которых (для оставшихся слагаемых), вследствие чего сумма может только уменьшится. Условимся считать для определенности, что отброшено k первых слагаемых (будем считать, что в таблице распределения возможные значения занумерованы именно в таком порядке). Таким образом,

Поскольку обе части неравенства положительны, поэтому, возведя их в квадрат, получим равносильное неравенство. Воспользуемся этим замечанием, заменяя в оставшейся сумме каждый из множителей числом (при этом неравенство может лишь усилиться), получим. (**)

По теореме сложения, сумма вероятностей есть вероятность того, что Х примет одно, безразлично какое, из значений , а при любом из них отклонение удовлетворяет неравенству . Отсюда следует, что сумма выражает вероятность . Это позволяет переписать неравенство (**) так: . (***).

Подставим (***) в (*) и получим , что и требовалось доказать.

Доказательство теоремы Чебышева 2 :

Введем в рассмотрение новую случайную величину - среднее арифметическое случайных величин (Χ 1 ; X 2 ; … X n ):

Пользуясь свойствами математического ожидания и дисперсии, для получим:

; . (*)

Применяя к величине неравенство Чебышева, имеем.

Учитывая соотношение (*),

По условию , значит . (***) Подставляя правую часть (***) в неравенство (**) имеем

Отсюда, переходя к пределу при , получим

Поскольку вероятность не может превышать единицу, окончательно мы получаем:

Что нам и требовалось доказать.

Остановимся на одном важном частном случае теоремы Чебышева. А именно, рассмотрим случай, когда независимые случайные величины (Χ 1 ; X 2 ; … X n ) имеют одинаковые законы распределения, а, следовательно, и одинаковые числовые характеристики:

(8)

Тогда для случайной величины , согласно (5), имеем:

(9)

Предельное вероятностное соотношение (7) в этом случае примет вид:

(10)

Вывод, следующий из (10), имеет большое значение для борьбы со случайными ошибками при производстве различного рода измерений.

Пусть, например, требуется измерить некоторую величину а . Произведем не одно, а несколько (n ) независимых повторных измерений значения этой величины. Любым измерениям присуща случайная ошибка, связанная с несовершенством измерительного прибора, всевозможными случайными помехами измерению, и т.д. Поэтому результаты (Χ 1 ; X 2 ; … X n ) отдельных последовательных измерений искомого значения а , вообще говоря, давать не будут - они будут случайными величинами. Причем величинами, имеющими одинаковые распределения, ибо измерения производятся повторно, то есть при неизменных внешних условиях. Тогда для величины - среднего арифметического из результатов всех n измерений - будет выполняться предельное вероятностное соотношение (10). А значит, это среднее арифметическое при утрачивает характер случайности, превращаясь в а – истинное значение измеряемой величины. Об этом, кстати, свидетельствуют и формулы (9), согласно которым:

(11)

То есть проведя достаточно большоечисло повторных измерений искомой величины а , в каждом из которых возможна случайная ошибка измерения, и находя затем среднее арифметическое результатов этих измерений, мы по формуле

а (12)

можем получить значение а практически без случайной ошибки.

Этот вывод - следствие закона больших чисел. В данном случае этот закон проявляется в том, что при суммировании результатов измерений в (4) случайные ошибки отдельных измерений, встречающиеся в принципе одинаково часто как со знаком плюс, так и со знаком минус, в целом будут взаимно уничтожаться. А оставшаяся ошибка еще разделится на п , то есть еще уменьшится в п раз. Так что при больших значениях n величина будет практически точно равна измеряемой величине а . Этим выводом, естественно, широко пользуются на практике.

Примечание . В величине взаимно уничтожаются лишь случайные ошибки измерений, то есть ошибки, связанные с действием случайных факторов (помех). Но систематические (постоянно действующие) ошибки, то есть ошибки, присущие каждому измерению, естественно, остаются и в . Например, сбитая (не отрегулированная) в приборе стрелка вызывает постоянную (систематическую) ошибку в каждом измерении, а, значит вызывает её и в средней арифметической из результатов этих измерений. Систематические ошибки надо исключать еще до производства измерений и не допускать в процессе измерений.

Потом, если α – цена деления измерительного прибора, то все повторные измерения производятся с точностью до α. Но тогда, естественно, и среднее арифметическое из результатов всех измерений можно указывать лишь тоже с точностью до α, то есть с точностью, определяемой точностью прибора.

Поэтому не стоит думать, что, сделав достаточно большое число повторных измерений величины а и найдя затем среднее арифметическое из результатов этих измерений, мы получим точное значение а. Мы его получим лишь в пределах точности измерительного прибора. Да и то, если исключим систематическую ошибку измерения.

Приведем еще один важный частный случай закона больших чисел. Пусть Х=k – число появлений некоторого события А в п повторных испытаниях (X – случайная величина). И пусть и – вероятности появления и непоявления события А в одном испытании. Рассмотрим случайную величину - относительную частоту появления события А в п испытаниях. Введем также n случайных величин (Х 1, Х 2, …X n ), которые представляют собой число появление события А в первом, втором, … п -ом испытаниях. Тогда k = Х 1 +Х 2 +…+Х п , апоявления события А практически совпадет с вероятностью появления события А в одном испытании. На этом выводе основано нахождение вероятностей многих случайных событий, чьи вероятности каким-то другим путем (теоретически) найти не удается.

Например, пусть испытание – это подбрасывание деформированной (несимметричной) монеты, а событие А для этого испытания – это выпадение герба. Вероятность события А по классической формуле или по какой-то другой теоретической формуле найти затруднительно, ибо в такой формуле должны быть как-то отражены характеристики деформации монеты. Поэтому реальный путь, ведущий к цели, здесь один: повторно бросать монету (чем больше число бросаний n, тем лучше) и определять опытным путем относительную частоту появления герба. Если n велико, то в соответствии с законом больших чисел можно с большой вероятностью утверждать, что .

Закон больших чисел проявляет себя во многих природных и общественных явлениях.

Пример 1. Как известно, газ, помещенный в закрытый сосуд, оказывает давление на стенки сосуда. Согласно законам газового состояния, при неизменной температуре газа это давление постоянно. Давление газа имеет своей причиной хаотические удары отдельных его молекул о стенки сосуда. Скорости и направления движения у всех молекул разные, поэтому разными являются и силы ударов различных молекул о стенки сосуда. Однако давление газа на стенки сосуда определяется не силой ударов отдельных молекул, а их средней силой. Но она, как средняя из огромного числа независимо действующих сил, согласно закону больших чисел, будет сохранять практически неизменное значение. Поэтому практически неизменным оказывается и давление газа на стенки сосуда.

Пример 2 . Страховая компания, занимающаяся, например, автострахованием, выплачивает по разным страховым случаям (автомобильным авариям и ДТП) разные страховые суммы. Однако величина среднего значения этой страховой суммы, как среднего значения из многих различных n независимых страховых сумм, согласно закону больших чисел, будет практически неизменной. Ее можно определить, исследовав реальную статистику страховых случаев. Чтобы страховой компании не оказаться в убытке, средний размер страхового взноса, взимаемого с клиентов этой компании, должен быть выше средней страховой суммы, которую выплачивает компания своим клиентам. Но этот взнос не должен быть и слишком высоким, чтобы компания была конкурентноспособна (могла конкурировать по привлекательности с другими страховыми компаниями).

Теория вероятностей изучает закономерности, свойственные массовым случайным явлениям. Как и любая другая наука, теория вероятностей предназначена для того, чтобы возможно точнее предсказать результат того или иного явления или эксперимента. Если явление носит единичный характер, то теория вероятностей способна предсказать лишь вероятность исхода в весьма широких пределах. Закономерности проявляются только при большом числе случайных явлений, происходящих в однородных условиях.

Группа теорем, устанавливающих соответствие между теоретическими и экспериментальными характеристиками случайных величин и случайных событий при большом числе испытаний над ними, а также касающихся предельных законов распределения, объединяются под общим названием предельных теорем теории вероятностей .

Есть два типа предельных теорем: закон больших чисел и центральная предельная теорема.

Закон больших чисел , занимающий важнейшее место в теории вероятностей, является связующим звеном между теорией вероятностей как математической наукой и закономерностями случайных явлений при массовых наблюдениях над ними.

Закон играет очень важную роль в практических применениях теории вероятностей к явлениям природы и техническим процессам, связанным с массовым производством.

Предельные законы распределения составляют предмет группы теорем – количественной формы закона больших чисел. Т.е. закон больших чисел – ряд теорем, в каждой из которых устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным, т.е. устанавливают факт сходимости по вероятности некоторых случайных величин к постоянным. Это теоремы Бернулли, Пуассона, Ляпунова, Маркова, Чебышева.

1. а ) Теорема Бернулли – закон больших чисел (была сформулирована и доказана ранее в п. 3 § 6 при рассмотрении предельной интегральной теоремы Муавра-Лапласа.)

При неограниченном увеличении числа однородных независимых опытов частота события будет сколь угодно мало отличаться от вероятности события в отдельном опыте. Иначе, вероятность того, что отклонение относительной частоты наступления события А от постоянной вероятности р события А очень мало при стремится к 1 при любом : .

b) Теорема Чебышева.

При неограниченном увеличении числа независимых испытаний среднее арифметическое наблюдаемых значений случайной величины, имеющей конечную дисперсию, сходится по вероятности к ее математическому ожиданию иначе, если независимые одинаково распределенные случайные величины с математическим ожиданием и ограниченной дисперсией , то при любом справедливо: .

Теорема Чебышева (обобщенная). Если случайные величины в последовательности попарно независимы, а их дисперсии удовлетворяют условию , то для любого положительного ε > 0 справедливо утверждение:

или, что то же .

c) Теорема Маркова. (закон больших чисел в общей формулировке)

Если дисперсии произвольных случайных величин в последовательности удовлетворяют условию: , то для любого положительного ε > 0 имеет место утверждение теоремы Чебышева: .

d) Теорема Пуассона.

При неограниченном увеличении числа независимых опытов в переменных условиях частота события А сходится по вероятности к среднему арифметическому его вероятностей при данных испытаниях.

Замечание. Ни в одной из форм закона больших чисел мы не имеем дела с законами распределения случайных величин. Вопрос, связанный с отысканием предельного закона распределения суммы , когда число слагаемых неограниченно возрастает, рассматривает центральная предельная теорема. одинаково распределены, то придем к интегральной теореме Муавра-Лапласа (п. 3 § 6), представляющей собой простейший частный случай центральной предельной теоремы.