Устойчивые распределения. Статистический анализ числовых величин (непараметрическая статистика)

Рассмотрим две независимые случайные величины и , подчиненные нормальным законам:

, (12.6.1)

. (12.6.2)

Требуется произвести композицию этих законов, т. е. найти закон распределения величины:

Применим общую формулу (12.5.3) для композиции законов распределения:

. (12.6.3)

Если раскрыть скобки в показателе степени подынтегральной функции и привести подобные члены, получим:

,

;

;

.

Подставляя эти выражения в уже встречавшуюся нам формулу (9.1.3):

, (12.6.4)

после преобразований получим:

, (12.6.5)

а это есть не что иное, как нормальный закон с центром рассеивания

и средним квадратическим отклонением

. (12.6.7)

К тому же выводу можно прийти значительно проще с помощью следующих качественных рассуждений.

Не раскрывая скобок и не производя преобразований в подынтегральной функции (12.6.3), сразу приходим к выводу, что показатель степени есть квадратный трехчлен относительно вида

,

где в коэффициент величина не входит совсем, в коэффициент входит в первой степени, а в коэффициент - в квадрате. Имея это в виду и применяя формулу (12.6.4), приходим к заключению, что есть показательная функция, показатель степени которой - квадратный трехчлен относительно , а плотность распределения такого вида соответствует нормальному закону. Таким образом, мы приходим к чисто качественному выводу: закон распределения величины должен быть нормальным.

Чтобы найти параметры этого закона - и - воспользуемся теоремой сложения математических ожиданий и теоремой сложения дисперсий. По теореме сложения математических ожиданий

По теореме сложения дисперсий

откуда следует формула (12.6.7).

Переходя от средних квадратических отклонений к пропорциональным им вероятным отклонениям, получим:

Таким образом, мы пришли к следующему правилу: при композиции нормальных законов получается снова нормальный закон, причем математические ожидания и дисперсии (или квадраты вероятных отклонений) суммируются.

Правило композиции нормальных законов может быть обобщено на случай произвольного числа независимых случайных величин.

Если имеется независимых случайных величин:

подчиненных нормальным законам с центрами рассеивания

и средними квадратическими отклонениями

,

то величина

также подчинена нормальному закону с параметрами

Вместо формулы (12.6.12) можно применять равносильную ей формулу:

Если система случайных величин распределена по нормальному закону, но величины зависимы, то нетрудно доказать, так же как раньше, исходя из общей формулы (12.5.1), что закон распределения величины

есть тоже нормальный закон. Центры рассеивания по-прежнему складываются алгебраически, но для средних квадратических отклонений правило становится более сложным:

, (12.6.14)

где - коэффициент корреляции величин и .

При сложении нескольких зависимых случайных величин, подчиненных в своей совокупности нормальному закону, закон распределения суммы также оказывается нормальным с параметрами

, (12.6.16)

или в вероятных отклонениях

, (12.6.17)

где - коэффициент корреляции величин , а суммирование распространяется на все различные попарные комбинации величин .

Мы убедились в весьма важном свойстве нормального закона: при композиции нормальных законов получается снова нормальный закон. Это - так называемое «свойство устойчивости». Закон распределения называется устойчивым, если при композиции двух законов этого типа получается снова закон того же типа. Выше мы показали, что нормальный закон является устойчивым. Свойством устойчивости обладают весьма немногие законы распределения. В предыдущем (пример 2) мы убедились, что, например, закон равномерной плотности неустойчив: при композиции двух законов равномерной плотности на участках от 0 до 1 мы получили закон Симпсона.

Устойчивость нормального закона - одно из существенных условий его широкого распространения на практике. Однако свойством устойчивости, кроме нормального, обладают и некоторые другие законы распределения. Особенностью нормального закона является то, что при композиции достаточно большого числа практически произвольных законов распределения суммарный закон оказывается сколь угодно близок к нормальному вне зависимости от того, каковы были законы распределения слагаемых. Это можно проиллюстрировать, например, составляя композицию трех законов равномерной плотности на участках от 0 до 1. Получающийся при этом закон распределения изображен на рис. 12.6.1. Как видно из чертежа, график функции весьма напоминает график нормального закона.

Нормальное распределение

Мы уже знакомы с понятиями «распределение», «полигон» (или «частный полигон») и «кривая распределения». Частным случаем этих понятий является «нормальное распределение» и «нормальная кривая». Но этот частный вариант очень важен при анализе любых научных данных, в том числе и психологических. Дело в том, что нормальное распределение, изображаемое графически нормальной кривой, есть идеальное, редко встречающееся в объективной действительности распределение. Но его использование многократно облегчает и упрощает обработку и объяснение получаемых в натуре данных. Более того, только для нормального распределения приведенные коэффициенты корреляции имеют истолкование в качестве меры тесноты связи, в других случаях они такой функции не несут, а их вычисление приводит к труднообъяснимым парадоксам.

В научных исследованиях обычно принимается допущение о нормальности распределения реальных данных и на этом основании производится их обработка, после чего уточняется и указывается, насколько реальное распределение отличается от нормального, для чего существует ряд специальных статистических приемов. Как правило, это допущение вполне приемлемо, так как большинство психических явлений и их характеристик имеют распределения, очень близкие к нормальному.

Так что же такое нормальное распределение и каковы его особенности, привлекающие ученых? Нормальным называется такое распределение величины, при котором вероятность ее появления и не появления является одинаковой. Классическая иллюстрация – бросание монеты. Если монета правильна и броски выполняются одинаково, то выпадение «орла» или «решки» равновероятно. То есть «орел» с одинаковой вероятностью может выпасть и не выпасть, то же касается и «решки».

Мы ввели понятие «вероятность». Уточним его. Вероятность – это ожидаемая частота наступления события (появления – не появления величины). Выражается вероятность через дробь, в числителе которой – число сбывшихся событий (частота), а в знаменателе – предельно возможное число этих событий. Когда выборка (число возможных случаев) ограниченна, то лучше говорить не о вероятности, а о частости, с которой мы уже знакомы. Вероятность предполагает бесконечное число проб. Но на практике эта тонкость часто игнорируется.

Пристальный интерес математиков к теории вероятности в целом и к нормальному распределению в частности появляется в XVII веке в связи со стремлением участников азартных игр найти формулу максимального выигрыша при минимальном риске. Этими вопросами занялись знаменитые математики Я. Бернулли (1654-1705) и П. С. Лаплас (1749-1827). Первым математическое описание кривой, соединяющей отрезки диаграммы распределения вероятностей выпадения «орлов» при многократном бросании монет, дал Абрахам де Муавр (1667-1754). Эта кривая очень близка к нормальной кривой, точное описание которой дал великий математик К. Ф. Гаусс (1777-1855), чье имя она и носит поныне. График и формула нормальной (Гауссовой) кривой выглядит следующим образом.

где Р – вероятность (точнее, плотность вероятности), т. е. высота кривой над заданным значением Z; е – основание натурального логарифма (2.718...); π= 3.142...; М – среднее выборки; σ – стандартное отклонение.

Свойства нормальной кривой

1. Среднее (М), мода (Мо) и медиана (Me) совпадают.

2. Симметричность относительно среднего М.

3. Однозначно определяется всего лишь двумя параметрами – М и о.

4. «Ветви» кривой никогда не пересекают абсциссу Z, асимптотически к ней приближаясь.

5. При М = 0 и о =1 получаем единичную нормальную кривую, так как площадь под ней равна 1.

6. Для единичной кривой: Р м = 0.3989, а площадь под кривой в диапазоне:

-σ до +σ = 68.26%; -2σ до + 2σ = 95.46%; -Зσ до + Зσ = 99.74%.

7. Для неединичных нормальных кривых (М ≠0, σ ≠1) закономерность по площадям сохраняется. Разница – в сотых долях.

Вариации нормального распределения

Представленные ниже вариации относятся не только к нормальному распределению, но к любому. Однако для наглядности мы их приводим здесь.

1. Асимметрия – неодинаковость распределения относительно центрального значения.

Устойчивым и безгранично делимым распределениям уделяется большое внимание в литературе, посвященной моделированию поведения обменных курсов валют и финансовых индексов.

Устойчивые и безгранично делимые распределения изучались в работах П.Леви, Дж. Пойа, А.Я. Хинчина.

Остановимся на определении устойчивых распределений. Существует два равносильных определения. Приведем одно из них

Определение. Случайная величина называется устойчивой, если для всякого найдутся и такие, что

где - независимые копии случайной величины. Если в (81) =0, т.е.

то случайная величина называется строго устойчивой.

Замечательно, что доказывается следующий факт

для некоторого. При этом называют индексом устойчивости.

Приведем пример. Рассмотрим нормальный закон, тогда сумма распределена по нормальному закону, точно также распределена случайная величина. Здесь. Откуда следует, что гауссовский закон является устойчивым законом с индексом устойчивости. Причем строго устойчивым, если.

Для полноты картины следует отметить факт, характеризующий устойчивое распределение как распределение бесконечных сумм независимых и одинаково распределенных случайных величин.

Устойчивое распределение имеет область притяжения в том смысле, что найдется последовательность независимых одинаково распределенных случайных величин, и последовательности положительных чисел и вещественных чисел такие, что

Рассмотрим характеристическую функцию распределения случайной величины

Характеристическая функция суммы независимых копий

Сопоставим (86) и (82) получим, что для строго устойчивого распределения

Таким образом, на языке характеристических функций распределение называется строго устойчивым, если для любого существует такое положительное число, что выполняется (87). Поскольку, то (87) приобретает вид:

Рассмотрим распределение Пуассона

Характеристическая функция распределения Пуассона:

Отсюда и распределение Пуассона не является устойчивым распределением. Свойство строгой устойчивости связано еще с одним свойством закона распределения. Напомним, что сверткой функций распределения называется функция распределения. Если функции распределения и обладают плотностями, то функция распределения также обладает плотностью, причем. При этом, если случайные величины и - независимые, то. Введем обозначение. В этом обозначении функция распределения суммы - . Следовательно, функция распределения строго устойчивого закона должна обладать свойством:

Если существует плотность, то

В этой связи рассмотрим распределение Коши:

Непосредственным интегрированием и индукцией нетрудно убедиться, что

Отсюда следует, что распределение Коши строго устойчиво с индексом устойчивости.

Отметим, что замечательный результат теории вероятностей (П. Леви, А.Я. Хинчин) дает следующее представление характеристической функции устойчивой случайной величины:

где. Смысл параметров следующий:

Индекс устойчивости,

Параметр скошенности плотности распределения,

Параметр масштаба,

Параметр положения.

Параметр определяет скорость убывания хвостов распределения.

а - гамма функция.

Рассмотрим случай. Из (95) следует, что

которая является характеристической функцией нормального закона. Об устойчивости нормального закона с индексом устойчивости уже упоминалось выше. Отметим, что произведение, поэтому не определяется однозначно. Принято считать, что.

С точки зрения поведения хвостов распределения случаи и существенно отличаются. Действительно, пусть, тогда

Сопоставление (98) с (95) и (96) позволяет сделать вывод, что стремление к нулю хвостов распределения в случае, когда более медленное. Поэтому такие распределения принято называть распределениями с тяжелыми хвостами. Как показывают статистические исследования многие финансовые инструменты имеют логарифмические возвраты, у которых распределения обладают тяжелыми хвостами. Этот статистический факт делает устойчивые распределения привлекательными для описания поведения логарифмических возвратов.

Отметим, что в том и только в том случае, когда. Действительно, если, то из (95) и (96) следует, что. Если, то из неравенства, следует. Пусть, тогда из неравенства следует, что.

В связи с показательной асимптотикой остановимся на распределении Парето, плотность которого

С параметрами (индекс устойчивости) и. График плотности распределения Парето представлен на рисунке 8.

Рис. 8.

Функция распределения

а вероятность. Сравнение с (95) показывает, что на бесконечности устойчивые распределения ведут себя так же, как и распределение Парето. Поэтому хвостовая часть устойчивых распределений относится к паретовскому типу.

Можно рассмотреть симметричное распределение Парето:

которое выглядит более естественным при моделировании последовательности. Параметр скошенности (асимметрии) определяет насколько распределение асимметрично. Если, то есть

то распределение симметрично относительно. Чем ближе к единице, тем сильнее выражена асимметрия распределения. Причем если, то распределение скошено сильнее слева, при - справа.

Параметр является масштабным параметром.

При, случай нормального распределения. При - дисперсии не существует. Поэтому параметр отличается от среднего квадратического отклонения.

Параметр - параметр положения при, как уже отмечалось выше, и существует математическое ожидание. При математическое ожидание может быть не определено, поэтому не следует интерпретировать как математическое ожидание.

Традиционным обозначением для устойчивых распределений является обозначение. Отметим, что при

Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? – Журнал «Заводская лаборатория». 1991 Т.57. No.7 С.64-66.

Часто ли распределение результатов наблюдений является нормальным?

А.И.Орлов

Результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их следует случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных. В других нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация. Но никогда нет полного совпадения. Отсюда вытекает как необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях, так и необходимость разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.

В эконометрических и экономико-математических моделях, применяемых, в частности, при изучении и оптимизации процессов маркетинга и менеджмента, управления предприятием и регионом, точности и стабильности технологических процессов, в задачах надежности, обеспечения безопасности, в том числе экологической, функционирования технических устройств и объектов, разработки организационных схем часто применяют понятия и результаты теории вероятностей и математической статистики. При этом зачастую используют те или иные параметрические семейства распределений вероятностей. Наиболее популярно нормальное распределение. Используют также логарифмически нормальное распределение, экспоненциальное распределение, гамма-распределение, распределение Вейбулла-Гнеденко и т.д.

Очевидно, всегда необходимо проверять соответствие моделей реальности. Возникают два вопроса. Отличаются ли реальные распределения от используемых в модели? Насколько это отличие влияет на выводы?

Ниже на примере нормального распределения и основанных на нем методов отбраковки резко отличающихся наблюдений (выбросов) показано, что реальные распределения практически всегда отличаются от включенных в классические параметрические семейства, а имеющиеся отклонения от заданных семейств делают неверными выводы, в рассматриваемом случае, об отбраковке, основанные на использовании этих семейств.

Есть ли основания априори предполагать нормальность результатов измерений?

Иногда утверждают, что в случае, когда погрешность измерения (или иная случайная величина) определяется в результате совокупного действия многих малых факторов, то в силу Центральной Предельной Теоремы (ЦПТ) теории вероятностей эта величина хорошо приближается (по распределению) нормальной случайной величиной. Такое утверждение справедливо, если малые факторы действуют аддитивно и независимо друг от друга. Если же они действуют мультипликативно, то в силу той же ЦПТ аппроксимировать надо логарифмически нормальным распределением. В прикладных задачах обосновать аддитивность, а не мультипликативность действия малых факторов обычно не удается. Если же зависимость имеет общий характер, не приводится к аддитивному или мультипликативному виду, а также нет оснований принимать модели, дающие экспоненциальное, Вейбулла-Гнеденко, гамма или иные распределения, то о распределении итоговой случайной величины практически ничего не известно, кроме внутриматематических свойств типа регулярности.

При обработке конкретных данных иногда считают, что погрешности измерений имеют нормальное распределение. На предположении нормальности построены классические модели регрессионного, дисперсионного, факторного анализов, метрологические модели, которые еще продолжают встречаться как в отечественной ноpмативно-технической документации, так и в международных стандартах. На то же предположение опираются модели расчетов максимально достигаемых уровней тех или иных характеристик, применяемые при проектировании систем обеспечения безопасности функционирования экономических структур, технических устройств и объектов. Однако теоретических оснований для такого предположения нет. Необходимо экспериментально изучать распределения погрешностей.

Что же показывают результаты экспериментов? Сводка, данная в монографии , позволяет утверждать, что в большинстве случаев распределение погрешностей измерений отличается от нормального. Так, в Машинно-электротехническом институте (г. Варна в Болгарии) было исследовано распределение погрешностей градуировки шкал аналоговых электроизмерительных приборов. Изучались приборы, изготовленные в Чехословакии, СССР и Болгарии. Закон распределения погрешностей оказался одним и тем же. Он имеет плотность

Были проанализированы данные о параметрах 219 фактических распределениях погрешностей, исследованных разными авторами, при измерении как электрических, так и не электрических величин самыми разнообразными (электрическими) приборами. В результате этого исследования оказалось, что 111 распределений, т.е. примерно 50% , принадлежат классу распределений с плотностью

где - параметр степени;b - параметр сдвига; - параметр масштаба;- гамма-функция от аргумента;

(см. ); 63 распределения, т.е. 30%, имеют плотности с плоской вершиной и пологими длинными спадами и не могут быть описаны как нормальные или, например, экспоненциальные. Оставшиеся 45 распределений оказались двухмодальными.

В книге известного метролога проф. П. В. Hовицкого приведены результаты исследования законов распределения различного рода погрешностей измерения. Он изучил распределения погрешностей электромеханических приборов на кернах, электронных приборов для измерения температур и усилий, цифровых приборов с ручным уpавновешиванием. Объем выборок экспериментальных данных для каждого экземпляра составлял 100-400 отсчетов. Оказалось, что 46 из 47 распределений значимо отличались от нормального. Исследована форма распределения погрешностей у 25 экземпляров цифровых вольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. Дальнейшие сведения содержатся в монографии .

В лаборатории прикладной математики Тартуского государственного университета проанализировано 2500 выбоpок из архива реальных статистических данных. В 92% гипотезу нормальности пришлось отвергнуть.

Приведенные описания экспеpиментальных данных показывают, что погрешности измерений в большинстве случаев имеют распределения, отличные от нормальных. Это означает, в частности, что большинство применений критерия Стьюдента, классического регрессионного анализа и других статистических методов, основанных на нормальной теории, строго говоря, не является обоснованным, поскольку неверна лежащая в их основе аксиома нормальности распределений соответствующих случайных величин.

Очевидно, для оправдания или обоснованного изменения существующей практики анализа статистических данных требуется изучить свойства процедур анализа данных при "незаконном" применении. Изучение процедур отбраковки показало, что они крайне неустойчивы к отклонениям от нормальности, а потому применять их для обработки реальных данных нецелесообразно (см. ниже); поэтому нельзя утверждать, что произвольно взятая процедура устойчива к отклонениям от нормальности.

Иногда предлагают перед применением, например, критерия Стьюдента однородности двух выбоpок проверять нормальность. Хотя для этого имеется много критериев, но проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистик типа Стьюдента, так и с помощью непараметрических критериев). Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более, чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве экономических, технических, медико-биологических и других прикладных исследований число наблюдений существенно меньше. Особенно это справедливо для данных, используемых при изучении проблем, связанных с обеспечением безопасности функционирования экономических структур и технических объектов.

Иногда пытаются использовать ЦПТ для приближения распределения погрешности к нормальному, включая в технологическую схему измерительного прибора специальные сумматоры. Оценим полезность этой меры. Пусть Z 1 , Z 2 ,…, Z k - независимые одинаково распределенные случайные величины с функцией распределения H = H (x ) такие, что Рассмотрим

Показателем обеспечиваемой сумматором близости к нормальности является

Правое неравенство в последнем соотношении вытекает из оценок константы в неравенстве Берри-Эссеена, полученном в книге , а левое - из примера в монографии . Для нормального закона =1,6, для равномерного= 1,3, для двухточечного=1 (это - нижняя граница для). Следовательно, для обеспечения расстояния (в метрике Колмогорова) до нормального распределения не более 0,01 для "неудачных" распределений необходимо не менееk 0 слагаемых, где

В обычно используемых сумматорах слагаемых значительно меньше. Сужая класс возможных распределений H , можно получить, как показано в монографии , более быструю сходимость, но теория здесь еще не смыкается с практикой. Кроме того, не ясно, обеспечивает ли близость распределения к нормальному (в определенной метрике) также и близость распределения статистики, построенной по случайным величинам с этим распределением, к распределению статистики, соответствующей нормальным результатам наблюдений. Видимо, для каждой конкретной статистики необходимы специальные теоретические исследования, Именно к такому выводу приходит автор монографии . В задачах отбраковки выбросов ответ: "Не обеспечивает" (см. ниже).

Отметим, что результат любого реального измерения записывается с помощью конечного числа десятичных знаков, обычно небольшого (2-5), так что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих конечное число значений. Нормальное распределение - лишь аппроксимация реального распределения. Так, например, данные конкретного исследования, приведенные в работе , принимают значения от 1,0 до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что в какой-то точке построенная по данным работы функция распределения отличается от ближайшей функции нормального распределения не менее чем на 1/26, т.е. на 0,04. Кроме того, очевидно, что для нормального распределения случайной величины вероятность попасть в дискретное множество десятичных чисел с заданным числом знаков после запятой равна 0.

Из сказанного выше следует, что результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их следует случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных, в других нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация, но никогда нет полного совпадения. Отсюда вытекает как необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях (подобно тому, как это сделано ниже для критерия Стьюдента), так и необходимость разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.

Литература

1. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с.

2. Новицкий П.В. Основы информационной теории измерительных устройств. -Л.: энергия, 1968. - 248 с.

3. Боровков А.А. Теория вероятностей. - М.: Наука, 1976. - 352 с.

4. Петров В.В. Суммы независимых случайных величин. - М.: Наука, 1972. - 416 с.

5. Золотарев В.М. Современная теория суммирования независимых случайных величин. - М.: Наука, 1986. - 416 с.

6. Егорова Л.А., Харитонов Ю.С., Соколовская Л.В.//Заводская лаборатория. - 1976. Т.42. №10. С. 1237.