Таблицы статистики колмогорова для сложных гипотез. Случайной величины

На практике кроме критерия χ 2 часто используется критерий Колмогорова, в котором в качестве меры расхождения между теоретическим и эмпирическим распределениями рассматривают максимальное значение абсолютной величины разности между эмпирической функцией распределения и соответствующей теоретической функцией распределения

называемое статистикой критерия Колмогорова.

Задавая уровень значимости α, можно найти соответствующее критическое значение

В таблице приводятся критические значения , критерия Колмогорова для некоторых α.

Таблица 4.2.

Схема применения критерия Колмогорова

1.Строится эмпирическая функция распределения и предполагаемая теоретическая функция распределения F(x) .

2.Определяется статистика Колмогорова D – мера расхождения между теоретическим и эмпирическим распределением и вычисляется величина

3. Если вычисленное значение λ больше критического , то нулевая гипотеза Н 0 о том, что случайная величина Х имеет заданный закон распределения, отвергается.

Если , то считают, что гипотеза Н 0 не противоречит опытным данным.

Пример. С помощью критерия Колмогорова на уровне значимости α=0,05 проверить гипотезу Н 0 о том, что случайная величина Х – выработка рабочих предприятия – имеет нормальный закон распределения.

Решение . 1. Построим эмпирическую и теоретическую функции распределения.

Эмпирическую функцию распределения строят по относительным накопленным частотам.

Теоретическую функцию распределения построим согласно формуле

где

Результаты вычислений сведем в таблицу:

Таблица 4.3.

Описание критерия

Классический критерий Колмогорова (иногда говорят Колмогорова-Смирнова) предназначен для проверки простых гипотез о принадлежности анализируемой выборки некоторому полностью известному закону распределения.

Пусть - выборка независимых одинаково распределённых случайных величин, - эмпирическая функция распределения , - некоторая "истинная" функция распределения с известными параметрами. Статистика критерия определяется выражением:

Обозначим через гипотезу о том, что выборка подчиняется распределению . Тогда по теореме Колмогорова при справедливости проверяемой гипотезы:

0:%20%5Cquad%20%5Clim_%7Bn%20%5Cto%20%5Cinfty%7DP(%5Csqrt%7Bn%7D%20D_n%20%5Cleq%20t)=K(t)=%5Csum_%7Bj=-%5Cinfty%7D%5E%7B+%5Cinfty%7D(-1)%5Ej%20%5Cmathrm%7Be%7D%5E%7B-2j%5E2t%5E2%7D." alt="\forall t>0: \quad \lim_{n \to \infty}P(\sqrt{n} D_n \leq t)=K(t)=\sum_{j=-\infty}^{+\infty}(-1)^j \mathrm{e}^{-2j^2t^2}.">

Гипотеза отвергается, если статистика превышает квантиль распределения заданного уровня значимости , и принимается в противном случае.

Примечание: В критерии Колмогорова целесообразно использовать статистику с поправкой Большева: . Распределение этой статистики при справедливости проверяемой гипотезы быстро сходится к распределению Колмогорова и при 25%20" alt=" n>25 "> зависимостью от объема выборки можно пренебречь.

Использование критерия для проверки нормальности

В данном случае критерий Колмогорова используется для проверки гипотезы о принадлежности наблюдаемой выборки нормальному закону, параметры которого оцениваются по этой самой выборке методом максимального правдоподобия. То есть, проверяется сложная гипотеза и в качестве оценок параметров нормального закона используются выборочные оценки среднего и дисперсии.

В этом случае (Lilliefors) использовались модифицированные статистики вида:

.

Критические значения для статистики приведены в следующей таблице (Lilliefors):

	0,15	0,10	0,05	0,03	0,01
	0,775	0,819	0,895	0,955	1,035

Проверка сложных гипотез

При проверке сложных гипотез, когда по выборке оцениваются параметры закона, с которым проверяется согласие, непараметрические критерии согласия теряют свойство свободы от распределения (Kac, Kiefer, Wolfowitz). При проверке сложных гипотез условные распределения статистик непараметрических критериев согласия (и критерия Колмогорова) зависят от ряда факторов: от вида наблюдаемого закона, соответствующего справедливой проверяемой гипотезе; от типа оцениваемого параметра и числа оцениваемых параметров; в некоторых случаях от конкретного значения параметра (например, в случае семейств гамма- и бета-распределений); от метода оценивания параметров.

Различия в предельных распределениях той же самой статистики при проверке простых и сложных гипотез настолько существенны, что пренебрегать этим ни коем случае нельзя.

О применении критерия Колмогорова для проверки различных сложных гипотез см. на сайте Новосибирского государственного технического университета:

• Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография. – Новосибирск: Изд-во НГТУ, 2011. – 888 с. (главы 3 и 4)
• Модели распределений статистик непараметрических критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч.I // Измерительная техника. 2009. № 6. – С.3-11.
• Модели распределений статистик непараметрических критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч.II // Измерительная техника. 2009. № 8. – С.17-26.

Литература

1. Kolmogoroff A.N. Sulla determinazione empirica di una legge di distribuzione // Giornale dell` Istituto Italiano degly Attuari. 1933. – Vol. 4. – № 1. – P. 83-91.
2. Большев Л.Н., Смирнов Н.В. Таблицы математической статитики. М.: Наука, 1983.
3. Lilliefors H.W. On the Kolmogorov-Smirnov test for normality with mean and variance unknown // J. Am. Statist. Assoc., 1967. V.62. – P.399-402.
4. Kac M., Kiefer J., Wolfowitz J. On Tests of Normality and Other Tests of Goodness of Fit Based on Distance Methods // Ann. Math. Stat., 1955. V.26. – P.189-211.
5. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. – М.: Изд-во стандартов. 2002. – 64 с.

Назначение критерия

Критерий предназначен для сопоставления двух распределений:

а) эмпирического с теоретическим, например, равномерным или нормальным;

б) одного эмпирического распределения с другим эмпирическим распределением.

Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения.

Описание критерия

Если в методе мы сопоставляли частоты двух распределений отдельно по первому разряду, потом по сумме первого и второго разрядов, потом по сумме первого, второго и третьего разрядов и т.д. Таким образом, мы сопоставляем всякий раз накопленные к данному разряду частоты.

Если различия между двумя распределениями существенны, то в какой–то момент разность накопленных частот достигнет критического значения, и мы сможем признать различия статистически достоверными. В формулу критерия включается эта разность. Чем больше эмпирическое значение , тем более существенны различия.

Гипотезы

Различия между распределениями недостоверны (судя по точке максимального накопленного расхождения между ними).

: Различия между распределениями достоверны (судя по точке максимального накопленного расхождения между ними).

Для применения критерия Колмогорова–Смирнова необходимо соблюдать следующие условия:

1. Измерение может быть проведено шкале интервалов и отношений.

2. Выборки должны быть случайными и независимыми.

3. Желательно, чтобы суммарный объем двух выборок ≥ 50. С увеличением объема выборки точность критерия повышается.

4. Эмпирические данные должны допускать возможность упорядочения по возрастанию или убыванию какого-либо признака и обязательно отражать какое-то его однонаправленное изменение. В том случае, если трудно соблюсти принцип упорядоченности признака, лучше использовать критерий хи -квадрат.

Этот критерий используется для решения тех же задач, что и критерий xи -квадрат. Иначе говоря, с его помощью можно сра­нивать эмпирическое распределение с теоретическим или два эмпирических распределения друг с другом. Однако если при применении хи -квадрат мы сопоставляем частоты двух распределений, то в данном критерии сравниваются накопленные (кумулятивные) частоты по каждому разряду (альтернативе). При этом если разность накопленных частот в двух распределениях оказывается большой, то различия между двумя распределениями яв­ляются существенными.

Задача 8.12. Предположим, что в эксперименте психологу не­обходимо использовать шестигранный игральный кубик с цифрами на гранях от 1 до 6. Для чистоты эксперимента необходимо получить «идеальный» кубик, т.е. такой, чтобы при достаточно большом числе подбрасываний, каждая его грань выпадала бы примерно равное число раз. Задача состоит в выяснении того, будет ли данный кубик близок к идеальному?

Решение. Подбросим кубик 120 раз и сравним полученное эмпирическое распределение с теоретическим. Поскольку теоретическое распределение является равновероятным, то соответствующие теоретические частоты равны 20. Распределение эмпирических и теоретических частот представим совместно в таблице 8.15:

Для подсчета по критерию Колмогорова–Смирнова необхо­димо провести ряд преобразований с данными таблицы 8.15. Представим эти преобразования в таблице 8.16 и объясним их получение:

Символом FE в таблице 8.16 будем обозначать накопленные теоретические частоты. В таблице они получаются следующим образом: к первой теоретической частоте 20, добавляется вторая частота, также равная 20, получается число 20 + 20 = 40. Число 40 ставится на место второй частоты. Затем к числу 40 прибавляется следующая теоретическая частота, полученная величина 60 - ставится на место третьей теоретической частоты и так далее.

Символом FB в таблице 8.16 обозначаются накопленные эмпирические частоты. Для их подсчета необходимо расположить эмпирические частоты по возрастанию: 15, 18, 18, 21, 23, 25 и затем по порядку сложить. Так, вначале стоит первая частота равная 15, к ней прибавляется вторая по величине частота и полученная сумма 15 + 18 = 33 ставится на место второй частоты, затем к 33 добавляется 18 (33 + 18 = 51), полученное число 51 ставится на место третьей частоты и т.д.

Символом |FE - FB| в таблице 8.16 обозначаются абсолютные величины разности между теоретической и эмпирической частотой по каждому столбцу отдельно.

Эмпирическую величину этого критерия, которая обозначается как D эмп получают используя формулу (8.13):

Для её получения среди чисел |FE - FB| находят максимальное число (в нашем случае оно равно 9) и делят его на объем выборки п. В нашем случае п = 120, поэтому

Для этого критерия таблица с критическими значениями дана в Приложении 1 под № 13. Из таблицы 13 Приложения 1 следует, однако, что в том случае, если число элементов выборке больше 100, то величины критических значений вычисляются по формуле (8.14).

Назначение критерия . Критерий λ предназначен для сопоставления двух распределений: а). эмпирического с теоретическим, например, равномерным или нормальным; б). одного эмпирического распределения с другим эмпирическим распределением.

Ограничения критерия. Критерий требует, чтобы выборка была достаточно большой, ≥50.

Гипотезы:

: различия между двумя распределениями незначимы.

: различия между двумя распределениями значимы.

Алгоритм подсчета λ – критерия.

Составляем таблицу для удобства расчетов:

1. В первом столбце располагают эмпирические значения признака, упорядоченные по возрастанию.

2. Во втором столбце располагают эмпирические частоты для каждого значения, а в третьем столбце относительные эмпирические частоты для каждого значения, рассчитанные по формуле: f* эмп j = f эмп j / n, где f эмп j – эмпирическая частота из второго столбца, n – объем выборки.

3. Подсчитываем «накопленные» эмпирические частоты по формуле:

∑ f* эмп j = ∑ f* эмп j -1 + f* эмп j ,

где ∑ f* эмп j -1 – частота, накопленная на предыдущих значениях признака;

j – порядковый номер значения признака; f* эмп j – эмпирическая частота данного j разряда. Результаты помещают в 4 столбец.

4. В 5 столбце располагают накопленные теоретические частоты, если сравнивают с известным теоретическим распределением; если сравнивают 2 эмпирических распределения, то в 5 столбце располагают накопленные эмпирические частоты для выборки 2.

5. Подсчитывают разности между накопленными частотами и их абсолютные значения помещают в 6 столбец. Обозначим их d j .

6. Определяют по 6 столбцу максимальное значение d j → d max .

7. Подсчитывают λ эмп по формуле:

,

где n 1 – объем выборки 1, n 2 - объем выборки 2, если = = n, то .

8. По заданному уровню значимости из таблицы VII приложения находят граничную точку λ кр.

9. Если λ эмп < λ кр, то различия между распределениями признака незначимы; если λ эмп > λ кр, то различия между распределениями признака значимы.

Пример . В продовольственном магазине проведены контрольные взвешивания проданной колбасы. Объем выборки n = 100. Полученные данные указаны в таблице.

недовес, г
частота

Определить с помощью λ – критерия Колмогорова-Смирнова на уровне значимости α=0,05, согласуются ли данные выборки с равномерным распределением на отрезке .

Решение. : различия между эмпирическим и предполагаемым теоретическим распределением незначимы.

: различия между эмпирическим и предполагаемым теоретическим распределением значимы.

Функция распределения случайной величины, равномерно распределенной на отрезке имеет следующий вид:

Заполним таблицу:

x j	f эмп j	f эмп j /n	∑ f* эмп j	∑ f* теор j	d j
		0,10	0,10	0,1
		0,11	0,21	0,2	0,01
		0,08	0,29	0,3	0,01
		0,09	0,38	0,4	0,02
		0,12	0,50	0,5
		0,10	0,60	0,6
		0,13	0,73	0,7	0,03
		0,15	0,88	0,8	0,08
		0,12	1,00	0,9	0,1

Поясним, как заполняется таблица. Значения первых двух столбцов взяты из условия. Каждое число второго столбца делим на n = 100 и результат записываем в 3 столбец. Каждое число 4 столбца равно сумме числа из этой же строки 3 столбца и предыдущего числа 4 столбца. Каждое число 1 столбца подставляем в формулу f * теор = x j /10 и результат записываем в 5 столбец. 6 столбец – модуль разности 4 и 5 столбцов. Наибольшее число в 6 столбце d max =0,1; λ эмп =0,1 = 1.

По уровню значимости α = 0,05 из таблицы VI приложениия находим граничную точку λ кр = 1,358. Поскольку λ эмп < λ кр (1 < 1,358), то принимаем гипотезу на уровне значимости α = 0,05. Данные выборки согласуются с равномерным распределением на отрезке .

Критерий Колмогорова.

На практике кроме критерия часто используется критерий Колмогорова, в котором в качестве меры расхождения между теоретическим и эмпирическим распределениями рассматривают максимальное значение абсолютной величины разности между эмпирической функцией распределения
и соответствующей теоретической функцией распределения

, (1)

называемой статистикой критерия Колмогорова .

Доказано, что какова бы ни была функция распределения
непрерывной случайной величины
, при неограниченном увеличении числа наблюдений вероятность неравенства
стремится к пределу

Задавая уровень значимости
, из соотношения

(3)

можно найти соответствующее критическое значение .

Схема применения критерия Колмогорова следующая:

. (4)

Замечание

Можно отметить, что решение подобных задач можно было бы найти с помощью критерия . Потенциальное преимущества критерия Колмогорова в том, что он не требует группирования данных (с неизбежной потерей информации), а дает возможность рассматривать индивидуальные наблюдаемые значения. Этот критерий можно успешно применять для малых выборок. Считается, что его мощность, вообще говоря, выше, чем у критерия .

Пример Получена случайная выборка объема
. Построим вариационный ряд и эмпирическую функцию распределения:

Проверим гипотезу, что эти наблюдения образуют случайную выборку из распределения
с уровнем значимости
. Затем мы можем определить
графически либо аналитически, причем эти значения должны появиться в точке , соответствующей одной из наблюдаемых величин. С этой целью необходимо вычислить пары величин и (см. рис. 1) для каждого значения выборки.

Для вычисления вспомним: , где - функция стандартного нормального распределения. Результаты всех вычислений представим в виде таблицы:

Из таблицы результатов следует: . Из статистических таблиц получим
. Поскольку
, то принимается гипотеза
, т.е. можно считать, что данные подчиняются распределению .

Проверка гипотез об однородности выборок

Гипотезы об однородности выборок – это гипотезы о том, что рассматриваемые выборки извлечены из одной и той же генеральной совокупности.

Пусть имеются две независимые выборки, произведенные из генеральных совокупностей с неизвестными теоретическими функциями распределения
и
.

Проверяемая нулевая гипотеза имеет вид
против конкурирующей
. Будем предполагать, что функции и непрерывны.

Критерий Колмогорова-Смирнова использует ту же самую идею, что и критерий Колмогорова, но только в критерии Колмогорова сравнивается эмпирическая функция распределения с теоретической, а в критерии Колмогорова-Смирнова сравниваются две эмпирические функции распределения.

Статистика критерия Колмогорова-Смирнова имеет вид:

,

где
и
– эмпирические функции распределения, построенные по двум выборкам c объемами и . отвергается на уровне значимости , если фактически наблюдаемое значение больше критического , т.е.
, и принимается в противном случае.

Критерий Колмогорова-Смирнова в программе STATISTICA в среде Windows

Пример основан на исследовании агрессивности четырехлетних мальчиков и девочек (Siegel, S. (1956) Nonparametric statistics for the behavioral sciences (2nded.) New York: McGraw-Hill). Данные содержатся в файле Aggressn.sta.

Двенадцать мальчиков и двенадцать девочек наблюдались в течение 15-минутной игры; агрессивность каждого ребенка оценивалась в баллах (в терминах частоты и степени проявления агрессивности) и суммировалась в один индекс агрессивности, который вычислялся для каждого ребенка.

Задание анализа . Выберите Nonparametrics из меню Statistics. Затем выберете Comparing two independent samples (groups). Появится диалоговое окно Comparing Two Groups . Нажмите на кнопку Variables . Здесь выберете переменную variable Aggressn в Dependent variable list и переменную Gender в Indep . (grouping ) variable . Коды для однозначного отнесения каждого наблюдения к определенному полу будут автоматически выбраны программой.

Как видно из таблицы результатов, различие между агрессивностью мальчиков и девочек в этом исследовании высокозначимо.