Проверка гипотез

Постановка задачи

Статистической гипотезой называется непротиворечивое утверждение, касающееся вида распределения имеющейся выборки.

Основная гипотеза, нуждающаяся в проверке называется нулевой или нуль-гипотезой. Любая другая гипотеза, относительно которой проверяют нуль-гипотезу, называется альтернативой. Например: пусть имеется выборка из распределения хи-квадрат с $N$ степенями свободы. Нуль-гипотеза состоит в том, что –

$$H_0: N=2$$

альтернатива –

$$H_1: N>2$$

На практике альтернативу часто опускают, формулируя только нуль-гипотезу.

Гипотеза называется простой, если она однозначно определяет функцию распределения выборки. В противном случае гипотеза называется сложной. В примере: $H_0$ – это простая гипотеза, а $H_1$ – это сложная альтернатива.

Гипотезы бывают параметрическими, когда вид распределения известен заранее, с точностью до численных значений его параметров – как в примере выше. Кроме того, гипотезы могут быть непараметрическими.

Например: пусть имеется выборка из неизвестного распределения $F$. Нуль-гипотеза состоит в том, что –

$H_0: F$ – это равномерное распределение.

Проверка гипотез

Метод проверки статистической гипотезы называется статистическим критерием. Он строится на основе имеющейся выборки $\mathbf{x}=(x_1,\dots,x_I)$ с помощью измеримой функции $S(\mathbf{x})$, называемой статистикой критерия. В пространстве значений статистики $S(\mathbf{x})$ выбирается область $C$, называемая критической. Если $S(\mathbf{x}) ∈ С$, то гипотезу отклоняют (отвергают), в противном случае – принимают.

Статистика $S(\mathbf{x})$ должна быть устроена особым образом – так, чтобы ее распределение не зависело от неизвестных параметров распределения выборки $\mathbf{x}$. Кроме того функция распределения $S(\mathbf{x})$ должна быть табулирована заранее.

В большинстве практических приложений статистика $S(\mathbf{x})$ строится из соображений нормальности.

Ошибки 1-го и 2-го родов

Проверка статистической гипотезы не дает ее логического подтверждения или опровержения. Проверка только утверждает, что "имеющиеся данные (не) противоречат» выдвинутому предположению". Поэтому при проверке статистической гипотезы возможны случайные ошибки, которые могут быть двух родов.

Ошибка 1-го рода происходит тогда, когда нуль-гипотеза верна, но отвергается согласно критерию.

Ошибка 2-го рода происходит тогда, когда нуль-гипотеза не верна, но принимается согласно критерию.

Вероятность ошибки первого рода называется [уровнем значимости]http://ru.wikipedia.org/wiki/Уровень_значимости и обозначается $\alpha$.

Обычно уровень значимости выбирается равным $0.01$, $0.05$, или $0.1$ и по этому значению подбирают критическую область $C_α$.

Пример проверки гипотезы

Пусть имеется выборка $\mathbf{x}=(x_1,\dots,x_I)$ из нормального распределения –

$$x_i \sim N(\mu, \sigma^2)$$

с известной дисперсией $\sigma^2$ и неизвестным средним $\mu$.

Проверяется простая нуль-гипотеза:

$$H_0: \mu=0$$

Альтернативу мы сформулируем позже.

В качестве статистического критерия возьмем функцию

$$S(\mathbf{x}) = \sqrt{I} \frac{\bar{x}}{\sigma}$$

которая при $\mu=0$ подчиняется стандартному нормальному распределению –

$$S \sim N(0, 1)$$

При заданном уровне значимости α критическая область определяется условием –

$$\mathrm{Pr}\big\{ |S| > C_α \big\} = \alpha$$

Поэтому

$$C_α = \Phi^{–1}(1– \alpha/2)$$

Введем теперь альтернативную гипотезу –

$$H_1: \mu=a$$

и найдем величину ошибки 2-го рода. Ее величина

$$\beta = \mathrm{Pr} \big\{ |S|< C_α | \mu=a \big\}$$

рассчитывается при условии

$$S \sim N(а, 1)$$

Поэтому,

$$\beta = \Phi(C_α – a) – Φ(–C_α –a)$$

На листе Hypothesis приведены расчеты этого примера.

Критерий согласия хи-квадрат

Критерий согласия хи-квадрат проверяет соответствие между теоретическими вероятностями $P_1, P_2, \dots$ и их эмпирическими частотными оценками $I_1/I, I_2/I, \dots$.

Для примера рассмотрим выборку $\mathbf{x}=(x_1,\dots,x_I)$ из неизвестного распределения –

$$x_i \sim F(x)$$

Нуль гипотеза состоит в конкретизации этого распределения, т.е. в утверждении типа «$F$ – это нормальное распределение с нулевым средним и дисперсией равной 2»

В соответствие с выбранным гипотетическим распределением, область изменения случайной величины $X$, разбивается на $R$ классов (корзин) и рассчитываются теоретические вероятности $P_1, P_2, \dots, P_R$ попадания в каждую из корзин. С другой стороны определяется, сколько элементов выборки попало в каждую из этих корзин – $I_1, I_2, \dots, I_R$ и вычисляются эмпирические вероятности $F_r=I_r/I$.

Статистикой критерия согласия служит случайная величина

$$S = \sum_{r=1}^R \frac{(I_r - IP_r)^2}{IP_r} = I \sum_{r=1}^R \frac{(F_r - P_r)^2}{P_r}$$

которая при $I \to \infty$ стремится к распределению хи-квадрат с $R–1$ степенями свободы. Число и размеры корзин надо выбирать так, чтобы

$$IP_r > 6$$

Критическая область на уровне значимости α определяется условием –

$$S > \chi^{–2}(1–\alpha | R–1)$$

Критерий согласия хи-квадрат можно применять и в том случае, когда теоретическое распределение $F(x | \mathbf{p})$ известно с точностью до неизвестных параметров $\mathbf{p} = (p_1,\dots,p_M)$. Эти параметры предварительно оцениваются по той же выборке $\mathbf{x}$ и подставляются в функцию $F(x|\mathbf{p})$. В этом случае следует изменить число степеней свободы на $R–M–1$.

Для проверки согласия по критерию хи-квадрат в Excel применяется стандартная функция CHITEST (ХИ2ТЕСТ):

CHITEST(actual_range, expected_range)

Вычисляет статистику $S$ приведеную выше используя actual_range=(I1, I2,...,IR) и expected_range=(IP1, IP2,...,IPR). Возвращает вероятность $P= 1 – \chi^2(S|R–1)$.

Для принятия гипотезы на уровне значимости $\alpha$ необходимо, чтобы $P>1–\alpha$.

F-критерий

Этот критерий применяется для проверки нуль-гипотезы о равенстве дисперсий в двух нормальных выборках: $\mathbf{x}=(x_1,\dots,x_I)$ и $\mathbf{y}=(y_1,\dots,y_J)$. Пусть $s_x^2$, $s_y^2$ – суть оценки выборочных дисперсий.

Если $s_x^2 > s_y^2$, то обозначим:

$$s_1^2 = s_x^2, N_1 = I - 1$$ $$s_2^2 = s_y^2, N_2 = J - 1$$

Иначе:

$$s_1^2 = s_y^2, N_1 = J - 1$$ $$s_2^2 = s_x^2, N_2 = I - 1$$

Статистикой $F$-критерия служит случайная величина

$$S = \frac{s_1^2}{s_2^2} \sim F(N_1, N_2)$$

которая подчиняется распределению Фишера с $N_1$, $N_2$ степенями свободы.

Критическая область на уровне значимости $\alpha$ определяется условием:

$$S > F^{–1}(1–\alpha | N_1, N_2)$$

$F$-критерий очень чувствителен к нарушению предположения о нормальности распределений выборок, поэтому его не рекомендуется применять в практических приложениях.

Для проверки $F$-критерия в Excel применяется стандартная функция FTEST (ФТЕСТ):

FTEST(x, y)

Возвращает вероятность $P= 2[1 – F(S | N_1, N_2)]$. Для принятия гипотезы на уровне значимости $\alpha$ необходимо, чтобы $P>2\alpha$.