Что показывает доверительная вероятность. Доверительные вероятности и уровни значимости

Теоремы 1 и 2 хотя и являются общими, т. е. сформулированы при достаточно широких предположениях, они не дают возможности установить, насколько близки оценки к оцениваемым параметрам. Из факта, что -оценки являются состоятельными, следует только то, что при увеличении объема выборки значение P (|θ * – θ | < δ), δ < 0, приближается к 1.

Возникают следующие вопросы.

1) Каким должен быть объем выборки п, чтобы заданная точность
|θ * – θ | = δ была гарантирована с заранее принятой вероятностью?

2) Какова точность оценки, если объем выборки известен и вероятность безошибочности вывода задана?

3) Какова вероятность того, что при заданном объеме выборки будет обеспечена заданная точность оценки?

Введем несколько новых определений.

Определение. Вероятность γ выполнения неравенства, |θ *– θ | < δ называется доверительной вероятностью или надежностью оценки θ .

Перейдем от неравенства |θ *–θ | < δ к двойному неравенству. Известно, что . Поэтому доверительную вероятность можно записать в виде

Так как θ (оцениваемый параметр) – число постоянное, а θ * – величина случайная, понятие доверительной вероятности сформулировать так: доверительной вероятностью γ называется вероятность того, что интервал (θ *– δ, θ *+ δ) накрывает оцениваемый параметр.

Определение. Случайный интервал (θ *–δ , θ *+δ ), в пределах которого с вероятностью γ находится неизвестный оцениваемый параметр, называется доверительным интервалом İ , соответствующим коэффициенту доверия γ,

İ= (θ*– δ, θ*+ δ ). (3)

Надежность оценки γ может задаваться заранее, тогда, зная закон распределения изучаемой случайной величины, можно найти доверительный интервал İ . Решается и обратная задача, когда по заданному İ находится соответствующая надежность оценки.

Пусть, например, γ = 0,95; тогда число р = 1 – у = 0,05 показывает, с какой вероятностью заключение о надежности оценки ошибочно. Число р=1–γ называется уровнем значимости. Уровень значимости задается заранее в зависимости от конкретного случая. Обычно р принимают равным 0,05; 0,01; 0,001.

Выясним, как построить доверительный интервал для математического ожидания нормально распределенного признака. Было показано, что

Оценим математическое ожидание с помощью выборочной средней учитывая, что также имеет нормальное распределение*. Имеем

(4)

а по формуле (12.9.2) получаем

Принимая во внимание (13.5.12), получим

(5)

Пусть известна вероятность γ . Тогда

Для удобства пользования таблицей функции Лапласа положим тогда а

Интервал

(7)

накрывает параметр а = М (Х ) с вероятностью γ .

В большинстве случаев среднее квадратическое отклонение σ(Х) исследуемого признака неизвестно. Поэтому вместо σ (Х ) при большой выборке (n > 30) применяют исправленное выборочное среднее квадратическое отклонение s , являющееся, в свою очередь оценкой σ (X ), доверительный интервал будет иметь вид

İ =

Пример. С вероятностью γ = 0,95 найти доверительный интервал для М (Х ) – длины колоса ячменя сорта «Московский 121». Распределение задается таблицей, в которой" вместо интервалов изменения (х i , х i + 1) взяты числа , см. Считать, что случайная величина X подчинена нормальному распределению.

Решение. Выборка большая (n = 50). Имеем

Найдем точность оценки

Определим доверительные границы:

Таким образом, с надежностью γ = 0,95 математическое ожидание заключено в доверительном интервале I = (9,5; 10,3).

Итак, в случае большой выборки (n > 30), когда исправленное среднее квадратическое отклонение незначительно отклоняется от среднего квадратического отклонения значения признака в генеральной совокупности, можно найти доверительный интервал. Но делать большую выборку удается не всегда и это не всегда целесообразно. Из (7) видно, что чем меньше п, тем шире доверительный интервал, т. е. I зависит от объема выборки п.

Английский статистик Госсет (псевдоним Стьюдент) доказал, что в случае нормального распределения признака X в генеральной совокупности нормирования случайная величина

(8)

зависит только от объема выборки. Была найдена функция распределения случайной величины Т и вероятность P (T < t γ ), t γ – точность оценки. Функция, определяемая равенством

s (n , t γ ) = P (|T | < t γ ) = γ (9)

названа t-распределением Стьюдента с п – 1 степенями свободы. Формула (9) связывает случайную величину Т, доверительный интервал İ и доверительную вероятность γ . Зная две из них, можно найти третью. Учитывая (8), имеем

(10)

Неравенство в левой части (13.7.10) заменим равносильным ему неравенством . В результате получим

(11)

где t γ =t (γ ,n ). Для функции t γ составлены таблицы (см. Приложение 5). При n >30 числа t γ и t, найденные по таблице функции Лапласа, практически совпадают.

Доверительный интервал для оценки среднего квадратического отклонения σ x в случае нормального распределения.

Теорема. Пусть известно, что случайная величина имеет нормальное распределение. Тогда для оценки параметра σ х этого закона имеет место равенство

(12)

где γ – доверительная вероятность, зависящая от объема выборки п и точности оценки β .

Функция γ = Ψ (n , β ) хорошо изучена. С ее помощью определяют β = β (γ ,п ). Для β = β (γ ,п ) составлены таблицы, по которым по известным п (объему выборки) и γ (доверительной вероятности) определяется β .

Пример. Для оценки параметра нормально распределенной случайной величины была сделана выборка (дневной удой 50 коров) и вычислено s = 1,5. Найти доверительный интервал, накрывающий с вероятностью γ = 0,95.

Решение. По таблице β (γ , п) для n = 50 и γ = 0,95 находим β = 0,21 (см. Приложение 6).

В соответствии с неравенством (13) найдем границы доверительного интервала. Имеем

1,5 – 0,21·1,5 = 1,185; 1,5 + 0,21·1,5 = 1,185;

Ранее нами было рассмотрено определение доверительной вероятности для отдельного измерения X i с помощью табл. 1.1, то есть определение вероятности того, что X i не будет отклоняться от истинного значения более чем на величину ΔX.

Однако, наиболее важной задачей является определение величины отклонения от истинного значения X ист среднего арифметического результатов измерений. Для решения поставленной задачи также можно воспользоваться табл. 1.1, взяв, вместо величины σ величину σ , то есть у / (n 0.5) или с учетом (1.14), для конечного числа измерений

Средняя квадратичная ошибка среднего арифметического S n равна средней квадратичной ошибке отдельного результата, деленой на корень квадратный из числа измерений.

Это фундаментальный закон возрастания точности при росте наблюдений. Из него следует, что для повышения точности измерений в 2 раза необходимо увеличить число измерений в 4 раза. Однако этот вывод относится только к измерениям, в которых точность результата полностью определяется случайной ошибкой.

Обычно выполняется сравнительно небольшое число измерений для n которых определяется величина S n . Если при оценке доверительной вероятности считать, что значение S n совпадает с у и пользоваться табл. 1.1, то будем получать завышенные значения α. Из того, что σ является пределом S n при n → ∞, следует, что S n пропорциональна величине σ . Коэффициент пропорциональности зависит от числа измерений и отражает степень приближения S n к σ . На основании этого интервал ΔX можно представить в виде

Значения величины t αn , носящей название коэффициента Стьюдента, вычислены для различных значений n и α и приведены в табл. 1.2. Сравнивая приведенные в ней данные с данными табл. 1.1, легко убедиться, что при больших n величина t αn стремится к соответствующим значениям величины ε. Это естественно, так как с увеличением n S n стремится к σ .

Используя коэффициенты Стьюдента, мы можем переписать равенство (1.14) в виде

Пользуясь этим соотношением и табл. 1.2, легко определить доверительные интервалы и доверительные вероятности при любом небольшом числе измерений. После выполнения измерений должны быть известны все величины, входящие в это выражение - одни из них могут быть наперед заданы, другие необходимо определить.

Мерой точности результатов измерений является относительная погрешность (ошибка), обычно выражаемая в процентах (%):


Величину ϕ = 1/δ, обратную относительной погрешности называют точностью измерений.

Используя таблицу коэффициентов Стьюдента, можно решить и обратную задачу: по известной абсолютной погрешности измерительного прибора и заданной величине надежности определить необходимое число измерений в серии.

Рассмотренные точечные оценки параметров распределения дают оценку в виде числа, наиболее близкого к значению неизвестного параметра. Такие оценки используют только при большом числе измерений. Чем меньше объем выборки, тем легче допустить ошибку при выборе параметра. Для практики важно не только получить точечную оценку, но и определить интервал, называемый доверительным, между границами которого с заданной дове рителъной вероятностью

где q - уровень значимости; х н, х в - нижняя и верхняя границы интервала, находится истинное значение оцениваемого параметра.

В общем случае доверительные интервалы можно строить на основе неравенства Чебышева. При любом законе распределения случайной величины, обладающей моментами первых двух порядков, верхняя граница вероятности попадания отклонения случайной величины х от центра распределения Х ц в интервал tS x описывается неравенством Чебышева

где S x - оценка СКО распределения; t - положительное число.

Для нахождения доверительного интервала не требуется знать закон распределения результатов наблюдений, но нужно знать оценку СКО. Полученные с помощью неравенства Чебышева интервалы оказываются слишком широкими для практики. Так, доверительной вероятности 0,9 для многих законов распределений соответствует доверительный интервал 1,6 S X . Неравенство Чебышева дает в данном случае 3,16 S X . В связи с этим оно не получило широкого распространения.

В метрологической практике используют главным образом кван-тильные оценки доверительного интервала. Под 100 P -процентным квантилем х р понимают абсциссу такой вертикальной линии, слева от которой площадь под кривой плотности распределения равна Р%. Иначе говоря, квантиль - это значение случайной величины (погрешности) с заданной доверительной вероятностью Р. Например, медиана распределения является 50%-ным квантилем х 0,5 .

На практике 25- и 75%-ный квантили принято называть сгибами, или квантилями распределения. Между ними заключено 50% всех возможных значений случайной величины, а остальные 50% лежат вне их. Интервал значений случайной величины х между х 0 05 и х 0 95 охватывает 90% всех ее возможных значений и называется интерквантильным промежутком с 90%-ной вероятностью. Его протяженность равна d 0,9 = х 0,95 - х 0,05 .

На основании такого подхода вводится понятие квантильных значений погрешности, т.е. значений погрешности с заданной доверительной вероятностью Р - границ интервала неопределенности ± D Д = ± (х р - х 1-р)/2 = ± d p /2. На его протяженности встречается Р% значений случайной величины (погрешности), a q = (1- Р)% общего их числа остаются за пределами этого интервала.

Для получения интервальной оценки нормально распределенной случайной величины необходимо:

Определить точечную оценку МО х ̅ и СКО S x случайной величины по формулам (6.8) и (6.11) соответственно;

Выбрать доверительную вероятность Р из рекомендуемого ряда значений 0,90; 0,95; 0,99;

Найти верхнюю х в и нижнюю х н границы в соответствии с уравнениями

полученными с учетом (6.1). Значения х н и х в определяются из таблиц значений интегральной функции распределения F (t ) или функции Лапласа Ф(1).

Полученный доверительный интервал удовлетворяет условию

(6.13)

где n - число измеренных значений; z p - аргумент функции Лапласа Ф(1), отвечающей вероятности Р/2. В данном случае z p называется квантильным множителем. Половина длины доверительного интервала называется доверительной границей погрешности результата измерений.

Пример 6.1. Произведено 50 измерений постоянного сопротивления. Определить доверительный интервал для МО значения постоянного сопротивления, если закон распределения нормальный с параметрами m x = R = 590 Ом, S x = 90 Ом при доверительной вероятности Р = 0,9.

Так как гипотеза о нормальности закона распределения не противоречит опытным данным, доверительный интервал определяется по формуле

Отсюда Ф(z р ) = 0,45. Из таблицы, приведенной в приложении 1, находим, что z p = 1,65. Следовательно, доверительный интервал запишется в виде

Или 590 - 21 < R < 590 + 21. Окончательно 509 Ом < R < 611 Ом.

При отличии закона распределения случайной величины от нормального необходимо построить его математическую модель и определять доверительный интервал с ее использованием.

Рассмотренный способ нахождения доверительных интервалов справедлив для достаточно большого числа наблюдений n , когда s = S x . Следует помнить, что вычисляемая оценка СКО S x является лишь некоторым приближением к истинному значению s . Определение доверительного интервала при заданной вероятности оказывается тем менее надежным, чем меньше число наблюдений. Нельзя пользоваться формулами нормального распределения при малом числе наблюдений, если нет возможности теоретически на основе предварительных опытов с достаточно большим числом наблюдений определить СКО.

Расчет доверительных интервалов для случая, когда распределение результатов наблюдений нормально, но их дисперсия неизвестна, т.е. при малом числе наблюдений п, возможно выполнить с использованием распределения Стьюдента S (t , k ). Оно описывает плотность распределения отношения (дроби Стьюдента):

где Q - истинное значение измеряемой величины. Величины х ̅ , S x . и S x ̅ вычисляются на основании опытных данных и представляют собой точечные оценки МО, СКО результатов измерений и СКО среднего арифметического значения.

Вероятность того, что дробь Стьюдента в результате выполненных наблюдений примет некоторое значение в интервале (- t p ; + t p )

(6.14)

где k - число степеней свободы, равное (п - 1). Величины t p (называемые в данном случае коэффициентами Стьюдента), рассчитанные с помощью двух последних формул для различных значений доверительной вероятности и числа измерений, табулированы (см. таблицу в приложении 1). Следовательно, с помощью распределения Стьюдента можно найти вероятность того, что отклонение среднего арифметического от истинного значения измеряемой величины не превышает

В тех случаях, когда распределение случайных погрешностей не является нормальным, все же часто пользуются распределением Стьюдента с приближением, степень которого остается неизвестной. Распределение Стьюдента применяют при числе измерений n < 30, поскольку уже при n = 20, ...,30 оно переходит в нормальное и вместо уравнения (6.14) можно использовать уравнение (6.13). Результат измерения записывается в виде: ; P = Р д, где Р д - конкретное значение доверительной вероятности. Множитель t при большом числе измерений n равен квантильному множителю z p . При малом n он равен коэффициенту Стьюдента.

Полученный результат измерения не является одним конкретным числом, а представляет собой интервал, внутри которого с некоторой вероятностью Р д находится истинное значение измеряемой величины. Выделение середины интервала х вовсе не предполагает, что истинное значение ближе к нему, чем к остальным точкам интервала. Оно может быть в любом месте интервала, а с вероятностью 1 - Р д даже вне его.

Пример 6.2. Определение удельных магнитных потерь для различных образцов одной партии электротехнической стали марки 2212 дало следующие результаты: 1,21; 1,17; 1,18; 1,13; 1,19; 1,14; 1,20 и 1,18 Вт/кг. Считая, что систематическая погрешность отсутствует, а случайная распределена по нормальному закону, требуется определить доверительный интервал при значениях доверительной вероятности 0,9 и 0,95. Для решения задачи использовать формулу Лапласа и распределение Стьюдента.

По формулам (6.8) в (6.11) находим оценки среднего арифметического значения и СКО результатов измерений. Они соответственно равны 1,18 и 0,0278 Вт/кг. Считая, что оценка СКО равна самому отклонению, находим:


Отсюда, используя значения функции Лапласа, приведенные в таблице приложения 1, определяем, что z p = 1,65. Для Р = 0,95 коэффициент z p =1,96. Доверительные интервалы, соответствующие Р = 0,9 и 0,95, равны 1,18 ± 0,016 и 1,18±0,019 Вт/кг.

В том случае, когда нет оснований считать, что СКО и его оценка равны, доверительный интервал определяется на основе распределения Стьюдента:

По таблице приложения 1 находим, что t 0,9 = 1,9 и t 0,95 = 2,37. Отсюда доверительные интервалы соответственно равны 1,18±0,019 и 1,18±0,023 Вт/кг.

Контрольные вопросы.

1. При каких условиях погрешность измерения может рассматриваться как случайная величина?

2. Перечислите свойства интегральной и дифференциальной функций распределения случайной величины.

3. Назовите числовые параметры законов распределения.

4. Каким образом может задаваться центр распределения?

5. Что такое моменты распределения? Какие из них нашли применение в метрологии?

6. Назовите основные классы распределений, используемых в метрологии.

7. Дайте характеристику распределениям, входящим в класс трапецеидальных распределений.

8. Что такое экспоненциальные распределения? Каковы их свойства и характеристики?

9. Что такое нормальное распределение? Почему оно играет особую роль в метрологии?

10. Что такое функция Лапласа и для чего она используется?

11. Как описывается и где используется семейство распределений Стьюдента?

12. Какие точечные оценки законов распределения вы знаете? Какие требования предъявляются к ним?

13. Что такое доверительный интервал? Какие "способы его задания вам известны?

Доверительный интервал пришел к нам из области статистики. Это определенный диапазон, который служит для оценки неизвестного параметра с высокой степенью надежности. Проще всего это будет пояснить на примере.

Предположим, нужно исследовать какую-либо случайную величину, например, скорость отклика сервера на запрос клиента. Каждый раз, когда пользователь набирает адрес конкретного сайта, сервер реагирует на это с разной скоростью. Таким образом, исследуемое время отклика имеет случайный характер. Так вот, доверительный интервал позволяет определить границы этого параметра, и затем можно будет утверждать, что с вероятностью в 95% сервера будет находиться в рассчитанном нами диапазоне.

Или же нужно узнать, какому количеству людей известно о торговой марке фирмы. Когда будет подсчитан доверительный интервал, то можно будет, к примеру, сказать что с 95% долей вероятности доля потребителей, знающих о данной находится в диапазоне от 27% до 34%.

С этим термином тесно связана такая величина, как доверительная вероятность. Она представляет собой вероятность того, что искомый параметр входит в доверительный интервал. От этой величины зависит то, насколько большим окажется наш искомый диапазон. Чем большее значение она принимает, тем уже становится доверительный интервал, и наоборот. Обычно ее устанавливают равной 90%, 95% или 99%. Величина 95% наиболее популярна.

На данный показатель также оказывает влияние дисперсия наблюдений и Его определение основано на том предположении, что исследуемый признак подчиняется Это утверждение известно также как Закон Гаусса. Согласно ему, нормальным называется такое распределение всех вероятностей непрерывной случайной величины, которое можно описать плотностью вероятностей. Если предположение о нормальном распределении оказалось ошибочным, то оценка может оказаться неверной.

Сначала разберемся с тем, как вычислить доверительный интервал для Здесь возможны два случая. Дисперсия (степень разброса случайной величины) может быть известна либо нет. Если она известна, то наш доверительный интервал вычисляется с помощью следующей формулы:

хср - t*σ / (sqrt(n)) <= α <= хср + t*σ / (sqrt(n)), где

α - признак,

t - параметр из таблицы распределения Лапласа,

σ - квадратный корень дисперсии.

Если дисперсия неизвестна, то ее можно рассчитать, если нам известны все значения искомого признака. Для этого используется следующая формула:

σ2 = х2ср - (хср)2, где

х2ср - среднее значение квадратов исследуемого признака,

(хср)2 - квадрат данного признака.

Формула, по которой в этом случае рассчитывается доверительный интервал немного меняется:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n)), где

хср - выборочное среднее,

α - признак,

t - параметр, который находят с помощью таблицы распределения Стьюдента t = t(ɣ;n-1),

sqrt(n) - квадратный корень общего объема выборки,

s - квадратный корень дисперсии.

Рассмотри такой пример. Предположим, что по результатам 7 замеров была определена исследуемого признака, равная 30 и дисперсия выборки, равная 36. Нужно найти с вероятностью в 99% доверительный интервал, который содержит истинное значение измеряемого параметра.

Вначале определим чему равно t: t = t (0,99; 7-1) = 3.71. Используем приведенную выше формулу, получаем:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n))

30 - 3.71*36 / (sqrt(7)) <= α <= 30 + 3.71*36 / (sqrt(7))

21.587 <= α <= 38.413

Доверительный интервал для дисперсии рассчитывается как в случае с известным средним, так и тогда, когда нет никаких данных о математическом ожидании, а известно лишь значение точечной несмещенной оценки дисперсии. Мы не будем приводить здесь формулы его расчета, так как они довольно сложные и при желании их всегда можно найти в сети.

Отметим лишь, что доверительный интервал удобно определять с помощью программы Excel или сетевого сервиса, который так и называется.