Оценивание математического ожидания случайной величины. Точечные оценки математического ожидания

Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений

(1)

Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:

(2)

Покажем, что оценка является несмещенной:

Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что

где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .

Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.

Оценки математического дисперсии

На первый взгляд наиболее естественной оценкой представляется

(3)

где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :

Подставим в эту формулу выражение (2):

Найдем математическое ожидание оценки дисперсии:

(4)

Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.

	(5)
при .	(6)

Пусть имеется случайная величина X, и ее параметры математическое ожидание а и дисперсия неизвестны. Над величиной X произведеноn независимых опытов, давших результаты x 1, x 2, x n .

Не уменьшая общности рассуждений, будем считать эти значения случайной величины различными. Будем рассматривать значения x 1, x 2, x n как независимые, одинаково распределенные случайные величины X 1, X 2, X n .

Простейший метод статистического оценивания - метод подстановки и аналогии - состоит в том, что в качестве оценки той или иной числовой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки - выборочную характеристику.

По методу подстановки в качестве оценки математического ожидания а надо взять математическое ожидание распределения выборки - выборочное среднее. Таким образом, получаем

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки а , рассмотрим эту статистику как функцию выбранного вектора (X 1, X 2, X n). Приняв во внимание, что каждая из величин X 1, X 2, X n имеет тот же закон распределения, что и величина X, заключаем, что и числовые характеристики этих величин и величины X одинаковые: M(X i ) = M(X) = a , D(X i ) = D(X) = , i = 1, 2, n, причем X i - независимые в совокупности случайные величины.

Следовательно,

Отсюда по определению получаем, что - несмещенная оценка а , и так как D()®0 при n®¥, то в силу теоремы предыдущего параграфа является состоятельной оценкой математического ожидания а генеральной совокупности.

Эффективность или неэффективность оценки зависит от вида закона распределения случайной величины X. Можно доказать, что если величина X распределена по нормальному закону, то оценка является эффективной. Для других законов распределения это может быть не так.

Несмещенной оценкой генеральной дисперсии служит исправленная выборочная дисперсия

,

Так как , где - генеральная дисперсия. Действительно,

Оценка s -- 2 для генеральной дисперсии является также и состоятельной, но не является эффективной. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

Итак, если дана выборка из распределения F(x ) случайной величины X с неизвестным математическим ожиданием а и дисперсией , то для вычисления значений этих параметров мы имеем право пользоваться следующими приближенными формулами:

a ,

.

Здесь x- i - - варианта выборки, n- i - - частота варианты x i , - - объем выборки.
Для вычисления исправленной выборочной дисперсии более удобна формула

.

Для упрощения расчета целесообразно перейти к условным вариантам (в качестве с выгодно брать первоначальную варианту, расположенную в середине интервального вариационного ряда). Тогда

, .

Интервальное оценивание

Выше мы рассмотрели вопрос об оценке неизвестного параметра а одним числом. Такие оценки мы назвали точечными. Они имеют тот недостаток, что при малом объеме выборки могут значительно отличаться от оцениваемых параметров. Поэтому, чтобы получить представление о близости между параметром и его оценкой, в математической статистике вводятся, так называемые, интервальные оценки.

Пусть во выборке для параметра q найдена точечная оценка q * . Обычно исследователи заранее задаются некоторой достаточно большой вероятностью g (например, 0,95; 0,99 или 0,999) такой, что событие с вероятностью g можно считать практически достоверным, и ставят вопрос об отыскании такого значения e > 0, для которого

.

Видоизменив это равенство, получим:

и будем в этом случае говорить, что интервал ]q * - e; q * + e[ покрывает оцениваемый параметр q с вероятностью g.

Интервал ]q * -e; q * +e [ называется доверительным интервалом .

Вероятность g называется надежностью (доверительной вероятностью) интервальной оценки.

Концы доверительного интервала, т.е. точки q * -e и q * +e называются доверительными границами .

Число e называется точностью оценки .

В качестве примера задачи об определении доверительных границ, рассмотрим вопрос об оценке математического ожидания случайной величины Х, имеющей нормальный закон распределения с параметрами а и s, т.е. Х = N(a , s). Математическое ожидание в этом случае равно а . По наблюдениям Х 1 , Х 2 , Х n вычислим среднее и оценку дисперсии s 2 .

Оказывается, что по данным выборки можно построить случайную величину

которая имеет распределение Стьюдента (или t-распределение) с n = n -1 степенями свободы.

Воспользуемся таблицей П.1.3 и найдем для заданных вероятности g и числа n число t g такое, при котором вероятность

P(|t(n)| < t g) = g,

.

Сделав очевидные преобразования получим,

Порядок применения F-критерия следующий:

1. Принимается предположение о нормальности распределения генеральных совокупностей. При заданном уровне значимости a формулируется нулевая гипотеза Н 0: s х 2 = s y 2 о равенстве генеральных дисперсий нормальных совокупностей при конкурирующей гипотезе Н 1: s х 2 > s y 2 .

2. Получают две независимые выборки из совокупностей Х и Y объемом n x и n y соответственно.

3. Рассчитывают значения исправленных выборочных дисперсий s х 2 и s y 2 (методы расчета рассмотрены в §13.4). Большую из дисперсий (s х 2 или s y 2) обозначают s 1 2 , меньшую - s 2 2 .

4. Вычисляется значение F-критерия по формуле F набл = s 1 2 / s 2 2 .

5. По таблице критических точек распределения Фишера - Снедекора, по заданному уровню значимости a и числом степеней свободы n 1 = n 1 - 1, n 2 = n 2 - 1 (n 1 - число степеней свободы большей исправленной дисперсии), находится критическая точка F кр (a, n 1 , n 2).

Отметим, что в таблице П.1.7 приведены критические значения одностороннего F-критерия. Поэтому, если применяется двусторонний критерий (Н 1: s х 2 ¹ s y 2), то правостороннюю критическую точку F кр (a/2, n 1 , n 2) ищут по уровню значимости a/2 (вдвое меньше заданного) и числам степеней свободы n 1 и n 2 (n 1 - число степеней свободы большей дисперсии). Левостороннюю критическую точку можно и не отыскивать.

6. Делается вывод: если вычисленное значение F-критерия больше или равно критическому (F набл ³ F кр), то дисперсии различаются значимо на заданном уровне значимости. В противном случае (F набл < F кр) нет оснований для отклонения нулевой гипотезы о равенстве двух дисперсий.

Задача 15.1 . Расход сырья на единицу продукции по старой технологии составил:

По новой технологии:

Предположив, что соответствующие генеральные совокупности X и Y имеют нормальные распределения, проверить, что по вариативности расход сырья по новой и старой технологиям не отличаются, если принять уровень значимости a = 0,1.

Решение . Действуем в порядке, указанном выше.

1. Будем судить о вариативности расхода сырья по новой и старой технологиям по величинам дисперсий. Таким образом, нулевая гипотеза имеет вид Н 0: s х 2 = s y 2 . В качестве конкурирующей примем гипотезу Н 1: s х 2 ¹ s y 2 , поскольку заранее не уверены в том, что какая-либо из генеральных дисперсий больше другой.

2-3. Найдем выборочные дисперсии. Для упрощения вычислений перейдем к условным вариантам:

u i = x i - 307, v i = y i - 304.

Все вычисления оформим в виде следующих таблиц:

u i	m i	m i u i	m i u i 2	m i (u i +1) 2		v i	n i	n i v i	n i v i 2	n i (v i +1) 2
-3		-3				-1		-2
å	-
						å	-

Контроль: å m i u i 2 + 2å m i u i + m i = Контроль: å n i v i 2 + 2å n i v i + n i = 13 + 2 + 9 = 24 = 34 + 20 + 13 = 67

Найдем исправленные выборочные дисперсии:

4. Сравним дисперсии. Найдем отношение большей исправленной дисперсии к меньшей:

.

5. По условию конкурирующая гипотеза имеет вид s х 2 ¹ s y 2 , поэтому критическая область двусторонняя и при отыскании критической точки следует брать уровни значимости, вдвое меньше заданного.

По таблице П.1.7 по уровню значимости a/2 = 0,1/2 = 0,05 и числам степеней свободы n 1 = n 1 - 1 = 12, n 2 = n 2 - 1 = 8 находим критическую точку F кр (0,05; 12; 8) = 3,28.

6. Так как F набл. < F кр то гипотезу о равенстве дисперсий расхода сырья при старой и новой технологиях принимаем.

Выше при проверке гипотез предполагалось нормальность распределения исследуемых случайных величин. Однако специальные исследования показали, что предложенные алгоритмы весьма устойчивы (особенно при больших объемах выборок) по отношению к отклонению от нормального распределения.

Параметры распределения и статистика

Любые параметры распределения случайной переменной, например, такие как математическое ожидание или дисперсия, являются теоретическими величинами, недоступными непосредственному измерению, хотя их и можно оценить. Они представляют собой количественную характеристику генеральной совокупности и могут быть сами по себе определены лишь в ходе теоретического моделирования как гипотетические величины, поскольку они описывают особенности распределения случайной величины в самой генеральной совокупности. Для того чтобы определить их на практике, исследователь, проводящий эксперимент, осуществляет их выборочную оценку. Такая оценка предполагает статистический подсчет.

Статистика представляет собой количественную характеристику исследуемых параметров, характеризующих распределение случайной величины, полученную на основе исследования выборочных значений. Статистика используется либо для описания самой выборки, либо, что имеет первостепенное значение в фундаментальных экспериментальных исследованиях, для оценки параметров распределения случайной величины в исследуемой генеральной совокупности.

Разделение понятий "параметр " и "статистика " является очень важным, так как оно позволяет избежать ряд ошибок, связанных с неверным толкованием данных, получаемых в эксперименте. Дело в том, что, когда мы оцениваем параметры распределения с помощью статистических данных, мы получаем величины, лишь в определенной степени близкие к оцениваемым параметрам. Между параметрами и статистикой практически всегда существует какое-то различие, причем, насколько велико это различие, мы, как правило, сказать не можем. Теоретически чем больше выборка, тем ближе оцениваемые параметры оказываются к их выборочным характеристикам. Однако это не означает, что, увеличив объем выборки, мы неминуемо ближе подойдем к оцениваемому параметру, уменьшим разницу между ним и вычисленной статистикой. На практике все может оказаться значительно сложнее.

Если в теории ожидаемое значение статистики совпадает с оцениваемым параметром, то такую оценку называют несмещенной. Оценку, при которой ожидаемое значение оцениваемого параметра отличается от самого параметра на некоторую величину, называют смещенной.

Также следует различать точечную и интервальную оценки параметров распределения. Точечной называют оценку с помощью какого-либо числа. Например, если мы утверждаем, что величина пространственного порога тактильной чувствительности для данного испытуемого в данных условиях и на данном участке кожи составляет 21,8 мм, то такая оценка будет точечной. Точно так же точечная оценка имеет место, когда в сводке погоды нам сообщают, что за окном 25°С. Интервальная оценка предполагает использование в оценке набора или диапазона чисел. Оценивая пространственный порог тактильной чувствительности, мы может сказать, что он оказался в диапазоне от 20 до 25 мм. Аналогичным образом синоптики могут сообщить, что по их прогнозам температура воздуха в ближайшие сутки достигнет значения 22–24°С. Интервальная оценка случайной величины позволяет нам не только определить искомое значение этой величины, но и задать возможную точность для такой оценки.

Математическое ожидание и его оценка

Вернемся к нашему опыту с подбрасыванием монеты.

Попытаемся ответить на вопрос: сколько раз должен выпасть "орел", если мы подбросим монету десять раз? Ответ, по-видимому, очевиден. Если вероятности каждого из двух исходов равны, то и сами исходы должны распределяться равным образом. Иными словами, при десятикратном подбрасывании обычной монеты мы вправе ожидать, что одна из ее сторон, например "орел", выпадет ровно пять раз. Аналогично при 100-кратном бросании монеты "орел" должен выпасть ровно 50 раз, а если монету бросить 4236 раз, то интересующая нас сторона должна появиться 2118 раз, не больше и не меньше.

Итак, теоретическое значение случайного события принято называть математическим ожиданием . Математическое ожидание может быть найдено путем умножения теоретической вероятности случайной величины на число испытаний. Более формально, однако, оно определяется как центральный момент первого порядка. Таким образом, математическое ожидание – это то значение случайной величины, к которому оно теоретически стремится при повторных испытаниях, относительно которого оно варьирует.

Ясно, что теоретическое значение математического ожидания как параметра распределения не всегда оказывается равным эмпирическому значению интересующей нас случайной величины, выраженной в статистике. Если мы проделаем опыт с подбрасыванием монеты, то вполне вероятно, что из десяти исходов "орел" выпадет лишь четыре или три раза, а может быть, напротив, он выпадет восемь раз, а может, и никогда не выпадет. Ясно, что какой-то из этих исходов оказывается более, какой-то менее вероятным. Если воспользоваться законом нормального распределения, то можно прийти к выводу, что чем больше результат отклоняется от теоретически ожидаемого, заданного величиной математического ожидания, тем он менее вероятен на практике.

Предположим далее, что мы проделали подобную процедуру несколько раз и ни разу не наблюдали теоретически ожидаемого значения. Тогда у нас может возникнуть сомнение относительно подлинности монеты. Мы можем предположить, что для нашей монеты вероятность выпадения "орла" на самом деле не равна 50%. В таком случае может понадобиться оценить величину вероятности этого события и соответственно величину математического ожидания. Такая необходимость возникает всякий раз, когда в эксперименте мы исследуем распределение непрерывной случайной величины, такой как время реакции, не имея заранее какой-либо теоретической модели. Как правило, это первый обязательный шаг в ходе количественной обработки результатов эксперимента.

Математическое ожидание можно оценить тремя способами, которые на практике могут дать несколько различные результаты, но в теории они должны непременно привести нас к величине математического ожидания.

Логику такой оценки иллюстрирует рис. 1.2. Математическое ожидание может быть рассмотрено как центральная тенденция в распределении случайной величины х, как наиболее вероятное и потому наиболее часто встречающееся ее значение и как точка, делящая распределение на две равные части.

Рис. 1.2.

Продолжим наши воображаемые опыты с монетой и проведем три эксперимента с десятикратным ее подбрасыванием. Предположим, что в первом эксперименте "орел" выпал четыре раза, то же самое произошло и во втором опыте, в третьем опыте "орел" выпадал более чем в полтора раза чаще – семь раз. Логично предположить, что математическое ожидание интересующего нас события на самом деле лежит где-то между этими величинами.

Первый , простейший способ оценки математического ожидания будет состоять в нахождении среднего арифметического. Тогда оценка математического ожидания на основе приведенных выше трех измерений будет равна (4 + 4 + 7)/3 = 5. Аналогичным образом в экспериментах со временем реакции математическое ожидание может быть оценено путем вычисления среднего арифметического всех полученных значений х. Так, если мы провели п замеров времени реакции х, то можем воспользоваться следующей формулой, которая показывает нам, что для вычисления среднего арифметического значения X необходимо сложить все эмпирически полученные величины и разделить их на число наблюдений:

В формуле (1.2) меру математического ожидания принято обозначать как ̅х (читается как "икс с чертой"), хотя иногда она может обозначаться как М (от англ. mean – среднее).

Среднее арифметическое является наиболее часто используемой оценкой математического ожидания. В таких случаях предполагается, что измерения случайной величины осуществляется в метрической шкале. Ясно, что полученный результат может совпадать, а может и не совпадать с истинным значением математического ожидания, которое нам никогда не известно. Важно, однако, что такой способ является несмещенной оценкой математического ожидания. Это значит, что ожидаемое значение оцениваемой величины равно ее математическому ожиданию: .

Второй способ оценки математического ожидания состоит в том, чтобы за его величину принять наиболее часто встречающееся значение интересующей нас переменной. Это значение называется модой распределения. Например, в рассмотренном только что случае с подбрасыванием монеты за величину математического ожидания можно принять "четыре", так как в трех проведенных испытаниях эта величина появлялась дважды; именно поэтому мода распределения в этом случае оказалась равной четырем. Оценка моды применяется главным образом в том случае, когда экспериментатор имеет дело с переменными, принимающими дискретные значения, заданные в неметрической шкале.

Например, описывая распределение оценок студентов на экзамене, можно построить частотное распределение полученных студентами оценок. Такое частотное распределение называется гистограммой. За величину центральной тенденции (математического ожидания) в этом случае можно принять наиболее распространенную оценку. При исследовании переменных, характеризующихся непрерывными значениями, эта мера практически не применяется или применяется редко. Если же частотное распределение полученных результатов все-таки строится, то оно, как правило, касается не самих полученных в эксперименте значений исследуемого признака, а некоторых интервалов его проявления. Скажем, исследуя рост людей, можно посмотреть, сколько человек попадает в интервал до 150 см роста, сколько в интервал от 150 до 155 см и т.д. В этом случае мода будут иметь отношение к интервальным значениям исследуемого признака, в данном случае – роста.

Понятно, что мода, как и среднее арифметическое, может совпадать, а может и не совпадать с действительным значением математического ожидания. Но так же, как и среднее арифметическое, мода является несмещенной оценкой математического ожидания.

Добавим, что если два значения в выборке встречаются одинаково часто, то такое распределение называют бимодальным. Если три и больше значений в выборке встречаются одинаково часто, то говорят, что такая выборка не имеет моды. Такие случаи при достаточно большом числе наблюдений, как правило, свидетельствуют о том, что данные извлечены из генеральной совокупности, характер распределения в которой отличается от нормального.

Наконец, третий способ оценки математического ожидания состоит в том, чтобы поделить выборку испытуемых по интересующему нас параметру ровно пополам. Величина, характеризующая эту границу, называется медианой распределения.

Предположим, мы присутствуем на лыжных соревнованиях и после их окончания желаем оценить, кто из спортсменов показал результат выше среднего, а кто – ниже. Если состав участников более или менее ровный, то при оценке среднего результата логично вычислить среднее арифметическое. Предположим, однако, что среди участников-профессионалов есть несколько любителей. Их немного, но они показывают результаты, значительно уступающие остальным. В этом случае может оказаться, что из 100 участников соревнований, например, результат выше среднего показали 87. Ясно, что такая оценка средней тенденции нас нс всегда может устроить. В этом случае логично предполагать, что средний результат показали участники, занявшие где-то 50-е или 51-е место. Это как раз и будет медианой распределения. До 50-го финалиста финишировали 49 участников, после 51-го – тоже 49. Непонятно, правда, чей же результат из них принять за средний. Конечно, может оказаться, что они финишировали с одинаковым временем. Тогда проблемы не возникает. Не возникает проблемы и тогда, когда число наблюдений оказывается нечетным. В других случаях, однако, можно воспользоваться усреднением результатов двух участников.

Медиана представляет собой частный случай квантиля распределения. Квантиль – это часть распределения. Формально его можно определить как интегральное значение распределения между двумя величинами переменной X. Таким образом, величина X будет являться медианой распределения, если интегральное значение распределения (плотность вероятности) от -∞ до X равно интегральному значению распределения от X до +∞. Аналогичным образом распределение можно делить на четыре, десять или 100 частей. Такие квантили соответственно называются квартилями, децилями и перцентилями. Существуют и другие виды квантилей.

Так же, как и два предыдущих способа оценки математического ожидания, медиана является несмещенной оценкой математического ожидания.

Теоретически предполагается, что если мы имеем дело действительно с нормальным распределением случайной величины, то все три оценки математического ожидания должны давать один и тот же результат, так как все они представляют собой вариант несмещенной оценки одного и того же параметра распределения оцениваемой случайной величины (см. рис. 1.2). На практике, однако, такое встречается редко. Это может быть связано, в частности, и с тем, что анализируемое распределение отличается от нормального. Но основная причина таких несовпадений, как правило, состоит в том, что, оценивая величину математического ожидания, можно получить значение, весьма значительно отличающееся от его истинной величины. Впрочем, как уже было отмечено выше, в математической статистике доказано, что чем больше независимых испытаний рассматриваемой переменной проведено, тем ближе оцениваемое значение должно оказаться к истинному.

Таким образом, на практике выбор способа оценки математического ожидания определяется не стремлением получить более точную и надежную оценку этого параметра, а лишь соображениями удобства. Также определенную роль в выборе способа оценки математического ожидания играет измерительная шкала, в которой отражаются сами наблюдения оцениваемой случайной величины.

Пусть над случайной величиной с неизвестными математическим ожиданием и дисперсией произведено независимых опытов, давших результаты – . Вычислим состоятельные и несмещенные оценки для параметров и .

В качестве оценки для математического ожидания возьмем среднее арифметическое опытных значений

. (2.9.1)

Согласно закону больших чисел эта оценка является состоятельной , при величина по вероятности. Эта же оценка является и несмещенной , поскольку

. (2.9.2)

Дисперсия этой оценки равна

. (2.9.3)

Можно показать, что для нормального закона распределения эта оценка является эффективной . Для других законов это может быть и не так.

Оценим теперь дисперсию. Выберем сначала для оценки формулу для статистической дисперсии

. (2.9.4)

Проверим состоятельность оценки дисперсии. Раскроем скобки в формуле (2.9.4)

.

При первое слагаемое сходится по вероятности к величине , в второе – к . Таким образом наша оценка сходится по вероятности к дисперсии

,

следовательно, она является состоятельной .

Проверим несмещенность оценки для величины . Для этого подставим в формулу (2.9.4) выражение (2.9.1) и учтем, что случайные величины независимы

,

. (2.9.5)

Прейдем в формуле (2.9.5) к флуктуациям случайных величин

Раскрывая скобки, получим

,

. (2.9.6)

Вычислим математическое ожидание величины (2.9.6), учитывая, что

. (2.9.7)

Соотношение (2.9.7) показывает, что величина , вычисленная по формуле (2.9.4) не является несмещенной оценкой для дисперсии . Ее математическое ожидание не равно, а несколько меньше . Такая оценка приводит к систематической ошибке в сторону уменьшения. Для ликвидации такого смещения нужно ввести поправку, умножив не величину . Тогда такая исправленная статистическая дисперсия может служить несмещенной оценкой для дисперсии

. (2.9.8)

Эта оценка является состоятельной также как и оценка , поскольку при величина .

На практике, вместо оценки (2.9.8) иногда удобнее применять эквивалентную оценку, связанную со вторым начальным статистическим моментом

. (2.9.9)

Оценки (2.9.8), (2.9.9) не являются эффективными. Можно показать, что в случае нормального закона распределения они будут асимптотически эффективными (при будут стремиться к минимально возможному значению).

Таким образом, можно сформулировать следующие правила обработки ограниченного по объему статистического материала. Если в независимых опытах случайная величина принимает значения с неизвестными математическим ожиданием и дисперсией , то для определения этих параметров следует пользоваться приближенными оценками

(2.9.10)

Конец работы -

Эта тема принадлежит разделу:

Конспект лекций по математике теория вероятностей математическая статистика

Кафедра высшей математики и информатики.. конспект лекций.. по математике..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Твитнуть

Все темы данного раздела:

Теория вероятностей
Теория вероятностей – раздел математики, в котором изучаются закономерности случайных массовых явлений. Случайным называется явление, которо

Статистическое определение вероятности
Событием называется случайное явление, которое в результате опыта может появится или не появится (двузначное явление). Обозначают события большими латинскими буквами

Пространство элементарных событий
Пусть с некоторым опытом связано множество событий, причем: 1) в результате опыта появляется одно и только одно

Действия на событиями
Суммой двух событий и

Перестановки
Число различных перестановок из элементов обозначается

Размещения
Размещением из элементов по

Сочетания
Сочетанием из элементов по

Формула сложения вероятностей для несовместных событий
Теорема. Вероятность суммы двух несовместных событий равна сумме вероятностей этих событий. (1

Формула сложения вероятностей для произвольных событий
Теорема. Вероятность суммы двух событий равна сумме вероятностей этих событий без вероятности их произведения.

Формула умножения вероятностей
Пусть даны два события и. Рассмотрим событие

Формула полной вероятности
Пусть – полная группа несовместных событий, их называют гипотезами. Рассмотрим некоторое событие

Формула вероятностей гипотез (Байеса)
Рассмотрим снова – полную группу несовместных гипотез и событие

Асимптотическая формула Пуассона
В тех случаях, когда число испытаний велико, а вероятность появления события

Случайные дискретные величины
Случайной называется величина, которая при повторении опыта может принимать неодинаковые числовые значения. Случайная величина называется дискретной,

Случайные непрерывные величины
Если в результате опыта случайная величина может принимать любое значение из некоторого отрезка или всей действительной оси, то она называется непрерывной. Законо

Функция плотности вероятности случайной непрерывной величины
Пусть. Рассмотрим точку и дадим ей приращени

Числовые характеристики случайных величин
Случайная дискретная или непрерывная величины считаются полностью заданными, если известны их законы распределения. В самом деле, зная законы распределения можно всегда вычислить вероятность попада

Квантили случайных величин
Квантилем порядка случайной непрерывной величины

Математическое ожидание случайных величин
Математическое ожидание случайной величины характеризует ее среднее значение. Все значения случайной величины группируются вокруг этого значения. Рассмотрим сначала случайную дискретную величину

Среднеквадратичное отклонение и дисперсия случайных величин
Рассмотрим сначала случайную дискретную величину. Числовые характеристики мода, медиана, квантили и математическое ожида

Моменты случайных величин
Кроме математического ожидания и дисперсии в теории вероятностей используются числовые характеристики более высоких порядков, которые называются моментами случайных величин.

Теоремы о числовых характеристиках случайных величин
Теорема 1. Математическое ожидание неслучайной величины равно самой этой величине. Доказательство:Пусть

Биномиальный закон распределения

Закон распределения Пуассона
Пусть случайная дискретная величина, принимающая значения

Равномерный закон распределения
Равномерным законом распределения случайной непрерывной величины называется закон функция плотности вероятности, которого

Нормальный закон распределения
Нормальным законом распределения случайной непрерывной величины называется закон функция плотност

Экспоненциальный закон распределения
Экспоненциальное или показательное распределение случайной величины применяется в таких приложениях теории вероятностей, как теория массового обслуживания, теория надежности

Системы случайных величин
На практике в приложениях теории вероятностей часто приходиться сталкиваться с задачами, в которых результаты эксперимента описываются не одной случайной величиной, а сразу несколькими случайными в

Система двух случайных дискретных величин
Пусть две случайные дискретные величины образуют систему. Случайная величина

Система двух случайных непрерывных величин
Пусть теперь систему образуют две случайные непрерывные величины. Законом распределения этой системы называется вероятно

Условные законы распределения
Пусть и зависимые случайные непрерывные велич

Числовые характеристики системы двух случайных величин
Начальным моментом порядка системы случайных величин

Система нескольких случайных величин
Полученные результаты для системы их двух случайных величии могут быть обобщены на случай систем, состоящих из произвольного числа случайных величин. Пусть система образована совокупностью

Нормальный закон распределения системы двух случайных величин
Рассмотрим систему двух случайных непрерывных величин. Законом распределения этой системы является нормальный закон расп

Предельные теоремы теории вероятностей
Основной целью дисциплины теория вероятностей является изучение закономерностей случайных массовых явлений. Практика показывает, что наблюдение массы однородных случайных явлений обнаружив

Неравенство Чебышева
Рассмотрим случайную величину с математическим ожиданием

Теорема Чебышева
Если случайные величины попарно независимы и имеют конечные ограниченные в совокупности дисперсии

Теорема Бернулли
При неограниченном увеличении числа опытов частота появления события сходится по вероятности к вероятности события

Центральная предельная теорема
При сложении случайных величин с любыми законами распределения, но с ограниченными в совокупности дисперсиями, закон расп

Основные задачи математической статистики
Рассмотренные выше законы теории вероятностей представляют собой математическое выражение реальных закономерностей, фактически существующих в различных случайных массовых явлениях. Изучая

Простая статистическая совокупность. Статистическая функция распределения
Рассмотрим некоторую случайную величину, закон распределения которой неизвестен. Требуется на основании опытных данных о

Статистический ряд. Гистограмма
При большом числе наблюдений (порядка сотен) генеральная совокупность становится неудобной и громоздкой для записи статистического материала. Для наглядности и компактности статистический материал

Числовые характеристики статистического распределения
В теории вероятностей рассматривались различные числовые характеристики случайных величин: математическое ожидание, дисперсию, начальные и центральные моменты различных порядков. Аналогичные числов

Выбор теоретического распределения по методу моментов
Во всяком статистическом распределении неизбежно присутствуют элементы случайности, связанные с ограниченностью числа наблюдений. При большом числе наблюдений эти элементы случайности сглаживаются,

Проверка правдоподобия гипотезы о виде закона распределения
Пусть заданное статистическое распределение аппроксимировано некоторой теоретической кривой или

Критерии согласия
Рассмотрим один из наиболее часто применяемых критериев согласия – так называемый критерий Пирсона. Предположи

Точечные оценки для неизвестных параметров распределения
В п.п. 2.1. – 2.7 мы подробно рассмотрели способы решения первой и второй основных задач математической статистики. Это задачи определения законов распределения случайных величин по опытным данным

Доверительный интервал. Доверительная вероятность
На практике при малом числе опытов над случайной величиной приближенная замена неизвестного параметра

Пусть случайная выборка порождена наблюдаемой случайной величиной ξ, математическое ожидание и дисперсия которой неизвестны. В качестве оценок для этих характеристик было предложено использовать выборочное среднее

и выборочную дисперсию

. (3.14)

Рассмотрим некоторые свойства оценок математического ожидания и дисперсии.

1. Вычислим математическое ожидание выборочного среднего:

Следовательно, выборочное среднее является несмещенной оценкой для .

2. Напомним, что результаты наблюдений – независимые случайные величины, каждая из которых имеет такой же закон распределения, как и величина , а значит, , , . Будем предполагать, что дисперсия конечна. Тогда, согласно теореме Чебышева о законе больших чисел, для любого ε > 0 имеет место равенство ,

которое можно записать так: . (3.16) Сравнивая (3.16) с определением свойства состоятельности (3.11), видим, что оценка является состоятельной оценкой математического ожидания .

3. Найдем дисперсию выборочного среднего:

. (3.17)

Таким образом, дисперсия оценки математического ожидания уменьшается обратно пропорционально объему выборки.

Можно доказать, что если случайная величина ξ распределена нормально, то выборочное среднее является эффективной оценкой математического ожидания , то есть дисперсия принимает наименьшее значение по сравнению с любой другой оценкой математического ожидания. Для других законов распределения ξ это может быть и не так.

Выборочная дисперсия является смещенной оценкой дисперсии , так как . (3.18)

Действительно, используя свойства математического ожидания и формулу (3.17), найдем

.

Чтобы получить несмещенную оценку дисперсии, оценку (3.14) нужно исправить, то есть домножить на . Тогда получим несмещенную выборочную дисперсию

. (3.19)

Отметим, что формулы (3.14) и (3.19) отличаются лишь знаменателем, и при больших значениях выборочная и несмещенная дисперсии отличаются мало. Однако при малом объеме выборки следует пользоваться соотношением (3.19).

Для оценки среднего квадратического отклонения случайной величины используют так называемое “исправленное” среднее квадратическое отклонение, которое равно квадратному корню из несмещенной дисперсии: .

Интервальные оценки

В статистике имеются два подхода к оцениванию неизвестных параметров распределений: точечный и интервальный. В соответствии с точечным оцениванием, которое рассмотрено в предыдущем разделе, указывается лишь точка, около которой находится оцениваемый параметр. Желательно, однако, знать, как далеко может отстоять в действительности этот параметр от возможных реализаций оценок в разных сериях наблюдений.

Ответ на этот вопрос – тоже приближенный – дает другой способ оценивания параметров – интервальный. В соответствии с этим способом оценивания находят интервал, который с вероятностью, близкой к единице, накрывает неизвестное числовое значение параметра.

Понятие интервальной оценки

Точечная оценка является случайной величиной и для возможных реализаций выборки принимает значения лишь приближенно равные истинному значению параметра . Чем меньше разность , тем точнее оценка. Таким образом, положительное число , для которого , характеризует точность оценки и называется ошибкой оценки (или предельной ошибкой).

Доверительной вероятностью (или надежностью) называется вероятность β , с которой осуществляется неравенство , т. е.

. (3.20)

Заменив неравенство равносильным ему двойным неравенством , или , получим

Интервал , накрывающий с вероятностью β , , неизвестный параметр , называется доверительным интервалом (или интервальной оценкой), соответствующим доверительной вероятности β .

Случайной величиной является не только оценка , но и ошибка : ее значение зависит от вероятности β и, как правило, от выборки. Поэтому доверительный интервал случаен и выражение (3.21) следует читать так: “Интервал накроет параметр с вероятностью β ”, а не так: “Параметр попадет в интервал с вероятностью β ”.

Смысл доверительного интервала состоит в том, что при многократном повторении выборки объема в относительной доле случаев, равной β , доверительный интервал, соответствующий доверительной вероятности β , накрывает истинное значение оцениваемого параметра. Таким образом, доверительная вероятность β характеризует надежность доверительного оценивания: чем больше β , тем вероятнее, что реализация доверительного интервала содержит неизвестный параметр.