Какими свойствами должны обладать оценки

Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

— для нормального распределения N(a, σ) — это математическое ожидание a и среднее квадратическое отклонение σ ;

— для равномерного распределения R(a,b) — это границы интервала [a;b], в котором наблюдаются значения этой случайной величины.

Такие числовые характеристики, как правило, неизвестные, называются параметрами генеральной совокупности. Оценка параметра — соответствующая числовая характеристика, рассчитанная по выборке. Оценки параметров генеральной совокупности делятся на два класса: точечные и интервальные.

Когда оценка определяется одним числом, она называется точечной оценкой. Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость, эффективность исостоятельность.

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

СВОЙСТВО НЕСМЕЩЕННОСТИ ОЦЕНКИ.
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю — это свойство несмещенности оценки.

Определение. Оценка называется несмещенной, если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия — смещенная оценка генеральной дисперсии D. Несмещенной оценкой генеральной дисперсии является оценка

СВОЙСТВО СОСТОЯТЕЛЬНОСТИ ОЦЕНКИ.
Второе требование к оценке — ее состоятельность — означает улучшение оценки с увеличением объема выборки.

Определение. Оценка называется состоятельной, если она сходится по вероятности к оцениваемому параметру θ при n→∞.

Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.

СВОЙСТВО ЭФФЕКТИВНОЙ ОЦЕНКИ.
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение. Несмещенная оценка является эффективной, если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

20. Доверительный интервал.
Доверительный интервал – предельные значения статистической величины, которая с заданной доверительной вероятностью γ будет находится в этом интервале при выборке большего объема. Обозначается как P(θ — ε < x < θ + ε) = γ.

Источник

Материал из MachineLearning.

(Перенаправлено с Несмещённость)

Постановка задачи

Задача статистического оценивания неизвестных параметров — одна из двух основных (наряду с задачей проверки статистических гипотез) задач математической статистики.

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь — числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы.

Точечное оценивание

Точечное оценивание — это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия, метод моментов, метод квантилей.

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность, то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной, если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность, которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска, которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао.

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными. Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности, которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка — тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением. Если — достаточная статистика, а — несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .

Доверительные интервалы

Другим типом оценок статистических параметров являются доверительные интервалы.

Доверительный интервал — это случайный интервал, построенный по выборке (верхняя и нижняя границы этого интервала должны быть статистиками), который содержит (накрывает) истинное значение параметра с вероятностью, не меньшей заданного значения.

Доверительные интервалы используются, когда нам нужны надежные границы, в которые попадает значение оцениваемого параметра.

Часто вместе с точечной оценкой параметра строят доверительный интервал, середина которого равна этой оценке. Его ширина является наглядной характеристикой того, насколько точна может быть данная точечная оценка.

Иногда бывает наоборот: естественным образом строится некоторый доверительный интервал, а в качестве точечной оценки параметра рассматривают его середину.

Подробнее см. статью доверительный интервал.

Литература

Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

Гарольд Крамер. Математические методы статистики. — М.: Гос. изд-во иностр. лит-ры, 1948. — 631 с.

под ред. В.С. Королюка. Справочник по теории вероятностей и математической статистике. — Киев: Наукова думка, 1978. — 582 с.

Ссылки

Статистическое оценивание(Яндекс.Словари)
Точечная оценка (Википедия)
Point estimation (Wikipedia)
Estimator (Wikipedia)

Источник

Сформулируем задачу оценки параметров в общем виде. Пусть распределение признака X — генеральной совокупности — задается функцией вероятностей (p(x/? 0) = Р(Х = х,) (для дискретной случайной величины X) или плотностью вероятности ср(х, б) (для непрерывной случайной величины X), которая содержит неизвестный параметр 9. Например, это параметр X в распределении Пуассона или параметры а и а2 для нормального закона распределения и т.д.

Для вычисления параметра 0 исследовать все элементы генеральной совокупности не представляется возможным. Поэтому о параметре 9 пытаются судить по выборке, состоящей из значений (вариантов) х{у х2, хп. Эти значения можно рассматривать как частные значения (реализации) п независимых случайных величин Xif Х2, Хп, каждая из которых имеет тот же закон распределения, что и сама случайная величина X.

Определение. Оценкой 0„ параметра 0 называют всякую

функцию результатов наблюдений над случайной величиной X (иначе —

статистику), с помощью которой судят о значении параметра 0:

Какими свойствами должны обладать оценки

Поскольку Х{, Х2,…, Хп — случайные величины, то и оценка 0„ (в отличие от оцениваемого параметра 0 — величины неслучайной, детерминированной) является случайной величиной, зависящей от закона распределения случайной величины X и числа п.

Всегда существует множество функций от результатов наблюдений Х{, Х2,…, Хп (от п «экземпляров» («копий») случайной величины X), которые можно предложить в качестве оценки параметра 0. Например, если параметр 0 является математическим ожиданием случайной величины X, т.е. генеральной средней х0, то в качестве его оценки 0„ по выборке можно взять: среднюю арифметическую результатов наблюдений — выборочную среднюю х , моду Мо, медиану Меу полусумму наименьшего и наибольшего значений по выборке, т.е. (хтт + хтах)/2 и т.д. Какими свойствами должна обладать оценка 0,?, чтобы в каком-то смысле быть «доброкачественной» оценкой?

Назвать «наилучшей» оценкой такую, которая наиболее близка к истинному значению оцениваемого параметра, невозможно, так как выше отмечено, что 0/7 — случайная величина, поэтому невозможно предсказать индивидуальное значение оценки в данном частном случае. Так что о качестве оценки следует судить не по индивидуальным ее значениям, а лишь по распределению ее значений в большой сети испытаний, т.е. по выборочному распределению оценки. Если значения оценки 0Я концентрируются около истинного значения параметра 0, т.е. основная часть массы выборочного распределения оценки сосредоточена в малой окрестности оцениваемого параметра 0, то с большой вероятностью можно считать, что оценка 0„ отличается от параметра 0 лишь на малую величину. Поэтому, чтобы значение 0„ было близко к 0, надо, очевидно, потребовать, чтобы рассеяние случайной величины 0/7относительно 0, выражаемое, например, математическим ожиданием квадрата отклонения оценки от оцениваемого пара- 2

метра М(Вп -0) , было по возможности меньшим. Таково основное у с л о в и е, которому должна удовлетворять «наилучшая» оценка. Рассмотрим наиболее важные свойства оценок.

Определение. Оценка 0/?параметра 0 называется несмещенной, если ее математическое ожидание равно оцениваемому параметру, т.е.
Какими свойствами должны обладать оценки

В противном случае оценка называется смещенной.

Если это равенство не выполняется, то оценка 0„, полученная по разным выборкам, будет в среднем либо завышать значение 0 (если М(0„)>0), либо занижать его (если М(0„) требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Замечание. На первый взгляд приведенное выше определение любой оценки, как всякой функции результатов наблюдений, было бы более естественным и не таким расплывчатым, если бы в нем содержалось условие М(0„) = 0. К сожалению, этого сделать нельзя, так как практически важные оценки оказываются смещенными, хотя и слабо.

Если при конечном объеме выборки п М(Вп)Ф0, т.е. смещение оценки b(Qn) = М(0/7)- 0 Ф 0, но lim b(Qn) = 0 , то такая оценка 0;; называется асимп-

n-> ОО

тотически несмещенной.

Определение. Оценка 077параметра 0 называется состоятельной, если она удовлетворяет закону больших чисел, т.е. сходится по вероятности к оцениваемому параметру:

или
Какими свойствами должны обладать оценки

В случае использования состоятельных оценок оправдывается увеличение объема выборки, так как при этом становятся маловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки. Если оценка состоятельна, то практически достоверно, что при достаточно большом п 0„ % 0.

Если оценка 0,7параметра 0 является несмещенной, а ее дисперсия ст? -^0 при я —» оо, то оценка 0,, является и состоятельной. Это непосред-

0и

ственно вытекает из неравенства Чебышева:
Какими свойствами должны обладать оценки

Так, например, выборочная средняя х является несмещенной и состо- ятельной оценкой генеральной средней х0 (дисперсия —>0 при/?—» оо,

см. параграф 9.4), а отдельное выборочное наблюдение Xk(k = , 2, …, /?) — несмещенной [M[Xk) = М(Х) = х0], но не состоятельной оценкой генеральной средней, так как ее дисперсия о2(Х,) = а2(х) = а2 постоянна и не уменьшается с ростом п.

Определение. Несмещенная оценка 0„ параметра 0 называется эффективной, если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра 0, вычисленных по выборкам одного и того же объема п.

~ 2

Так как для несмещенной оценки[1]М($п -0) есть ее дисперсия , то эффективность является решающим с в о й с т в о м, определяющим качество оценки.

Эффективность оценки 0„ определяют отношением

Какими свойствами должны обладать оценки

где а? и а? — соответственно дисперсии эффективной и данной оценок.

“я 0я

Чем ближе е к 1, тем эффективнее оценка. Если ? —» 1 при п —> со, то такая оценка называется асимптотически эффективной.

На практике в целях упрощения расчетов используются оценки, не обладающие высокой эффективностью. Так, например, генеральную среднюю х0 часто оценивают медианой Me выборки, в то время как эффективной оценкой х0 является выборочная средняя х (параграф 9.5). При нормальном распределении признака в генеральной совокупности можно показать, что асимптотическая эффективность этой оценки, т.е. е(Ме) = 2/я = 0,64 при п —»со. Это означает, что для получения той же точности и надежности оценки генеральной средней по выборочной средней нужно использовать лишь 64% объема выборки, взятого при оценке по медиане.

Если при тех же условиях для оценки генеральной средней х0 использовать статистику 0/z = (xmin +xmax)/2, то (см., например, [231) ее эффек- 24 In я

тивность e(Qn)~—-— с ростом п стремится к нулю, и относительно п2п

приемлемый результат оценивания (по сравнению с эффективной оценкой х) возможен при малом объеме выборки.

Другой пример. В практике статистического контроля качества продукции для оценки генерального среднего квадратического отклонения а широко используют оценку sR = R/dn , где R = xmax -xmin — вариационный размах, dn — коэффициент, зависящий от объема выборки п. При малых п эффективность оценки sR достаточно высока, но с увеличением п быстро падает. Поэтому удовлетворительная оценка а с помощью sR может быть достигнута лишь при п 10.

В качестве статистических оценок параметров генеральной совокупности желательно использовать оценки, удовлетворяющие одновременно требованиям несмещенности, состоятельности и эффективности. Однако достичь этого удается не всегда. Может оказаться, что для простоты расчетов целесообразно использовать незначительно смещенные оценки или оценки, обладающие большей дисперсией по сравнению с эффективными оценками, и т.п. В то же время несостоятельные оценки обычно не используются.

Источник

Материал из MachineLearning.

(Перенаправлено с Несмещённая оценка)

Постановка задачи

Различают два основных типа оценок: точечные оценки и доверительные интервалы.

Точечное оценивание

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Несмещенность и асимптотическая несмещенность

Сравнение оценок и эффективность

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао.

Достаточные статистики

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Доверительные интервалы

Другим типом оценок статистических параметров являются доверительные интервалы.

Подробнее см. статью доверительный интервал.

Литература

Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

Гарольд Крамер. Математические методы статистики. — М.: Гос. изд-во иностр. лит-ры, 1948. — 631 с.

под ред. В.С. Королюка. Справочник по теории вероятностей и математической статистике. — Киев: Наукова думка, 1978. — 582 с.

Ссылки

Статистическое оценивание(Яндекс.Словари)
Точечная оценка (Википедия)
Point estimation (Wikipedia)
Estimator (Wikipedia)

Источник