6.5 Оценивание неизвестных параметров распределения

• Какие оценки можно считать хорошими ?
• Сравнение оценок

Предположим, что -- независимая выборка из неизвестного распределения  , зависящего от неизвестного параметра  . Часто возникает необходимость приблизить значение некоторой функции от параметра . Функция , вообще говоря, может принимать векторные значения:

Замечание 6.6  

Нередко рассматривают ситуацию , . В этом случае говорят просто об оценке неизвестных параметров распределения, которую принято обозначать

Сразу возникают три вопроса: какие оценки можно считать хорошими; как сравнивать две оценки по качеству; как строить оценки. Начнем с первого из них.

Какие оценки можно считать хорошими ?

Определение 6.3  

Оценка называется несмещенной для функции от неизвестного параметра , если

(В случае вектор-функций это равенство следует понимать покоординатно: .)

Следующее свойство оценок имеет асимптотический характер и связано с увеличением объема выборки. Для простоты рассмотрим скалярную функцию . Предположим, что . Рассмотрим последовательность оценок , соответствующих увеличивающимся в объеме выборкам.

Определение 6.4  

Последовательность оценок называется состоятельной, если для любого

Вспоминая Определение 2.8 можем кратко записать, что состоятельна, если при .

Таким образом, если известно, что последовательность оценок состоятельна, то при статистической обработке данных имеет смысл увеличивать объем выборки, так как это приведет к более точному результату.

Пример 6.8  

По Предложению 6.2 выборочная дисперсия

является состоятельной оценкой неизвестной дисперсии .

Рассмотрим еще одно полезное свойство оценок, связанное с увеличением объема выборки: . Как и прежде, -- последовательность оценок для скалярной функции от параметра  .

Определение 6.5  

Последовательность оценок называется асимптотически нормальной, если найдутся последовательность вещественных функций и последовательность положительных функций такие, что

В этом случае говорят, что последовательность  асимптотически нормальна .

Последовательности и  не определены однозначно, и далеко не всегда совпадает с , а с . Понятно, что в силу центральной предельной теоремы асимптотическая нормальность будет характерна в первую очередь для тех оценок, которые связаны с суммами независимых одинаково распределенных слагаемых.

Асимптотическая нормальность является полезным свойством, так как она дает приближенное представление о распределениях оценок при больших конечных значениях .

Сравнение оценок

Предположим, что у нас имеются две несмещенные оценки и для скалярного параметра . Перед нами дилемма -- какую из оценок предпочесть ? Простой и разумный совет состоит в том, чтобы выбрать оценку с меньшей дисперсией.

Пример 6.9  

Предположим, что -- независимая выборка из равномерного распределения в отрезке , где -- неизвестный параметр. Рассмотрим две следующие оценки для :

Нетрудно установить, что обе эти оценки являются несмещенными и

Немного более сложное вычисление показывает, что

Следовательно, при больших дисперсия второй оценки стремится к нулю быстрее, чем дисперсия выборочного среднего. Другими словами, при достаточно большом объеме выборки оценка становится эффективней оценки  .

С более общим подходом к сравнению оценок, основанным на рассмотрении т.н. функции штрафа, можно ознакомиться, обратившись, например, к   4.4 книги [13] .