Подпункты этого параграфа:
Идея этого метода заключается в приравнивании теоретических и эмпирических
моментов. Поэтому мы начнем с обсуждения этих понятий.
Пусть
-- независимая выборка из распределения
,
зависящего от неизвестного параметра
Теоретическим моментом -го порядка
называется функция
где -- случайная величина с функцией распределения
.
Особо отметим, что теоретический момент есть функция от неизвестных параметров,
коль скоро распределение зависит от этих параметров. Будем считать,
что математические ожидания
существуют, по крайней мере,
для
.
Эмпирическим моментом -го порядка
называется
Отметим, что по своему определению эмпирические моменты являются функциями от
выборки. Заметим, что
-- это хорошо нам известное
выборочное среднее.
Для того, чтобы найти оценки неизвестных параметров по методу моментов
следует:
- явно вычислить теоретические моменты
,
, и составить следующую систему уравнений для неизвестных
переменных
:
![](images/img855.gif) |
(35) |
В этой системе
рассматриваются как фиксированные
параметры.
- решить систему (35) относительно переменных
.
Так как правая часть системы зависит от выборки, то в результате
окажутся функциями от
:
Это и есть искомые оценки параметров по методу моментов.
Замечание 6.7
В общей ситуации вопрос о разрешимости (вообще говоря, нелинейной) системы (35)
не является простым. Он близок хорошо известной в анализе задаче о неявной
функции. Мы не приводим здесь никаких теорем, гарантирующих существование решения
и его единственность, так как в этом нет большого практического смысла для статистических
приложений. Дело в том, что в большом числе важных статистических моделей, соответствующих
основным вероятностным распределениям, эта система без труда решается в каждом
конкретном случае. При этом оказывается, что оценки, получаемые по методу моментов,
оказываются состоятельными (см. Определение 6.4).
Пусть, как и прежде,
-- независимая выборка
из распределения с функцией распределения
, зависящей от
неизвестного параметра
Определим функцию правдоподобия, полагая
если
-- абсолютно непрерывна и имеет плотность
, либо
если
есть функция распределения некоторой дискретной
случайной величины , причем
.
Переменные
следует считать основными
для функции , а
-- дополнительными параметрами.
Считая
фиксированными, найдем точку
,
в которой функция правдоподобия
принимает
наибольшее значение. Понятно, что эта точка будет зависеть от заранее фиксированной
выборки
, следовательно, мы получим набор функций
от выборки:
![](images/img864.gif) |
(36) |
что и будет искомой оценкой по методу наибольшего правдоподобия.
Сформулируем вышесказанное в виде формального определения.
Определение 6.6
Функция от выборки (36) называется оценкой наибольшего
правдоподобия (о.н.п.), если
Замечание 6.8
Если функция правдоподобия
является дифференцируемой по переменным
,
то о.н.п. удовлетворяет следующей системе уравнений:
Это хорошо известные из курса математического анализа необходимые условия экстремума
функции нескольких переменных.
Пример 6.10
Рассмотрим статистическую модель нормальной выборки
из Примера 6.2. Обозначим
,
.
Будем искать точку, в которой достигается максимум функции правдоподобия:
Очевидно, что максимум достигается в той же точке, что и у функции
![](images/img871.gif) .
Чтобы найти ее точки экстремума, приравняем к нулю частные производные:
Эта система имеет единственное решение
![](images/img876.gif)
Теперь следует обосновать, что это действительно точка глобального максимума.
Это упражнение оставляется читателю для самостоятельного решения.
Оценки максимального правдоподобия широко применяются. Во многих регулярных
(т.е., хороших) ситуациях они оказываются состоятельными и асимптотически нормальными.
Отметим, что далеко не всегда функцию правдоподобия можно считать гладкой. В
этом случае, изложенная выше схема бесполезна, но, тем не менее, задача не является
безнадежной. Проиллюстрируем это примером.
Пример 6.11
Рассмотрим независимую выборку
из равномерного
распределения в отрезке
, где -- неизвестный
параметр. Выпишем функцию правдоподобия
и перепишем ее в более удобном виде:
Легко видеть, что максимальное значение эта функция принимает в точке
![](images/img881.gif) .
Это и есть искомая оценка наибольшего правдоподобия для параметра ![](images/img732.gif) .
|