Метод максимального правдоподобия.

ОТВЕТЫ НА ВОПРОСЫ

Что такое функция Лагранжа?

(в лекции 1 задача о линейной оценке с минимальной дисперсией)?

 

Решается задача на условный экстремум: найти минимум (или максимум)

  

                   при условии      

Решение (необходимое условие): составить функцию Лагранжа:

 

«двух» переменных , и найти ее безусловный экстремум:

Необходимое условие:

получаем, (1):

Очень простой геометрический смысл этих уравнений при n=2

 

Точка А – не искомая точка: двигаясь по  пересекаем линии уровня . Точка Х – искомая точка: двигаясь в ее окрестности,  не меяется, потому что касание кривой  и

Что значит зависимость от параметра фиктивна?

(о неравенстве Рао-Крамера)

Утверждение. Эффективная оценка  для , если она существует, может быть представлена формулой

,                        (15)

причем зависимость правой части от параметра а фиктивна.

Чем отличается усиленный ЗБЧ от ЗБЧ в форме Чебышева ?

ЗБЧ в форме Чебышева:

  по вероятности при n®¥,     (А)

ЗБЧ усиленный

    с вероятностью 1 при n ® ¥.         (В)  

 

по вероятности при n ® ¥, т.е.

     

Короткое обозначение

     

 

с вероятностью 1 при n ® ¥.

т.е.

 

-------------------------

Сх-ть с вер 1   сх-ть по вер   

 т.е

     , обратное неверно

.

 

МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Лекция 4

Методы построения оценок

Рассмотрим лишь три наиболее популярных метода.

 

Метод моментов.

Пусть ξ₁, ξ₂…ξ_n  - выборка,

т.е. n независимых наблюдений над случайной величиной, обозначим ее x₀,

F(x; a₁, а₂…a_R) -функция распределения, зависящая от неизвестных параметров a = (a₁, а₂… a_R), всего R штук.

Требуется оценить их.

Идея метода: неизвестные параметры выразить через начальные моменты, а затем вместо моментов подставить несмещенные и состоятельные оценки моментов.

 Выразим R моментов через R параметров:

, j = 1, 2…R.            (1)

Пусть из этой системы равенств можно выразить параметры через моменты:

j = 1, 2…R.                                     (2)

Подставив вместо моментов m₁,m₂… m_R оценки моментов , получаем:

, где , k = 1, 2…R.

Мы получили некоторые оценки ; они называются оценками по ММ.

Справедливы следующие свойства (см., например, [1], [3]):

1) если функции g_j ( × ), j = 1, 2...R, непрерывны, то оценки состоятельны;

2) если функции g_j( × ), j = 1, 2...R, дифференцируемы, а распределение при любом a имеет 2R моментов, то оценки  асимптотически нормальн :  ~ N (a_j, .

В справедливости этих свойств нетрудно убедиться.

Несмещённость оценок не гарантируется.

Что такое асимптотическая нормальность? Если закон распределения оценки с ростом n стремится к нормальному, то говорят, что оценка асимптотически нормальна.

Замечания.

1. В равенствах (1) вместо первых R моментов можно использовать любые R моментов; важно лишь, чтобы система была разрешима относительно параметров.

2. Моментные оценки не всегда обладают высокой точностью. Однако, обычно они достаточно просты в вычислительном отношении.

Пример 1. Оценим дисперсию s² методом моментов. Дисперсия s² выражается через первые два момента:

s² = .

Подставив оценки моментов, получим оценку s² для дисперсии :

s² = .          (3)

Последнее равенство нетрудно проверить:

      .

Оценка (3) совпадает с оценкой s², которая была проанализирована в разделе 2.3.

Пример 2. Оценка параметров равномерного распределения.

Пусть x₁, ξ₂…x_n — выборка из совокупности, распределенной по равномерному закону R[a, b] на отрезке [a, b]. Оценим два неизвестных параметра a и b. Первые два момента выражаются через два параметра:

m₁ = (a + b) / 2,

m₂ - m₁² = s² = (b – a)² / 12.

В этих уравнениях относительно a и b заменяем неизвестные моменты выборочными, при этом во втором уравнении слева, исходя из (3), имеем s². Получаем:

 = (a + b) / 2,

s² = (b – a)² / 12.

 

 = 2 ,

 =2 s.

Откуда:

 = – s,  = + s.

 

Метод максимального правдоподобия.

Пусть x₁, ξ₂…x_n — выборка, q(x_i; a) — плотность распределения одного i-го наблюдения (в дискретном   случае q(x_i; a) — вероятность принятия дискретного значения x_i), a = (a₁, а₂…a_R) — неизвестный параметр,

 p_x(x;a) =  — распределение выборки x = (x₁, х₂…x _n ).

Функция p_x( x;a), как функция параметра а, при фиксированном х, называется функцией правдоподобия.

Оценкой максимального правдоподобия (мп оценкой) а* параметра а называется такое значение, при котором функция правдоподобия p_x( x; a) достигает максимума:

а^*: p _x( x; a^*) = .                                  (4)

Если максимум достигается во внутренней точке области определения функции, то а^* удовлетворяет системе уравнений:

, i = 1, 2…R.                 (4а)

Использование логарифма не изменяет точки максимума, но упрощает выкладки при независимых наблюдениях. Оценка а^*= а^*(x) является функцией наблюдений x. Чтобы подчеркнуть случайность аргумента, напишем а^*(x).

Пример 1. МП оценка параметров нормального распределения.

Пусть x₁, ξ₂…x_n — выборка из нормальной совокупности N(m, s²), здесь а º (m, s²). Параметры m и s² неизвестны. Плотность распределения выборки:

p_x(x; m,s²) = .

Логарифм функции правдоподобия:

ln p_x(x; m, s²) = .

Система уравнений для определения оценок:

Из первого уравнения находим

                           m^* = º .                                                   (5)

Из второго уравнения находим

(s²)^* = .                                       (6)

В данном случае оценки совпадают с выборочными средним и дисперсией.

Пример 2. МП оценка параметра равномерного распределения.

Пусть x₁, ξ₂…x_n — выборка из совокупности, распределенной по равномерному закону R[0, a] с неизвестным правым концом a > 0. Плотнсть распределения для одного наблюдения с номером i:

Плотность распределения выборки x

p_x(x₁, х₂…x_n ; a) =

При фиксированных x₁, х₂…x_n функция правдоподобия убывает  при и равна 0 при а <  (рис. 2). Максимум достигается при

а* = .

Рис. 2.  Функция правдоподобия

                                      

Проанализируем эту оценку. Ее функция распределения:

Плотность распределения:

 иначе 0.

Математическое ожидание:

Mа*= ,

т.е. оценка смещенная.

Оценку легко исправить, т.е. сделать несмещенной, умножив ее на , в результате чего получим оценку

 = .

Она уже несмещенная. Ее второй момент

Дисперсия

 

Из вышесказанного видно, что дисперсия убывает быстрее, чем 1/n, что противоречит неравенству (14) раздела 3.2. Однако, в этом примере условия неравенства Рао-Крамера не выполняются, а именно, условие 1 о независимости носителья вероятности от параметра. Дисперсия может убывать быстрее, и это  пример сверхэффективной оценки.

Свойства оценок максимального правдоподобия.

Пусть x º (x₁, ξ₂…x_n) — выборка объема n из совокупности, распределенной с плотностью q(x;a),ивыражение

p(x₁, х₂ ...x_n ;a) =                                        (7)

является плотностью распределения выборки.

При некоторых весьма широких условиях (см. ниже) оценки максимального правдоподобия:

— состоятельны;

— асимптотически эффективны;

— асимптотически нормальны.

Для одномерного случая:

Mа * ® а, Dа *® = при n ® ¥ . (8)

условия, при которых вышеприведенные свойства верны, совпадают с условиями неравенства Рао-Крамера:

а) независимость от параметра а множества X = {x: q(x/a) ¹ 0}- носителя вер-ти;

б) существование производных  и ;

в) существование интеграла .

Доказательство справедливости этих свойств можно найти, например, в [5]. Примем на веру состоятельность и покажем, как возникает асимптотическая эффективность и асимптотическая нормальность.

Рассмотрим случайную функцию от а

S_n(a ,x) = .                             (9)

Учитывая (4а)          определение МП-оценки

и (7) p(x₁, х₂ ...x_n ;a) =           (7)

ясно, что оценка а* является корнем этой случайной функции от параметра а

S_n(а*,x) = 0.

Пусть а₀ — истинное значение параметра. Рассмотрим

S_n(а,x) - случайную величину в точке истинного значения параметра а = а₀. Учитывая состоятельность,

т.е. а* ® а₀,

и гладкость функции S_n(a ,x), по теореме Лагранжа имеем:

S_n(а₀,x) = S_n(а*,x) + (а₀ – а*) S ’_n( ,x),                        (10)

где  — промежуточная точка между а₀ и а*, причем  ® а₀.

В силу предыдущего уравнения, справа первое слагаемое равно 0. Умножим это соотношение на :

S_n(а₀,x) = (а₀- а*) S ’ _n( ,x),                               (11)

Слева имеем случайную величину

z= S_n(а₀,x),

которая, учитывая суммирование случайных величин в (9), асимптотически нормальна N(0, I(a₀)) с параметрами: М.О.

Mz = MS_n(а₀,x) = .

При вычислении интеграла учтено, что

.

Что касается дисперсии, то она равна информации Фишера в одном наблюдении в точке а₀: действительно

Dz = = I(a₀).

Теперь определим параметры случайной величины S ’ _n( ,x) в правой части (11) при n ® ¥ с учетом того, что  ® а₀:

MS ’ _n( ,x) = ,

DS ’ _n( ,x) = .

Это означает, что S ’ _n( ,x) сходится к константе I(a₀). Из (11) в пределе получаем

z= - (а₀ - а*) ,

что означает, выразив а* через z:

а* = а₀ + .

Из этого следует, что оценка а* асимптотически нормальна, а дисперсия {nI(a₀)}^-1. Это значение совпадает с границей Рао-Крамера.

Замечания.

1. Эффективная оценка, если она существует, является оценкой максимального правдоподобия.

Действительно, если j(x) — эффективная оценка для параметра a, то по лемме из раздела 3.3 имеем

,

откуда, приравнивая производную к нулю, получаем .

2. Оценка максимального правдоподобия является функцией достаточной статистики, если последняя существует.

Действительно, если T(x) — достаточная статистика, то в силу критерия факторизации в разделе 4.2 справедливо представление

p(x;a) = g(T(x), a)h(x),

и потому

p(x;a) = h(x)× g(T(x), a),

откуда экстремальная точка a* = a*[(T(x)].

Метод порядковых статистик.

В статистике широко используется система числовых характеристик, называемых квантилями.

Значение x_p случайной величины x называется p-квантилью, если

P{x< x_p} = p,

где x_p — это корень уравнения

F_x(x_p) = p 

(рис. 3).

Примеры р-квантили:

 x_0,5 — медиана — характеристика среднего значения случайной величины;

x_0,98 — максимальное, в некотором смысле, значение  случайной  величины, т.к.      P{x < x_0,98} = 0,98;

x_0,02 — минимальное, в некотором смысле, значение случайной величины, т.к.         P{x ³ x_p} = 1 – P{x < x_p} = 1– p = 0,98;

x_3/4 и x_1/4 — верхняя и нижняя квартили; их разность(x_0,75 – x_0,25) — межквартильная широта — служит характеристикой разброса.

Рис. 3. Графическая иллюстрация квантили x_p

Оценка p-квантилей . Неизвестные p-квантили легко оцениваются по выборке. Действительно, пусть

x₁, х₂...x_n — результаты n независимых наблюдений над случайной величиной x с функцией распределения F(x). Упорядочив их по возрастанию, получаем вариационный ряд

x₍₁₎ £ x₍₂₎ £ ... £ x_(n).

Чтобы подчеркнуть случайность ряда, запишем его греческими символами

x ₍₁₎ £x ₍₂₎ £ ... £ x_(n).

член вариационного ряда x _(i) с номером i (заметим, что это случайная величина) называется i-й порядковой статистикой. по вариационному ряду построим функцию  эмпирического распределения, и, согласно общему принципу о том, что выборочные характеристики являются состоятельными оценками характеристик распределения генеральной совокупности, рассмотрим в качестве оценкидля p-квантили x_p выборочную квантиль z _p, т.е. корень уравнения

 = p.                                                   (8)

Поскольку  — функция кусочно-постоянная, то корнем является одна из порядковых статистик

z_p = x _([np]+1),                                                   (9)

с номером [np]+1, т.е. целая часть числа np плюс 1(рис. 4).

Нетрудно показать, что z_p является состоятельной оценкой для x_p . Кроме того, известна теорема Крамера, которая гласит, что

для непрерывных распределений с плотностью q(x) оценка z_p асимптотически нормальна с параметрами:

Рис. 4. Графическая иллюстрация выборочной квантили

Mz_p = x_p, Dz_p = .                            (10)

Метод оценки параметров основан на оценках z_p при разных p. Пусть x₁, x₂…x_n — выборка с функцией распределения F(x;a), зависящей от параметра a, значение которого требуется оценить. Выберем р так, чтобы квантиль x_р зависела от параметра:

x_р = f(a).

Выразим параметр а через квантиль x_р:

а = g(x_р),

и вместо x_р подставим выборочную квантиль z_p = x_([np]+1), в результате чего получим состоятельную оценку

= g(x _([np]+1)).

Таким же образом можно построить оценки и для неодномерного параметра.

Основное и очень важное преимущество оценок, основанных на порядковых статистиках, — их устойчивость к засорению наблюдений и к изменениям закона распределения.

Примеры оценок параметров нормального распределения.Пусть x₁, x₂…x_n — выборка из нормальной совокупности N(m, s²).

1) Оценка среднего m . Известно или нет значение s — безразлично. В силу симметрии нормального распределения параметр m является медианой, т.е. квантилью уровня ½, и потому может быть оценен выборочной медианой:

= z_½ = x_([n/2]+1).

Можно сравнить по точности эту оценку с эффективной оценкой

с дисперсией .

согласно n (10), теореме Крамера, D » ,

т.е. очень простая и устойчивая к засорению оценка  уступает по точности оценке в  раза, т.е. 25 %.  

2) Оценка стандартного уклонения s.

Легко проверить, что верхняя и нижняя квартили равны соответственно x_3/4 = m + 0,675s и  x_1/4= m – 0,675s, т.к.

И потому

s = (x_3/4 - x_1/4) / 1,35,

и потому оценивать s можно следующим образом:

.

3) Оценка стандартного уклонения s по размаху.

Пусть x ₍₁₎ и x _(n) — минимальный и максимальный член выборки, разность которых называется размахом w:

w = x _(n) – x ₍₁₎.

Ясно, что Mw = c(n)s, и потому оценкой для s может служить

 = w/c(n) = k(n)w,

где k(n) берем из статистических таблиц [4]. Ниже приведены значения коэффициента k(n)и коэффициента эффективности

e ff = , где  — нижняя граница Рао-Крамера,

а также потеря точности

(1– ) ∙ 100,

измеряемая в процентах, по сравнению с нижней границей Рао-Крамера.

 

Табл. 1. Значение коэффициентов k и n

n	2	5	10
k(n)	0,866	0,430	0,325
eff	1,000	0,955	0,855
потеря точности, (1 – )100, %	0	2,5	7

 

Для устойчивости оценки к засорению используют подразмахи w_m порядка m , где m = 1, 2, 3…:

w_m = x _{(n- m +1)} - x _(m),

так что оценка имеет вид:

 = k _m(n) w _m.

Значение коэффициента k _m(n) берется из таблиц.

4) Распределение порядковых статистик . При анализе оценок, получаемых рассматриваемым методом, необходимо знать распределения порядковых статистик. Если распределение одного наблюдения x непрерывно с плотностью p(x) = F ’(x), топлотность распределения для k-й порядковой статистики x _(k) выражается следующей формулой:

,

которая получается вычислением вероятности события

,

означающего, что при n-кратном испытании случайной величины x событие ,вероятность которого , появится (k-1) раз, событие , вероятность которого ( ), появится (n-k) раз, и событие , вероятность которого , появится 1 раз.

---

Дата добавления: 2021-12-10; просмотров: 80; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!