Принцип максимального правдоподобия. Построение регрессионных моделей при гетероскедастичности ошибок
Для нахождения неизвестных величин по результатам измерений, содержащих случайные погрешности, служит метод наименьших квадратов (МНК). Определяемые величины обычно связаны уравнениями, образующими избыточную систему.
Метод наименьших квадратов строит оценки на основе минимизации суммы квадратов остатков. Для его применения необходимо выполнение следующих пяти условий:
· случайный характер остатков;
· нулевая средняя величина остатков, не зависящих от независимой переменной;
· гомоскедастичность – дисперсия каждого отклонения ei одинакова для всех значений
переменной;
· отсутствие автокорреляции остатков. Значения ei распределены независимо
друг от друга;
· остатки подчиняются нормальному распределению.
Для возможности применения МНК необходимо проверить характер остатков ei по всем пяти условиям.
Если величины ei являются случайными величинами, распределенными по нормальному закону - ei Î N(0,s2), так что Eei = 0, Dei=s2 и некоррелированы -
cov (ei, ej) = 0 ( i ¹ j), а значит, и независимы, то можно применить МНК. Постоянство s2
для всех ei означает равноточность задания величины yi; величины xi мы считаем заданными точно. Свойство равноточности измерения yi иначе называется гомоскедастичностью. Если же 
и si различны, то говорят о гетероскедастичности регрессионной модели.
Пусть эмпирические данные наблюдений (x1, x2, …, xn) характеризуют случайную величину x ÎN(m, s2), для которой математическое ожидание m = Ex и дисперсия
s2 = Dx неизвестны и их требуется оценить. Выпишем функции плотности нормального распределения 
. Согласно принципу максимального правдоподобия предполагаем, что функция L=f(x1)f(x2)…f(xn) принимает наибольшее значение при истинных значениях параметров m и s2. Удобнее иметь дело с
|
|
|
.
В нашем примере 
, поэтому
.
Выпишем необходимые условия экстремума функции ln L (и L):
, 
.
Решение этой системы уравнений после простых преобразований приводит к оценкам
,
.
Заметим, что
, 
.
Пример показывает, что принцип максимального правдоподобия не обязательно приводит к несмещенной оценке искомых параметров.
Воспользуемся принципом максимального правдоподобия для анализа гетероскедастичности. В этом случае модель парной линейной регрессии имеет вид yi = a+ bxi+ei , где Eei = 0, Dei = si2, так что ei Î N(0, si2). Соответствующие плотности вероятностей 
. Логарифмическая функция правдоподобия
.
Теперь ясно, как модифицировать МНК в случае гетероскедастичности ошибки e i :
.
В случае гомоскедастичности дисперсии si равны и мы получаем классическую формулировку МНК.
|
|
|
Часто вводится веса наблюдений 
, при этом число l выбирается так, чтобы веса были целыми числами. МНК сводится к минимизации взвешенных сумм квадратов:
.
Статистические гипотезы
В предыдущих параграфах рассматривалась методика моделирования взаимосвязей экономических показателей и процессов. С помощью полученных уравнений регрессии моделировалась эта связь. Качество выбранной модели оценивалось коэффициентом детерминации; её соответствие фактической, реально существующей связи, - коэффициентом аппроксимации. Эти оценки необходимо дополнить оценкой значимости полученной модели в целом и отдельных её параметров. Оценка значимости модели в целом производится с помощью F- критерия Фишера, а отдельных её параметров - посредством t-критерия Стьюдента. Для получения искомых оценок формулируются и проверяются статистические гипотезы: основная или нулевая гипотеза (обозначается Н0 ) и альтернативная Н1.
Суть нулевой гипотезы заключается в том, что делается предположение об отсутствии связи между рассматриваемыми экономическими показателями или явлениями, т.е. о несущественности рассматриваемой связи. Альтернативная гипотеза Н1 утверждает наличие связи между анализируемыми величинами и явлениями. По оценке «истинности» или «ложности» нулевой гипотезы, делается вывод о значимости модели.
|
|
|
Как уже отмечалось, количественные оценки исходной информации носят случайный характер и, следовательно, параметры разработанных моделей носят элементы случайности. В связи с этим «истинность» или «ложность» нулевой гипотезы может быть принята лишь с определенной степенью вероятности. Вероятность отвергнуть правильную гипотезу, т.е. совершить ошибку 1-го рода, называется уровнем значимости нулевой гипотезы, обозначается α и обычно принимается равной 0,05 или 0,01.
Если нулевая гипотеза «ложна», но принимается, то совершается ошибка 2-го рода, вероятность которой обозначается β. Число (1 – β) называется мощностью критерия, являясь вероятностью того, что справедлива альтернативная гипотеза Н1.
Схема возможных вариантов осуществления метода нулевой гипотезы приведены на рис. 7.
Рис. 7. Схема вариантов нулевой гипотезы.
F – статистика
Значимость регрессионной модели определяется с помощью F-критерия Фишера. Для этого вычисляется отношение
|
|
|
(19.1)
где n - число парных наблюдений; m - число независимых переменных xi; R2 - коэффициент детерминации; RSS - сумма квадратов отклонений yi от среднего 
, объясненная регрессией; ESS - остаточная сумма квадратов отклонений (см. §15).
Для парной регрессии m = 1, поэтому формула (19.1) примет вид:
(19.2)
Можно сказать, что F-критерий определяет отношение факторной и остаточной дисперсии, рассчитанных на одну степень свободы. Если нулевая гипотеза справедлива, то факторная и остаточная дисперсии мало отличаются друг от друга. Для опровержения нулевой гипотезы необходимо, чтобы факторная дисперсия превышала остаточную в несколько раз.
Величина F имеет распределение Фишера с ν1 = m и ν2 = n- m-1 степенями свободы [3]. Задавая уровень значимости α (в частности, принимая α = 0,05) и находя из таблиц или с помощью пакетов EXCEL , STATISTICA и др. величину Fтабл(ν1, ν2 , α), сравниваем F и Fтабл . Табличное значение Fтабл - критерия -- это максимальная величина отношения дисперсий, которая может иметь место при случайном расхождении для данного уровня вероятности и при условии, что нулевая гипотеза справедлива. Если F > Fтабл , то уровень регрессии признается статистически значимым и нулевая гипотеза отвергается. Если же F < Fтабл, то нулевая гипотеза принимается, т.е. зависимость между x и y признается несущественной.
T – статистика
Для оценки значимости отдельных параметров регрессионной модели y= a+ bx+ e их величина сравнивается с их стандартной ошибкой. При этом рассчитывается так называемый t – критерий Стьюдента
(20.1)
где a, b – параметры модели; sa , sb – ошибки параметров; r – линейный коэффициент корреляции; sr – ошибка линейного коэффициента корреляции.
Значение t—критерия сравнивается с табличным значением при определенном уровне α и числом степеней свободы.
Ошибки параметров модели определяются по следующим формулам:
(20.2)
(20.3)
где S2 - оценка (13.8) при m = 2.
Ошибка линейного коэффициента корреляции r, введенного в §15, определяется по формуле
(20.4)
По формулам (20.1) – (20.4) рассчитываются значения t - критерия .
Величины t имеют распределение Стьюдента. Задавая уровень значимости α при числе степеней свободы n=n-2 и находя из таблиц или с помощью пакетов EXCEL , STATISTICA и т.п. величину tтабл(ν, α), сравниваем t и tтабл . Если t > tтабл , то соответствующий параметр признается статистически значимым (при уровне ошибки α) и нулевая гипотеза, утверждающая ,что данный параметр равен нулю, отвергается. Если же t < tтабл, то нулевая гипотеза принимается, т.е. значимость данного параметранесущественна.
Список литературы
1. Айвазян С.А., Мхитарян В.С. Прикладная статистика. Основы
эконометрики. В 2 т. – М. ЮНИТИ, 2001. Т.1, 656 с., Т.2, 432 с.
2. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление.
В 2 т. М.: «Мир», 1974 – т.1, 406 с., т.2, 198 с.
3. Гмурман В.Е. Теория вероятностей и математическая статистика.
М. Высшая школа, 1999 – 480 с..
4. Доугерти К. Введение в эконометрику. М. Инфра-М. 2001 – 402 с.
5. Елисеева И.И., Курышева С.В., Костеева Т.В. и др. Эконометрика.
Под ред. И.И.Елисеевой.— М. «Финансы и статистика», 2001.—344 с.
6. Елисеева И.И., Курышева С.В., Гордиенко Н.М.. и др. Практикум по
эконометрике. Под ред. И.И.Елисеевой – М. «Финансы и статистика»,
2001 – 192 с.
7. Кремер Н.Ш., Путко Б.А. Эконометрика. М. ЮНИТИ-ДАНА, 2002 –
311 с.
8. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный
курс – М. Дело, 2001 – 400 с.
Оглавление
Предисловие ……………………………………………………………….. 3
Введение ……………………………………………………………………. 4
Глава 1. Анализ данных …………………………………………………… 8
§ 1. Состав исходной информации……………………………………... 8
§ 2. Интерполяционный полином Лагранжа …………………………... 9
§ 3. Парная линейная регрессия. Метод наименьших квадратов …….10
§ 4. Множественная линейная регрессия ………………………………12
§ 5. Нелинейные модели ……………………………………………….. 15
§ 6. Системы одновременных эконометрических уравнений ……….. 16
Глава 2. Временные ряды …………………………………………………. 18
§ 7. Составляющие временного ряда ………………………………….. 18
§ 8. Определение составляющих временного ряда ……………………18
§ 9. Временной ряд как случайный процесс ………………………….. 20
§10. Модели ARIMA ……………………………………………………. 21
§11. Учет сезонных составляющих …………………………………….. 23
Глава 3. Оценка качества спецификации модели …………………………25
§12. Анализ погрешностей исходной информации …………………….25
§13. Доверительные интервалы ………………………………………… 26
§14. Расчет погрешностей ………………………………………………. 29
§15. Коэффициент детерминации ……………………………………….31
§16. Средняя ошибка аппроксимации …………………………………..32
§17. Принцип максимального правдоподобия. Построение
регрессионных моделей при гетероскедастичности ошибок……. 32
§18. Статистические гипотезы…………………………………………. 34
§19. F-статистика …………………………………………………………35
§20. t- статистика …………………………………………………………36
Список литературы …………………………………………………………38
Оглавление…………………………………………………………………...39
Дата добавления: 2018-10-26; просмотров: 253; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!