Как вводится критерий регулярности.

⇐ ПредыдущаяСтр 3 из 5Следующая ⇒

Предположим, что исходные данные разделены на два непересекающихся подмножества (части выборки и ). В матричных обозначениях: , , размерности таковы:

Где . Критерии точности – критерий, выражающие ошибку проверяемой модели на различных частях выборки. Типичным критерием этого вида является критерий регулярности: , где запись означает «ошибка на модели, коэффициенты которой получены на », , . Этот критерий несимметричен.

Ещё один несимметричный критерий регулярности получим, меняя и местами: . Теперь несложно сконструировать известный симметричный критерий регулярности:

где части и используются равноправно.

Покомпонентное МНК – оценивание.

- вектор параметров, - матрица наблюдений.

Выпишем систему нормальных уравнений:

Из уравнения найдем оценку для : .

Как узнать какие именно входные факторы ответственны за возникновение эффекта мультиколлинеарности?

Для этого надо воспользоваться такой мерой мультиколлинеарности как минимальное собственное число матрицы . Пусть , где - собственное число матрицы . Предположим, что между имеется приближенная линейная зависимость, т.е. . Вектор , соответствующий минимальному собственному числу , даёт тот набор коэффициентов, который дает максимальное приближение к нулю линейной комбинации векторов . Тогда эффект мультиколлинеарности создают те регрессоры коэффициенты при которых значительно отличаются от нуля.

Наилучшие линейные оценки. Теорема Гаусса-Маркова.

Для модели наблюдения НЛО является оценка .

1. Несмещенность.

Эффективность.

Пусть - произвольная несмещенная оценка, т.е. .

Обозначим .

, т.е. .

Вычислим матрицу ковариаций для оценки :

Состоятельность.

Сходимость в средне – квадратичном ведет в сходимости по вероятности. Воспользуемся неравенством Чебышева:

;

Используем более общее условие - .

- положительно полуопределенная матрица.

Тогда имея - наблюдений, мы можем добавить наблюдений:

, т.е. она неуклонно возрастает. Тогда Мы можем ожидать, что

Ридж оценки неизвестных параметров и их свойства.

С целью управления масштабом оценок введем в рассмотрение функцию стоимости

где второе слагаемое рассматривается как штраф при условии, что . Решим данную оптимизационную задачу .

, где .

, .

Часто матрицу задают в диагональной в виде , , т.е. пропорциональной диагональным элементам матрицы . Иногда применяют ещё более простой вариант . Покажем, что этот случай эквивалентен первому.