Разделы многомерного статистического анализа, которые используются в задаче анализа зависимостей при различных комбинациях типов факторов.

Вариант 1

Прикладные цели исследования зависимостей.
1) Установление наличия зависимости между входными и выходными переменными.
2) С целью дальнейшей экстраполяции.
3) Выявление связи между входными и выходными переменными и на основании этого выдвижение гипотез о структуре истинной зависимости.
Линейная оценка –это оценка вида , где , T – матрица .
Метод максимального правдоподобия.
. – функция плотности (правдоподобия при известном ).

ММП оценка : , где - любая другая оценка.

Введем предположение A.4: ~ .

Таким образом имеет плотность вероятности:

Теорема Чанга. Если с.в. имеют совместную плотность распределения и если - есть функция от такая что обеспечивается один-один соответствие между и , то плотность вероятности есть

, где - детерминант якобиана.

Поскольку уравнение наблюдения (1.4) устанавливает один-один соответствие между и , то совместная плотность распределения для может быть получена из плотности распределения для : ,

где

Таким образом функция правдоподобия наблюдаемых при заданных (или ) есть

Для упрощения возьмем

с неизвестными параметрами и .

Для получения ММП оценок для и необходимо совместно решить.

Геометрический смысл МНК
. - пространство, натянутое на столбцы . . Будем минимизировать . Условие минимума: . Т.о. . Т.о. в точке минимума . Т.к. , то - проекция на . , . .
Гетероскедастичность.
Специальный случай несферических возмущений, который называется гетероскедастичностью, состоит в предположении, что при сохранении предположения о независимости возмущений: . Очень часто дисперсия возмущения в реальных ситуациях является возрастающей функцией от какого-либо фактора или групп факторов или самого возмущения. Для получения эффективной оценки можно воспользоваться оцениванием по ОМНК с

, где матрица таким образом играет роль весовой матрицы, взвешивающей каждое наблюдение с весом . Наблюдение с большей дисперсией (и значит малым весом) учитывается в меньшей степени.

Ридж-оценки – смещенные или нет?
- является линейным преобразованием МНК-оценки и является смещённой;

Действительно, ,

где - матрица линейного преобразования.

Критерии точности
Типичным критерием этого вида является критерий регулярности:

где запись означает «ошибка на модели, коэффициенты которой получены на », , . Этот критерий несимметричен. Ещё один несимметричный критерий регулярности получим, меняя и местами: .

Симметричный критерий регулярности:

где части и используются равноправно.

Критерий стабильности. Здесь выполняется требование, чтобы оптимальная модель одновременно имела хорошую точность как на обучающей , так и на проверочной последовательностях при коэффициентах, оцененных на :

где - остаточная сумма квадратов ). Этот критерий несимметричен. Симметричный критерий стабильности:

Необходимость использования внешних критериев. Классификация.
Критерий называется внешним, если его определение основано на использовании новой информации, «свежих» точках, не использованных при синтезе модели. Модель оптимальной сложности соответствует минимуму внешнего критерия. При пользовании внутренними критериями исследователь часто попадает в положение, что «чем сложнее модель, тем она точнее», что не соответствует истине. При постепенном усложнении модели внешний критерий проходит через минимум, что даёт возможность найти единственную для данного критерия оптимальную модель. В случае использования внешнего критерия, вся выборка обычно разбивается на две части: обучающую и проверочную последовательности. Причём на первой производится оценивание модели, а на второй – проверка её по внешнему критерию. Поскольку линия регрессии – это инструмент прогнозирования, то и всерьёз верифицировать любой прогноз подлежит с помощью повторения эксперимента. Отсюда мы и приходим к необходимости использовать для проверки (а значит и выбора) модели другую выборку (выборки).

Все внешние критерии можно разделить на две группы:

1) критерии точности, выражающие ошибку проверяемой модели на различных частях выборки;

2) критерии согласованности, являющиеся мерой близости оценок, полученных на различных частях выборки.

Причем, критерии могут применяться в симметричной или несимметричной форме. Симметричным будем называть критерий, в котором равноправно используется информация частей и выборки; в противном случае критерий является несимметричным.

Вариант 2

Разделы многомерного статистического анализа, которые используются в задаче анализа зависимостей при различных комбинациях типов факторов.

№	Природа откликов	Природа факторов	Название раздела многомерного статистического анализа
1.	Количественная	Количественная	Регрессионный анализ
2.	Количественная	Одна переменная – время	Анализ временных рядов
3.	Количественная	Качественная	Дисперсионный анализ
4.	Количественная	Смешанная	Ковариационный анализ
5.	Неколичественная	Неколичественная	Анализ ранговых корреляций
6.	Неколичественная или отсутствие	Количественная	Дисперсионный анализ, кластерный анализ
7.	Смешанная	Смешанная	Аппарат логических решающих функций

2. Какими свойствами обладает наилучшая линейная оценка?
1) Несмещенность: 2) Состоятельность: Оценка состоятельна, если сходится по вероятности к :

3) Эффективность: Несмещенная оценка называется эффективной, если ,

где - дисперсионная матрица. В общем случае произвольных оценок (смещенных и несмещенных) оценка считается более эффективной, чем , если , где

- матрица среднеквадратичных ошибок, - вектор смещения.

5. Назовите 2-3 внешних критериев, относящихся к группе «критерии согласованности»
Критерий несмещённости по коэффициентам. Отражает требование, чтобы оценки коэффициентов оптимальной модели, вычисленные на частях и , минимально отличались (были согласованными):

Критерий непротиворечивости (Критерий минимума смещения решений).Это более распространённая форма: Он отличается от наличием весовой матрицы и выражает несколько другое требование – чтобы минимально отличались оценки выхода модели на всей выборке по коэффициентам, полученным на частях и .

Абсолютно помехоустойчивый критерий (критерий вариативности): Он требует максимальной согласованности оценок выхода модели при коэффициентах, полученных на трёх частях выборки , и .