И экеппораторная факторизация 22 страница

• принять многокритериальное (многофакторное) решение с помощью автоматизированного взвешивания значимости различных, факторов незави­симыми экспертами или непосредственно заказчиком (ЛПР — лицом, при­нимающим решение);

• проверить экспертную валидность созданного теста с помощью не­зависимых судей, оценивающих ту же выборку испытуемых.

В данном режиме, в ЭКСПАН-Т (так названа сателлитная версия систе­мы ЭКСПАН) формируется структура данных, изображенная на рис. 32.

Как видим, тестовые результаты (баллы) выступают в ЭКСПАНе в качестве одного из возможных «слоев» полного куба данных. Другие «слои куба» образуются с помощью экспертных оценок. Для этого каждый экс­перт должен оценить каждого испытуемого по всем факторам, что и обес­печивает сателлитная система ЭКСПАН-Т.

Именно в такой форме мы пытались в разработанных нами программ­ных средствах практически реализовать идеи совмещения объектной и субъектной парадигм анализа данных.'

Рис.32. Трехсторонняя структура (куб) данных в системе ТЕСТАН + ЭКСПАН. В качестве первого «слоя» выступает (в отличие от всех остальных слоев) не матрица экспертных оценок «испытуемый * фактор», а объективные баллы испытуемых, полу­ченные по данным факторам в ходе тестирования. Таким образом, возникает возмож­ность не только учета тестовых и экспертных данных, но и расчета согласованности между тестовыми и экспертными данными (экспертная валидизацмя теста).

Психометрический пакет ТЕСТАН+

В контексте данного исследовательского проекта необходимо также хотя бы кратко описать те процедуры психометрического анализа тесто­вых данных, которые были реализованы в рамках системы ТЕСТАН. В табл. 7 показано, как выглядит главное меню «психометрической субсис­темы» ТЕСТАНа под названием «TESTAN+».

Использующий современные ресурсы расширенной памяти персональ­ных компьютеров (скомпилированный в защищенном режиме на Borland-Pacal-7.0) пакет ТЕСТАН+ позволяет анализировать матрицы практичес­ки неограниченной размерности/С помощью этого пакета мы анализиро­вали, в частности, не только интеркорреляции между 300 пунктами 16РФ, но и для 377 пунктов ММИЛ (известная модификация MMPI, созданная Ф. Б. Березиным и соавторами), подсчитанные по выборкам, включаю-

Возможности системыТЕСТЛН. Меню психометрической субснстемы «Тестан+»

Таблица 7

НОРМЫ	ВАЛ ИД НОСТ1.	НАДЕЖНОСТЬ	ДОСТОВЕР­НОСТЬ	ПУНКТЫ
Анализ распределения	Вввод и редактирование критерия	Расщепление теста	Редактор баллов по СЖ-шкале	Надежность пунктов
Проверка нормальности	Внешняя {по критерию)	Альфа-надежность	Расчет социальной Желательности	Валидность пун ктов
Проверка устойчивости	Внутренняя вал и дн ость	Ввод и редактирование	Дублирующие пункты	Достоверность пунктов
Табличные нормы	Факторн ый анализ шкал	Ре-тестовая надежность	Консистент-ность протокола	Ре-тестовая надежность
Критериальные нормы	Конфирма-торный факторный анализ	-		Эксплораторный факторный анализ
Настройка стандартной шкалы				Кластерный анализ
				Анализ конгруэнтности
	*			Сокращение пунктов

щим свыше 1000 испытуемых. Сравнение факторных решений, получен­ных с помощью ТЕСТАН+ и самым, по-видимому, ныне популярным за­падным пакетом SPSS-10, показало, что главные компоненты и варимакс-факторы совпадают с точностью до сотых долей (по величинам фактор­ных нагрузок).

Оставим в стороне такие чисто практические удобства, как скорость и простота сбора и анализа результатов¹. Наиболее значимым и полезным для нашего исследования свойством субсистемы ТЕСТАН+ следует считать удоб­ную возможность анализа конгруэнтности — автоматического сравнения раз­личных эмпирически найденных факторных решений и ключей (теоретичес­ких факторных систем), а также конфирматорный факторный анализ (КФА) (см. таблицу 7).

Алгоритм КфА в системе ТЕСТАН

Идеи, реализованные нами в оригинальном алгоритме конфирматорно-го анализа, сводятся к следующему. Этот простой алгоритм основан на сравнении эмпирических корреляций между пунктами с корреляциями, репродуцированными на основе заданных факторов. КФА призван прове­рить, в какой степени заданные вами факторы (заданные в шкальных ключах) позволяют объяснить существующие интеркорреляции между пунк­тами, Основная формула для расчета матрицы репродуцированных корре­ляций между пунктами является традиционной для косоугольного много­факторного решения (Сотгеу, 1973):

[Ri] = [W] * [Rs] * [ W]\

где [Ri] — матрица репродуцированных корреляций между пунктами;

[W] — матрица ключей «шкалы * пункты» в формате факторных псевдонагрузок (~l<=Wij<= +1);

[V/]' —транспонированный вариант матрицы [W];

[Rs] — матрица интеркорреляций между шкалами (поправка на косо-

угольность). .

Для матрицы [Rs] можно использовать как эмпирическую, так и теорети­ческую модель. Первую TESTAN+ рассчитывает автоматически — в ходе выполнения процедуры «Внутренняя валидность» (см. табл. 7). Во втором случае пользователь просто редактирует матрицу [Rs], полученную после расчетов, в соответствии со своими собственными представлениями.

¹ Хотя именно это и приводит к повышению темпа исследовательских работ — делает возможным в считанные дни разработать мощный тест, собрать по нему в ком­пьютерном классе (в локальной сети) представительный массив в несколько сот прото­колов, тут же проанализировать, построить обоснованную факторную структуру, отбро­сить неудачные пункты (не дающие вклад ни в один из интерпретируемых факторов).

Алгоритм КФА в TESTAN+ рассчитывает остаточную корреляцию (раз­ность эмпирической и репродуцированной) и сходство (между эмпириче­ской и теоретической корреляцией) для каждой пары пунктов. Пользова­тель может ввести собственные критические уровни для остаточной кор­реляции и сходства. По умолчанию установлены следующие значения:

Критическая остаточная корреляция (КОР)     1,0

Критическое сходство (КС)                            -0,2

Все пары пунктов с остаточной корреляций выше КОР (или со сход­ством ниже КС) указываются в файле с результатами КФА. Чем меньше пар пунктов указано в файле с результатами КФА, тем успешнее следует считать принятую модель заданных факторов. Те нары пунктов, корреля­цию между которыми пользователь (разработчик теста) fie смог предска­зать, возможно, нуждаются в переформулировании. Или в пересмотре нуж­дается общая концепция тестовых шкал.

О результатах, полученных нами с использованием данного алгоритма, см. следующую главу 4.

Тестирование

в Интернете (Тепетестинг)

В 1997 году под нашим руководством в России состоялась первая олимпиада для выпускников школ с использованием Интернет-технологии «Телетестинг» {Шмелев, Ларионов, Серебряков, 1998). В этом случае поль­зователь получает на свой локальный компьютер только тестовые задания, а обработка данных производится на сервере у разработчика. Существует ряд модификаций этой общей схемы — от меньшей до большей нагрузки на процессы сетевого обмена информацией. Самый «нагруженный» для сети вариант — это так называемое «он-лайн-тестирование». В этом случае по сети передается либо гипертекстовая страничка с тестовыми заданиями, либо фактически каждое отдельное задание теста. Для тестов, где существенно время ответа, этот вариант имеет смысл применять при наличии высокоско­ростных оптических линий и нет смысла — при наличии медленных теле-фонно-модемных линий связи. Кроме того, существенным недостатком этого варианта является фактическая незащищенность тестовых заданий от несанк­ционированного распространения.

В «Телетестинге» нами был применен комбинированный подход: про­ведение теста в режиме off-line (без подключения к Интернету), а получе­ние теста и обработка результатов — в режиме on-line. При этом приме­нены многае достижения предыдущего периода. Это и использование алго­ритмов со случайным предъявлением тестовых заданий из большого банка (random selection), н адаптивное тестирование (CAT — computer adaptive testing, Шмелев, 1999).

В чем же конкретно Интернет-технологии новы, почему можно гово­рить о том, что они знаменуют качественно новый этап в развитии психо­логического тестирования?

• Формируется новый тип диагностической ситуации «дистанцион­ное тестирование» (ее неправильно считать «заочной», ибо она характе­ризуется определенными элементами интерактивпости, хотя и менее выра­женными, чем при очном тестировании). В силу дистанционных отношений между экспериментатором и испытуемым повышается роль мотивации само­познания, повышается роль добровольцев, которым необходимо «оплатить» их участие в пилотировании сырой версии методики с помощью автоматизи­рованной интерпретации их сугубо предварительных результатов, тем самым повышается роль систем автоматизированной интерпретации. Если в очном компьютерном тестировании экспериментатор может «на словах» пояснить испытуемому малопонятный для него профиль, то в заочном тестировании испытуемый хочет получить связный и понятный текст (т. н. «narrative report» — повествовательный отчет).

• Взаимоотношения между пользователями и разработчиками тестов оказываются по-настоящему интерактивными, складывается интерактив­ная модель сотрудничества. При этом банки протоколов автоматически пополняются, что создает возможности внесения своевременных корректи­вов в методики.

• Кардинально расширяется аудитория пользователей тестов и других процедур, включая и испытуемых, и экспериментаторов. В результате зна­чительно повышается репрезентативность диагностических норм, популя-ционная устойчивость ключей и т. д. Если раньше на получение нескольких сотен протоколов уходили недели и месяцы, то теперь это можно получить

за один день'.

• Резко расширяются возможности участия специалистов (в том числе из разных стран) по созданию корпоративных банков тестовых заданий и систем интерпретации результатов².

Существуют и явные проблемные аспекты, которые приносит с собой эпоха Интернета в науку в целом и, в частности, в экспериментальную психологию индивидуальных различий. Повышается роль электронных публикаций и явно сокращается роль академических публикаций в форме «твердых копий» (обычные журналы и книги). Исследователи, захвачен­ные невиданными ранее возможностями и перспективами, просто не успе­вают доводить до стандартных публикаций свои новейшие разработки.

¹ К сожалению, несмотря на все наши агитационные призывы, пользователи слиш­ком редко и мало передавали нам собранные ими банки протоколов по нашим компью­терным тестам в течение всей «эпохи» персональных компьютеров.

² В качестве примера такого сотрудничества следует указать проект, который реали­зовал в Интернете Л. Голлберг, о чем мы коротко упоминали во второй главе, IPIP — International Personality Item Pool (адрес в Интернете — http://www.ipip.ori.org).

В русскоязычном Интернете уже сейчас можно назвать десятки сай­тов, на которых опубликованы развлекательные психологические тесты (см. обзор в так называемом «Тест-ревю» на сайте http://www.ht.ru), все-таки эти поделки в большинстве случаев произведены программистами и журналистами, а профессиональные психологи чаще осознают высокую ответственность за сообщение каких-то сведений о личности испытуемого в ситуации, когда нет возможности как-либо устно смягчить или скоррек­тировать его возможную неадекватную болезненную реакцию на эту ин­формацию.

Перед тем как взяться за «интернетизацию» личностных тестов, мы применили «Телетестинг» для тестирования знаний. Обратная связь в этой области хотя и значима, но в меньшей степени может породить возможный эффект типа «ятрогении» (внушенное заболевание). Но главным в обраще­нии к тестированию знаний для нас было то обстоятельство, что именно в этой области во второй половине 90-х годов в России сложился квалифици­рованный спрос на тестовые услуги, обеспеченный техническим наличием первых учебных компьютерных классов, подключенных к Интернету. За пять лет — с 1997 по 2001 год — в олимпиадах «Телетестинг» приняло участие около 60 тысяч старшеклассников и абитуриентов из более чем 100 городов России и ближнего зарубежья¹.

Постепенно к Интернету стали «подключаться» не только математики и программисты (те же руководители компьютерных классов), но и пси­хологи. Значительно расширилась аудитория добровольцев-интересантов, которые ныне представляют собой настоящую армию любителей самотес­тирования, насчитывающую, по самым скромным оценкам, уже несколько десятков тысяч человек (если судить по суммарной суточной посещаемос­ти сайтов, на которых опубликованы психологические тесты). На сегрдня создаются предпосылки для реализации в Интернете идеи «виртуальной лаборатории», в которой многие процессы и процедуры по созданию тес­тов будут осуществляться в интерактивном режиме он-лайн. Одним из прототипов такой лаборатории уже сейчас может служить разработанный нами раздел «Психоигротека» на сайте «Гуманитарные технологии» (http:// www.ht.ru). Другой образец такой лаборатории предложен в русском Ин­тернете нашим бывшим сотрудником Д. С. Сатиным (http:// testology.psychology.ru). В совместном исследовании с В. Г. Ромеком Сати­ну удалось показать, что в Интернете принципиально не меняются психоме­трические параметры таких классических личностных вопросников, как,

¹В ходе олимпиады-98 мы предъявили участникам факультативно т. н. «Тест ин­теллектуального потенциала» (ТИП). Уже в первый лень мы получили свыше 2000 протоколов по всей России, и тем самым задача получения репрезентативных норм на общенациональной выборке (правда, определенного возраста) была решена с невидан­ной ранее скоростью.

например, вопросника EPI, выполненного в нашей адаптации 1984 года (Ромек, Сатин, 2000).

Если иметь в виду проект «Психосемантика личностных черт», то ис­пользование достижений этого исследовательского проекта в Интернете уже обозначилось, в частности, в такой форме. А. Г. Ларионов разработал и реализовал в Интернете опросник «Модель идеального руководителя» (см. ссылку в «Психоигротеке» на сайте http://www.ht.ru), в котором пользова­телям предлагается не только выбирать качества из заданного набора, но и формулировать собственные качества, При этом свободные формулировки анализируется с помощью банка в 2090 личностных черт, построенного в рамках проекта ТЕЗАЛ. В результате индивидуальная модель идеального руководителя строится в форме стандартного факторного профиля 15РФ (без фактора социальной желательности).

Другой пример представляет собой сетевая версия так называемого «Фототеста» (см. тот же адрес в Интернете): пользователи оценивают фотопортреты с помощью факторных шкал Большой Пятерки, получают обратную связь о том, как точно они пользуются этими факторами в ходе визуальной диагностики, могут прислать собственный фотопортрет и по­лучить его оценку со стороны независимых пользователей Интернета (этот проект получил у нас условное название «Имидж-ателье»).

Но, увы, дальнейшее обсуждение замечательных перспектив (и новых проблем), связанных с созданием «виртуальных лабораторий», остается пока за рамками данной программы исследований, основные работы по которой были выполнены еще до эпохи Интернета.

 

Глава 4

Валидность МОДЕЛЬНЫХ ПРЕДСТАВЛЕНИЙ

В этой главе мы пытаемся расположить первую группу гипотез в такой последовательности, чтобы облегчить читателю прослеживание логики по­следовательного усложнения средств отображения личностного "семанти­ческого пространства. Но автор вместе с тем отчетливо осознает, что работа по взаимной увязке приведенных в этой главе модельных представ­лений во многом еще находится в промежуточной стадии. На карте поли­морфного описания ЛСП остается немало белых пятен, порождающих иной раз больше вопросов, чем ответов.

Полученные нами эмпирические данные могут рассматриваться лишь как один из возможных источников аргументации в пользу того или иного модельного представления. Релевантность эмпирическим данным, как это было всегда в истории гуманитарного научного познания, является не един­ственным, а лишь одним из возможным аргументов в пользу выбора той или иной модельной системы.

Не меньшую роль здесь и по сей день продолжают играть «культур­но-исторические» и субъективистские факторы: сила инерции (смена парадигм происходит медленно и последовательно и не может осуществ­ляться прыжками через одну или сразу две-три ступени). Кроме того, идеологические соображения и контекст релевантных прикладных задач по-прежнему диктуют выбор моделей, по крайней мере, не в меньшей степени, чем соответствие эмпирическим данным.

КРОСС-КУЛЬТУРНАЯ ГИПОТЕЗА: S-ДАННЫЕ

Таксономические исследования

Выделение максимально универсальных контекстно-независимых харак­теристик личности, направлений межиндивидуальной вариации личностных особенностей (dimensions) было и продолжает оставаться страстной мечтой

самых одержимых исследователей в этой области. По силе одержимости и по своей когнитивной основе эту исследовательскую установку вполне уместно сравнить с упованиями средневековых алхимиков, искавших возможность синтеза всех возможных веществ (прежде всего золота, как мы помним) путем комбинирования всего нескольких простых элементов.

Как мы уже отмечали в первой главе, к 60—70-м годам нынешнего столетия фактически стала очевидной бесплодность попыток свести все многообразие индивидуального поведения к небольшому перечню универ­сальных черт: любые факторные системы давали возможность объяснить лишь меньшую часть (меньше 50 процентов) дисперсии наблюдаемого пове­дения. Но несмотря на это снижение пафоса, задача поиска максимально возможной универсальной системы остается актуальной хотя бы в том смысле, что исследователям необходимо выбрать одну из множества альтернатив­ных факторных систем. Содержательно-психологическая интерпретация таких универсальных факторов позволила бы создать объяснительный фундамент для современной дифференциальной психологии и вносила бы необходи­мый {хотя и не достаточный) вклад в прогнозирование поведения людей в широком классе ситуаций и на больших отрезках времени.

Одним из эвристически ценных приемов в поиске глобальных лично­стных факторов следует признать межкультурные сравнения. Именно такая кросс-ситуационность, которая является универсальной для раз­ных языковых культур, для разных социальных условий, указывает нам на заведомо глобальные характеристики.

На этом пути мы прежде всего попытались сравнить факторно-таксоно­мические модели лексики личностных черт, построенные для английского и русского языков. Нами сравнивалась факторная модель, построенная Л. Голд-бергом ( Goldberg, 1990), и модель, полученная в нашем таксономическом проекте (Шмелев и др., 1991)_: Стратегия сопоставительной работы подроб­но обсуждалась с профессором Орегонского университета США Льюисом Голдбергом по электронной почте и в ходе очных встреч на разных конфе­ренциях. Результаты сравнения опубликованы в совместной статье в «Пси­хологическом журнале» в 1993 году (Голдберг, Шмелев, 1993).

---

Дата добавления: 2019-01-14; просмотров: 140; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!