Перенос результатов тестирования различных выборок испытуемых на метрическую шкалу
Обычно в практике тестирования приходится использовать большое число параллельных тестов. В основном, это связанно с необходимостью защиты базы тестов от тиражирования правильных ответов среди участников тестирования. Однако в этом случае возникает необходимость сопоставления результатов, полученных по параллельным формам тестов, что является непростой задачей.
Рассмотрим случай, когда N участников тестирования выполняют M различных вариантов теста, состоящего из К заданий. Пусть 
участников выполняли задание 
- го варианта:
.
Таким образом, в результате тестирования будет получено М различных матриц ответов 
, каждая из которых имеет размерность 
. Предположим, что полученные результаты по каждой из матриц ответов подчиняются однопараметрической модели Раша. Тогда в результате математической обработки ответов могут быть получены оценки латентных параметров трудности заданий 
и уровня подготовленности 
, а также оценки соответствующих среднеквадратичных ошибок 
и 
, и коэффициента дискриминации (разрешающей способности) заданий. Располагая полученными оценками, необходимо выставить каждому i- участнику определенный окончательный балл 
, находящейся в интервале от 0 до 100, но при этом возникает ряд трудностей.
Латентные параметры трудности заданий 
и уровней подготовленности участников 
, полученные для каждого из вариантов, относятся к метрическим, но не нормированным шкалам (можно измерить расстояния между параметрами в логитах, но нельзя измерить расстояния параметров от начала отсчета). Все отсчеты по таким шкалам можно сдвигать без потери информации. Для сведения всех результатов к единой шкале необходимо перекрытие заданий (одни и те же задания выполняют различные участники) или участников (одни и те же участники выполняют различные задания) в различных вариантах теста. И тот, и другой подход часто используется на практике.
|
|
|
Использование перекрытия вариантов тестов
При данном подходе все варианты тестов должны иметь общие задания (не менее 3 [6,27,28]) с примерно одинаковым уровнем трудности, причем эти задания должны делить всю шкалу трудности заданий примерно на равные интервалы. Подобные задания получили название узловых (или якорных) заданий. Предположим, что у нас имеется три одинаковых для всех вариантов теста задания с уровнями сложности 
, 
и 
. Верхний индекс в круглых скобках определяет взаиморасположение трудностей заданий. Для создания единой метрической шкалы по всем вариантам теста необходимо:
с помощью критерия согласия проверить статистические гипотезы о возможности применения модели Раша для описания полученных экспериментальных результатов;
|
|
|
задать условное начало (ноль) метрической шкалы для всех вариантов, для чего из всех оценок латентных параметров и 
вычитается значение . Если бы модель Раша была бы полностью адекватна результатам тестирования, и отсутствовали бы ошибки измерений, то трудности 
и 
совпадали бы для любых вариантов теста, что является на практике маловероятным;
усреднить трудности первого и третьего узловых заданий, полученные по разным вариантам с учетом соответствующих точностей (т.е. вычисляются средние весовые значения):
, 
,
Здесь 
и 
- соответственно веса оценок и , j- номер узловых заданий в вариантах теста, 
- номер варианта теста (от 1 до М), С - произвольная константа.
В конечном итоге трудностям узловых заданий приписывают следующие усредненные значения:
, 
, 
Точность усреднения разностей 
, 
, 
и 
можно оценить соответствующими дисперсиями:
, 
,
где 
и 
определяют дисперсии весовых единиц, а 
и 
уклонения 
для каждого из вариантов. Дисперсии тех же разностей, но не усредненных, а полученных по результатам тестирования по одному варианту вычисляются следующим образом:
|
|
|
, 
Исправленные значения латентных параметров трудности заданий и уровня подготовленности, испытуемых 
и 
, необходимые для перевода результатов полученных по разным вариантам теста к единой метрической шкале находят по следующим формулам:
если 
, то 
;
если 
, то 
;
если 
, то 
;
если 
, то 
.
Используя исправленные значения уровней подготовленности участников тестирования, приведенные к единой метрической шкале можно определить их окончательный балл по формуле:
,
где - окончательный тестовый балл на 100 бальной шкале, 
- среднее значение исправленного уровня подготовленности, 
- исправленный уровень подготовленности i – участника, 
- среднеквадратичное отклонение, 
- некоторые эмпирические коэффициенты подбираемые вручную (например 
, 
).
Дата добавления: 2019-01-14; просмотров: 161; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!