Влияние числа дистракторов на точность оценивания уровня знаний
При проведении педагогических измерений очень важным является вопрос о выборе оптимального числа дистракторов и их влиянии на точность оценки латентных параметров. Для решения этого вопроса, можно, например, использовать имитационное моделирование [15]. При котором результаты тестирования можно задать в рамках модели Бирнбаума, приписав всем заданиям дифференцирующую способность равную 1,7, а трудность заданий и подготовленность испытуемых разделить на 17 уровней от -4,0 до +4,0 логита с шагом 0,5. В зависимости от числа ответов на задание, вероятность угадывания может составлять от 0,5 (два варианта) до 0,1 (десять вариантов ответов с одним правильным). Точность оценивания уровня знаний в данном случае определяется по числу пар, внутри которых уровни значимо отличаются друг от друга, и по ширине 95%-ого доверительного интервала для моделируемых уровней знаний. Результаты имитационного моделирования показывают, что оптимальным является 5-6 вариантов ответов на задание теста, т.к. точность оценки уровня знаний повышается незначительно, при использовании более 5 дистракторов, а при использовании менее 4 резко снижается.
Дифференцирующая (разрешающая) способность теста
Разрешающая способность теста является одним из ключевых понятий современной теории тестирования, поскольку разделение испытуемых по рейтингу или по группам, при аттестации, является основной задачей любого тестирования. В связи с этим вводится понятие коэффициента дискриминации (или различающей способности), который может характеризовать как весь тест в целом, так и отдельные тестовые задания, и рассчитывается на основании полученных результатов. Основное влияние при вычислении разрешающей способности теста оказывает число заданий – К, поскольку число заданий, как правило, меньше числа участников – N. При заданном конечном числе заданий – К, первичные баллы 
принимают конечное число значений 0,1, 2, 3, ……..К с шагом ∆b=1. Общепринято, что разрешающей способностью теста (ξ) называется длина промежутка ∆θ в логитах на латентной шкале уровня подготовленности, который соответствует шагу ∆b=1, т.е.
|
|
|
Если 
, то тест не в состоянии различить θ1 и θ2 . В реальной жизни величину разрешающей способности теста (ξ) желательно знать заранее при составлении теста, что можно сделать [11] используя следующий метод.
Продифференцируем по 
( 
):
, тогда 
.
Принимая dbi=1 получим:
Разрешающая способность теста в окрестности балла bi будет тем больше, чем больше информации содержится в i- строке матрицы ответов. Минимальное значение ξ (ξmin) ξmin=4/K достигается при 
для любого j=1, 2, 3, …….K. Поскольку максимального значения коэффициента разрешающей способности ξ не существует, то практически ограничиваются величиной ξ=11/K [11], соответствующего маловероятному случаю 
для любого j=1, 2, 3, …….К. На практике используют значения ξ удовлетворяющие неравенству: 4/K<ξ<11/K (K-число заданий), а для приближенных вычислений брать ξ≈7/K логит. Для средней квадратичной ошибки определения ξ ( 
) можно воспользоваться формулой:
|
|
|
(логит).
Соотношение 
позволяет установить взаимосвязь между соответствующими среднеквадратичными ошибками 
и 
:
Таким образом, для среднеквадратичной ошибки оценки уровня подготовленности i- участника, можно получить, что 
логит (bi –первичный балл, набранный участником), для среднеквадратичной ошибки оценки уровня сложности задания 
логит (Nj – число участников успешно выполнивших данное j- задание). Для более строгих расчетов 
, вероятности 
и 
вычисляют по модели Раша, используют следующее выражение:
.
В диапазоне от 0 до 1 коэффициент различающей способности имеет следующую интерпретацию [2]:
|
|
|
- больше 0,40(задание является эффективным);
- от 0,30 до 0,39 (задание является удовлетворительным);
- от 0,20 до 0,29 (задание требует переработки);
- менее 0,20 (задание необходимо полностью заменить).
Дата добавления: 2019-01-14; просмотров: 265; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!