Трудность и дискриминативность заданий теста. Психометрический парадокс.
Определение степени трудности тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности заданий сводится к выбору оптимальных по сложности заданий, которые затем можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.
Трудность задания определяется числом правильных ответов на данное задание в сравнении с общим объемом выборки по формуле:
Где 
- количество испытуемых, давших правильный ответ, 
– общее количество испытуемых.
Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства тестов принято, что задания с Психометрическое обоснование диагностических методик 
от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых, в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).
Если при составлении теста необходимо расположить его задания в порядке возрастания трудности, то тогда необходимо сравнить насколько одна задача трудней другой. Для этого используют статистические критерии, специально предназначенные для оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат Мак-Немары:
|
|
|
([b - c]-1)2
c2= ѕѕѕѕ , где
b + c
где b – количество решивших первую задачу, но не решивших вторую,c – количество решивших вторую задачу, но не решивших первую.
При χ2 > 6,631 различия в индексах трудности двух задач следует считать достоверными.
Дискриминативность тестовых заданий
Теоретическая справка
При разработке теста необходимо стремиться к тому, чтобы его задания как можно тоньше измеряли тестируемое свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в психометрикедискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:
где N – количество испытуемых , n – количество заданий, fi - частота встречаемости каждого показателя.
|
|
|
Наименьшаядискриминативность теста при δ = 0, наибольшая при δ = 1
Психометрический парадокс — явление, возникающее при использовании личностных опросников. Его сущность состоит в том, что вопросы (утверждения), имеющие высокий показатель дискриминативности, являются неустойчивыми по отношению к повторяемости результата, и, наоборот, стабильность ответа часто отмечается у тех вопросов, которые обладают низкой дискриминативностью.
(дискриминативность заданий теста - способность отдельных пунктов теста дифференцировать обследуемых относительно максимального или минимального результата теста)
П. Айзенбергом (1941) было показано, что вопросы, которые позволяют отличать больных неврозом от других больных или здоровых, являются ненадежными; иначе говоря, мала вероятность получения того же самого ответа при повторном обследовании. В то же время с помощью вопросов, определяемых как надежные, различение изучаемых групп не достигалось или было неудовлетворительным. Позднее изучению этого явления, получившего название психометрический парадокс были посвящены работы Л. Голдберга (1963) и М. Новаковской (1975).
|
|
|
Голдберг рассматривает психометрический парадокс как определенную зависимость между постоянством и вариабельностью ответов на вопросы.
Психометрический парадокс не может быть объяснен без психологического анализа процесса формирования ответов на вопросы личностных опросников. Согласно М. Новаковской, вопросы, оставаясь формально неизменными, подвержены семантическим (психологическим) преобразованиям как в плане интериндивидуальном, так и интраиндивидуальном. Интериндивидуальная изменчивость обусловлена двумя причинами: различия в выраженности измеряемой черты (свойств) у разных обследуемых и различия в понимании значения вопросов. Интраиндивидуальная изменчивость обусловлена вариабельностью значения, трудностью принятия решения об ответе и флуктуацией выраженности черты (последний источник изменчивости можно не учитывать, если интервал между повторными исследованиями невелик).
Для психологической интерпретации психометрического парадокса М. Новаковская предлагает различать три детерминанты ответов: выраженность черты у обследуемого; значение, придаваемое вопросу; степень легкости принятия решения об ответе. Она подчеркивает также необходимость отличать вопросы однозначные от многозначных, которые в известном смысле могут быть уподоблены проективным стимулам.
|
|
|
М. Новаковская предлагает различать два вида психометрического парадокса — типа А и типа В — и исходит из следующих гипотез их возникновения.
Парадокс типа А возникает при вопросах, поддающихся различному истолкованию (многозначных), а также в том случае, когда трудно принять решение об ответе. Такие вопросы имеют высокий показатель дискриминативности при значительной вариабельности ответа. Например, «Ваше настроение обычно хорошее?» (в одном из вариантов опросника на определение нейротизма).
Парадокс типа В возникает при однозначных вопросах, для которых легко подобрать ответ. Сюда же должны быть отнесены т. н. односторонние диагностические вопросы или те вопросы, для которых только один тип ответа является диагностически значимым. Подобные вопросы характеризуются слабой дискриминативностью и незначительно выраженной вариабельностью. Например: «Часто ли вам снится, что вы оказались в пасти крокодила?» (в одном из вариантов опросника для определения уровня тревожности). Вопрос является диагностически односторонним, поскольку из ответа «да» мы можем заключить о наличии тревожности, а из ответа «нет» мы не можем сделать никакого вывода.
Чем больше в методике вопросов, дающих парадокс типа В, тем больше надежность, определяемая коэффициентом корреляции между результатами повторных исследований. Однако одновременно снижается дискриминативная сила вопросов.
Исследователь, зная о существовании психометрического парадокса, может регулировать вариабельность ответов путем подбора вопросов с соответствующими параметрами.
Необходимо учитывать психометрический парадокс при конструировании (адаптации) личностных опросников.
Дата добавления: 2019-07-17; просмотров: 1722; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!