Матрица результатов.

Для проверки тестовых свойств заданий используется матрица результатов тестирования.

Матрицей называется компактная форма записи элементов, связанных некоторой общностью содержания. Матрица тестовых результатов представляет результаты испытуемых по всем проверяемым заданиям. Если представить, для примера, что четверо испытуемых отвечают на три задания, и что за каждый правильный ответ даётся один балл, а за неправильный- ноль, то результат тестирования можно представить в матрице Х_4х3.

В этой матрице имеется четыре строки, что равняется числу испытуемых, и три столбца, что равно числу заданий. В ней использованы только две оценки, 1 и 0. В матрице любого размера эти оценки отражают результаты взаимодействия множества испытуемых со множеством заданий.

Тестовый балл первого испытуемого (первая строка) по третьему заданию (третий столбец, Х₁₃) равен единице; тестовый балл третьего испытуемого по второму заданию (Х₁₂) равен нулю и т. д.

Рассмотрим пример матрицы (табл. 2.1), в которой приведены результаты проверки знаний 13-ти испытуемых по 10-ти заданиям(Х_13х10). Впервые эта матрица и последующий текст были приведены в моей книге Основы научной организации педагогического исследования" М.: МИСиС, 1989, с. 93.

Табл. 2.1. Матрица тестовых результатов.

Испытуемые	Задания

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

Для проверки тестовых свойств заданий тестовой формы и превращения части из них в тестовые задания, с данными табл. 2.1 делается ряд расчетов. Результаты представлены в табл. 2.2.

Табл. 2.2. Таблица тестовых результатов.

Испытуемые	Задания

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

В этой матрице проведено два упорядочения.

Одно касается испытуемых. В первой строке представлены баллы самого успешного испытуемого, во второй менее, и т.д., по нисходящей сумме баллов, если ее посчитать для каждого испытуемого.

Другое упорядочение проведено для заданий. На первом месте стоит самое легкое задание, по которому имеется наибольшее число правильных ответов, на втором - меньшее, и т. д., до последнего, у которого имеется всего один правильный ответ.

В табл. 2.2 приводятся и основные статистические данные, принимаемые во внимание на первом этапе эмпирической проверки качества заданий.

Вначале определяется мера трудности заданий. Известную трудность заданий, как первое требование к тестовым заданиям, можно образно сравнить с разновысокими барьерами на беговой дорожке стадиона, где каждый последующий барьер чуть выше предыдущего. Успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.

Трудность задания может определяться двояко:

умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения задания;
эмпирически, путем опробования задания, с подсчетом доли неправильных ответов по каждому из них.

Эмпирически трудность заданий определяется сложением элементов матрицы по столбцам, что указывает на число правильных ответов, полученных по каждому заданию (Rj). Чем больше правильных ответов на задание, тем оно легче для данной группы испытуемых.

Больше правильных ответов оказалось в первом задании (R₁ = 12), что означает, что оно самое легкое в матрице.

В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться также и характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.

В силу простоты показатель R, удобен, но до тех пор, пока не появляются другие группы испытуемых, с разным числом испытуемых (N). Поэтому для получения сопоставительных характеристик R, делят на число испытуемых в каждой группе.

p_j= R_j / N (2.1)

В результате получается статистический показатель - доля правильных ответов, p_j. Значения p_j приводятся в третьей строке нижней части таблицы 2.2. Статистика p_j долго использовалась в качестве показателя трудности в так называемой классической теории тестов. Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения p_j указывает не на возрастание трудности, а наоборот, на возрастание легкости, если можно применить такое слово.

Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (q_j). Эта доля вычисляется из отношения числa неправильных ответов (W_j - вторая строка нижней части таблицы) к числу испытуемых (N):

q_j = W_j / N (2.2)

Значения q_j представлены в четвертой строке нижней части таблицы 2.2. Естественным образом принимается, что

p_j + q_j = l (2.3)

Результаты сложения по строкам представлены в последнем столбце таблицы. Из последнего, одиннадцатого столбца таблицы видно, что больше правильных ответов у первого испытуемого, а меньше - у последнего. Это столбец представляет собой числовой вектор тестовых баллов испытуемых. Суммирование баллов всех испытуемых, представленных в таблице, дает число 65. Полезно посчитать средний арифметический тестовый балл в данной группе испытуемых

М = 65 / 13 = 5.0

Это равенство отражает сумму всех элементов матрицы тестовых заданий, но только для случаев, когда для получения Yi используются одинаковые весовые коэффициенты (Cj) значимости заданий в тесте, все равные, например, единице.

Определение понятия трудности

В технологиях адаптивного обучения и контроля используется другая мера трудности задания, равная ln q_j / p_j. Эту меру трудности, получаемую в шкале натуральных логарифмов, называют логит трудности задания. Симметрично введится и логарифмическая оценка уровня знаний, так называемый логит уровня знаний, равный ln p_i / q_i, где р_i- доля правильных ответов испытуемого, рассчитываемая по формуле p_i= Yi / k, в которой Yi означает число правильных ответов испытуемого i, а символ k означает общее число заданий.

Логарифмические оценки таких, казалось бы, реально несопоставимых феноменов как уровень знаний каждого испытуемого, с уровнем трудности каждого задания, привели к незамысловатой, внешне, попытке сравнить их посредством вычитания. Однако эффективность такого сравнения оказала огромное влияние на развитие зарубежной педагогической теории и практики.

Впервые появилась возможность непосредственного сопоставления любого множества заданий с любым числом испытуемых. ЭВМ сопоставляет логит задания и логит знаний и на этой основе подбирает очередное задание в системах адаптивного обучения и контроля знаний.

Требование известной трудности оказывается важнейшим системообразующим признаком тестового задания. Если тест- это система заданий возрастающей трудности, то в нем нет места заданиям без известной меры трудности.

Дата добавления: 2015-12-21; просмотров: 120; Мы поможем в написании вашей работы!

Поделиться с друзьями:

12 3 4 5 6 7 Следующая ⇒

Мы поможем в написании ваших работ!