Интеллект и способности. Разработка заданий

⇐ ПредыдущаяСтр 9 из 16Следующая ⇒

Как уже обсуждалось в главе 1, высокая надежность являетсянеотъемлемым атрибутом эффективных тестов. Было также показано, что надежность зависит до некоторой степени от величины теста.

Следовательно, при разработке тестов важно иметь возможность сформулировать настолько большое количество заданий, насколько это возможно. Кроме того, одной из причин неудовлетворительной надежности тестов является субъективизм исследователя, обрабатывающего полученные данные, то есть наличие различий как между результатами работы одного и того же исследователя в двух различных случаях, так и между результатами работы разных исследователей. Этот недостаток может быть полностью устранен, если можно сформулировать задания, не требующие никаких субъективных суждений от лица, проводящего тестирование,- то есть объективные задания. Очевидно, именно по этим причинам разработка заданий является решающим моментом при создании эффективных тестов. В самом деле, тест не может быть лучше своих заданий. Однако, он может быть хуже, если он плохо стандартизирован или если процедуры отбора и оценивания заданий и валидизации выполнены неверно (эти процедуры подробно описаны в последующих главах данного руководства).

Здесь основное внимание будет уделено фундаментальному аспекту конструирования тестов: разработке заданий. В настоящее время существует большое количество и разнообразие психологических тестов и, как следствие, существует огромное количество разного вида заданий. В данной главе обсуждение ограничивается рассмотрением тестов интеллекта и специальных способностей, объединяемых иногда термином «когнитивные тесты». Но даже в пределах этой категории тестов невозможно обсудить все типы заданий, которые могут использоваться. Тем не менее, когда будут понятны основные принципы разработки заданий для когнитивных тестов, станет легче формулировать и специфические задания. Основные принципы разработки заданий будут иллюстрированы примерами наиболее часто используемых типов заданий. Посредством этого я надеюсь вдохновить читателя на разработку новых заданий, что является краеугольным камнем психометрии.

Прежде чем обсуждать разработку заданий, следует упомянуть о некоторых небольших, но тем не менее важных моментах в конструировании тестов. Как уже говорилось, игнорирование этих по существу тривиальных истин может разрушить то, что в противном случае могло бы стать эффективным тестом.

Инструкции

Инструкции для испытуемых, выполняющих тест, должны быть настолько простыми и понятными, насколько это возможно. Если они будут сложными, некоторые испытуемые не смогут понять их, что неблагоприятно отразится на полученных результатах. Может оказаться так, что общий фактор интеллекта (с учетом понимания инструкции) будет смешан с фактором или факторами, присущими предполагаемым заданиям.

При апробации тестов на некотором этапе могла бы оказаться результативной попытка оценить инструкции. Я не хочу углубляться в подробности этого очевидного момента, но все же стоит убедиться, что инструкции не являются источником ошибок для испытуемых, не справившихся с заданиями. Наилучшим образом это можно выявить в ходе беседы, позволяющей узнать, что же пытались делать испытуемые, показавшие низкие результаты. Такого рода беседы - опросы также неизбежно выявляют неудовлетворительную часть (части) инструкций, которая впоследствии должна быть заменена.

Вот несколько правил для написания инструкций: ( 1 ) будьте кратки, насколько это возможно; (2) изъясняйтесь настолько просто, насколько возможно, употребляя простые предложения без уточняющих придаточных предложений; (3) примеры должны всегда помогать понять инструкции. Привлекательной возможностью является написание инструкции к тесту как части до-тестовой процедуры. Это требует от проводящего тестирование разъяснения инструкций испытуемым до начала тестирования, вплоть до предъявления им простейших заданий, дающих возможность удостовериться в том, что они поняты. Это приведет в результате не только к тому, что все испытуемые будут понимать инструкции и ознакомятся с видами заданий (и то, и другое может стать источником погрешностей измерения: в терминах классической модели эти аспекты заданий являются частью другой генеральной совокупности заданий), но кроме того установится хороший контакт между испытуемыми и экспериментаторами, что существенно, когда от испытуемых требуется демонстрация максимальных их возможностей, и это рассматривается, как указывает Nisbet (1972), в качестве преимущества индивидуального тестирования по сравнению с групповым. Alice Heim использует этот прием для представления инструкций к своей серии АН тестов интеллекта (Heim и др., 1970).

Задания для тестов интеллекта

Теперь мне бы хотелось рассмотреть виды заданий, используемых в тестах интеллекта, при этом следуя определению интеллекта в терминах результатов факторного анализа, по Spearman (1927). Наиболее убедительный факторный анализ способностей, имея в виду технические проблемы факторного анализа, очевидно, был выполнен Hakstian и Cattell ( 1974). Согласно этой работе, основные положения которой были детально обсуждены у Cattell (1971), выявляются два фактора интеллекта: gf - текучие способности (fluid abilities) - и gc - кристаллизованные способности (crystallized abilities). Текучие способности весьма сходны с показателем g Спирмена в том, что это способность отыскивать связи и выявлять отношения, зависимости, но на материале (и в этом отличие), который, как предполагается, минимизирует индивидуальные различия в образовании и культурном уровне. Кристаллизованные способности - это результат обучения, конденсат опыта, и они измеряются в зависимости от культуры, к которой принадлежит человек, активности, интересов личности.

Наиболее эффективные тесты интеллекта, разработанные еще до того, как из фактора были выделены кристаллизованные и текучие способности, фактически имеют задания, нагруженные этими двумя факторами. Так как кристаллизованные способности представляют тот уровень, до которого индивидуальные (природно обусловленные) текучие способности могут быть реализованы в условиях данной культуры, можно видеть, что задания, отражающие каждый из этих факторов, будут в целом подобными, но различающимися в частностях.

Аналогии

Аналогия - тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания подходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так

<8f-

Далее приведен ряд примеров заданий на аналогии. Все задания разработаны автором. Они не проходили никаких испытаний (за исключением того, что были сформулированы), и единственный аспект их валидности, о котором может идти речь - это очевидная валидность. Следует уточнить, что они не претендуют на роль эффективных тестов, а включены в изложение лишь в качестве примеров заданий этого типа. Принципы их разработки прокомментированы. Качество этих заданий должно оцениваться статистическими процедурами и последовательной валидизацией тестов, для которых они сформулированы. В каждом задании используется некоторая закономерность, которая должна быть выявлена, что и определяет их важность для тестирования интеллекта.

ПРИМЕР 1.

Малиновка относится к птицам, а окунь - к . . .

(а) животным, (б) насекомым, (в) рыбам, (г) птицам, (д) репти-

лиям

Это явно простое задание, использующееся для измерения gc - кристаллизованных способностей - закрепленных в нашей культуре. Однако здесь следует отметить два момента. Во-первых, легко обнаружить отношение, в соответствии с которым малиновка принадлежит к некоторому классу. Решение, следовательно, предполагает отнесение окуня в аналогичный класс. Это задание является также простым и потому, что для его выполнения требуются лишь элементарные знания: большинство 9-летних детей обычно уже имеют необходимые знания в области естествознания. Тем не менее, для решения этого задания требуются вполне определенные знания. Например, африканец или индус, не знающий перечисленных представителей фауны, не сможет выполнить такое задание, каким бы сообразительным он (или она) ни был. Должны быть также опробованы несколько альтернативных дистракторов (distractors) , чтобы убедиться, что они действительно выполняют свою функцию, в противном случае задание становится до абсурда простым. Этот аспект конструирования тестов будет затронут при обсуждении тестов специальных способностей и достижений (см.стр. 64).

ПРИМЕР 2.

Гриф относится к птицам ,а кобра - к. . .

(а) животным, (б) насекомым, (в) рыбам, (г) птицам, (д) репти-

лиям

В исследованиях R. Cattell и его сотрудников были выделены пять факторов второго порядка, два из которых, gfn gc, как предполагается, являются компонентами g.

Теория интеллекта, представленная в работах R.Cattell, близка концепциям генетического детерминизма и далеко неоднозначно оценивается специалистами. Подробнее обэтом см.: (Л.Ф.Бурлачук, 1989) (Прим.ред.)

от англ. distract - отвлечение внимания. В данном случае дистракторами называются все те варианты ответов, близких к правильному, из которых испытуемый должен выбрать единственный верный, дистрактором не являющийся. Это как бы слова-»обманки», слова, отвлекающие внимание (Прим. ред.)

Это задание предлагается как возможный эквивалент для африканской или индийской культуры. Известны ли эти классификации там так же хорошо, как альтернативные им из первого задания - в Европе, должно определяться в процессе проверки теста. Эта проблема высвечивает необходимость при кросс-культурном тестировании хорошего знания той культуры, для которой разрабатывается тест.

ПРИМЕР 3.

Гегель так относится к «Феноменологии духа», как Кант к. . .

(а) «Назначение человека», (б) «Система трансцедентального идеализма», (в) «Критика чистого разума», (г) «К критике философии Гегеля», (д) «Мир как воля и представление».

Это задание, отражающее, пожалуй, gc , потому что для его выполнения требуются знания такого рода, какие в наши варварские времена дает (правда, не всегда) только высшее образование. С нашей точки зрения это, вероятно, плохое задание, поскольку для его выполнения необходимы доступные сравнительно узкому кругу людей специальные знания, но отношение, которое должно быть выявлено в этом задании, простое - авторство философского произведения. Это задание приведено потому, что оно напоминает те задания, которые присутствуют в тесте интеллекта, ориентированном на его начальный высокий уровень, и используемом для отбора в аспирантуру в Америке, а именно в тесте аналогий Миллера (Miller, 1970), а также в силу того, что трудность подобных тестов состоит не в необходимости логических рассуждений - основе интеллекта, а в наличии у испытуемого информации, нужной для его выполнения. На примере 3 показано, что если мы хотим создать сложные задания для тестов, выявляющих кристаллизованные способности, то необходимо разработать такие, в которых предъявлялись бы высокие требования как к знаниям (информации), так и к способности логически мыслить.

ПРИМЕР 4.

Телевизор так относится к микроскопу, как телефон - к . . .

(а) усилителю, (б) микропроцессору, (в) осциллографу, (г) микрофону, (д) громкоговорителю

Это задание выглядит как более сложное, предназначенное в основном для измерения gf, как, впрочем, и gc , значительно превосходящее по сложности задание из примера 3. Для правильного выполнения этого задания требуется значительный объем знаний о функционировании современной техники. Кроме того, здесь аналогия не является столь очевидной, как в вышеприведенных примерах.

Для правильного выполнения задания испытуемый должен понять, что отношение состоит в применении устройства для увеличения интенсивности (силы) сигнала. Следовательно, правильным ответом будет (а). Заметьте, чтодистракторыбылиподобраны с подвохом,так что испытуемый, обнаруживший неверную закономерность, выберет, вероятно, микрофон. Следует подчеркнуть следующее : приведенные дистракторы должны быть подвергнуты процедуре отбора, чтобы мы были уверены в том, что, во-первых, они являются таковыми, и, во-вторых, не введут в заблуждение лучших испытуемых (см. стр. 64). Подбор хороших дистракторов весьма важен, и по всей вероятности в данном примере дистракторы, связанные либо с микроизображениями, либо со звуками, будут ловушкой для слабо рассуждающих испытуемых. Стоит также упоминания то, что трудные задания Huge , для выполнения которых необходимы дедуктивные логические построения и знания, будут охватывать как gc, так и gf, для которых требуется лишь одна дедукция.

Одно из преимуществ аналогий как формы заданий - это то, что в них могут быть заложены разнообразнейшие виды отношений. В наших примерах в качестве отношений выступали принадлежность к классу и противоположность, но возможно использование и других типов зависимостей.

ПРИМЕР 5.

Кочка относится к холму, как ущелье - к . . .

(а) канаве, (б) долине, (в) пропасти, (г) реке, (д) горе.

Это простое задание, нагруженное фактором gc, в котором отношение является одним из последовательных увеличений размера.

Одной лишь географической информации недостаточно, чтобы выполнить это задание, поскольку все дистракторы принадлежат к этому виду.

ПРИМЕР 6.

Быстрый так относится к быстроте, как медленный - к . . .

(а) медлительности, (б) скорости, (в) торопливости, (г) неспешности, (д) вялости

Здесь отношение является весьма абстрактным - связь существительного с прилагательным. Очевидно, что выполнение задания зависит от наличия соответствующего словарного запаса. Такое задание является весьма существенным, поскольку вербальные логические рассуждения обычно являются лучшими индикаторами кристаллизованных способностей. Для обследования испытуемых, находившихся в равных возможностях для формирования богатого словарного запаса, подобные задания, хотя и не обязательно в аналогичном виде, наиболее значимы.

Задания на аналогии, рассматривавшиеся до сих пор в примерах,

выявляют gc, и до некоторой степени gf, поскольку для их выполне-

ния нужны как знания, информированность, так и способность мыс-

лить логически. Как уже указывалось, аналогии являются полезным

типом заданий, поскольку они могут быть оформлены в невербаль-

ном виде, что идеально при тестировании текучих способностей. Как

утверждает Cattell ( 1971 ), текучие способности лучше всего тестиру-

ется либо заданиями, для выполнения которых все представители

некоторой культуры были обучены, либо заданиями, с которыми все

испытуемые, независимо от образования и воспитания, в равной

степени не знакомы. Предполагается, что задания на аналогии, при-

веденные ниже, - это именно те задания, которые связаны почти

полностью с фактором gf. Наилучшими заданиями являются те, в

которых используются буквы алфавита и цифры (при условии, что

для логических рассуждений в случае использования цифр не будут

требоваться математические способности). В последнем случае суще-

ствует большое разнообразие абстрактных фигур и образов.

ПРИМЕР 7.

так относится к , как

(а)в,(б),(в)ш»аа

Это типичное геометрическое, невербальное задание для измере-

ния фактора. Для выполнения этого простого задания не требуется

почти никаких специальных знаний, при условии, что испытуемый

знаком с двумерными изображениями на бумаге. Поскольку в неко-

торых африканских общинах такого знакомства нет (напр., Hudson,

1967), это задание должно рассматриваться как культурно-свободное

лишь относительно.

ПРИМЕР 8.

Б так относится к Д, как К - к . . .

(а) Н, (б) Р, (в) Т, (г) М, (д) С

Это простой пример, основанный на алфавитной последователь-

ности.

ПРИМЕР 9.

В относится к Э, как К - к . . .

(а) О, (б) Н, (в) X, (г) Р, (д) Т

Это гораздо более трудное задание. Отношение буквы В к Э каса-

ется их симметричного положения по отношению к началу и концу

алфавита. Тот же самый принцип должен быть применен и к букве

К.

ПРИМЕР 10.

25 так относится к 10, как 53 - к . . .

(а) 2, (б) 8, (в) 31, (г) 15, (д) 24

Это задание средней сложности с использованием чисел. Обнару-

живаемое отношение, причем не очевидное, состоит в том, что 10

является произведением 2 и 5.

Примеры 7 - 10 трудно оценивать: некоторые разработчики тес-

тов могут счесть выявляемые в них отношения тривиальными или

слишком неясными, чтобы использовать их в тестах интеллекта. С

подобными замечаниями можно согласиться. Если бы я разрабатывал

тест интеллекта, то попытался бы использовать эти задания, но не

испытал бы никакого удивления, окажись они бесполезными. Одна-

ко, думаю, их использование весьма разумно.

Задания на аналогию должны продемонстрировать, как в форму

задания, с использованием разного материала, можно включать раз-

нообразные отношения, для выявления которых может требоваться

(или не требоваться) дополнительная информированность испытуе-

мого. Практически нет никаких ограничений на то, насколько слож-

ными могут быть эти задания (имеется в виду сложность используе-

мых отношений, а не информации). Разработчики тестов, желающие

ознакомиться с примерами таких заданий, могут обратиться к вели-

колепным заданиям тестов АН5 и АН6 (Heim, и др., 1970). При

конструировании заданий на аналогии искусство состоит в подыска-

нии интересных (а в случае сложных заданий - неочевидных) отно-

шений между составляющими, что позволяет испытуемым выявлять

эти отношения, - а в этом и состоит суть интеллекта.

Надеюсь, сейчас уже понятно, что хотя аналогии и могут стать

источником разнообразнейших заданий, различных по сложности,

всеже их одних недостаточно для составления эффективного теста

интеллекта. Это объясняется тем, что способность выявлять аналогии

(это может быть показано при помощи факторного анализа) связана

не только с факторами gf и gc . Кроме того, наблюдается зависимая

от вида заданий способность выявления аналогий, хотя это приводит

к меньшему разбросу, чем при влиянии вышеупомянутых факторов.

Каждый вид заданий теста имеет свой собственный разброс значений,

так что для минимизации нежелательных влияний в эффективных

тестах используются настолько разнообразные виды заданий, на-

сколько это возможно.

Сейчас подробно рассмотрим другие типы заданий, которые мож-

но использовать в тестах интеллекта.

Задания типа «встретил лишнее - убери» (odd-man-out)

Широко используемыми и результативными формами заданий

являются задания типа исключения лишнего («встретил лишнее -

убери»). В этих заданиях испытуемому предъявляется список объек-

тов, слов, фигур, чисел или чего-нибудь еще: всего, что только может

придумать разработчик тестов,- а испытуемый должен выбрать то,

что в этом списке лишнее. Чтобы сделать это, испытуемые должны

найти общие закономерности отношения между элементами списка,

на основании которых и делать заключения об их подобии или раз-

личии. Очевидно, что при этом необходимо выявление отношений и

связей. Подобно аналогиям, трудность выполнения заданий может

быть легко регулируема как по уровню сложности закономерностей

между элементами списка, так и по наличию специальных знаний,

необходимых для выявления этих отношений. В общем, как и для

аналогий, за исключением высокообразованных лиц, требования к

информированности испытуемых должны быть настолько низкими,

насколько это возможно.

ПРИМЕР 1.

Воробей, скворец, гусь, летучая мышь, ласточка

Это простое задание, выполнение которого зависит от способности

испытуемого классифицировать птиц и млекопитающих. Это тест

для фактора gc.

ПРИМЕР 2.

Сокол, орел, стриж, петух, индюк

Это гораздо более коварное задание. Здесь лишним является слово

«стриж», поскольку все другие элементы списка - это названия

птиц, которые имеют еще одно значение и используются для харак-

теристики людей. Обратите внимание, что если бы вместо слова «ин-

дюк» было использовано слово «гусь», то оно стало бы альтернатив-

ным ответом, поскольку это была бы единственная водоплавающая

птица. Слова «сова» и «курица» также не годятся, так как первое

было бы названием единственной ночной птицы, а второе - единст-

венным существительным женского рода. А заменив слово «индюк»

на «жаворонок», получаем альтернативный ответ «петух», так как

это будет единственная домашняя птица. При использовании этих

. слов задание будет простым - более зависимым от знаний. Хотя для

выполнения задания со словом «индюк» и необходим хороший сло-

варный запас, это задание становится более серьезным тестом фак-

) тора gc.

1 ПРИМЕР 3.

«1 Ранний, жирный, грязный, быстро, пушистый

Лишним здесь является наречие. Предположив, что наши испы-

туемые знакомы с грамматикой, мы получаем простое задание, тес-

-тиру ющее фактор gc

i ПРИМЕР 4.

: 24, 63, 10, 48, 35

Это задание, вероятно, нагружено как gc, так и gf. Закономерно-

стью является то, что четыре числа - это квадраты некоторых чисел

j, минус один. При условии, что испытуемые знакомы с квадратными

Д корнями и возведением в квадрат, выполнение задания становится

зависящим от того, будет ли испытуемым выявлена закономерность.

1 Ясно, что оно подходит только для образованных испытуемых.

ПРИМЕР 5.

Это простое задание, нагруженное фактором gf. Четыре элемента

имеют по крайней мере одну прямую линию. Будучи простым, оно

требует от испытуемых нахождения общей закономерности для боль-

шинства элементов. Знания здесь не нужны. Это задание настолько

очевидно, что оно годится только для детей начальной школы, и даже

по отношению к ним оно может оказаться не дискриминативным.

Здесь только иллюстрируется принцип.

Эти пять примеров демонстрируют, что исключение лишнего, как

и аналогии, - это форма заданий, для выполнения которых требу-

ются логические рассуждения; они необходимы в тестах интеллекта

и моут быть адаптированы к самому разнообразному материалу.

Наши примеры и комментарии к ним показывают, что такие задания

могут быть сконструированы на основе следующих правил:

( 1 ) Обдумайте отношение, с которым будет связано данное зада-

ние, например, противоположности.

(2) Дайте пример этого отношения в задании: белое - черное,

левое - . . .

(3) Убедитесь, что компоненты задания случайным образом не

образуют другие отношения, приводящие к альтернативным реше-

ниям.

(4) За исключением работы с образованными испытуемыми, вы-

бирайте настолько простой материал для заданий, насколько это

возможно. Трудность должна состоять в природе отношений, кото-

рые необходимо раскрыть, а не в узкой специализированности ис-

пользованного материала.

Последовательности

Это исключительно полезная форма заданий, в которую легко

включить отношения разных уровней сложности.

Как и в случае заданий на аналогии и исключение лишнего, ниже

приведены примеры последовательностей и комментарии к ним.

ПРИМЕР 1.

12, 15, 17, 20, 22, ...

Это относительно простое задание, в котором члены последова-

тельности увеличиваются на 3 и на 2 поочередно. Числа особенно

удобно использовать при тестировании отношений, так как ими легко

манипулировать, а для выявлений отношений не обязательно обла-

дать математическими познаниями.

ПРИМЕР 2.

16,4,1,0.25,...

Это очень простое задание, хотя необходимость знания десятич-

ных дробей может привести к его непригодности в тестах интеллекта.

Это задание приведено, чтобы проиллюстрировать всегда существу-

ющую опасность работы с числовым материалом - необходимость

наличия у испытуемых математических знаний, которые с очевидно-

стью отличны от интеллекта.

ПРИМЕР 3.

/ /С . ..

Невербальный материал, как эти треугольники, полезен при кон-

струирования последовательностей для тестирования фактора gf.

Это простое задание. Однако, как в матрицах Равена или в культур-

но-свободных тестах, такие задания могут быть сконструированы

трудными.

ПРИМЕР 4.

большой,

Для завершения этой последовательности можно было бы предло-

жить выбор разнообразных элементов, различающихся по размерам

и взаимному расположению окружности и треугольника. Следует

заметить, что не обязательно говорить испытуемым о необходимости

завершить последовательность: она может быть дана, например, с

требующей заполнения центральной частью.

ПРИМЕР 5.

Микроскопический, мельчайший, крошечный,

крупный

Это пример вербальной последовательности, представляющей со-

бой простой тест для измерения gc. Понятно, он также затрагивает

вербальные способности. Здесь необходим большой выбор дистракто-

ров: огромный, маленький, тяжелый, гигантский, чудовищный.

Последовательности - это форма заданий, являющаяся единст-

венной в матрицах Равена (Raven, 1965). В них используются полно-

стью невербальные абстрактные изображения. Эти тесты (а сущест-

вует несколько вариантов для разных возрастных групп, начиная от

4,5 лет до пожилого возраста) являются превосходной иллюстрацией

того, насколько эта форма заданий равным образом подходит для

всех уровней сложности. Единственной проблемой с матричными

тестами, с точки зрения разработчика тестов, является то, что ис-

пользование только одного типа заданий придает чрезмерный вес

некоторым специфическим факторам, связанным с ответами на за-

дания этого типа. Разработчики тестов, желающие использовать по-

следовательности, должны тщательно изучить матрицы Равена.

Изучение эффективных тестов является превосходным методом для

обучения формулированию заданий, так же как, например, в музыке

полезно слушать исполнение лучших виртуозов: не для подражания,

но для постижения.

С нашей точки зрения, используя эти три типа заданий - анало-

гии, исключение лишнего и последовательности - можно создать

большое их количество для измерения текучих и кристаллизованных

способностей на разнообразном материале и разного уровня сложно-

сти. Хотя форма записи этих заданий, приведенная в примерах, впол-

не удовлетворительна, во избежание монотонности (с точки зрения

испытуемого) могут быть использованы разные ее варианты.

Варианты последовательностей

(1) От испытуемых может требоваться нахождение некоторого

среднего элемента, в не крайнего по расположению.

(2) Можно попросить испытуемых дополнить не следующий эле-

мент, а через один или еще более дальний.

(3) Можно попросить испытуемых переупорядочить элементы в

соответствии с выявленной последовательностью.

Варианты заданий на исключение лишнего

Приводятся элементы с общими характеристиками. Испытуемые

должны выбрать из других элементов те, у которых этих характери-

стик нет.

Варианты аналогий

Примером могут служить задания, которые использовала Alice

Heim в тестах АН. Даются два слова. Испытуемый должен из пред-

ложенного ему списка выбрать тот элемент, который состоит в подо-

бных отношениях с этими двумя словами. Это тот вариант аналогий,

с помощью которого можно создать задания особой сложности для

тестирования вербального интеллекта или способности к логическим

рассуждениям. Такие заданий особенно уместны в тестах высокого

уровня, предназначенных для образованных испытуемых.

Используя описанные три основных типа заданий и их варианты,

разработчики получают прочную основу для создания тестов, изме-

ряющих текучие и кристаллизованные способности. Очевидно, нет

необходимости говорить, что это не единственные типы заданий,

которые могут и должны использоваться. Тем не менее, эти формы

детально изучены и поэтому наиболее пригодны для формулировки

эффективных заданий.

Тесты специальных способностей и достижений

Для большинства тестов специальных способностей, в отличие от

тестов интеллекта, - например, вербальных способностей или счет-

ных, как и для более простых тестов достижений, - при формулиро-

вании заданий есть одна двойственная проблема: проблема формы и

содержания. В тестах интеллекта содержание состоит в закономерно-

сти, которую должны выявить испытуемые. Искусство создания эф-

фективных заданий для тестов интеллекта заключается, следова-

тельно, в подыскании такой формы задания, которая бы позволила

легко сформулировать эту зависимость. Как уже было показано, это

1 лучше всего делать в виде аналогий, исключения лишнего и последо-

1вательностей.

1 В тестах специальных способностей и достижений (с определен-

ными исключениями, которые будут обсуждены позже в этой главе)

Критической составляющей является содержание. Типы заданий, ко-

торые будут описаны, разработаны с целью обеспечения объектив-

ности оценивания. Более того, определенные типы заданий подходят

к определенному виду материала лучше, чем другие, по причинам,

которые совершенно ясны из природы заданий. Следовательно, как

i разработчики теста, мы должны прежде всего найти идеальное содер-

жание теста, а затем найти форму задания, которая бы наилучшим

образом представила содержание.

Содержание заданий

О способах, как обеспечить адекватность содержания теста, напи-

сано уже много. Для этого привлекается ряд экспертов, которые

указывают, например, что именно должны знать дети разного возра-

ста по разным предметам. Такие эксперты должны уметь взвесить

важность в тесте одного аспекта некоторого предмета по отношению

к другим. Должны быть сформулированы цели любых учебных кур-

сов, так чтобы можно было видеть релевантность заданий по отноше-

нию к этим целям. Вопрос о том, как такие цели могут быть наилуч-

шим образом сформулированы с точки зрения разработки заданий,

сам по себе является предметом значительных исследований. Bloom

в «Taxonomy of Educational Objectives Handbook» (1956) представил

широко используемый и жизнеспособный метод обеспечения того,

чтобы, насколько это возможно, педагоги говорили о целях обучения

в поведенческих и, следовательно, легко тестируемых терминах.

Однако, большинство из этих аспектов тестирования принадле-

жат, как это указано в классификации Раша для наборов заданий, к

сфере образования - это скорее измерение результатов обучения,

нежели психометрия. Таким образом, здесь мы не склонны обсуж-

дать средства, при помощи которых педагоги решают, какое содер-

жание должны иметь их тесты. Thorndike и Hagen (1977) предлагают

простое, но слишком детальное описание этих процедур.

Вместо этого будем предполагать, будто мы уже знаем, какие

требования предъявляются к содержанию заданий. В нашем обсуж-

дений сосредоточим внимание на том, как эти специальные сведения

из конкретных предметов могут быть превращены в приемлемые

психологические тесты.

Задания с несколькими вариантами выбора

Это, пожалуй, наиболее часто используемый тип заданий, и он

пригоден для огромного количества разнообразных сведений из спе-

циальных предметов. Такое задание состоит из двух частей: (1) ос-

новной части, которая содержит утверждение или вопрос, и (2) ва-

риантов выбора, или некоторого количества возможных ответов, из

которых испытуемые должны избрать правильный ответ. Обычно

таких вариантов четыре или пять. Следующие правила помогают

формулировать эффективные задания с несколькими вариантами

выбора (многие из этих правил применимы ко всем типам заданий,

обсуждаемым в данном разделе).

(1) Простота. Задание должно быть записано настолько просто,

насколько это возможно для его точного понимания. Нежелательно,

чтобы на результаты оказывали влияние уровень словарного запаса

испытуемого или его общие способности.

(2) Все дистракторы (неверные варианты ответов) должны

быть такими, чтобы каждый из них мог привлечь внимание испы-

туемых (то есть быть как бы «похожими» на правильный ответ).

Таким образом, при оценивании заданий в идеале каждый дистрак-

тор должен в равной мере использоваться всеми испытуемыми, не

выполнившими данное задание правильно. Очевидно, что по мере

того, как дистракторы в вариантах выбора будут становиться неэф-

фективными, задание будет становиться все проще и проще. Таким

образом, если все дистракторы не будут выполнять свою функцию,

практически 100% испытуемых будет выполнять задание правильно.

Метод получения эффективных дистракторов состоит в использова-

нии неоконченного списка вариантов выбора и последующем ис-

пользовании неправильных ответов, записанных самими испытуе-

мыми. Следует заметить, что в этой работе требуется осторожность.

Необходимо убедиться, что дистракторы, предложенные вами, не

вводят в заблуждение лучших испытуемых.

(3) Только один вариант из предложенного набора должен соот-

ветствовать правильному ответу. Иногда различные взгляды на

одну и ту же проблему могут привести к непредусмотренному ответу,

который тоже будет правильным.

(4) Ответ на один вопрос не должен давать ключа к ответам на

другие. То есть не следует использовать дистракторы из одного зада-

ния в перечне других.

(5) Избегайте тестировать тривиальное ввиду простоты его

обнаружения. Thorndike и Hagen (1977) утверждают, что каждое

задание должно быть независимым. Однако, с нашей точки зрения,

это требование невозможно выполнить. Если задания извлекаются из

генеральной совокупности заданий, то они не могут быть независи-

мыми. В самом деле, если бы это было так, то каждое из них тестиро-

вало бы отдельную переменную. А поскольку большая часть знаний

представляет собой некоторого рода структуры, я полагаю, что это

правило лучше игнорировать.

Все эти правила, даже включая те, которые касаются подбора

дистракторов, должны соблюдаться для заданий всех видов. Thorn-

dike и Hagen (1977), исходя из инструкций, опубликованных Служ-

бой тестирования в системе образования (Educational Testing Service,

1963), перечисляют ряд других правил, большинство из которых мы

уже обсуждали в этих пяти более общих правилах.

Сама проблема должна содержаться в основной части задания, а

не выноситься в часть с вариантами выбора, которые должны быть

настолько краткими, насколько возможно. Оба эти момента относят-

ся к правилу 1 -требованию простоты,-а именно, требованию того,

что в основную часть должно быть включено лишь то, что необходимо

для ясной и четкой формулировки проблемы. Thorndike и Hagen

советуют как можно реже использовать отрицания в основной части

по двум причинам: а) это приводит к противоречиям (при чтении

задания) и б) за исключением редких случаев, отрицательные зна-

ния не настолько важны, как позитивные. Знание того, что летучая

мышь - это не птица, не насекомое, не рыба и не рептилия, не

является необходимым для знания того, что же это такое. Еще два

других замечания этих авторов полезны при практической разработ-

ке тестов:

(1) Использование выражения «ни один из перечисленных» в

качестве дистрактора допустимо только тогда, когда существует не-

двусмысленный правильный ответ,- как, скажем, в заданиях, свя-

занных с алфавитом или математическими понятиями.

(2) Аналогично, использование в качестве дистрактора выраже-

ния «все перечисленные» приводит к допустимости скользких мест в

формулировке заданий, в которых дистракторы не являются особен-

но дискриминативными, поскольку автор вопросов знает, что любой

из ответов правильный.

Теперь, имея все время в виду наши основные пять правил, я

проиллюстрирую искусство формулирования заданий с несколькими

вариантами выбора. Понятно, что в короткой серии примеров я не

смогу создать задания, которые бы эффективно основывались на

правиле 4, гласящем, что ответ на один вопрос не должен быть клю-

чом к другим заданиям. Как и в случае тестов интеллекта, каждый

пример будет сопровождаться комментариями. Предлагаемые зада-

ния разработаны для тестов вербальных и числовых способностей.

ПРИМЕР 1.

У речной излучины на поляне появилась горилла-самка и внезап-

но издала громкий вопль.

В этом предложении дополнением является:

(а) горилла, (б) поляне, (в) излучины, (г) вопль, (д) самка.

Это простое, понятное задание, в котором вся информация содер-

жится в основной части. Возможен только один правильный ответ, и

все дистракторы являются существительными, то есть тем видом

слов, которые могут быть дополнениями, что не позволяет испытуе-

мым, знающим, что дополнением не могут быть глаголы или наречия,

сократить количество вариантов выбора. Следует заметить, что по-

ложение правильного ответа в списке вариантов выбора должно оп-

ределяться случайным образом, чтобы предотвратить случаи угады-

вания.

ПРИМЕР 2.

Внезапно громкий вопль был издан гориллой-самкой, которая

появилась у речной излучины на поляне.

В этом предложении подлежащим является:

(а) гориллой, (б) вопль, (в) излучины, (г) поляне, (д) самкой.

Этот пример аналогично прост, и вся информация содержится в

основной части. Он умышленно связан с заданием 1, поскольку те

испытуемые, знания которых о дополнении и подлежащем лишь

приблизительны, и которые полагают, что подлежащее - это тот,

кто «делает», не смогут выполнить данное задание. Аналогично, тот

факт, что в предложении с почти тем же самым смыслом теперь

подлежащее и дополнение поменялись местами, будет составлять

трудность для тех, чьи познания в грамматике неполны. Заметим

опять, что все варианты выбора могут быть подлежащим.

ПРИМЕР 3.

Я переживаю, когда думаю о тебе, переходящим через дорогу

самостоятельно в это время дня.

В этом предложении есть ошибка. Неправильным словом являет-

ся:

(а) я, (б) переходящим, (в) дня, (г) тебе, (д) самостоятельно

Это пример плохого задания. Понятно, что вся информация со-

держится в основной части задания и существует однозначный пра-

вильный ответ. Более того, содержание задания не является триви-

альным. Однако в предложении есть только одна ошибка, так что

испытуемые могут прийти к правильному ответу, исключая дистрак-

торы, которые явно не являются неправильными.

Это задание должно быть каким-либо образом перефразировано;

например: «Если в этом предложении есть грамматическая ошибка,

то неправильным словом является: (а) я, (б) переходящим, (в) дня,

(г) тебе, (д) ни одно из этих слов, если в предложении ошибки нет.»

Такая формулировка устранит проблему, но она несколько громозд-

ка. Вероятно, наилучшим решением было бы использовать другую

форму задания, такую как: « Какое из следующих предложений грам-

матически правильно: (а) Я переживаю, когда думаю о тебе, перехо-

дящим через дорогу самостоятельно в это время дня. (б) Я пережи-

ваю, когда думаю о тебе, переходящем через дорогу самостоятельно

в это время дня.» Этот пример хорошо иллюстрирует ограничения

формы заданий со многими вариантами выбора. При определенных

условиях, когда вопрос краток, необходимость вводить дистракторы

делает задание слишком простым. Следовательно, более предпочти-

тельно использование разных форм заданий. В этом случае трудно

сформулировать общие правила. Здесь вся надежда на сообразитель-

ность разработчиков тестов. В данном примере показан ход рассуж-

дений, который следует использовать разработчикам тестов при под-

боре заданий. А теперь рассмотрим вопрос: можем ли мы построить

задание с вариантами выбора, чтобы протестировать знание одного

правила грамматики - о причастных оборотах.

ПРИМЕР 4.

Я переживаю, когда думаю о тебе, переходящем через дорогу

самостоятельно в это время дня.

В этом задании «переходящем» является:

а) прилагательным, б) причастием, в) определением, г) наречием,

г) сказуемым

В этом задании знание правил о причастных оборотах проверяет-

ся, конечно, более непосредственно, чем в исходном задании в при-

мере 3. Однако в нем проверка осуществляется не таким образом, как

в предыдущем примере. Дистракторы были подобраны так, чтобы

выявить грамматическую безграмотность испытуемых, особенно (а)

и (в).

ПРИМЕР 5.

Раскройте скобки в выражении (а + Ь)

Ответами являются: (а) а + Ь , (б) аЬ

(г) (? + lab + b (д) la+ab +2b.

(в) (2а +lb),

Данное задание удовлетворяет всем критериям, обсуждавшимся

ранее в разделе о формулировании заданий. Математические упраж-

нения - особенно подходящий предмет для объективного тестиро-

вания) так как правильность ответа обычно не вызывает сомнения.

Для учащихся, которые не уверены в том, как правильно открыть

скобки, дистракторы являются, вероятно, весьма эффективными.

Обратите внимание, что последний дистрактор (д) был использован

для того, чтобы избежать возможной подсказки правильного ответа

(тем, что он длиннее, чем остальные).

ПРИМЕР 6.

Если яблоки стоят по 5 пенсов за фунт, и хозяйка покупает

яблок на 75 пенсов (среднего размера, по четыре яблока на фунт),

и если она отказалась от трех яблок как плохих, то на сколько же

пенсов она выбрала яблок?

(а) 75, (б) 72, (в) 57, (г) 17, (д) 50

Это сложное задание: чтобы решить эту задачу, испытуемый

должен удержать в голове четыре фрагмента информации. Однако в

этой сложности состоит существо данной задачи. Сделать выбор из

дистракторов трудно, но сделать это нужно, используя числа, ука-

занные в самом условии задачи.

Относительно приведенных примеров заданий с вариантами вы-

бора следует сделать одно замечание: в этих примерах не полностью

используется их форма. Поскольку существует только один правиль-

ный ответ, то испытуемых можно просто попросить заполнить блан-

ки.

ПРИМЕР 7.

Какой из последующих коэффициентов надежности не связан с

однородностью теста?

(а) коэффициент ретестовой надежности; (б) дисперсионный ко-

эффициент Хойта; (в) коэффициент <Х ; (г) коэффициент Кьюдера-

Ричардсона; (д) коэффициент надежности при разбиении теста на

части.

В этом задании полностью используется его форма. В нем пред-

ставлены наименования пяти коэффициентов, и если испытуемый не

понимает, что они означают, у него нет никакого способа найти

правильный ответ. Это задание нельзя перефразировать в более прос-

том виде, и оно удовлетвоярет всем критериям создания эффектив-

Предложенная автором задача не имеет целочисленного решения. По-видимому,

этим заданием тестируется не скорость точного счета, а сообразительность и уме-

ние быстро дать приблизительный ответ (Прим. перев.)

них заданий. Если бы использовался альтернативный тип заданий,

то пришлось бы формулировать пять отдельных заданий, чтобы пол-

учить ту же самую информацию. Следовательно, данное задание -

это в известном смысле идеальное задание с несколькими вариантами

выбора, исключающее возможность угадывания правильного ответа.

ПРИМЕР 8.

В классической теории тестов истинный показатель определя-

ется как:

(а) Оценка по каждому заданию, которая может быть определена

с высокой надежностью;

(б) Показатель выборочной совокупности заданий, из которой

извлекаются задания для данного теста;

(в) Показатель по тесту, скорректированный с учетом угадыва-

ния;

(г) Показатель по тесту, скорректированный с учетом погрешнос-

тей;

(д) Средний показатель испытуемого после нескольких тестиро-

ваний.

В данном задании опять использована форма вариантов выбора,

поскольку все дистракторы содержат в себе элемент правильного

определения, что сбивает с толку тех испытуемых, чьи знания не

очень крепки. В этом случае форма задания с произвольным ответом

не подходит, так как может возникнуть сложность по поводу того, что

же считать адекватным определением. Обратите внимание, что все

варианты выбора грамматически соответствуют основной части зада-

ния. Хотя это и очевидно, следует внимательно за этим следить.

Этих восьми примеров вместе с комментариями к ним, вероятно,

достаточно, чтобы показать, как должны строиться задания с не-

сколькими вариантами выбора.

Преимущества заданий с несколькими вариантами выбора

Задания с несколькими вариантами выбора, пожалуй, являются

наиболее широко используемым типом заданий в тестах интеллекта,

достижений и специальных способностей, поскольку, по сравнению

с заданиями других типов, которые мы будем обсуждать ниже, имеют

целый ряд преимуществ.

(1) Каждое задание может быть сделано высоко надежным. По-

скольку возможен только один правильный ответ (в соответствую-

щим образом сконструированном задании), отсутствуют факторы

снижения надежности, связанные с субъективными оценками лиц,

проводящих обследование. Это свойство, по определению, присуще

и другим объективным заданиям, но не является из-за этого менее

важным.

(2) Для таких заданий очень легко вычислять показатели. Это

очень важно, особенно в больших по размерам тестах, а величина

тестов влияет на их надежность (как показано в главе 1). Они не

только более надежны, но в тестах достижений и способностей позво-

ляют охватить большие области, чем тесты с небольшим количест-

вом заданий. Кроме того, благодаря простому алгоритму вычисления

показателей при тестировании сокращается количество арифмети-

ческих ошибок и описок.

Обычно для заданий с вариантами выбора разрабатывается от-

дельный бланк. Варианты выбора от (а) до (д) указываются для

каждого задания, а испытуемый отмечает им выбранные. Затем каж-

дый ответ сравнивается с ключевым для выявления правильных от-

ветов, после чего подсчитываются все показатели. Возможна компь-

ютерная обработка ответов, нанесенных на машиночитаемые блан-

ки. Соответственно, и весь тест может быть предъявлен и обработан

компьютером (см. главу 10).

(3) Основной трудностью в тестах, особенно в тестах интеллекта

и специальных способностей, является угадывание. В заданиях с

вариантами выбора, в которых дистракторы примерно эквивалент-

ны, влияние угадывания на величину показателя сводится к вероят-

ности 1 /5, по сравнению с 50% для альтернативных заданий. Анало-

гично, для заданий на восстановление соответствия, если испытуе-

мый знает три из четырех ответов, влияние случайного угадывания

будет другим по сравнению с вероятностью правильного выполнения

задания, в котором он не знает ни одного варианта соответствия.

(4) Поскольку тесты с несколькими вариантами выбора оценива-

ются точными показателями, становится возможным получить точ-

ную оценку содержательности теста. Это важно при определении

соответствия теста той группе испытуемых и той цели, для достиже-

ния которой он был создан.

Альтернативные задания (tnie-faise item)

Это форма задания, которое обычно содержит некоторое утверж-

дение, которое испытуемый должен оценить как истинное или лож-

ное (дать ответ «да» или «нет»). Однако в заданиях такого типа

существует ряд очевидных сложностей, из-за чего их использование

в тестах интеллекта, специальных способностей и достижений, веро-

ятно, должно быть очень ограниченным.,

СЛОЖНОСТИ, ВОЗНИКАЮЩИЕ С АЛЬТЕРНАТИВНЫМИ

ЗАДАНИЯМИ

(1) Вероятность случайного угадывания правильного ответа со-

ставляет 50%, что, конечно же, влияет на показатели по тесту, если

этот тест не является предельно длинным.

(2) Довольно трудно формулировать утверждения, на которые

можно дать недвусмысленный ответ «да» или «нет», а это особенно

важно, так как вероятно, что наиболее сообразительные испытуемые

увидят противоречия и могут не ответить на задание или дать непра-

вильный ответ.

(3) В связи с необходимостью точной формулировки утверждения

возникает сложность с использованием таких слов, как «все», «каж-

дый», «всегда» и «никогда», в которых обычно может содержаться

двусмысленность или противоречие. Подобно этому, определяющие

слова, такие как «иногда», «часто», понимаются испытуемыми на-

столько субъективно, что они вряд ли имеют фиксированное значе-

ние и, следовательно, приводят к нежелательным вариациям в отве-

тах.

(4) То, что несомненно истинно или ложно, может оказаться три-

виальным. Таким образом, задания, адекватные с точки зрения пси-

хометрии, могут оказаться содержательно слабыми.

Несмотря на эти проблемы, задания альтернативного типа могут

быть полезным и кратким приемом для выявления знаний испытуе-

мых - следовательно, более полезными для тестов достижений, чем

для тестов способностей.

ПРИМЕР 1.

Квадрат коэффициента корреляции указывает степень взаим-

ной вариации между двумя множествами показателей. Верно ли

это?

Если мы хотим узнать, знают ли испытуемые о том, что взаимная

вариация указывается квадратом корреляции, то альтернативное за-

дание дает ответ на этот вопрос. Математическая составляющая воп-

роса делает его подходящим (ввиду однозначности ответа) для формы

альтернативных заданий. Трудно представить себе, как это же может

быть кратко протестировано заданиями с несколькими вариантами

выбора кли заданиями на восстановление соответствия между двумя

списками вопросов-ответов.

С другой стороны, испытуемый с поверхностными представления-

ми о корреляциях может смутно вспомнить увиденное когда-то опре-

деление и таким образом дать правильный ответ, не угадав, а лишь

смутно вспомнив то, что изучал ранее. Сравните утверждение при-

мери со следующим; «Корреляция 0.30 наблюдалась между интро-

версией и успехами в английском языке по тесту CGE на уровне «О».

Какова степень взаимной вариации между этими двумя переменны-

ми?» Это задание является значительно более трудным, поскольку

оно не содержит ключа к тому, каким может быть ответ. Случайное

угадывание правильного ответа также затруднительно.

В таком виде задание может быть представлено в форме задания с

вариантами выбора. Все, что для этого нужно - это включить в него

следующие варианты выбора: (а) 30%, (б) 6%, (в) 9%, (г) 3%, (Л)

33%. Этк варианты отобраны потом}/, что все они получаются в

результате простых и очевидных преобразований коэффициента

корреляции. Следовательно, испытуемые, которые знают о сущест-

вовании некоторой связи между коэффициентом корреляции и вза-

имной вариацией, но не уверены в том, какая именно это связь, не

могут отбросить ни один из вариантов как «подсказку» для угадыва-

ния.

Б данном примере показано, как альтернативное задание может

быть при тщательном конструировании тестов заменено заданием с

несколькими вариантами выбора, которое сокращает влияние слу-

чайного угадывания и значительно проще для вычисления показате-

лей. Такое задание также дает меньше ключей для правильного от-

вета.

ПРИМЕР 2.

Корреляция указывает степень согласованности между двумя

множествами показателей. Верно ли это?

Это задание подходит больше, чем предыдущее, к альтернативной

форме. Во-первых, в нем тестируется только один фрагмент инфор-

мации, либо известный испытуемому, либо нет. Конечно, это утвер-

ждение не подходит для заданий типа завершения утверждения,

поскольку здесь нет фиксированного ответа, и адекватность утверж-

дения о том, что же измеряет корреляция, становится предметом

субъективного суждения, что неизбежно ведет к неудовлетворитель-

ной надежности теста. Кроме того, такая форма заданий, в которых

предполагаются произвольные ответы, требуют вербальных навы-

ков, которые, вероятно, не являются значимыми в тесте на знания

психометрической статистики. В данном случае, следовательно, аль-

тернативное задание несомненно предпочтительнее, чем форма про-

изво.пыгого ответа.

Может ли это задание быть представлено столь же эффективно в

форме с несколькими вариантами выбора, со всеми преимуществами

уменьшенной вероятности случайного угадывания и простоты под-

счетов баллов последней?

Корреляция указывает:

(а) степень согласованности между двумя множествами показате-

лей;

(б) различия между арифметическими средними для множеств

показателей;

(в) связи между категориями показателей;

(г) различия между распределениями показателей;

(д) форму распределения показателей.

При условии, что при оценивании заданий можно показать, если

необходимо, что любой из дистракторов эффективен, очевидно, как

и в предыдущем примере, это альтернативное задание может быть

эквивалентно переформулировано в виде задания с несколькими ва-

риантами выбора.

В приведенных двух примерах показано, что форма альтернатив-

ных заданий не является особо полезной. Обычно можно сформули-

ровать эквивалентные по эффективности задания с вариантами вы-

бора. Однако данное утверждение не подтверждается только лишь

приведенными выше двумя примерами.

Thorndike и Hagen (1977) приводят примеры подобных альтерна-

тивных заданий. Давайте их рассмотрим.

ПРИМЕР 3.

Туберкулез - заразное заболевание. Верно ли это?

Это задание (взятое у Thorndike и Hagen, 1977) представляется

подходящим для альтернативной формы, поскольку для его выпол-

нения необходим только один фрагмент знаний. Как и в примере 2,

форма с произвольным ответом связана с субъективностью суждений

и поэтому ненадежна. Однако, даже это задание может быть пред-

ставлено в виде задания с вариантами выбора. Например, «Туберку-

лез - это: (а) заразное, (б) инфекционное, (в) заразное и инфекци-

онное, (г) незаразное, (д) наследственное заболевание».

Нам кажется, что этим заданием проверяется наличие знаний так

же хорошо, как и альтернативным заданием, предложенным Thorn-

dike и Hagen, но, помимо этого: (1) сокращается вероятность случай-

ного угадывания правильного ответа, и, что более существенно; (2)

точнее выявляются знания испытуемого о формах распространения

туберкулеза.

Эти примеры ясно иллюстрируют, что в стандартном виде альтер-

нативной задание всегда лучше заменить на задание с несколькими

вариантами выбора. Однако, при определенных обстоятельствах аль-

тернативные задания заменять нельзя.

Альтернативное задание представляется наиболее полезным, ког-

да предъявляется информация, какие-либо данные или задается воп-

рос о них, чтобы протестировать то, как они поняты. Особенно это

имеет значение при тестировании по научным предметам, когда не-

обходима способность анализировать данные.

ПРИМЕР 4.

Женщины

45 60 80 100 120 lW 170 IQ

Распределение уровня интеллекта в большой выборке мужчин и женщин.

Исходя из информации, представленной на этом графике, явля-

ются ли следующие утверждения истинными или ложными:

(а) Больше мужчин, чем женщин, имеют очень низкий IQ < 45. Д/Н

(б) Больше мужчин, чем женщин, имеют очень высокий IQ > 140. Д/Н

(в) Распределение уровня интеллекта среди мужчин приближается к бимодальному.

Д/Н

(г) Распределение уровня интеллекта среди женщин приближается к нормальному.

Д/Н

(д) Среднее значение IQ для мужчин и женщин примерно одинаково. Д/Н

(е) Больше женщин, чем мужчин имеют IQ от 120 до 140. Д/Н

(ж) Больше мужчин, чем женщин имеют IQ от 50 до 60. Д/Н

Эти альтернативные задания являются мощным средством для

выявления того, в какой степени испытуемый может понимать дан-

ные. Кроме того, в вопросах заложена скрытая проверка, касающаяся

формы нормального и бимодального распределений. Тестирование

понимания графиков при помощи заданий с вариантами выбора было

бы, конечно, более громоздким.

Вопросы, подобные приведенным в примере 4, представляют ос-

новное значение для альтернативной формы при формулировании

заданий.

К одному утверждению может прилагаться серия альтернативных

заданий.

ПРИМЕР 5.

Следующая статистическая методика может быть определе-

на как многопараметрическая:

(а) t-критерий (Д/Н); (б) факторный анализ (Д/Н); (в) хп-квад-

рат (Д/Н); (г) дисперсионный анализ (Д/Н); (д) ковариационный

анализ (Д/Н); (е) тау Кенделла (Д/Н).

Во-первых, это, очевидно, более эффективно, чем формулировать

шесть отдельных альтернативных заданий. Более того, в данном слу-

чае, задание более информативно, чем задание с вариантами выбора,

потому что в нем каждый вариант должен быть классифицирован. В

задании с вариантами выбора, если испытуемый знает, что фактор-

ный анализ многопараметрический, то другие по определению таки-

ми не являются. Таким образом, используемая так серия альтерна-

тивных заданий может выявлять предельно подробную информацию

по разным темам.

ЗАКЛЮЧЕНИЯ ПО РАССМОТРЕНИЮ АЛЬТЕРНАТИВ-

НЫХ ЗАДАНИЙ

В общем, альтернативные задания не представляются как полез-

ные. Обычно могут быть сформулированы сравнимые с ними и более

эффективные задания типа выбора вариантов. Однако, альтернатив-

ные задания полезны при: (1) тестировании понимания некоторого

материала; и (2) очень подробной проверке знаний, как в примерах

4 и 5. Однако, следует отметить и основной недостаток: важным

фактором, влияющим на результаты тестирования по этим задани-

ям, очевидно может быть случайное угадывание правильных ответов.

Однако, благодаря простоте, с которой данная форма заданий может

быть применена для опроса понимания учебного материала, они за-

служивают использования.

Задания на восстановление соответствия

Это третья категория заданий, обычно используемых в объектив-

ных тестах, в которой испытуемому предлагается восстановить соот-

ветствие между элементами двух списков. Например, если мы хотим

выявить знания испытуемого об авторах книг, один список должен

содержать фамилии авторов, а другой - заглавия книг, и между

ними должно быть установлено правильное соответствие. В области

зоологии, например, может быть использован список млекопитаю-

щих и список их классов, например, беззубые, копытные и сумчатые.

Как и ранее, будут приведены примеры заданий вместе с коммента-

риями, чтобы выявить сильные и слабые стороны этих заданий м

проиллюстрировать простые указания по созданию эффективных

заданий.

АВТОРЫ

А. Диккенс

Б. Скотт

В. Смоллетт

Г. Теккерей

ПРИМЕР 1.

Укажите буквой, какому автору принадлежат книги, указанные

в следующем списке (оставьте незаполненной графу напротив кни-

ги, автор которой неуказан в левом списке):

книги

1. «Ярмарка тщеславия»

2. «Уэверли»

3. «История двух городов»

4. «Утерянный рай»

5. «Гампфри Клинкер»

6. «Памела»

7. «Черный карлик»

8. «Лунный камень»

Как ясно из этого примера, задания на восстановление соответст-

вия лучшим образом подходят для выявления фактической инфор-

мации. Можно было бы и просто спросить «Кто написал «Ярмарку

тщеславия»«? Однако, данное задание на восстановление соответст-

вия - это простой метод задавать вопросы, который позволяет легко

подсчитывать баллы. Можно было бы сконструировать и задание с

несколькими вариантами выбора: «Диккенс написал: (а) «Ярмарку

тщеславия», (б) «Уэверли», и т.д.» Однако, в нашем примере потре-

бовалось бы отдельное задание на каждую книгу, не говоря уже о

бланках, чтобы протестировать тот же самый объем знаний. Таким

образом, для выявления подробной информации такого рода задания

на восстановление соответствий являются более предпочтительны-

ми, чем задания с вариантами выбора: они гораздо более компактны.

Для данного примера также могут быть использованы альтерна-

тивные задания: «Диккенс написал: (а) «Ярмарку тщеславия», Д/Н;

(б) «Уэверли», Д/Н; и т.д.» Из этого видно, что для данного частного

материала альтернативное задание не является настолько эффектив-

ным, как задание на восстановление соответствия. Во-первых, потре-

буется четыре задания, по одному на каждого писателя. Во-вторых,

нельзя использовать одни и те же примеры в каждом задании, потому

что, в противном случае, ответы на первое задание будут влиять на

другие. Следовательно, для данного типа фактической информации

лучшей формой заданий является задание на восстановление соот-

ветствия, за ним следует альтернативное задание, а задание с не-

сколькими вариантами выбора является наименее эффективным.

Следует указать один момент: список, из которого выбираются

ответы, должен быть длиннее, чем первый список, в противном слу-

чае случайное угадывание станет все более и более легким. Так, если

испытуемый знает четыре из пяти ответов в одинаковых по длине

списках, то пятый будет неизбежно правильным. Поэтому следует

ТИП МЕТОДИКИ

А. Однопараметрические

Б. Непараметрические

В. Многопараметрические

предъявлять списки неравной длины или указывать, что некоторым

элементам нет никаких соответствий (или и то, и другое), как в

нашем примере. Эти меры с очевидностью уменьшают вероятность

случайного угадывания правильного ответа.

Из нашего первого примера задания на восстановление соответст-

вий было видно, что это более совершенное задание, чем альтерна-

тивное. Возникает очевидный вопрос: всегда ли это так? Давайте еще

раз рассмотрим примеры 4 и 5, приведенные при описании альтерна-

тивных заданий.

ПРИМЕР 5 АЛЬТЕРНАТИВНОГО ЗАДАНИЯ (см. стр. 74)

Этому заданию, конечно же, можно придать форму задания на

восстановление соответствия.

МЕТОДИКА БУКВА

t-критерий

Факторный анализ

Хи-квадрат

Дисперсионный анализ

Ковариационный анализ

Тау Кенделла

Укажите буквой, какой тип методики, если такой есть, описы-

вает каждую статистическую методику из приведенного списка.

Возможно, что ни одно или более чем одно описание соответству-

ет некоторым элементам этого списка.

Такое задание на восстановление соответствия подходит к этому

материалу настолько же хорошо, как и альтернативная форма, и

можно также узнать дополнительную информацию относительно тех

методик, которым соответствовал ответ «нет». Изучение данного

задания выявляет, что это происходит обязательно, так как форма

задания на восстановление соответствия требует, чтобы испытуемый

для каждого варианта ответа решил, является ли методика многопа-

раметрической, непараметрической, и т.д.

На примере 5 проиллюстрировано, что выбор формы задания за-

висит от материала и от тестируемых знаний. В данном случае про-

верки детальных знаний по статистике задание на восстановление

соответствий, вероятно, лучше, чем альтернативные задания, и оба

они предпочтительнее, чем задание с несколькими вариантами вы-

бора. Это, конечно же, не обязательно всегда так.

ПРИМЕР 4 АЛЬТЕРНАТИВНОГО ЗАДАНИЯ (см. стр. 74)

Заметим, что для тестов на проверку понимания данных нет про-

стого очевидного способа сформулировать задание в виде восстанов-

ления соответствий. Это, на самом деле, дает нам ключ для учета

относительных достоинств альтернативных заданий и заданий на

восстановление соответствий. Последние, несомненно, предпочти-

тельнее как тесты по материалу, представленному в данном вопросе.

Обычно, как в примере 4 альтернативного задания, задание на вос-

становление соответствий не может быть сформулировано. Могут

быть сконструированы задания с вариантами выбора, однако они

будут слишком громоздкими, а выбор действенных дистракторов бу-

дет трудным. Помимо этого, такие задания неизбежно будут иметь

тенденцию к взаимозависимости, что уменьшит их эффективность.

Для тестирования подробной информации методика восстановле-

ния соответствий может оказаться более предпочтительной, по срав-

нению с альтернативной, при условии что вопросы позволяют соста-

вить соответствующие списки.

Следует подчеркнуть один момент, касающийся альтернативных

заданий и заданий на восстановление соответствий как тестов инфор-

мации - опасность тривиального тестирования.

Хотя и важно осознать, что хи-квадрат является непараметриче-

ской, а t-критерий - однопараметрической методикой, способность

выговорить утверждение: «t-критерий является однопараметриче-

ской методикой»,- за которую испытуемый с неизбежностью полу-

чает соответствующие баллы, не предполагает понимания того, что

же такое t-критерий и однопараметрическая статистическая методи-

ка. Такой информации можно обучить даже семилетнего ребенка.

Подобно этому, знание того, что Скотт написал «Уэверли», пред-

ставляется не очень важной по сравнению со способностью выпол-

нить критический анализ этого романа.

Заключения по рассмотрению заданий с вариантами

выбора, альтернативных заданий и заданий на восстановление

соответствия

При конструировании тестов интеллекта, специальных способно-

стей и достижений следует ориентироваться на формулировку зада-

ний преимущественно этих трех типов. Как же принять решение,

какой тип использовать? При этом следует учитывать ряд моментов.

СПЕЦИФИЧЕСКИЕ ФАКТОРЫ

При принятии решения, какой тип задания использовать, следует

помнить о влиянии специфических факторов. Если тест состоит из

заданий одного типа, возникает опасность влияния некоторого спе-

цифического фактора, связанного с этой частной формой задания. В

батарее тестов такая специфика может даже быть похожа на истин-

ный групповой фактор, хотя это, конечно, не что иное, чем ложная

(дутая) специфика - ловкий навык отвечать на задания определен-

ного вида. Таким образом, разнообразие типов заданий весьма полез-

но.

УТОМЛЕНИЕ

Источником ошибок при тестировании часто является утомление,

особенно в тестах способностей и аналогичных, в работе с которыми

необходимы усилия по концентрации, сосредоточению внимания.

Разнообразие заданий, вероятно, сделает тест менее монотонным для

испытуемых (Cronbach, 1970).

ЭФФЕКТИВНОСТЬ ЗАДАНИЙ

Конечно, мы хотим, чтобы наши задания были настолько эффек-

тивны, насколько это возможно. Как было показано в анализе раз-

личных типов заданий, каждое из них наиболее эффективно при

определенных условиях. Вероятно, основной подход к конструирова-

нию заданий может быть сформулирован следующим образом:

(1) Стандартным заданием, которое подходит к большинству ви-

дов материала и вопросов, является тип задания с вариантами выбо-

ра.

(2) Для получения подробной фактической информации, связан-

ной с содержанием заданий, эффективный и компактный тест обес-

печивается типом заданий на восстановление соответствия и альтер-

нативными заданиями.

(3) Для тестирования понимания материала, представленного в

вопросе, особенно полезны альтернативные задания.

(4) По причинам, обсуждавшимся в пунктах 1 и 2, имеет смысл

разрабатывать тест с заданиями всех типов, хотя и нет необходимости

иметь одинаковое количество заданий каждого типа.

Выбор типа заданий

С моей точки зрения, лучше всего попытаться сконструировать

задания каждого типа. Иногда это просто невозможно, что устраняет

автоматически по крайней мере одну категорию заданий. Если будут

сформулированы все три вида заданий, принятие решения обычно

уже возможно. В примерах, приведенных ниже, информацией, под-

лежащей тестированию, является форма бимодального распределе-

ния.

(1) Задание с несколькими вариантами выбора. Распределение

показателей по тесту У является:

(а) Гауссовой кривой;

(б) распределением Пуассона;

(в) бимодальным распределением;

(г) нормальной кривой;

(д) двухточечной кривой.

Количество

испытуемых

Показатели по тесту Y

(2) Альтернативное задание. Распределение показателей по тес-

ту Y является бимодальным распределением. Д/Н

(!) Задание на восстановление соответствия. Чтобы сформулиро-

вать задание на восстановление соответствия для этого случая, мы

должны будем иметь список возможных кривых и еще большее коли-

чество иллюстраций, подобных приведенной выше. Это будет исклю-

чительной расточительностью места на бланках, если только мы не

хотим тестировать знания учащихся по форме кривых различных

распределений.

Таким образом, если наш единственный интерес состоит в тести-

ровании лишь одного частного фрагмента информации, как в данном

случае, задание с несколькими вариантами выбора будет наилуч-

шим. Альтернативное задание дает слишком большую вероятность

случайного угадывания правильного ответа, а задание на восстанов-

ление соответствия подходит только в том случае, когда нас интере-

сует большое количество подробной информации. Следует отметить,

как именно тип задания, которое наилучшим образом подходит к

данному типу материала, становится очевидным при попытке напи-

сать задания каждого типа.

КРИТЕРИИ ДЛЯ ВЫБОРА ВИДА ЗАДАНИЯ

(1) Понятность. Выбирайте ту форму заданий, которая, вероятно,

будет наиболее понятна испытуемым. В вышеприведенном примере

заданий (1)и (2) одинаково понятны.

(2) Предотвращение случайного угадывания. Выбирайте ту фор-

му заданий, которая сокращает вероятность случайного угадывания

правильных ответов настолько, насколько это возможно.

(3) Компактность или точность. Выбирайте ту форму, в которой

вопрос формзлируется настолько кратко, насколько это возможно.

(4) Отношения между заданиями. Следите, чтобы форма задания

(варианты выбора или списки для восстановления соответствий) не

содержали в себе или не раскрывали ответы на другие задания.

(5) Если задания выглядят в равной степени эффективными, вы-

берите тот тип задания, который у вас менее всего представлен.

Задания других типов

Конечно же, существует много заданий других типов. Однако то,

что было сделано - это детальное обсуждение конструирования за-

даний трех типов, при помощи которых практически любой материал

может быть представлен в тестовой форме. Несмотря на это, некото-

рые моменты не охватываются этими типами заданий, и сейчас будут

кратко обсуждены некоторые другие виды заданий, с указанием осо-

бых преимуществ, которыми они обладают.

(1) Задания с ограничениями на ответы. В этих заданиях испыту-

емые должны давать свои ответы, однако возможности их написания

соответствующим образом ограничены (limited-responce item, rest-

ricted-responce item). Это практически обеспечивает объективность

оценивания показателей заданий, тщательное формулирование ко-

торых даст только один возможный ответ.

(2) Задания со свободными ответами (free-responce item). На от-

веты не накладываются никакие ограничения. Испытуемые могут

писать что угодно. Однако тщательная формулировка заданий пред-

полагает наличие только одного правильного ответа.

Я приведу примеры обоих типов заданий на одном и том же мате-

риале, так чтобы можно было взвесить сравнительные достоинства

каждого из них. При конструировании заданий этих типов следует

отчетливо помнить основные правила разработки заданий, особенно

касающееся нежелательности тестирования тривиальной и бесполез-

ной информации только лишь потому, что ее легко тестировать.

ПРИМЕР 1.

В этом примере материалом для тестирования служат знания ис-

пытуемых о стандартном отклонении.

(1) Задание со свободным ответом: Что измеряется стандарт-

ным отклонением?

(2) Задание с ограниченным ответом: Стандартное отклонение

измеряет...

Ни одно из этих заданий не является особенно хорошим, потому

что, хотя желательным ответом является «разброс» или «измене-

ние», вполне возможно, что испытуемые опишут его более длинным

и пространным предложением. Здесь предпочтительнее было бы ука-

зать, что необходим ответ одним словом. Это однако, наложит огра-

ничение на задание со свободным ответом. В данном примере задание

с ограничением на ответ, конечно же, превосходит задание со свобод-

ным ответом, при условии той), что требуется ответ одним словом.

Задание со свободным ответом может быть улучшено: например,

«Среднее арифметическое измеряет центральную тенденцию мно-

жества показателей; а что измеряет стандартное отклонение?» На

это задание, хотя в нем и предусматривается произвольный ответ, мы

должны получить такие ответы как «изменчивость», «дисперсия»

или «разброс показателей». Несмотря на это, форма задания со сво-

бодным ответом не будет здесь столь эффективна, как форма задания

с ограничениями на ответ. Интересно заметить, что данное задание

может быть легко записано в виде других уже известных нам форм:

(1) Д/Н: Стандартное отклонение измеряет изменчивость по-

казателей.

(2) Восстановление соответствия:

! - Арифметическое среднее

2. Стандартное отклонение

3. Медиана

4. Корреляция

Изменчивость

««Ральная тенденция

Согласованность

Рассогласованность

Разброс

Связь

Кластеризация

Укажите, какой элемент списка Б измеряется статистической

методикой из списка А.

(3) Варианты выбора: Стандартное отклонение измеряет:

(а) степень согласованности между двумя переменными;

(б) стандартный показатель по тесту;

(в) дисперсию показателей по тесту;

(г) средний показатель по тесту;

(д) экстремальное отклонение показателей по тесту.

Представляется, что хотя и могут быть сконструированы все типы

заданий, наиболее эффективным в данном случае без сомнения будет

задание с вариантами выбора.

На этом первом примере ясно проиллюстрирована основная труд-

ность при разработке заданий как со свободными, так и с ограничен-

ными ответами - необходимость так формулировать задания, чтобы

испытуемые, имеющие достаточный запас навыков или знаний, да-

вали правильный ответ. Это означает, что необходимо создавать

задания, на которые возможен только один правильный ответ, и

такой ответ, конечно же, должен быть точным.

ПРИМЕР 2.

Здесь в качестве материала для тестирования предлагаются зна-

ния об облических (зависимых) факторах в факторном анализе.

(1) Заданиеспроизвольнымответом: Чтотакоеоблическиефак-

торы?

Об облических факторах так много может быть написано и уже

написано, что любой адекватный ответ будет неизбежно длинным. В

результате возникнет безнадежная проблема попытки вычислить

баллы по данному заданию. Очевидно, что это крайне неудачный

пример, а поэтому следует быть более точным при формулировке

заданий. Прежде надо было бы конкретно решить, что же мы хотим

выяснить.

(2) Задание с ограниченным ответом: Облические факторы --

это. . . (одно слово).

Хотя в этой форме задания длина ответа ограничивается, ясно, что

это более удачное задание. Так, в качестве ответов могли бы быть

следующие слова: «коррелирующие», «подвергнутые ротации» ,

«значимые» (поскольку только значимые факторы подвергаются ро-

тации), «комплексные» (по терминологии Гилфорда), «простые» (по

Кэттеллу), и так далее. Как же тогда данное задание может быть

сделано еще более конкретным?

Если мы хотим протестировать знание того, что облические фак-

торы являются коррелирующими, это, конечно же, проще всего сде-

лать при помощи альтернативного задания: «Облические факторы

являются коррелирующими. Д/Н». Если окажется, что возможность

случайного угадывания правильного ответа оказывает слишком

большое влияние на результат, то тогда должно быть сконструирова-

но задание с несколькими вариантами выбора: «Облические факторы

являются: (а) некоррелируемыми; (б) не подвергаемыми ротации;

(в) коррелируемыми; (г) ортогональными; (д) эвклидовыми.» В дан-

ном задании информация тестируется весьма точно, и все дистракто-

ры были выбраны исходя из того, что каждый из них является терми-

ном описания факторов или других многомерных векторов, но под-

ходит только один правильный ответ. Таким образом, если мы хотим

протестировать знания о корреляции облических факторов, то ясно,

что обе формы заданий - альтернативного типа и с вариантами

выбора - просты и их легко сформулировать. Чтобы создать эквива-

лентные задания со свободными или ограниченными ответами, необ-

ходимо заставить испытуемого, посредством специальной фразиров-

ки задания, сосредоточиться на корреляционном аспекте зависимос-

ти факторов. Так:

В англ.языке это одно слово (Прим.ред.)

зать, что необходим ответ одним словом. Это однако, наложит огра-

ничение на задание со свободным ответом. В данном примере задание

с ограничением на ответ, конечно же, превосходит задание со свобод-

ным ответом, при условии того, что требуется ответ одним словом.

Задание со свободным ответом может быть улучшено; например,

«Среднее арифметическое измеряет центральную тенденцию мно-

жества показателей; а что измеряет стандартное отклонение?» На

это задание, хотя в нем и предусматривается произвольный ответ, мы

должны получить такие ответы как «изменчивость», «дисперсия»

или «разброс показателей». Несмотря на это, форма задания со сво-

бодным ответом не будет здесь столь эффективна, как форма задания

с ограничениями на ответ. Интересно заметить, что данное задание

может быть легко записано в виде других уже известных нам форм:

(1) Д/Н: Стандартное отклонение измеряет изменчивость по-

казателей.

(2) Восстановление соответствия:

1. Арифметическое среднее

2. Стандартное отклонение

3. Медиана

4. Корреляция

.......-inLuc среднее Изменчивость

2. Стандартное отклонение Центральная тенденция

3. Медиана Согласованность

4. Корреляция Рассогласованность

Разброс

Связь

Кластеризация

Укажите, какой элемент списка Б измеряется статистическа

методикой из списка А.

(3) Варианты выбора: Стандартное отклонение измеряет:

(а) степень согласованности между двумя переменными;

(б) стандартный показатель по тесту;

(в) дисперсию показателей по тесту;

(г) средний показатель по тесту;

(д) экстремальное отклонение показателей по тесту.

Представляется, что хотя и могут быть сконструированы все типы

заданий, наиболее эффективным в данном случае без сомнения будет

задание с вариантами выбора.

На этом первом примере ясно проиллюстрирована основная труд-

ность при разработке заданий как со свободными, так и с ограничен-

ными ответами - необходимость так формулировать задания, чтобы

испытуемые, имеющие достаточный запас навыков или знаний, да-

вали правильный ответ. Это означает, что необходимо создавать

задания, на которые возможен только один правильный ответ, и

такой ответ, конечно же, должен быть точным.

ПРИМЕР 2.

Здесь в качестве материала для тестирования предлагаются зна-

ния об облических (зависимых) факторах в факторном анализе.

(1) Задание с произвольным ответом: Что такое облические фак-

торы?

Об облических факторах так много может быть написано и уже

написано, что любой адекватный ответ будет неизбежно длинным. В

результате возникнет безнадежная проблема попытки вычислить

баллы по данному заданию. Очевидно, что это крайне неудачный

пример, а поэтому следует быть более точным при формулировке

заданий. Прежде надо было бы конкретно решить, что же мы хотим

выяснить.

(2) Задание с ограниченным ответом: Облические факторы --

это. . . (одно слово).

Хотя в этой форме задания длина ответа ограничивается, ясно, что

это более удачное задание. Так, в качестве ответов могли бы быть

следующие слова: «коррелирующие», «подвергнутые ротации» ,

«значимые» (поскольку только значимые факторы подвергаются ро-

тации), «комплексные» (потерминологииГилфорда), «простые» (по