Психологическое и педагогическое тестирование. Классификация диагностических тестов и требования к проведению тестирования.
Стёпочкина Е.А. ТЭ-ЭБZ-31
Практическое задание 4
Тема. Психолого-педагогическая диагностика в работе учителя
Типология вопросов, требование к построению исследования с помощью беседы и анкеты.
Практика психолого-педагогических исследований выработала определенные правила применения метода беседы:
– не проводить беседу второпях, в возбужденном состоянии
– формулировать вопросы четко и ясно, учитывая степень компетентности в них собеседника;
– подбирать и ставить вопросы в понятной форме, побуждающей респондентов давать на них развернутые ответы;
– избегать некорректных вопросов, учитывать настроение, субъективное состояние собеседника;
– вести беседу так, чтобы собеседник видел в исследователе не руководителя, а товарища, проявляющего неподдельный интерес к его жизни, думам, чаяниям;
– беседовать только по вопросам, непосредственно связанным с исследуемой
проблемой;
– формулировать вопросы четко и ясно, учитывая степень компетентности в них собеседника;
– выбирать такое место и время проведения беседы, чтобы никто не мешал ее ходу, поддерживал доброжелательный настрой.
Обычно процесс беседы не сопровождается протоколированием. Однако исследователю можно при необходимости делать для себя некоторые пометки, которые позволяют ему после окончания работы полностью восстановить весь ход беседы.
|
|
|
Протокол или дневник, как форму регистрации результатов исследования, лучше всего заполнять после окончания беседы.
В отдельных случаях могут использоваться технические средства ее регистрации – магнитофон или диктофон. Но при этом респондент обязательно должен быть проинформирован о том, что запись беседы будет осуществляться с применением соответствующей техники. В случае его отказа, применение названных средств не рекомендуется.
Практика показывает, что к разработке анкеты исследования целесообразно предъявлять следующие основные требования:
– разъяснение перед началом опроса его целей и значения для результатов
исследования;
– корректная постановка вопросов, предполагающая одновременно уважительное отношение к респондентам;
– оставление возможности анонимных ответов;
– исключение возможности двусмысленного толкования вопросов использования специальных терминов и иностранных слов, которые могут быть непонятны респондентам;
– следить за тем, чтобы в вопросе не предлагалось оценить несколько фактов сразу или высказать мнение о нескольких событиях одновременно;
– апробирование (пилотаж) анкеты с целью проверки и оценки ее обоснованности (валидности), поиска оптимального варианта и объема вопросов;
|
|
|
– построение анкеты по принципу: от более простых вопросов к более сложным;
– не увлекаться многословными, длинными вопросами и предложенными
вариантами ответов
на них, так как это затрудняет восприятие и увеличивает время на их заполнение;
– постановка вопросов линейным (каждый последующий вопрос развивает,
конкретизирует предыдущий) и перекрестным (ответ на один вопрос проверяет
достоверность ответа на другой вопрос) способами создает у опрашиваемых
благоприятную психологическую установку и желание давать искренние ответы;
– предусматривать возможность быстрой обработки большого количества ответов с
использованием методов математической статистики.
Опыт проведения опросов свидетельствует о том, что ответы даются
содержательнее и полнее, когда анкета включает небольшое количество вопросов (не более 7-10).
При составлении анкеты используются несколько вариантов построения вопросов.
Это открытые, закрытые и полузакрытые вопросы, а также вопросы-фильтры.
Пилотажное исследование анкетных методик, интерпретация
Результатов исследования с помощью анкетирования.
|
|
|
Наиболее удобно использовать сочетание литературных данных, информацию, полученную при помощи открытых вопросов во время пилотажных опросов небольшой выборки, опрос экспертов. Неточно отработанные варианты альтернатив могут привести к серьезным искажениям получаемых данных. Среди предлагаемых вариантов ответов могут оказаться варианты, которые мало значимы для опрашиваемой
выборки, и не войти такие, которые для респондентов наиболее важны.
Полузакрытые вопросы частично решают эту задачу. Однако проблема все равно остается, так как далеко не всякий респондент сможет и захочет пре одолеть уже сформировавшуюся установку на ситуацию выбора предлагаемых вариантов ответов и написать свой собственный.
В зависимости от того, какие варианты ответов (альтернативы)
предлагаются к вопросу, можно выделить несколько видов альтернатив:
-«меню» (т.е. предъявляется целый ряд возможных ответов, часто не
исключающих друг друга);
-дихотомически е (т.е. даются два противоположных варианта ответа,
например, да—нет, друг—враг и др.);
-шкала (т.е. задается шкала измерения интенсивности чувства,
отношения).
Эти варианты альтернатив предполагают несколько различные проблемы при их формулировании. Так, при использовании дихотомических ответов нужно помнить, что респонденты в целом склонны соглашаться с автором и выбирать альтернативу «да».
|
|
|
Имеет смысл сводить к минимуму формулировки «да–нет», оставляя их только для фактологических вопросов типа: «Есть ли у вас собака?» Когда же речь идет о шкалах, то двухкомпонентный вариант кажется слишком грубым. Наиболее часто встречающиеся шкалы включают в себя от 4 до 7 делений (однако можно встретить и 10- и 15-балльные шкалы, и многие другие). Крайне важно, чтобы они были уравновешены, т.е. имели одинаковое количество позитивных и негативных позиций.
Требование уравновешенности шкалы связано с необходимостью предъявления всего континуума оценок. Если один полюс шкалы представляет собой суждение «всегда», то другой — «никогда». Суждению «очень хорошо» должно противостоять суждение «очень плохо».
Уравновешенность и полнота шкалы обеспечивают для респондента оптимальную ситуацию оценивания, з давая четкую систему отсчета.
Неуравновешенные шкалы встречаются достаточно редко и связаны с тем, что уже есть информация о «знаке» оценки и необходимо уточнить выраженность данного отношения.
Адекватность применения различных шкал определяется, прежде
всего, конкретным содержанием исследования. Всякое их усложнение, например, переформулирование суждений пунктов шкалы, увеличение числа градаций, изменение типа шкалы, особенно замена ее на метрическую и т.п., должно быть в каждом случае проверено эмпирически, отработано в пилотажном исследовании.
Специальную проблему представляет собой психометрическая проверка анкеты в процессе пилотажного исследования.
Во-первых, всякий опросник должен быть проверен на устойчивость, т.е. насколько информация, полученная при помощи данной методики, отражает позицию человека (его знания, мнения, оценки и др.), а не является случайной, связанной с какими-то особенностями момента. Для этого используется простой методический прием — повторный опрос одних и тех же людей. Прием простой, но осуществить его трудно.
Нужно объяснить людям, почему они должны отвечать второй раз на одни и те же вопросы. Причем не просто объяснить, но сделать так, чтобы они выполнили работу повторно. Также при повторном проведении опроса
возникает проблема влияния ответов первой «серии» на ответы во второй.
Последняя трудность преодолевается разведением во времени двух анкетирований, первая же требует большого воображения. Если в интересах исследования не стоит сообщать людям, что на них только отрабатывается методика (таким заявлением мы резко снижаем мотивацию сотрудничества с нами), то повтор можно объяснить случайной потерей результатов, плохой работой технического персонала и др. Если вы уверены, что прошло достаточно времени и респондент не сможет вспомнить свои ответы, то можно сказать, что проверяете его память.
Во-вторых, в случаях, когда при обработке результатов используются сложные индексы, включающие ряд вопросов, необходима проверка на гомогенность, т.е. каждый из вопросов сложного индекса должен соответствовать общей тенденции, а также вопросы (а вернее, ответы
на них) должны коррелировать между собой.
В-третьих, обязательный компонент психометрической проверки касается выбранных индикаторов изучаемого явления и заключается в сопоставлении результатов, получаемых разрабатываемой методикой, и результатов применения других, уже апробированных процедур.
Психологическое и педагогическое тестирование. Классификация диагностических тестов и требования к проведению тестирования.
В широком смысле тест — это любое испытание, любая методика выявления индивидуальных психологических особенностей человека, которая содержит элементы стандартизации при проведении, так что претендует на то, что ее результат будет независимым от личности и квалификации психолога-диагноста.
В узком смысле тест — стандартизированная измерительная процедура, предусматривающая стандартизацию не только проведения методики, но и обработки результатов. Результат формализованной обработки предстает на числовой шкале, указывающей на степень выраженности измеряемого психического свойства.
Формализованная обработка базируется на таком строгом алгоритме, который может быть реализован в виде программы для ЭВМ.
За полтора (без малого) века в мире созданы десятки тысяч тестов, отличающихся друг от друга по множеству самых разных оснований. Ниже перечислено 18 оснований для классификации разных тестов. Но и эта классификация, очевидно, не является полной, а служит лишь определенным ориентиром для дальнейшего углубленного изучения тестов.
1. По семиотическому (знаковому) статусу тестового материала:
а) вербальные (тестовые задания — это вопросы, утверждения, словесные описания проблемных ситуаций и т.п.);
б) невербальные (тестовые задания — это зрительные стимулы, слуховые, мультимедийные и т.п.).
2. По уровню продуктивности в деятельности испытуемого:
а) реактивные, репродуктивные;
б) продуктивные.
3. По хронометрическим свойствам:
а) тесты на сложность: в этом случае не задается лимит на продолжительность сеанса тестирования, а время решения тестового задания, напротив, оказывается регистрируемой переменной, так что скорость решения задачи интерпретируется как индикатор уровня развития измеряемой способности (или другого психического свойства);
б) тесты на скорость: задается одинаковое для всех испытуемых ограничение на длительность сеанса тестирования, и регистрируемой переменной оказывается число задач (тестовых заданий), которые испытуемый успевает за это время решить.
4. По многочисленности заданий в тесте:
а) монолитные тесты состоят из единственного задания (пример — «тест рамки», когда испытуемого просят провести линию, имея на листе перед собой прямоугольную рамку); вообще-то таких тестов очень и очень немного;
б) составные тесты состоят из многих заданий.
5. По однородности-разнородности заданий:
а) гомогенные тесты;
б) гетерогенные тесты.
6. По количеству тестовых шкал (факторов):
а) одношкальные (однофакторные);
б) многошкальные (многофакторные).
7. По наличию/отсутствию блочно-батарейной структуры (по наличию субтестов):
а) гетерогенный тест, в котором на всем протяжении сеанса тестирования вперемешку чередуются задания, работающие на все шкалы;
б) задания многошкального теста группируются в относительно гомогенные блоки, которые в этом случае нередко называются субтестами, а сам интегральный тест называется «тестовой батареей».
8. По предметно-целевой направленности (по содержанию):
а) тесты способностей (примеры: тест интеллекта Векслера, Амтхауэра и т.п.);
б) тесты личностных (индивидуальных) черт (примеры: MMPI, 16PF);
в) тесты достижений (примеры: TOEFL или SAT фирмы ETS);
г) тесты ценностно-мотивационных ориентаций (примеры: EPPS, шкала Рокича— Ядова);
д) тесты межличностных оценок (тест-опросник Лири);
е) тесты социальных установок (F-шкала Адорно).
9. По их отношению к социокультурным и индивидуальноличностным нормативам (по принципу формирования ключа к тесту):
а) объективные тесты — это тесты, в которых есть неоспоримый правильный ответ — либо в логике определенной науки, либо в логике особого вида деятельности, которую моделирует тест;
б) тест-опросники — это тесты, в которых нет как таковых правильных ответов, а есть ответы, согласованные с высоким или низким полюсом по определенной диагностической шкале;
в) методики шкалирования, или «матричные тесты», — это тесты, в которых некое подобие «ключа» рождается внутри логики сравнения между собой столбцов или строк матрицы, в которую укладываются ответы испытуемого;
г) ипсативные тесты — это определенная модификация шкальной техники «парных сравнений», когда испытуемому ставится задача предпочесть одно из двух возможных одинаково позитивных (или одинаково негативных) суждений о нем, либо выбрать один из двух предметов, либо одну из двух ценностных категорий и т.п. (хотя следует сделать оговорку, что некоторые специалисты относят категорию 9г к тест-опросникам)
10. По принципу формирования тестовых норм:
а) нормативно-ориентированные тесты (НОРТ);
б) критериально-ориентированные тесты (КОРТ);
в) ипсативные тестовые нормы.
11. По преобладающему формату тестовых заданий:
а) контрольные списки суждений или закрытые тесты с ответами на «да—нет» (в логике современных компьютерных интерфейсов испытуемый должен расставить «галочки в чек-боксы» — рядом с теми пунктами теста, с которыми согласен);
б) списки суждений с многоградуальной шкалой согласия (иногда используется не только три градации, подразумевающие нейтральный ответ «не знаю», но и пять, и семь градаций по степени согласия); нередко этот тип заданий (вопросов) отождествляют с multiple-choice (см. ниже), но это формальное, а не смысловое сходство, ибо эти пункты теста порождают «степень совпадения с ключом», а не «правильный - неправильный ответ»,
т.е. в данном случае различия между предлагаемыми ответами количественные, а не качественные (как в следующем случае);
в) закрытые тест-вопросы, предполагающие качественно-различные ответы, — это, собственно, тест с множественным выбором: на один вопрос предлагается множество готовых качественно различных ответов, из которых надо выбрать только один (multiple- choice);
г) закрытые тест-вопросы, допускающие выбор нескольких качественно-различных готовых ответов, — это вопросы с множественным ответом (multiple-response); на компьютерном экране перед каждым ответом размещается чек-бокс и галочку можно поставить сразу перед несколькими ответами;
д) открытые тест-вопросы с кратким свободным ответом (в виде числа, в виде одного слова); некоторой визуальной модификацией этого типа вопросов являются суждения с пропусками (gaps filing form); интерфейсный элемент в компьютерной программе для этих заданий — так называемая «строка ввода» (кстати, в структуре ныне популярного в России Единого госэкзамена этот тип заданий обозначается буквой «B» и относится ко второму блоку-субтесту);
е) открытые тест-вопросы с развернутым ответом; в этом случае на компьютере изображается такой элемент интерфейса, как «окно ввода» (в ЕГЭ эти задания обозначаются буквой «С», относятся к третьему субтесту и дают максимальное количество очков, т.е. оцениваются экспертами по многобалльной шкале);
ж) задания на ранжирование: в этом случае испытуемому предлагается выстроить определенное множество элементов в определенной последовательности (присвоить ранги); хотя для этого типа заданий при компьютеризации требуется нестандартное программное решение, все же бывает гораздо практичнее изобразить несколько последовательностей в качестве возможных вариантов ответа и свести этот тип заданий к
11в (multiple-choice);
з) задания на соответствие: в этом случае испытуемый должен сравнить два множества объектов и установить попарные соответствия для всех элементов каждого множества; по моему убеждению, опять-таки гораздо практичнее свести возможные парные сочетания к набору готовых вариантов на выбор
12. По техническому способу предъявления тестового материала:
а) бланковые (бумажные);
б) компьютерно-вопросные (статический тестовый материал — на экране монитора);
в) устные (тестовый материал зачитывается вслух диагностом);
г) настольные (тестовый материал — это предметы на столе, карточки с
картинками, в частности, как это делается в тесте свободной сортировки);
д) ситуационно-поведенческие (провокативно-натурные): в реальной для испытуемого ситуации действуют подставные лица, которые ведут себя определенным образом;
е) компьютерно-игровые, имитационные (на экране монитора — динамическая игровая ситуация).
13. По трудности:
а) легкие тесты — в этих тестах задания специально подобраны как легкие, чтобы большинство испытуемых с ними не справилось; такие тесты более точно (статистически надежно) выявляют слабых испытуемых, они более уместны в ситуации отсева (когда важнее отсеять слабых, чем отобрать самых сильных);
б) трудные тесты — в этих тестах предъявляются трудные задания, подобранные так, чтобы большинство с ними не справилось; такие более точно выделяют сильных испытуемых и уместнее в ситуации отбора (когда важнее отобрать самых сильных, когда кандидатов на одно место много).
14. По количеству участников:
а) одиночные (тестовый материал предъявляется каждому испытуемому независимо от других испытуемых);
б) парные (ставятся определенные задания сразу для пары участников);
в) групповые (задания должна решать группа).
15. По степени открытости-скрытности ключа (правильных ответов):
а) прямые, или лобовые, тест-вопросы: сколько-нибудь рефлексивный
испытуемый, заинтересованный в определенном результате тестирования, без труда может определить направленность отдельных заданий и всего теста в целом (такие тесты, однако, могут быть уместны в ситуации добровольного запроса на оказание психологической помощи (ситуация клиента), хотя неуместны в ситуации экспертизы — в ситуации отбора, аттестации и т.п.);
б) косвенные, скрытные (поведенческие): в этом случае даже самые рефлексивные испытуемые не могут понять, какой ответ срабатывает на высокий или низкий результат, как именно называются диагностические шкалы и т.п.
Такие тесты особенно востребованы в ситуации экспертизы, требуют от пользователя соблюдения режима «профессиональной тайны», таких тестов очень мало.
в) сопутствующая физиологическая регистрация: пока испытуемый выполняет какие-то тестовые задания, с помощью аппаратуры (полиграф) снимаются определенные показатели жизнедеятельности его организма (ЧСС, КГР и т.п.).
16. По степени ситуационной детализации вопросов:
а) ситуационная детализация: отсутствует в большинстве типичных тестов;
б) кейс-тесты (или situational judgement tests — тесты ситуационных суждений): в этом случае вопрос начинается с весьма развернутого и имеющего немало деталей описания проблемной ситуации (ряд деталей призваны маскировать значимую информацию), а в качестве вариантов готовых ответов предлагаются возможные действия в проблемной ситуации (хотя более популярны кейс-тесты с открытым полем ответов).
17. По учету текущих ответов испытуемого в ходе тестирования:
а) обычные тесты (неадаптивные) никак не меняют последовательность тестовых заданий в зависимости от ответов испытуемого;
б) адаптивные тесты: в этом случае в зависимости от ответов испытуемого предлагаются разные задания.
18. По принципу (стратегии) конструирования тестовых шкал и ключей:
а) теоретико-дедуктивные тестовые шкалы: вначале формулируются
диагностические конструкты, а затем под них подбираются эмпирические индикаторы (тестовые задания);
б) эмпирико-статистические тестовые шкалы: вначале создается обширный пул (банк) тестовых заданий, по которым собирается репрезентативный массив данных (тестируется многочисленная выборка), а затем с помощью эксплораторного (поискового) факторного анализа (или с помощью кластерного анализа) матриц интеркорреляций между вопросами
отыскиваются факторы, подвергающиеся апостериорной интерпретации;
в) критериально-эмпирические тестовые шкалы: из пула вопросов отбираются такие, которые дают высокую корреляцию с внешним критерием (например, срабатывают на предсказание более высокой производительности труда); при такой прагматической стратегии конструирования некоторые шкалы не получают вовсе никакой научно- психологической интерпретации и получают наименование в терминах того критерия, на предсказание которого они срабатывают.
4. Педагогические тесты и принципы их построения.
Процесс тестирования может быть разделен на 3 этапа.
1. ВЫБОР ТЕСТА. Определяется целью тестирования и степенью достоверности и надежности теста.
2. ПРОВЕДЕНИЕ ТЕСТА. Определяется инструкцией к тесту.
3. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ. Определяется системой теоретических допущений относительно предмета тестирования.
Как к методам точной психодиагностики к тестам предъявляются особые требования. Первое из них — социокультурная адаптированность теста.
Это словосочетание означает соответствие тестовых заданий и тестовых оценок, которые испытуемый получает по этим заданиям, особенностям культуры, сложившимся в том или ином обществе, где данный тест используется, будучи заимствованным в другой стране.
Если, например, созданный в Европе тест интеллекта впервые применяется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначальном, неадаптированном варианте, мы,
скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления у жителей данной страны. И, наоборот, используя в качестве теста интеллекта такой, где преобладают задания на практическое мышление, в стране с доминированием вербального интеллекта, мы там можем получить неадекватные показатели умственного развития.
Если тест повторно используется в условиях, которые существенно отличаются от тех, где он был первоначально создан, то почти всегда требуется соотнесение этих условий друг с другом или адаптация теста к новым условиям.
В первую очередь это касается бланковых тестов, заимствованных из другой страны и написанных в оригинале на ином языке. Перевод словесных формулировок тестовых заданий с одного языка на другой никогда не бывает точным по значениям и смысловому содержанию понятий. Для того чтобы в максимально возможной степени снять это неизбежное в силу самой
природы языка несоответствие, приходится иногда отказываться от буквального перевода и делать его относительно произвольным, близким не по значениям слов, а по их смыслам.
Второе требование к тестам — простота формулировок и однозначность тестовых заданий. Согласно данному требованию в словесных и иных заданиях теста не должно быть таких моментов (слов, рисунков и т.п.), которые могут по-разному восприниматься и пониматься людьми.
Третье требование — ограниченное время выполнения тестовых заданий. Здесь речь идет о том, что полное время выполнения заданий психологического теста не должно превышать полутора-двух часов, так как в течение большего времени человеку трудно сохранить свою работоспособность на достаточно высоком уровне.
Четвертое требование — наличие тестовых норм для данного теста.
Под такими нормами понимаются репрезентативные средние показатели по данному тесту, т.е. показатели, представляющие большую совокупность людей, с которыми можно сравнивать показатели данного индивида, оценивая уровень его психологического развития. Норма теста обычно определяется в результате тестирования большой выборки
испытуемых определенного возраста и пола и усреднения полученных оценок с их последующей дифференциацией по возрасту, полу и ряду других релевантных показателей. Норма теста — это средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик.
Всякая норма со временем, как правило, изменяется вместе с теми естественными изменениями, которые с годами происходят в психологическом развитии людей. Так, нормы интеллектуального развития, установленные в первой четверти нашего века, не подходят для его последней четверти, так как за это время уровень развития мышления
людей значительно возрос. Существует эмпирически установленное правило, в соответствии с которым как минимум один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.
Процедура пересмотра существующих норм и установления новых типична и выглядит следующим образом. Сначала определяется группа людей, на которых предполагается проводить исследования с помощью данного теста. Затем эта группа людей разделяется на подгруппы, различающиеся по своим социально-демографическим характеристикам. Для каждой подгруппы подбирается и посредством разработанного теста изучается достаточно представительная выборка людей. Далее путем усреднения полученных на ней показателей определяется тестовая норма для данной совокупности людей. Заметим, что в описании теста для каждой включенной в него нормы обязательно должно быть указано, где, как, на ком и когда она была установлена.
Кроме требований, предъявляемых к нормам теста, существуют определенные, строгие правила проведения тестирования, обработки и интерпретации его результатов.
Наиболее важные из этих правил следующие:
1. Прежде чем применять тот или иной тест, психологу необходимо познакомиться с ним и попробовать его на самом себе или на другом человеке. Это позволит в дальнейшем избежать возможных ошибок, связанных с проведением тестирования и обусловленных недостаточно хорошим знанием его нюансов.
2. Важно заранее позаботиться о том, чтобы перед началом выполнения тестовых заданий испытуемые хорошо поняли их и сопровождающую тест инструкцию.
3. Во время проведения тестирования необходимо следить за тем, чтобы все испытуемые работали самостоятельно, независимо друг от друга и не оказывали друг на друга влияния, способного изменить результаты тестирования.
4. Для каждого теста должна существовать обоснованная и выверенная процедура обработки и интерпретации результатов, позволяющая избежать ошибок, возникающих на этом этапе тестирования. Это, в частности, касается приемов математико-статистической обработки первичных данных, которые также должны быть строго и заранее установлены.
Прежде чем приступить к практическому тестированию, необходимо провести определенную подготовительную работу к нему. Она состоит в следующем. Вначале испытуемым представляют тест и объясняют, для чего он предназначен, с какой целью проводится тестирование, какие данные в результате него могут быть получены и каким образом они могут быть использованы в жизни. Затем дают инструкцию и добиваются того, чтобы она была правильно понята всеми испытуемыми. Убедившись в этом,
психолог приступает к тестированию, строго следя за соблюдением инструкции и всех указанных выше условий, обеспечивающих достоверность получаемых результатов.
Дата добавления: 2021-02-10; просмотров: 509; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!