Важность разработки критериев оценки
Каждое исследование, качественное или количественное, должно оцениваться с точки зрения определенных канонов (исследовательских стандартов) того подхода или стратегии, которые применялись для получения результатов. Исследование может тщательно оцениваться, только если его процедуры достаточно четко прописаны. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формулировки и выводы, так же как и проект исследования в целом, оцениваются посредством публикации. Когда исследование опубликовано, когда компоненты исследовательского процесса отчетливо изложены, то представленные результаты или теоретические формулировки можно будет оценивать.
При разработке критериев оценки классические каноны “хороших естественных наук” следует признавать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять. Критерий воспроизводимости социального эксперимента весьма относителен, так как с трудом можно представить повторение в той же России октябрьской революции или на индивидуальном уровне опыта первой любви.
Успех исследовательского проекта, в конце концов, оценивается по его продукту. Критерии оценки много обсуждались в литературе и связывались, в основном, с тремя аспектами:
во-первых, составляются суждения о валидности и надежности данных;
|
|
|
во-вторых, составляются суждения об адекватности исследовательского процесса, посредством которого теория рождается, дорабатывается или проверяется;
в-третьих, составляются суждения об эмпирическом обосновании теоретических построений.
Основные критерии оценки
Р. Йин предложил критерии оценки, соблюдение которых позволяет снизить критику в адрес кейс стади. Прежде всего, это известные четыре теста, являющиеся общими для любого исследовательского метода в социальных науках:
- общая валидность - установление корректности (обоснованности) операциональных действий в рамках изучаемой темы и выстраиваемой концепции;
- внутренняя валидность (только для объяснительных исследований, но не для описательных или разведывательных) - установление всей полноты причинных связей, где определенные причины ведут к определенным следствиям;
- внешняя валидность - установление той области, на которой может быть сделано обобщение;
- надежность - демонстрация того, что сама процедура проведения кейса может быть повторена с теми же самыми результатами.
Общая тактика проведения исследования в стиле кейс стади должна соблюдать по Р. Йину ориентацию на следующие тесты:
|
|
|
Общая валидность. Какие переменные (стороны изучаемого явления) отобрать. Обычно те, кто критикует кейс стади как исследовательскую стратегию, говорят о том, что исследователь, как правило, не может развить достаточно полноценную систему измеряемых переменных и для сбора данных он руководствуется только субъективными оценками. Для того, чтобы обеспечить валидность, исследователь, по крайней мере, должен:
Выделить специфические черты явления, которое он изучает.
Продемонстрировать, что избранные переменные (черты, стороны) в действительности отражают это явление.
Анализ не должен быть только на уровне “микроскопических” условий, которые объясняют действия/взаимодействия феномена, а учитывать и те условия, которые происходят на более “макроскопических” уровнях: такие, например, как экономические условия, социальные движения, ценности и т.д. Поэтому любая публикация, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изучаемым феноменом, теряет в своем эмпирическом обосновании.
Идентификация и точное обозначение изменения или движения в форме процесса является важной частью исследования и, особенно, по методу “обоснованной теории”. Любое изменение должно быть связано с условиями, которые его вызывают.
|
|
|
Внутренняя валидность. Эта валидность относится только к объяснительным кейсам, в которых исследователь пытается определить ведет ли событие х к событию у. Если, предположим, выяснится, что исследователь вывел причинную зависимость между х и у, в то время как имеется еще компонент z, который играет роль в этой причинной зависимости, то это говорит о том, что исследовательская конструкция было неверной. Однако в дескриптивных и разведывательных исследованиях это не является препятствием.
Внутренняя валидность относится также и к отдельному случаю, к каждому событию, которое сам исследователь не обозревал, не был его участником. Исследователь, тем не менее, на основе данных интервью, документов будет непременно делать заключения о том, что явилось причиной этого события. Исследователь должен сделать все возможное, чтобы это заключение было корректным. Он должен задать себе следующие вопросы:
· Что сделать, чтобы заключение соответствовало реальности?
· Все ли конкурирующие объяснения были рассмотрены?
· Какую тактику предпринять с учетом специфики случая?
|
|
|
Внешняя валидность. Здесь мы должны поставить вопрос: "А можно ли обобщить данные этого кейса и применить выводы к другим организациям, людям, группам и т.п.?" Обычно критики говорят о том, что единственный случай - достаточно бедное доказательство для возможности обобщения и что это не репрезентативная выборка. Но говорить о выборке применительно к кейс стади – это вообще неверный подход. Только опросы делают статистические обобщения. Кейс стади дает возможность делать аналитические обобщения.
Надежность. Цель надежности – минимизировать ошибки и отклонения, случающиеся в кейс стади. Как мы уже говорили, необходимо, чтобы исследователь, проводящий кейс стади позднее мог с точностью повторить те же самые процедуры и получить те же результаты в исследовании того же явления, но в другом случае. Главное – иметь документальное описание всего процесса исследования.
Все вышеприведенные критерии носят нормативный характер. Новые области исследования могут потребовать модификации процедур и иных оценочных критериев. К тому же одаренные исследователи с творческим воображением время от времени будут несколько отступать от установленных канонов. В таких редких случаях нам следует точно объяснить, как и почему мы от них отступили и предоставить читателям право судить при каких условиях результаты нашего теоретизирования могут соответствовать “реальности”, давать новое понимание и быть полезными (практически и теоретически).
Дата добавления: 2021-07-19; просмотров: 124; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!