Известные методы повышения объективности результатов эксперимента
Даже в наше время известные методы повышения объективности исследований зачастую применяются только психологами, в то время как представители других отраслей наук не только не используют данные методы, но и вовсе могут быть не знакомы такой постановкой вопроса как значимость влияния когнитивных искажений.
Инженеры обычно рассматривают следующие ошибки: ошибки прибора, измерения и обработки. Как правило, берется их среднее геометрическое и они считаются статистически независимыми. Ошибка прибора определяется производителем и техническим состоянием прибора. Ошибка измерения определяется глазом наблюдателя. Ошибка обработки зависит от того, насколько сложная и многоступенчатая обработка должна быть проделана с данными прежде, чем получится результат. Если закон известен или предполагается, то её можно найти из формулы. Таким образом, чем более точные измерительные приборы имеет экспериментатор, тем более точными будут результаты эмпирического исследования.
В 1994 году был принят стандарт ISO 5725-2:1994 «Точность (правильность и прецизионность) методов и результатов измерений» [5]. Речь в стандарте идет о технологиях повышения точности измерений, о технологиях статистического анализа данных эксперимента по оценке прецизионности, балансировке результатов по однородным уровням, но не учитывает наличие когнитивных искажений, которые могут привести к ошибкам экспериментаторов.
|
|
|
Научным сообществом признаются два критерия, на основе которых оно отличает научное знание от псевдонаучного:
1. Принцип верификации, предложенный Бертраном Расселом – только то знание является научным, которое можно подтвердить.
2. Принцип фальсификации, предложен Карлом Поппером – только то знание является научным, которое можно опровергнуть.
Противодействовать ошибкам эксперимента можно также с помощью ряда методических приемов:
3. Метод «плацебо», который позволяет преодолеть эффект ожиданий экспериментатора.
4. Полевой эксперимент – эксперимент, который проводится в обычных условиях существования объекта исследования с минимальным вмешательства экспериментатора в эти условия. Минус этого метода – неконтролируемые факторы оказывающие влияние на результат.
5. Использование статистического аппарата при многократном проведении измерений.
Самооценка объективности исследователя при проведении эмпирических экспериментов
Как уже упоминалось ранее, причиной ошибок эксперимента может стать не только неверно подобранная оценочная процедура, но и «когнитивные искажения» – распространённые, подсознательные, ошибки мышления, которые мы все систематически совершаем. Такие ошибки присущи большинству людей и предсказуемы.
|
|
|
Ниже приведена методика повышения объективности результатов эксперимента, которая помогает учитывать максимальное количество известных когнитивных искажений, влияющих на результат эксперимента, на всех этапах жизненного цикла эмпирического исследования.
Методика повышения объективности результатов эксперимента
Этап 1. Планирование эксперимента. Постановка цели эксперимента. Выбор факторов и отклика.
После постановки цели эксперимента выявляются и выбираются входные и выходные параметры на основе сбора и анализа априорной информации. Факторы могут быть управляемыми и неуправляемыми (случайными), вносящие систематическую или случайную погрешность в результаты измерений: ошибки измерительного оборудования, изменение свойств исследуемого объекта в процессе проведения эксперимента, воздействие персонала и т.д.
Этап 2. Применение чек-листа №1 и корректировка плана эксперимента
Таблица 3 – Чек-лист №1, посвященный искажениям, возникающим во время организации эксперимента
| Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время планирования и организации текущего эксперимента
| ||||||||||
| Утверждение 1 |
| Утверждение 2 | Пример искажения | |||||||
| Эмпирическое исследование планируется провести в условиях недостатка априорных данных | 1 | 2 | 3 | 4 | 5 | Эмпирическое исследованиепланируется провести после детального изучения всех факторов, способных повлиять на результат | Экспериментатор недостаточно хорошо исследовал литературные источники по исследуемой проблеме, не провёл опрос экспертов и специалистов, имеющих отношение к объекту исследования. Не провёл предварительные однофакторные и отсеивающие эксперименты | |||
| При планировании эмпирического исследования не проводился анализ шумовых факторов и не оценивалось их возможное влияние на точность эксперимента | 1 | 2 | 3 | 4 | 5 | При планировании эмпирического исследования проводился анализ шумовых факторов и оценивалось их возможное влияние на точность эксперимента | При исследовании влияния на поведение животных различных участков головного мозга сам факт перенесения операции по удалению соответствующего участка может изменить поведение подопытного животного
| |||
| Не учитывалось изменение характеристик объекта исследования во времени | 1 | 2 | 3 | 4 | 5 | Принималось во внимание то, что с течением времени с объектом исследования могут произойти значимые изменения | При лонгитюдном исследовании групп животных стоит учитывать их продолжительность жизни
| |||
| Не уделялось внимание обеспечению однородности групп объектов исследования | 1 | 2 | 3 | 4 | 5 | Обеспечивалась однородность групп объектов исследования | Основная и контрольная группа объектов должны соответствовать друг другу за исключением тех свойств, на выявление которых направлен эксперимент | |||
| В эксперимент заложены только прямые методы верификации | 1 | 2 | 3 | 4 | 5 | Совместно с прямыми методами верификации дополнительно использовались и косвенные методы | Систематическая ошибка согласованности. Испытуемому представили две кнопки, нажатие на одну из которых (левую) открывает дверь. Прямой тест – это нажатие левой кнопки; косвенный тест – нажатие правой кнопки. Поскольку при нажатии правой кнопки дверь остаётся закрытой, то косвенно можно сделать вывод, что нажимать нужно левую кнопку | |||
| Выбирались такие методы проведения экспериментального исследования, которые гарантируют высокую вероятность благоприятного исхода исследования | 1 | 2 | 3 | 4 | 5 | Для решения задачи использовались различные методы, в том числе те, в результате использования которых вероятность благоприятного исхода исследования была неизвестна | Эффект неоднозначности предполагает, что люди стремятся выбрать решение, для которого вероятность благоприятного исхода известна, по сравнению с решением, когда вероятность благоприятного исхода неизвестна
| |||
| Рассматривалась модель, популярная в конкретной предметной области, а не в междисциплинарной | 1 | 2 | 3 | 4 | 5 | Рассматривалась модель на основании более общей, междисциплинарной точки зрения |
| |||
Таблица 4 – Шкала оценки объективности эмпирического исследования на этапе его планирования
| Сумма баллов | Объективность | Корректирующие действия |
| 7-18 | Низкая | Пересмотр плана эксперимента |
| 19-29 | Средняя | Выбор когнитивных искажений с наихудшими показателями объективности, и корректировка плана эксперимента с целью улучшения данных показателей |
| 30-35 | Высокая | Переход к следующему этапу |
Этап 3. Проработка вопросов организации эксперимента (например, выбор приборов, персонала)
Уточнение условий проведения эксперимента: оборудование, сроки, финансовые ресурсы, исполнители и т.п. Установление требуемой точности результатов измерений (выходных параметров), области возможного изменения входных параметров, уточнение видов воздействий. Выбирается вид образцов или исследуемых объектов, учитывая степень их соответствия реальному изделию по: состоянию, структуре, форме, размерам и другим характеристикам. Точность экспериментальных данных также существенно зависит от числа опытов – чем больше опытов, тем (при тех же условиях) выше достоверность результатов. Составление плана эксперимента – количество и порядок испытаний, способ сбора, хранения и документирования данных.
Этап 4. Проведение эксперимента с применением чек-листа №2.
Таблица 5 – Чек-лист №2, посвященный искажениям, возникающим во время проведения эксперимента
| Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время проведения текущего эксперимента | |||||||
| Утверждение 1 |
| Утверждение 2 | Пример искажения | ||||
| Допускался перенос характеристик выборки на другие выборки или на генеральную совокупность | 1 | 2 | 3 | 4 | 5 | Статистическими методами проверялось наличие в других выборках или генеральной совокупности, выделенных в частном случае характеристик | На основании положительного результата тестирования небольшой выборки электронных компонентов из партии было ошибочно принято решение о пригодности всей партии |
| Оказывалось влияние на условия проведения эксперимента после получения экспериментальных данных после проведения первых серий эксперимента | 1 | 2 | 3 | 4 | 5 | Минимизировалось влияние на условия эксперимента после получения экспериментальных данных после проведения первых серий эксперимента | При проведении серии экспериментов получив «хорошие» и «плохие» данные в первых сериях эксперимента я стремился первые «улучшить» а вторые «ухудшить» в последующих сериях |
| При проведении эмпирического исследования не соблюдались сроки его выполнения | 1 | 2 | 3 | 4 | 5 | Эмпирическое исследование проводилось в соответствии с изначально разработанным графиком | «Бег по минному полю», когда пытаются выполнить эмпирическое исследование в максимально короткие сроки, однако попытки работать быстрее приводят к частым ошибкам |
| Допускалось влияние одного из условий эксперимента на следующие за ним | 1 | 2 | 3 | 4 | 5 | Не допускалось влияния одного из условий эксперимента на следующие за ним | Если объектом исследования является человек или животное, то они могут различным образом реагировать на одни и те же условия. Если в ходе эксперимента исследователь изменяет порядок его проведения, то адаптация испытуемого к этому эксперименту будет проходить по-разному |
| Преуменьшалось значение одного из параметров в сравнении с только что обнаруженным контрастным параметром | 1 | 2 | 3 | 4 | 5 | Учитывал влияние эффекта контраста при анализе параметров объекта | Преуменьшение значимости одного из факторов, обладающего статистически доказанной значимостью или даже удаление его из модели при обнаружении фактора, сила влияния которого является более высокой |
| Когда одна зафиксированная ситуация гарантирует содержание другой, то в отчете об исследовании сообщалось только о последней | 1 | 2 | 3 | 4 | 5 | Результаты эмпирического исследования полностью и подробно описаны в отчёте | Может произойти подмена одного понятия другим. Исследователь может некритично предположить, что одна зафиксированная им ситуация гарантирует содержание другой, и сообщить только о последней |
Таблица 6 – Шкала оценки объективности эмпирического исследования на этапе его проведения
| Сумма баллов | Объективность | Корректирующие действия |
| 6-15 | Низкая Low | Провести повторные с применением других измерительных приборов, экспериментаторов, методов измерения. Увеличить число рассматриваемых факторов. Выбрать средства измерения с повышенной точностью и помехозащищенностью. Использовать рандомизацию опытов. Провести дополнительные измерения для проверки гипотезы о виде математической модели. Увеличить объем выборки |
| 16-24 | Средняя Medium | Увеличьте количество опытов, контрольных точек. Выберите более сложную математическую модель. Повторите эксперимент с другим экспериментатором. |
| 25-30 | Высокая | Переход к следующему этапу |
Этап 5. Статистическая обработка результатов эксперимента
Выполняется статистическая обработка результатов эксперимента с выявлением и устранением грубых и систематических ошибок.
Этап 6. Применение чек-листа №3 и статистическая обработка результата опроса
Таблица 7 – Чек-лист №3, посвященный искажениям, возникающим во время обработки результатов
| Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время обработки результатов текущего эксперимента |
| ||||||||
| Утверждение 1 |
| Утверждение 2 | Пример искажения |
| |||||
| Использовались только те экспериментальные данные, которые подтверждают гипотезу экспериментального исследования | 1 | 2 | 3 | 4 | 5 | Для подтверждения гипотезы экспериментального исследования использовались все полученные экспериментальные данные | При обработке результатов измерений не была проведена процедура статистической проверки «аномальных» данных, они были отброшены как «грубая» ошибка измерения |
| |
| Использовались удобные для подтверждения гипотезы методы | 1 | 2 | 3 | 4 | 5 | Для подтверждения гипотезы использовались наиболее объективные методы | На одних и тех же данных применение разных статистических методов может привести к разным результатам. Важно не поддаться соблазну использовать удобные для подтверждения гипотезы методы, а отдавать предпочтение наиболее объективным |
| |
| Для нахождения параметров модели использовались только сходные данные и игнорировались «выбросы» | 1 | 2 | 3 | 4 | 5 | Для нахождения параметров модели использовались не только группирующиеся данные, но и «выбросы» | Можно стрелять в стену, а уже потом, в месте, где появилось самое большое количество пробоин, нарисовать мишень
| ||
| Для оценке значимости факторов использовалась интуиция | 1 | 2 | 3 | 4 | 5 | Оценка значимости факторов производилась с использованием стандартных статистических методик | Экспериментатор пренебрег проведением предварительных и отсеивающих экспериментов
| ||
| При анализе результатов придавалось большее значение данным, полученным после проведения первой серии экспериментов, чем последующим | 1 | 2 | 3 | 4 | 5 | Информация, полученная после проведения первой серии экспериментов и последующая информация имеют равную ценность | Эффект первичности – данным, полученным после проведения первой серии экспериментов экспериментатор неосознанно уделяет больше внимания, фокусируется на них и на их основе заранее выстраивает у себя в голове некую схему.
| ||
| Склонность искать общие черты среди «выживших» и упускать из вида факт, что не менее важная информация скрывается среди «погибших» | 1 | 2 | 3 | 4 | 5 | Отсутствует склонность недооценки не доступных прямому наблюдению данных из группы «погибших» | Ошибка выжившего. Например, пробоины на вернувшихся самолётах показывают места, в которых они могут получить повреждения и выжить, а получившие повреждения в других местах не смогли вернуться на базу | ||
| Оценка частоты или возможности возникновения события по легкости, с которой эти примеры или случаи вспоминаются | 1 | 2 | 3 | 4 | 5 | Частота или возможность возникновения события оценивались по результатам обработки статистических данных | Эвристика доступности. Например, человек оценивает степень риска возникновения инфаркта у людей среднего возраста, припоминая подобные случаи среди своих знакомых
| ||
| При анализе результатов экспериментального исследования уже произошедшие события воспринимались как очевидные и предсказуемые | 1 | 2 | 3 | 4 | 5 | При анализе результатов экспериментального исследования рассматривались возможные альтернативные варианты объяснения события | Ошибка Хайндсайта (эффект «я знал»). Клинические врачи, как правило, переоценивают свою возможность предсказания исхода того или иного медицинского случая, заявляя, что заранее знали результат
| ||
| При известной частоте и специфике некоторого события, есть склонность игнорировать первое событие и фокусироваться на втором | 1 | 2 | 3 | 4 | 5 | При известной частоте и специфике событий принимаются во внимание и то и другое | Джон носит готическую одежду. Оценим вероятность того, что он христианин или сатанист? Если людям задать этот вопрос, они недооценят вероятность того, что он христианин (хотя христиан около 2 млрд человек), и переоценят вероятность того, что он сатанист (сатанистов по статистике несколько тысяч) | ||
| Процедуры построения и верификации модели проводились с использованием одних и тех же экспериментальных данных | 1 | 2 | 3 | 4 | 5 | Процедуры построения и верификации модели проводились с использованием экспериментальных и тестовых данных | Экспериментатор решил сэкономить на опытах и не разбивать выборку на экспериментальную и тестовую
| ||
| При обработке эмпирического исследования не учитывалось различие в типе используемых шкал, занижались слишком высокие результаты измерений и завышались слишком низкие | 1 | 2 | 3 | 4 | 5 | При обработке результатов эмпирического исследования не занижались слишком высокие результаты измерений и не завышались слишком низкие | При работе с величинами, измеренными в разных шкалах, необходимо соблюдать определенные правила, иначе неизбежны грубые ошибки. Использование необоснованных способов определения средних величин может привести к искусственному завышению или занижению осредненного значения показателя качества системы | ||
| Я придавал особое значение ряду измерений в экспериментальной серии | 1 | 2 | 3 | 4 | 5 | Искусственно не занижалось/завышалось значение определенных данных полученных экспериментальным путём |
| ||
| Результаты эксперимента оценивались исходя из веры в истинность гипотезы | 1 | 2 | 3 | 4 | 5 | При оценке результатов эксперимента дополнительно учитывалось мнение не осведомленного о гипотезе эксперта |
| ||
| Доказательством, подтверждающим гипотезу может являться установленный или общепринятый факт | 1 | 2 | 3 | 4 | 5 | Установленные и общепринятые факты могут не являться доказательствами, подтверждающими гипотезу | В качестве достаточного или значимого вывода предлагается утверждение о том, что доказательство, подтверждающее какую-либо точку зрения является установленным или общепринятым фактом. Вместо прошедших проверку на истинность доводов для оценки содержания гипотез привлекается ссылка на мнение авторитета | ||
Таблица 8 – Шкала оценки объективности эмпирического исследования на этапе построения модели исследуемого процесса/явления
| Сумма баллов | Объективность | Корректирующие действия |
| 14-35 | Низкая | Перестройте эксперимент так, чтобы одни и те же данные не использовались для построения модели и проверки её прогностических свойств. Обратите внимание на «аномалии» в данных, попробуйте найти причину их появления |
| 36-54 | Средняя | Возможно, исследуемый процесс/явление является более сложным, чем вы ожидали, и следует для их описания использовать более сложные модели |
| 55-70 | Высокая | Ваше эмпирическое исследование достаточно объективно |
Заключение
В данной статье выявлена проблема, связанная с отсутствием постоянной практики учета субъективности экспериментатора при проведении эмпирических исследований. Предложена методика самооценки объективности исследования, которая включает чек-листы, заполняющиеся экспериментатором и позволяющие снизить субъективность исследования за счёт минимизации когнитивных искажений.
Можно сделать вывод, что предложенная в данной статье методика способна на практике облегчить работу любому экспериментатору, поставившему перед собой задачу провести максимально объективное и свободное от когнитивных искажений эмпирическое исследование. Данная методика позволяет учитывать самые распространенные когнитивные искажения и минимизировать их влияние на результаты эксперимента.
Проблема объективности эмпирических исследований, по-прежнему, является открытой, а вариант методики, предложенный в данной статье, разумеется, подлежит обсуждению.
В рамках будущих исследований необходима дальнейшая доработка шкал, разработка стандартных норм на большей по количеству выборке. Перспективным подходом является дальнейшее развитие диагностических возможностей разработанных чек-листов методики.
Список литературы
[1] Gurvil' D. Psihologiya otnosheniya k novoj produkcii // Harvard Business Review. 2006. October. p. 77-86.
[2] Rosenzweig, Phil. The halo effect: ...and the eight other business delusions that deceive managers. – 1st Free Press trade pbk. – New York, NY: Free Press, 2007.
[3] Ernst Mach. Knowledge and Error: Sketches on the Psychology of Enquiry. Springer Science & Business Media. 2012. 394p.
[4] Michael Polanyi. Personal Knowledge: Towards a Post-Critical Philosophy. University of Chicago Press. 2015. 464p.
[5] ISO 5725-2:1994. Accuracy (trueness and precision) of measurement methods and results – part 2: basic method for the determination of repeatability and reproducibility of a standart measurement method. ISO/TC 69/SC 6. 42p.
Дата добавления: 2019-11-16; просмотров: 1209; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!