Известные методы повышения объективности результатов эксперимента
Method of increasing the objectivity of empirical research
D N Galiahmetova, O A Feoktistova, Ya A Shchenikov
Saint-Petersburg State University of Aerospace Instrumentation, Bolshaya Morskaia str. 67A, Saint-Petersburg, 190000, Russian Federation
E-mail: yar2409@mail.ru
Abstract.
Методика повышения объективности эмпирических исследований
Галиахметова Д.Н., Феоктистова О.А., Щеников Я.А.
Санкт-Петербургский государственный университет аэрокосмического приборостроения, улица Большая Морская, дом 67А, Санкт-Петербург, 190000, Российская Федерация
E-mail: yar2409@mail.ru
Аннотация. Ошибки эксперимента - это экспериментальный результат, который возникает из-за отклонений в проведении исследования или дефектов используемых методик.
Ключевые слова: объективность исследования, эксперимент, когнитивные искажения
Цель: изучение влияния человеческого фактора на объективность научных исследований и полученных результатов.
Методы: Диаграмма Исикавы и чеклист, поскольку математический аппарат еще не добавлен
В качестве методов проверки и обоснования эффективности опросника применялись:
- проверка на дискриминативность шкал - проводилась при помощи закономерностей дисперсии;
- проверка на способность отражать измеряемое в метрической шкале интервалов - при помощи свойства нормального распределения);
- проверка на экспериментальную, концептуальную, внешнюю и содержательную валидность;
- стандартизация.
Полученные в ходе исследования данные обрабатывались при помощи методов математической статистики с использованием компьютерной программы «Статистический пакет для социальных наук» statistical package for the Social Science — SPSS 11,5.
|
|
|
Результаты: своеобразный коэффициент объективности исследования или данных эксперимента, Методика самооценки, чек-лист, позволяющий снизить субъективность эмпирических исследований за счёт минимизации когнитивных искажений. На данный момент разработанный инструмент может применяться для оценки экспериментатором самого себя. методика оценки объективности эксперимента. Перспективным направлением работы является дальнейшее развитие диагностических возможностей разработанного опросника.
Введение
Производственные компании предъявляют требования по оценки качества процессов, показателем этой тенденции является внесение их в ряд отраслевых стандартов для систем менеджмента качества. В то время как оценке достоверности проведенных экспериментов (испытаний) не уделяется внимание совсем. (ФИОЛЕТОВЫМ ТО ЧТО НАМ НЕ ПОНРАВИЛОСЬ И МЫ ПЕРЕПИСАЛИ ОРАНЖЕВЫМ)
Компании, занимающиеся разработкой и производством продукции, уделяют много внимания оценке и описанию внутренних процессов с целью повышения их качества и объективности. Показателем этой тенденции является внесение критериев качества процессов в ряд отраслевых стандартов для систем менеджмента качества. В то же самое время, одним из условий успешного развития компании на рынке являются инновации, разработка новой продукции. При этом качеству экспериментальной оценки новой продукции, качеству так называемых «точных экспериментов» уделяется минимальное внимание.
|
|
|
По данным исследования, опубликованного в Harvard Business Review - 40-90% новых продуктов терпят фиаско. Потребители, будь то покупатели или заказчики сложных технических изделий, обычно консервативны, и склонны в 3 раза переоценивать преимущества старого продукта, в то время как производители склонны в 3 раза переоценивать преимущества инновации. И того получается девятикратный эффект [Гурвиль Д. Психология отношения к новой продукции // Harvard Business Review Россия. 2006. Октябрь С. 77-86 с. 81]. Новая продукция может переоцениваться производителем в том числе потому что если испытание продукции оказалось неудачным, при наличии других, более удачных, его, скорее всего, не опубликуют и не учтут И это типичное когнитивное искажение, «эффект выжившего».
|
|
|
В рамках эксперимента так или иначе, экспериментатор выступает как наблюдатель. Наблюдение может быть «включенным» и «не включенным». Во втором случае мы претендуем на объективность, особенно если применяли статистические методы, позволяющие повысить объективность данных. Любое эмпирическое исследование начинается с того что исследователь фиксирует выраженность интересующих его свойств у объекта или объектов исследования. Как правило – при помощи чисел. Таким образом, следует различать объекты исследования (процессы, предметы, явления), их свойства – то что составляет предмет изучения и признаки, отражающие в числовой шкале выраженности свойств. При этом нам исключительно важно отдавать себе отчет в том, что точность, с которой признак отражает измеряемое свойство, зависит от процедуры, измерения.
Но так ли все просто?
Каждую секунду времени наш мозг обрабатывает триллионы различных процессов. Неудивительно, что он ищет стратегии и, своего рода, правила, которые можно использовать в различных ситуациях. Паттерны Схемы, которые позволяют уменьшить количество мозговых процессов, тем самым, сохранив больше энергии. Это полезно, когда мы сталкиваемся с задачами, требующими от нас принятия сложных решений. Однако в попытке упростить информационные процессы мы можем использовать алгоритмы, которые могут повести нас по неправильному пути. Ошибки мышления, которые мы допускаем при обработке информации, называются когнитивными искажениями.
|
|
|
Когнитивные искажения - это систематические ошибки в мышлении или паттерны отклонений в суждениях, которые происходят в определённых ситуациях. К примеру в Wikipedia описаны 192 когнитивных искажения, разбитых на разные категории.
когда мы:
· Запоминаем и вспоминаем
· Обрабатываем большой объем информации
· Быстро реагируем на ситуацию.
· Нам не хватает информации
Перечислим некоторые когнитивные искажения, описанные на данный момент в литературе. … (переписываем табличкой содержание рисунка).
| Запоминаем и вспоминаем | По-разному храним воспоминания в зависимости от ситуации получения опыта. | Феномен на кончике языка |
| Эффект уровней обработки информации. | ||
| Эффект следующего в очереди. | ||
| Эффект тестирования. | ||
| Рассеянность внимания | ||
| Эффект Гугл | ||
| Упрощаем события и списки до отдельных ключевых моментов и элементов. | Эффект суффикса | |
| Эффект неполн6ого номера Эффект неполного списка | ||
| Игнорирование продолжительности | ||
| Эффект первенства | ||
| Торможение памяти | ||
| Эффект модальности | ||
| Эффект свежести | ||
| Эффект длины списка | ||
| Последовательное воспоминание | ||
| Эффект дезинформации | ||
| Выравнивание и заострение | ||
| Правило кульминации и завершения | ||
| Отбрасываем частности для построения и закрепления обобщений. | Эффект затухания | |
| Феномен негативного восприятия | ||
| Предрассудок | ||
| Стереотипное предубеждение | ||
| Неявные стереотипы | ||
| Неявные ассоциации | ||
| Редактируем и усиливаем воспоминания после случившихся событий | Эффект интервала | |
| Внушаемость | ||
| Конфабуляция | ||
| Криптомнезия | ||
| Путаница с источниками | ||
| Ошибка атрибуции воспоминания | ||
| Быстро реагируем | Предпочитаем просто выглядящие и однозначные варианты выбора более сложным и неопределенным. | Эффект меньше лучше |
| Бритва Оккама | ||
| Ошибка конъюнкции | ||
| эффект Делмора | ||
| Закон тривиальости | ||
| Эффект рифмованности | ||
| Искажение правдоподобного вывода | ||
| Информационное искажение | ||
| Склонны сохранять личную автономию и текущий статус в группе избегая необратимых решений. | Отклонение в сторону статуса кво | |
| Искажение социального сравнения | ||
| Эффект приманки | ||
| Реактивное сопротивление | ||
| Реверсивная психология | ||
| Оправдание системы | ||
| Предпочитаем завершить то, во что ранее уже вложили время и усилия. | Эффект обратного результата | |
| Эффект владения | ||
| Эффект трудности обработки информации | ||
| Эффект псевдо определённости | ||
| Эффект диспозиции | ||
| Предпочтение нулевого риска | ||
| Отклонение в сторону целого | ||
| Неприятие потери | ||
| Эффект создания информации | ||
| Эскалация привязанности | ||
| Иррациональная эскалация | ||
| Невозвратные издержки | ||
| Предпочитаем фокусироваться на немедленных и близких результатах. | Эффект опознанной жертвы | |
| Апелляция к новизне | ||
| Переоценка скидок | ||
| Чтобы действовать должны быть уверенны в способности что-то изменить и чувствовать важность своих поступков | Эффект Пельцмана | |
| Компенсация риска | ||
| Оправдание усилий | ||
| Искажение при описании особенности | ||
| Гипотеза защитной атрибуции | ||
| Эффект тяжело легко | ||
| Иллюзия контроля | ||
| Искажение в собственную пользу | ||
| Склонность к оптимизму | ||
| Эгоцентрическое искажение | ||
| Эффект Деннинга Крюгера | ||
| Отклонение в общественное одобрение | ||
| Эффект ложного согласия | ||
| Эффект третьего лица | ||
| Сверх уверенность | ||
| Эффект выше среднего | ||
| Самоуверенность | ||
| Обрабатываем большой объем информации | Охотнее замечаем то, что ранее запоминали либо часто встречали. . . | Эвристика доступности |
| Систематическая ошибка внимания | ||
| Эффект иллюзия правды | ||
| Эффект знакомства с объектом | ||
| Эффект контекста | ||
| Забывание без подсказок | ||
| Соответствие эмоциям | ||
| Иллюзия частности | ||
| Разрыв эмпатии Неоцененность бездействия | ||
| Ошибка базового процента | ||
| Странные/смешные/внешне привлекательные/антропоморфные вещи привлекают внимание больше, чем привычнее/несмешные. | Эффект причудливости | |
| Эффект юмора | ||
| Эффект превосходства картинки | ||
| Эффект Рестрофф | ||
| Эффект само референции | ||
| Феномен негативного восприятия | ||
| Замечаем, когда что-то изменилось. | Эффект привязки | |
| Эффект контраста | ||
| Эффект фокусировки | ||
| Ошибка различения Консерватизм | ||
| Эффект фрейминга | ||
| Денежная иллюзия | ||
| Закон Вебера –Фехнера | ||
| Привлекают частности, подтверждающие существующие убеждения | Склонность к подтверждению своей точки зрения | |
| Систематическая ошибка согласованности | ||
| Рационализация после покупки | ||
| Искажение восприятия сделанного выбора | ||
| Селективное восприятие | ||
| Эффект ожидания наблюдения | ||
| Ошибка ожидания | ||
| Эффект страуса | ||
| Субъективное придание значимости | ||
| Эффект продолжающегося влияния\ | ||
| Рефлекс Земмельвайса | ||
| Гораздо легче замечаем изъяны в других, чем в себе | Эффект слепого пятна | |
| Наивный цинизм | ||
| Наивный реализм | ||
| Нам не хватает информации | Обнаруживаем истории и закономерности даже в скудных данных. | Антропоморфизм |
| Иллюзия кластеризации | ||
| Ошибка из-аз размера выборки | ||
| Отрицание вероятности | ||
| Случай из жизни | ||
| Иллюзия валидности | ||
| Ошибка про человека в маске | ||
| Иллюзия новизны | ||
| Ошибка игрока | ||
| Иллюзия корреляции | ||
| Парейдолия | ||
| Дополняем пробелы в информации известными признаками из стереотипов, обобщений и прошлого опыта. | Ошибка коллективной атрибуции | |
| Ошибка предельной атрибуции | ||
| Стереотпизация | ||
| Эффект нормальной не погрешности | ||
| Функциональная закреплённость | ||
| Эссенциализм | ||
| Вера в справедливый мир | ||
| Ошибка в ошибке | ||
| Апелляция к авторитету | ||
| Заблуждения надежности автоматизации | ||
| Присоединение к большинству | ||
| Эффект плацебо | ||
| Больше ценим знакомые/ симпатичные вещи и людей, незнакомые/несимпатичные. | Гомогенность «чужой» группы | |
| Гало эффект | ||
| Эффект позитивности | ||
| Неприятие чужой разработки | ||
| Реактивное обесценивание | ||
| Эффект знакомого маршрута | ||
| Упрощаем числа и вероятности, чтобы о них было легче думать. | Отклонение в сторону нулевой суммы | |
| Апелляция в сторону вероятности | ||
| искажение нормальности | ||
| ментальный учет | ||
| Закон Мерфи | ||
| Ошибка выжившего | ||
| Эффект ценности денежных знаков | ||
| Магическое число 7+2 | ||
| Думаем, что знаем, то чем думают другие. | Отклонение к внешним стимулам | |
| Проклятие знания | ||
| Эффект прожектора | ||
| Иллюзия прозрачности | ||
| Иллюзия постороннего участия | ||
| Иллюзия ассиметричной проницательности | ||
| Проецируем наш текущий образ мыслей в прошлое и будущее. | Искажение сдержанности | |
| Искажение изобретателя | ||
| Ошибка сэкономленного времени | ||
| Склонность к пессимизму | ||
| Эффект телескопа | ||
| Упадничество | ||
| Случайная добродетель | ||
| Искажение оценки по последствиям | ||
| Ретроспективное искажение | ||
| Приукрашивание прошлого/будущего |
Таблица 1 – Виды когнитивных искажений [???] Рисунок красоты невероятной, но редакция у нас такой точно не примет, так как очень мелко (примечание Я.А.). Но как-то его нужно переделать и оставить, я считаю. – переделали в таблицу.
Когнитивные искажения влияют на внешнюю валидность экспериментов. Очень много на тему субъективности объективных инструментов получения эмпирических сведений писали прямые специалисты по человеческому фактору и когнитивным искажениям - психологи. Психолог Ричард Грегори в результате своих наблюдений сделал вывод что мозг автоматически достраивает изображение по имеющиеся у него данные и делает то же самое с выводами из не полных сведений. Р. Розенталь в ходе эксперимента доказал, что экспериментатор, который твердо верит в гипотезу или надежность информации, неосознанно действует таким образом, чтобы получить соответствующие результаты, подтверждающие гипотезу (завышение значения определенного параметра или определенной задачи по экспериментальной серии, избегание крайних оценок как низких, так и высоких, группировки данных только вокруг среднего значения и т.д.). Тему разрабатывали так же физик Джеральд Холтон (ученый изначально настроен на то что хочет открыть), Майкл Полани (концепция личностного не явного знания), Менделеев (точность измерений и важность метрологии), Эрнст Мах (данные полученные человеком при помощи опыта – это единственная реальность с которой имеет дело человек, аналогия с расписанием автобусов), Мориц Шлк (принципы верификации, толератнтности и физикализма), Эдвард Торндайк и Фил Розенцвейгом (эффект Ореола), а так же многие современные авторы (С.Н. ТИЦ, Наследов А.Д, Копец Л. В, Дружинин В.Н, Клайн П, Худяков А.И).
Эксперименты могут быть вовсе не связаны с людьми, как испытуемыми. Объектом и способом исследования может быть что угодно: математическое моделирование факторов безопасности конструкции моста, или оценка работы технических систем в определенных условиях. Но управляет течением эксперимента, планирует и реализует его все равно человек - экспериментатор. Субъект исследования. (Может оставим терминологию объект исследования и субъект исследования? Она сделает более общим все то что мы пишем. А то психологи, инженеры, « исследователи….»)
Известные методы повышения объективности результатов эксперимента
В 1796 г произошло интересное событие, вскрывшее, на сколько не надежными могут быть «объективные», точные измерения. Директор Гринвичской лаборатории Масклайн уволил ассистента Киннбурка, который определял время прохождения звезды чуть ли не на секунду позже него. Он счел его работу небрежной и безответственной. Через некоторое время знаменитый немецкий астроном Бессель, заинтересовавшись конфликтом Масклайна с его сотрудником, снял с последнего обвинение в недобросовестности. Он пришёл к выводу, что нет двух астрономов, в наблюдениях которых не было бы непроизвольных различий. И эту составляющую очень сложно контролировать так как она связанна с особенностями нервной системы и индивидуальными различиями разных людей. Этот эпизод дал старт исследованиям влияния человеческого фактора на объективность научных исследований.
Но даже в наше время известные методы повышения объективности исследований зачастую применяются только психологами, в то время как представители других отраслей наук не только не используют данные методы, но и вовсе могут быть не знакомы такой постановкой вопроса как значимость влияния когнитивных искажений.
Инженеры обычно сводят все к следующей парадигме: «есть ошибки прибора, измерения и обработки». Как правило, берется их среднее геометрическое и они считаются статистически независимыми. Ошибка измерения определяется производителем или половина цены деления. То же считается и про ошибку измерения - они ограничены половиной цены деления прибора - и она определяется глазом наблюдателя. Ошибка обработки зависит от того, насколько сложная и много ступенчатая обработка должна быть проделана с данными прежде, чем получится результат. Если закон известен или предполагается, то её можно найти из формулы. Таким образом, чем более хорошие измерительные приборы имеет наука и чем меньше цена деления, тем более точные результаты.В 2002 году был введен ГОСТ Р ИСО 5725-2-2002 Точность (правильность и прецизионность) методов и результатов измерений, позволяющий организовать совместную работу нескольких лабораторий над одним проектом. Речь в стандарте идет о технологиях повышения точности измерений, о технологиях статистического анализа данных эксперимента по оценке прецизионнсти, балансировке результатов по однородным уровням, но не учитывает когнитивных искажений которые могут привести к ошибкам экспериментаторов.
На сегодняшний день научным сообществом признаются два критерия, на основе которых оно отличает научное знание от псевдонаучного:
1. Принцип верификации, в силу которого только то знание является научным, которое можно подтвердить (так или иначе, прямо или косвенно, раньше или позже). Этот принцип был предложен Бертраном Расселом.
2. Принцип фальсификации, в силу которого только то знание является научным, которое можно (так или иначе, прямо или косвенно, раньше или позже) опровергнуть. Этот принцип предложен Карлом Поппером.
Противодействовать ошибкам эксперимента можно также с помощью ряда методических приемов:
3. Метод «плацебо» или двойной слепой метод. Подбираются идентичная контрольная выборка объектов исследования. Экспериментальная процедура осуществляется в обоих случаях. Сам исследователь не знает, какая выборка получает «нулевое влияние», а какая подлежит реальному влиянию. Существует также модификация исследования, когда его проводит приглашенный ассистент, который не знает настоящую гипотезу исследования и то, какая из выборок подвергается реальному воздействию. Такой план позволяет преодолеть эффект ожиданий экспериментатора.
4. Описание результатов эксперимента в полевых условиях. Минус этого метода - неконтролируемые факторы оказывающие влияние на результат.
5. Использование статистического аппарата при многократном проведении измерений.
6. Использование параллельных опытов.
Но в некоторых случаях, единственный способ учесть ошибки эксперимента, связанные с человеческим фактором это чек-лист возможных когнитивных искажений. Именно его мы хотим предложить в данной статьей как метод самопроверки экспериментатора.
Дата добавления: 2019-08-30; просмотров: 209; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!