Разработку опросников самооценки следует осуществлять в соответствии со следующим алгоритмом.
Перечислить черты и особенности интересующего явления
Преобразовать описание каждой черты или особенности поведения в задание. При этом выбор формы задания зависит от особенностей используемого материала и оценки преимуществ и недостатков каждого типа заданий.
Формулировать каждое задание понятно и недвусмысленно.
Насколько возможно, обеспечить, чтобы каждое задание относилось к какой-либо конкретной области явления.
В каждом задании должен содержаться только один вопрос или одно утверждение.
Избегать использовать термины частоты и другие субъективные выражения.
Когда это возможно, задания должны касаться поведения, а не чувств и отношений.
Обеспечить, чтобы ответы на задания давались быстро.
Избегать влияния основных установок на ответы, таких как
установка на согласие и установка на социально одобряемые ответы.
Вероятность проявления установки на согласие лучше всего уменьшается формулированием понятных заданий и использованием сбалансированных шкал.
Проверить при помощи процедур анализа заданий то, что тенденция к согласию — несущественный фактор.
Установки на социально одобряемые ответы легче всего избежать путем тщательного формулирования заданий.
Избегайте с помощью адекватной формы заданий влияния установок на выбор крайних или средних категорий ответов.
Проверьте при помощи процедуры валидизации, что влияние установок на ответы не является существенным. Если тесты валидны, то установки на ответы не могут оказывать влияние на их показатели [Клайн, с. 114].
|
|
|
В нашем в целях проверки разработанной методики целесообразно применить следующие методы:
А вот дальше красным то что мы могли бы успеть, собери статистику. Но не сделали:
В качестве методов проверки и обоснования разработанного опросника целесообразно применить:
- проверку на дискриминативность шкал (способности дифференцировать изучаемый признак) – проводилась при помощи закономерностей дисперсии;
- проверку на способность отражать измеряемое в метрической шкале интервалов (при помощи свойства нормального распределения);
- проверку на валидность;
- стандартизацию.
Валидность.
Экспериментальная валидность - способность сделать верные выводы на основе результатов методики. То есть результаты методики должны служить основанием достоверного вывода. Экспериментальная валидность обеспечивалась:
- оценкой ассимметрии и эксцесса данных по шкалам и вопросам опросника;
- группировкой выборок по показателям жизненного критерия (в соответствии с данными опросника), и сравнением выборок по степени выраженности признака при помощи непараметрического U - критерия Манна Уитни;
|
|
|
- анализом корреляций среднего для группы бала за тест с жизненным критерием при помощи критерия Пирсона.
Концептуальная валидность - теоретическое обоснование правильности применяемых конструктов.
Концептуальная валидность была обеспечена:
- теоретическим исследованием социально - психологических закономерностей когнитивных искажений;
- изучением и применением методов конструирования диагностического инструментария.
Внешняя валидность - соответствие конкретного исследования природной реальности или другим подобным исследованиям. Определяются возможности переноса и обобщения результатов на другие объекты и условия исследования
Внешняя валидность обеспечивалась:
- теоретическим обоснованием конструктов опросника;
- репрезентативностью выборки [108, c.53-54].
Содержательная валидность – соответствие целей и процедуры исследования обыденным представлениям респондента о природе изучаемого явления (составляющая внешней). Обосновывается экспертными оценками шкал.
Содержательная валидность для различных групп респондентов также служит целям стандартизации.
|
|
|
5. Стандартизация – описание единой процедуры сбора и доработки данных с целью создания идентичных условий для всех респондентов.
В итоге нами был составлен чек-лист проверочных вопросов в виде опросника самооценки.
Здесь должна быть методика.
Таблица 2 – Фрагмент чек-листа, посвященный искажениям связанными с беспокойством за успех при организации эксперимента:
| Самооценка объективности исследователя при проведении эмпирических экспериментов Причиной ошибок эксперимента может стать не только неверно подобранная оценочная процедура, но и «когнитивные искажения» - распространённые, подсознательные, ошибки мышления, которые мы все систематически совершаем. Такие ошибки не индивидуальны (они присущи большинству людей) и предсказуемы. Данная методика позволяет отследить самые распространенные когнитивные искажения и минимизировать их влияние на результаты эксперимента. Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время проведения текущего эксперимента. | |||||||
| I. Искажения, связанные с беспокойством за успех при организации эксперимента | Пример | ||||||
| 1. Детальное планирование данного эксперимента началось в условиях отсутствия в достаточном объёме исходных данных и наличия сильно влияющих на результат неопределённых или случайных факторов Планирование эксперимента началось при недостаточном объеме исходных данных | 5 | 4 | 3 | 2 | 1 | 2. Планирование эксперимента началось лишь после детального изучения всех возможных переменных и факторов, способных повлиять на результат Планирование эксперимента началось после детального изучения всех возможных переменных и факторов, способных повлиять на результат | |
| 3. Я допускал выполнение работы со скоростью большей, чем необходимо или даже допустимо Я торопился во время выполнения работы | 5 | 4 | 3 | 2 | 1 | 4. Работа велась размеренно, в соответствии с изначально разработанным графиком Работа велась размеренно, в соответствии с изначально разработанным графиком | |
| 5. Я не изучал влияние не релевантных стимулов на изучаемую зависимую переменную. Я не изучал влияние не учитываемых в картине эксперимента стимулов на результат эксперимента (шумов, помех, внешних факторов) | 5 | 4 | 3 | 2 | 1 | 6. Изучал возможную степень влияния не релевантных стимулов на зависимую переменную, чтобы быть уверенным в том, какое влияние на неё оказывает изменение независимой переменной. Я изучал влияние не учитываемых в картине эксперимента стимулов чтобы быть уверенным в том они не оказывают значимого влияния на результаты эксперимента. | Например, при исследовании влияния на поведение животных различных участков головного мозга сам факт перенесения операции по удалению соответствующего участка может изменить поведение подопытного животного) |
| 7. Не учитывал изменение объекта исследования во времени Не учитывал то что с течением времени объект эксперимента может меняться | 5 | 4 | 3 | 2 | 1 | 8. Учитывал изменение объекта исследования во времени Учитывал то что течением времени с объектом исследования могут произойти значимые изменения. | |
| 9. Допускал влияние одного из условий эксперимента на следующие за ним | 5 | 4 | 3 | 2 | 1 | 10. Не допускал влияния одного из условий эксперимента на следующие за ним | |
| 11. Не заострял внимание на эквивалентности групп изучаемых объектов Не заострял внимание на равнозначности групп изучаемых объектов | 5 | 4 | 3 | 2 | 1 | 12. Стремился не допустить неэквивалентность группы объектов по составу, вызывающую систематическую ошибку Стремился не допустить неравнозначности групп объектов по объему, составу или качествам. | |
| 13. Недооценил время выполнения задач, стоимость и длительность реализации исследования недооценил время выполнения задач, стоимость и длительность реализации исследования | 5 | 4 | 3 | 2 | 1 | 14. . При планировании были корректно посчитаны ключевые точки, временные и материальные ресурсы. При планировании были корректно посчитаны ключевые точки, временные и материальные ресурсы. | Например, закон Мерфи: всякая работа требует больше времени, чем вы думаете |
| 15. Разрабатывал теоретическую гипотезу на основании правил, принятых для конкретной специальности или процессии | 5 | 4 | 3 | 2 | 1 | 16. Разрабатывал теоретическую гипотезу на основании более общей, междисциплинарной точки зрения. | |
| 17. Проверял гипотезы исключительно путем прямого тестирования, не использовал косвенные методы проверки. | 5 | 4 | 3 | 2 | 1 | 18. Дополнительно использовал косвенные методы проверки гипотезы | |
| 19. Допускал «предпочтение нулевого риска». переоценил возможности контроля и предпочел более контролируемую, но потенциально вредоносную ситуацию Делая выбор, предпочитал более контролируемые, но потенциально более опасные варианты. | 5 | 4 | 3 | 2 | 1 | 20. Понимаю, что снижение одного не самого большого риска до нуля иногда дает иллюзию избавления от рисков. | Например, по социологической статистике большинство людей предпочли бы уменьшить вероятность террористических актов до нуля вместо снижения аварийности на дорогах, даже если бы второй эффект давал больше сохранённых жизней. |
| 21. Оценивал способы решения задач по окончательным результатам «Победителей не судят» | 5 | 4 | 3 | 2 | 1 | 22. Оценивал качество решений по обстоятельствам того момента, когда они были приняты. | |
|
|
|
Таблица 3 – Фрагмент чек-листа, посвященный искажениям, связанным с «Гало-эффектом»
| II. Искажения, связанные с «Гало-эффектом» - результат воздействия общего впечатления о чем-либо на восприятие его частных особенностей. Оказывает влияние на оценку вероятностей и формирование стереотипов. | Пример | ||||||
| 23. Если я считаю, что одна зафиксированная ситуация гарантирует содержание другой то в отчете об исследовании я сообщаю только о последней. | 5 | 4 | 3 | 2 | 1 | 24. Я полностью и подробно описываю результаты эксперимента. | |
| 25. При оценки роли и веса факторов я предпочитаю обращаться к статистике | 5 | 4 | 3 | 2 | 1 | 26. При оценке роли и веса факторов я предпочитаю обращаться к интуиции | |
| 27. Доказательством, подтверждающим какую-либо точку зрения, может являться установленный или общепринятый факт. | 5 | 4 | 3 | 2 | 1 | 28. Я не склонен считать общепринятые факты достаточным и значимым доказательствами в рамках эксперимента. Авторитетные ученые так же могу ошибаться. | |
| 29. При анализе результатов я предавал большее значение изначальным событиям чем последующим | 5 | 4 | 3 | 2 | 1 | 30. Я не считаю, что отдельные случайные события испытывают влияние предыдущих случайных событий, если их связь не доказана статистически. | |
| 31. Когда по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет, я склонен искать общие черты среди «выживших» и упускаю из вида, что не менее важная информация скрывается среди «погибших». | 5 | 4 | 3 | 2 | 1 | 32. Я не склонен недооценивать не доступные прямому наблюдения данные из группы «погибших». | Например, пробоины на вернувшихся самолётах показывают места, в которых они могут получить повреждения и выжить. А. получившие повреждения в других местах не смогли вернуться на базу. |
| 33. Я склонен оценивать частоту или возможность события по легкости, с которой примеры или случаи приходят на ум», т. е. легче вспоминаются | 5 | 4 | 3 | 2 | 1 | 34. Я не склонен оценивает частоту или возможность события по легкости, с которой примеры или случаи приходят на ум». | |
| 35. При анализе и интерпретации результатов экспериментальных исследований я склонен воспринимать события, которые уже произошли, или факты, которые уже были установлены, как очевидные и предсказуемые, несмотря на отсутствие достаточной первоначальной информации для их предсказания При анализе результатов я склонен воспринимать уже произошедшие события как очевидные | 5 | 4 | 3 | 2 | 1 | 36. Я стараюсь избегать эффекта «я знал», стремлюсь рассматривать возможные альтернативные объяснения события и открыт к различным точкам зрения | |
| 37. Обладая информацией о частоте некоторого события и специфической информацией об этом событии, я имею склонность игнорировать первое и фокусироваться на втором | 5 | 4 | 3 | 2 | 1 | 38. Зная частоту специфики события я фокусируюсь на специфике события. | Наример, Джон носит готическую одежду. Какова вероятность, что он христианин, и какова вероятность, что он сатанист? Если людям задать этот вопрос, они, скорее всего, недооценят вероятность того, что он христианин, и переоценят вероятность того, что он сатанист. Они проигнорируют, что базовый процент христианства (в мире исповедуют около 2 млрд людей) значительно больше базового процента сатанизма (оценивается в несколько тысяч).я не клонен фокусироваться только на специфике события |
| 39. Я стремятся выбрать метод решение задачи, для которого вероятность благоприятного исхода известна, по сравнению с методом, вероятность благоприятного исхода которого была мне не известна | 5 | 4 | 3 | 2 | 1 | 40. Я использовал различные методы решения задачи в том числе те, в результате которых вероятность благоприятного исхода была мне не неизвестна | |
| 41. Преуменьшал значение одного из параметров в сравнении с только что обнаруженным контрастным параметром. | 5 | 4 | 3 | 2 | 1 | 42. Учитывал влияние эффекта контраста при анализе параметров объекта. | |
| 43. Допускал перенос характеристики частных случаев на обширные совокупности | 5 | 4 | 3 | 2 | 1 | 44. Косвенными методами проверял наличие в других совокупностях, выделенных на частном случае характеристик. | |
Таблица 4 – Фрагмент чек-листа, посвященный искажениям, связанными с эффектом Розенталя
| III. Искажения, связанные с эффектом Розенталя - Ожидания экспериментатора на подсознательном уровне определяют характер полученных им данных | Пример | |||||||||
| 45. Я допускал деформацию шкалы и сближение результатов до среднего значения Я усреднял значения результатов | 5 | 4 | 3 | 2 | 1 | 46. Я не избегал крайних оценок, не занижал слишком высокие результаты и не завышал слишком низкие |
| |||
| 47. Я придавал особое значение ряду параметров в экспериментальной серии. | 5 | 4 | 3 | 2 | 1 | 48. Я искусственно не занижал и не завышал значение определенного параметра по экспериментальной серии |
| |||
| 49. Я искал только те данные которые подтверждают или опровергают гипотезу гипотезу | 5 | 4 | 3 | 2 | 1 | 50. При сборе и анализе данных стремился быть максимально не предвзятым опираясь на корреляции, полученные при помощи математического аппарата |
| |||
| 51. Оценивал логическую силу аргумента в зависимости от веры в истинность и ложность заключения. В зависимости от веры в истинность аргумента я оценивал логическую силу аргумента | 5 | 4 | 3 | 2 | 1 | 52. При оценке логической силы аргумента опирался на дополнительное мнение не осведомленного о гипотезе эксперта. |
| |||
| 53. При проведении серии экспериментов получив «хорошие» и «плохие» данные в первых сериях эксперимента я стремился первые «улучшить» а вторые «ухудшить» в последующих сериях | 5 | 4 | 3 | 2 | 1 | 54. Стремился минимизировать свое влияние на условия эксперимента после получения данных по первым сериям. |
| |||
Таблица 5 – Фрагмент чек-листа, посвященный искажениям, связанными с «ошибкой меткого стрелка»
| IV. Искажения, связанные с «Ошибкой меткого стрелка» | |||||||
| 55. Для анализа использовал только сходные данные и игнорировал отличающиеся. | 5 | 4 | 3 | 2 | 1 | 56. Анализировал не только группирующиеся данные, но и «выбросы» | Например, можно стрелять по амбару, а уже потом, в месте, где появилось самое большое количество пробоин, мишень. И похвалить себя за меткость. |
| 57. Проверял правильность модели прогноза на основании одних и тех же экспериментальных данных | 5 | 4 | 3 | 2 | 1 | 58. При проверке статистических гипотез и создании метода проверки использовал разные выборки экспериментальных данных. | |
А здесь должен быть кейс
Результаты
Была выявлена проблема, связанная с отсутствием постоянной практики учета субъективности экспериментатора при проведении точных эмпирических исследований в рамках точных наук. На данный момент нами разработан чек-лист, позволяющий снизить субъективность эмпирических исследований за счёт минимизации когнитивных искажений. Разработанный инструмент может применяться для оценки экспериментатором самого себя. Перспективным направлением работы является стандартизация и дальнейшее развитие диагностических возможностей разработанного опросника.
Обсуждение
Заключение
таким образом для улучшения точности исследований и повышения их объективности необходимо применять и прорабатывать методики проверки этой самой объективности наличия проведенного эксперимента
Цель данной работы заключалась в разработке Методики повышения объективности эмпирических исследований
Работа по конструированию диагностической методики (личностного опросника для экспериментатора) проводилась в 3 этапа.
На первом этапе была разработана теоретическая модель влияния когнитивных искажений на объективность эмпирических исследований. Так же были подобраны методики исследования эффективности личностных опросников.
На втором этапе был разработан личностный опросник, диагностирующий объективность исследователя при проведении эмпирических исследований.
На третьем этапе при помощи разработанного опросника было проведено эмпирическое исследование и статистический анализ полученных данных, по результатам которого сделаны выводы об эффективности полученного опросника. Эффективность разработанного опросника подтвердилась на применимом уровне значимости, но как во всяком исследовании, в нашей работе имеется ряд ограничений. Среди них, например, небольшая для подобного исследования выборка, обусловленная тем, что пилотажное исследование проводилось в условиях сжатых сроков на производственных предприятиях. Поэтому в рамках будущих исследований необходима дальнейшая доработка некоторых вопросов в шкалах и разработка стандартных норм на большей по количеству выборке. Эта работа будет проводиться в ближайшее время при применении данного опросника на практике на предприятиях, занимающихся производством и разработкой сложной технической продукции, имеющих испытательные цеха или экспериментальные лаборатории. Опросник имеет перспективы развития.
По итогам проведенной работы можно сделать вывод, что данный опросник способен на практике облегчить работу любому исследователю, поставившему перед собой задачу собрать максимально объективный и свободный от когнитивных искажений эмпирический материал.
Список литературы
Лучше взять побольше литературы иностранной, из Scopus
[1] Федюкин В.К. Квалиметрия. Измерение качества промышленной продукции. Учебное пособие. – Москва: КНОРУС, 2017. – 230с.
[2] С.Н. ТИЦ "Человеческий фактор"
[3] Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учебное пособие. – СПб: Речь, 2004. – 392с.
[4] Копец Л. В. Классические эксперименты в психологии — К., 2010
[5] Кукла А. Ментальные ловушки: Глупости, которые делают разумные люди, чтобы испортить себе жизнь / Андре Кукла; Пер. с англ. — 2-е изд. — М.: Альпина Бизнес Букс, 2008. — 146 с.
[6] Хяков – экспериментальная психология
[7] ГОСТ Р ИСО 5725-2-2002 Точность (правильность и прецизионность) методов и результатов измерений. Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 5725-2:1994* "Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений"
И вообще все про опросники написал господин Клайн ( Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.) еще в 94 году. Нужная информация в п3 - "3. Особенности создания опросников", стр10.
1. Артемьева Е.Ю. Психология и математические модели субъективного мира // Вестник Московского университета. Серия 14. Психология. 1990. № 3. С.4-15.
2. Большой психологический словарь. Под редакцией Б.Г. Мещеряковой, В.Г. Зинченко. М.: Прайм Еврознак, 2007. 672с.
3. Гуревич К.М. Психологическая диагностика и проблема индивидуальных различий. // Психологический журнал. т.19. 1998.№3.
4. Дружинин В.Н. Экспериментальная психология: Учебник для вузов. 2-е изд., доп. СПб.: Питер, 2003. – 319 с.
5. Занковский А.Н. Организационная психология.Учебное пособие для вузов по специальности «Организационная психология» М.: Флинта: МПСИ, 2000. 648 с.
6. Клайн П. Справочное руководство по конструированию тестов. Киев: 1994. 186 с.
7. Худяков А.И., Зароченцев К.Д. Обобщенный образ как предмет психофизики. СПб.: 2000. 220 с.
8. Худяков А.И. Экспериментальная психология. СПб.: Питер, 2008. 320 с.
9. Батуев А.С. Высшая нервная деятельность. СПб.: Питер, 2005. 324 с.
Дата добавления: 2019-08-30; просмотров: 65; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!