Методика организации экспертных опросов

Тема 6. Методы экспертных оценок

1. Определение понятий: экспертные оценки, эксперт, экспертиза

2. Метод «Дельфи»

3. Метод «мозгового штурма».

4. Методика организации экспертных опросов

Определение понятий: экспертные оценки, эксперт, экспертиза

Экспертными оценкаминазывают оценки, основанные на интуи­ции, воображении и опыте.

Эксперт - это человек, которого лицо, принимающее решение, или проводящая экспертизу аналитическая группа считает профес­сионалом достаточно высокого уровня в каком-то вопросе, чьи оцен­ки и суждения по поводу объекта экспертизы учитываются при при­нятии решений.

Под экспертизойобычно понимают проведение группой компе­тентных специалистов измерения некоторых характеристик для под­готовки принятия решений. Особенность такой процедуры измере­ния, как экспертиза, в том, что в качестве измерительных приборов выступают люди.

Причины привлечения людей для оценивания объ­ектов просты: либо сами объекты или их характеристики субъектив­ны, либо нет соответствующих приборов, либо объекты или их ха­рактеристики еще предстоит создать (как это имеет место при состав­лении прогноза развития какой-либо системы). Классическими при­мерами экспертизы являются дегустация и судейство спортивных со­ревнований.

Типичными проблемами, требующими проведения экспертизы, являются, например:

- определение целей, стоящих перед объектом управления;

- прогнозирование;

- разработка сценариев;

- генерирование альтернативных вариантов решений;

- разработка оценочных систем;

- определение рейтингов и другие.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих в рамках определенного сцена­рия, оценивая вероятность его реализации и влияния факторов на изучаемый показатель. Причинно-следственная структура неразрыв­но связана с личностью эксперта. Так, два разных эксперта, решая одну и ту же проблему, используя одну и ту же информацию, могут прийти к разным выводам.

Ценность полученных оценок зависит от опыта и интуиции лица, формулирующего оценку. Уменьшить риск субъективности индиви­дуального суждения можно, обратившись к группе экспертов, кото­рые могут обсуждать и согласовывать свои оценки.

Распространено мнение, что достоверны те оценки, которые яв­ляются результатом согласованности действий экспертов. Однако из­вестны случаи, когда именно один эксперт, не согласный с мнением большинства, как раз и давал правильные оценки, прогнозы.

При решении проблем нестандартных, например связанных с прогнозированием в нестабильных условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средни­ми» экспертами, обычно основаны на традиционных, привычных оценках. В ситуации неопределенности, неустойчивости они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможность появления новых тенденций.

Эксперт используется как источник информации, как советник руководителя, принимающего решения. Работа, выполненная экспер­том, по существу обобщает мнения многих людей, дает исходные данные для планирования.

Для групповых экспертных оценок часто используют открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием. Опыт показывает, что этот метод малоэф­фективен, поэтому предпочтительны следующие методы:

- закрытое обсуждение с последующим закрытым голосованием или заполнением анкет опроса;

- свободные высказывания без обсуждения и голосования.

Метод «Дельфи»

Одним из наиболее эффективных и известных методов использо­вания экспертов считается метод «Дельфи» (по названию греческого города Дельфы, чьи мудрецы славились умением предсказывать бу­дущее), который предполагает проведение экспертных опросов в не­сколько туров.

Метод характеризуется тремя основными чертами: анонимно­стью, регулируемой обратной связью, групповым ответом. Аноним­ность достигается применением специальных опросников или други­ми способами индивидуального опроса. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса. Резуль­таты каждого тура обрабатываются с помощью статистических мето­дов и сообщаются экспертам. Результатом обработки индивидуаль­ных оценок являются групповые оценки.

В основу метода Дельфи положены следующие предпосылки: по­ставленные вопросы должны допускать ответы в виде чисел, экспер­ты должны быть достаточно информированными, каждый ответ экс­перта должен быть им обоснован.

Применительно к разработке научно-технических прогнозов ис­пользование метода Дельфи выглядит так.

Первый тур. Первая анкета может допускать любые ответы. Це­лью такой анкеты является составление перечня событий для прогно­за в какой-то области науки и техники. Организатор экспертизы объ­единяет прогнозы, и полученный перечень событий становится осно­вой второй анкеты.

Второй тур. Эксперты оценивают сроки реализации и приводят соображения, по которым они считают свои оценки верными. По сде­ланным оценкам и их обоснованиям организатор экспертизы (или ор­ганизаторы экспертизы, или организаторы плюс математики) прово­дит статистическую обработку полученных данных, группирует мне­ния экспертов, изучает крайние точки зрения. Результаты этой рабо­ты организатора сообщаются экспертам, и они могут изменить свое мнение (причем работа экспертов идет анонимно).

Третий тур. Третья анкета содержит перечень событий, стати­стических характеристик, дат наступления событий, сводных данных (аргументов) о причинах более ранних или поздних оценок. Экспер­там надо рассмотреть аргументы; сформулировать новые оценки предполагаемой даты наступления каждого события; обосновать свою точку зрения при ее значительном отклонении от групповой; прокомментировать  (анонимно!) противоположные мнения. Пересмотренные оценки и новые аргументы возвращаются к организато­ру, который вновь их обрабатывает, суммирует все аргументы и под­готавливает на этой основе новый прогноз.

Четвертый тур. Эксперты знакомятся с новым групповым про­гнозом, аргументами, критикой и составляют новый прогноз. Если группа не может прийти к единому мнению и организатор заинтере­суется аргументами обоих сторон, то он может собрать экспертов для очного обсуждения.

Метод «мозгового штурма».

Метод коллективной генерации идей - метод «мозговой атаки» или «мозгового штурма» - позволяет получить большое количество конструктивных идей. Используют специально подготовленный пер­сонал и группы экспертов. В качестве экспертов желательны лица, которые обладают достаточно высокой эрудицией в сочетании с раз­витым творческим мышлением.

При проведении экспертного опроса на заседании экспертов должна быть охарактеризована проблема и выделен центральный во­прос. Все идеи, оценки, предложения фиксируются, запрещается лю­бая критика и поощряется свободная интерпретация идей в рамках данного вопроса. Организаторы должны стремиться к получению максимального количества идей, поощрять различные комбинации идей и путей их усовершенствования.

Результаты этого метода представляют систему идей, которые считаются плодом коллективного труда всей группы. С помощью ме­тода коллективной генерации идей можно успешно решать многие задачи, например:

- определять возможные пути развития процесса, выявлять наи­более полный набор этих путей;

- определять факторы, которые необходимо принимать во внима­ние при планировании.

Коллективная генерация идей приводит к получению избытка информации, включающей как чрезвычайно ценные, так и общеизве­стные и даже ошибочные предложения. Важнейшим элементом мето­да является квалифицированный анализ стенограмм и других мате­риалов «мозговых штурмов». Работа по методу коллективной генера­ции идей может включать несколько туров и продолжаться несколько дней. Неквалифицированные попытки применения метода, подобные организации дискуссий на оперативных совещаниях не могут приво­дить к результатам, получаемым методом «мозгового штурма».

Методика организации экспертных опросов

Проведение экспертных опросов обычно включает несколько этапов.

Подбор экспертов и формирование экспертных групп. Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количе­ство. По каждому направлению выделяют подгруппы экспертов, ус­танавливается количество экспертов в каждой подгруппе, которое должно обеспечить полноту оценок по каждому конкретному вопро­су. Затем определяются требования к квалификации экспертов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливают исходя из на­копленного опыта. Для повышения статистической значимости оце­нок используют ранговые или балльные оценки. Например, вместо оценки длительности выполнения проекта оценивают в баллах воз­можность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе должно быть не менее 3-6 экспертов, причем каждое направ­ление должно быть представлено равным числом экспертов.

Подготовка анкет для опроса экспертов. Правила опроса экс­пертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

1. предоставление экспертам требуемой информации;

2. простота и удобство работы с предполагаемыми анкетами, обеспечиваемые, прежде   всего однозначностью вопросов;

3. соответствие вопросов структуре объекта опроса;

4. независимость формирования экспертами собственного мнения;

5. приемлемые затраты времени, удобное время получения во­просов и выдачи ответов;

6. сохранение анонимности ответов для членов экспертной группы;

7. коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для ра­боты на основе специальных методов, таких как «мозговой штурм», «Дельфи» и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

Определение групповых оценок на основе оценок отдельных экспертов. Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Сте­пень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспер­тов.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 или от 0 до 100. Выбор определяется удобством получения и обработки оценок.

Для учета различий в компетентности экспертов их оценкам мо­гут быть приписаны различные «веса», которые учитываются весо­выми коэффициентами. Значения этих коэффициентов интерпрети­руются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропор­ционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оце­нивается с помощью регламентированной самооценки экспертов. По­казатель самооценки получают на основе группы вопросов. Напри­мер, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов:

10 - эксперт специализируется по данному вопросу, имеет по не­му успешно завершенные и используемые на практике теоретические разработки и практический опыт;

8 - в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 - вопрос входит в сферу, тесно связанную с узкой специализа­цией эксперта, но в работе, связанной с данным вопросом, он не уча­ствует;

3 - вопрос не входит в сферу, тесно связанную с узкой специали­зацией эксперта.

По полученной в десятибалльной шкале оценке определяется ве­совой коэффициент путем деления ее на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задает весо­вые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднеарифмети­ческая. При каждом новом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характе­ристик компетентности экспертов.

Организация работы с экспертами. Работа с экспертами может проводиться в три этапа.

На первом этапе эксперты участвуют в уточнении объекта экс­пертизы, показателей, подлежащих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экс­пертов.

На втором этапе экспертам передают анкеты с пояснительной за­пиской, в которой описываются цель экспертизы, структура и поря­док заполнения анкет с примерами.

Третий этап работы с экспертами, выполняемый после заверше­ния опроса, то есть в процессе обработки и анализа полученных ре­зультатов, включает консультации, необходимые для получения не­достающей информации, необходимой для уточнения полученных данных и их анализа.

Анализ экспертных оценок. При проведении анализа эксперт­ных оценок в соответствии с целями исследования и принятыми мо­делями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

О достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как прави­ло, получают оценки нескольких объектов. Определить согласован­ность оценок, которые даются разными экспертами, можно с помо­щью непараметрического двухфакторного дисперсионного анализа. При выполнении анализа в качестве первого фактора рассматривают­ся эксперты, в качестве второго фактора - объекты, оцениваемые экспертами. Уровни первого фактора - это разные эксперты, а уровни второго фактора - разные объекты.

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных ста­тистических пакетах для этого используют критерий Фридмана и, ес­ли есть возможность ранжировать экспертов по величине оценок, - критерий Пейджа. Обычно тестируется гипотеза «есть различия меж­ду средними значениями оценок некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов со­гласованы и достоверны.

---

Дата добавления: 2021-03-18; просмотров: 84; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!