Процедура и организация экспертной оценки. Запись и обработка данных экспертной оценки.

Организация проведения экспертных оценок

Методы экспертных оценок

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert - «опытный».

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Этапы экспертизы формирование цели, разработка процедуры экспертизы, формирование группы экспертов, опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < W < 1, где W = 0 означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7-0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции р, он принимает значения -1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение р = -1 -двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее употребительным процедурам экспертных измерений относятся:

- ранжирование;

- парное сравнивание;

- множественные сравнения;

- непосредственная оценка;

- Черчмена-Акоффа;

- метод Терстоуна;

- метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов) А = {а,, ... ,ап} и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношений между объектами эмпирической системы, выбор преобразования ср и определение типа шкал измерений. С учетом изложенных выше обстоятельств рассмотрим каждый метод измерения.

Ранжирование.Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел Возможна и обратная последовательность в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:

т.е. используется числовая последовательность. Числах1, х2,..., xN в этом случае называются рангами и обычно обозначаются

буквами г,, г2, ... , rN. Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (>), «менее предпочтительно» (<), «равноценно» (=) или «безразлично» (~). Упорядочение объектов при этом может иметь, например, следующий вид:

Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N - 10 ранги объектов а3. а4, а5 будут равными

В этом же примере ранги объектов а9, а]0 также одинаковы и равны среднеарифметическому Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый S-й эксперт присваивает каждому объекту ранг riS. В результате проведения экспертизы получается матрица рангов размерности Nk, где к - число экспертов; N - число объектов; Результаты группового экспертного ранжирования удобно представить в виде таблицы 1.

Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом по нескольким показателям сравнения. При этом в таблице вместо экспертов в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.

Таблица 1.Результаты группового ранжирования

Объект	Э1	Э2	…	Эк
a1	r11	r12	...	r1k
а2	r21	r22	…
...	...	…	...	…
an	r n1	r n2	…	r nk

Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение.Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов а(, а;. эксперт упорядочивает ее, высказывая либо либо либо Выбор числового представления можно произвести так: если

если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. Если объекты эквивалентны, то можно считать, что

В практике парного сравнения используются следующие числовые представления:

(1)

(2)

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов «,, а2, аг, а4, а5 и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

Используя числовое представление (1), составим матрицу измерения результатов парных сравнений, таблица 2.

Таблица 2.Матрица парных сравнений

	а 1	а2	а 3	а4	а 5
а 1	1	1	1	1	0
а2	0	1	1	1	0
аз	0	0	]	1	0
а4	0	0	1	1	0
а 5	1	1	1	1	1

Таблица 3.Результаты измерения пяти объектов

	а 1	а2	а 3	а4	а 5
а 1	1	2	2	2	0
а2	0	1	2	2	0
аз	0	0	1	1	0
а4	0	0	1	1	0
а 5	2	2	2	2	1

В таблице 2 на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в таблице 3 приведены результаты измерения пяти объектов с использованием представления (2), соответствующие таблице 1.

Вместо представления (2) часто используют эквивалентное ему представление которое получается из (2) заменой 2 на +1, 1 на 0 и 0 на 1.

(3)

Если сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а, предпочтительнее объекта а-,, а2 предпочтительнее объекта а3ив то же время а3 предпочтительнее объекта av. В случае разбиения объекта на классы эксперт может к одному классу отнести пары а, и а2, а2, и а3, но в то же время объекты а, и а3 отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Множественные сравнения.Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки (n<N) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком мно-го, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Непосредственная оценка.Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис. 2.6 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов, рис.1.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

Рис.1.Пример сравнения пяти объектов по шкале

Эксперт, приписывая объекту балл, тем самым измеряет его сточностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

Метод Черчмена Акоффа (последовательное сравнение).Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

- каждой альтернативе ставится в соответствие действительное неотрицательное число

- если альтернатива ai предпочтительнее альтернативы а,, то если же альтернативы а{ и а. равноценны, то

- если оценки альтернатив а{ и а, то соответствует совместному осуществлению альтернатив ai и а-. Наиболее сильным является последнее предположение об аддитивности оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы а,, а2, ... , аn ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а, наиболее предпочтительна, за ней следует а2 и т.д. Эксперт указывает предварительные численные оценки ф (а) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы а, и суммы альтернатив а2, ... , aN. Если ах предпочтительнее, то эксперт корректирует оценки так, чтобы

В противном случае должно выполняться неравенство

Если альтернатива а, оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а2,аъ,..., aN_} и т.д. После того как альтернатива а, оказывается предпочтительнее суммы альтернатив она исключается из рассмотрения, а вместо оценки альтернативы ах рассматривается и корректируется оценка альтернативы а2. Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это по-( зволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа является одним самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива ап. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем ап. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.

Метод фон Неймана-Моргенштерна. Он заключается в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы «,, менее предпочтительной, чем а{, но более предпочтительной, чем с/, может указать число такое, что альтернатива а. эквивалентна смешанной альтернативе (вероятностной смеси) Смешанная альтернатива состоит в том, что альтернатива а; выбирается с вероятностью Р, а альтернатива а/- с вероятностью /Р. Очевидно, что если Р достаточно близко к 1, то альтернатива менее предпочтительна, чем смешанная альтернатива В литературе помимо упомянутого выше предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива и др.

предпочтительнее, чем если

Если указанная система предпочтений выполнена, то для каждой из набора основных альтернатив а1, а2, ..., aN определяются числа х1, x2, … , xN, характеризующие численную оценку смешанных альтернатив.

Численная оценка смешанной альтернативы равна

Смешанная альтернатива предпочтительнее смешанной альтернативы если

Таким образом, устанавливается существование функции полезности

значение которой характеризует степень предпочтительности любой смешанной альтернативы, в частности и несмешанной. Более предпочтительна та смешанная альтернатива, для которой значение функции полезности больше.

Рассмотренные выше методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность делаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким метод последовательного сравнения (Черчмена Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

Экспертные оценки

Методы типа «Дельфи»

Название методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов.

Процедура Дельфи-метода заключается в следующем:

1) организуется последовательность циклов «мозговой атаки»;

2) разрабатывается программа последовательных индивидуальных опросов с помощью вопросников, исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач министерства обороны США, осуществленное RAND Corporation во второй половине 40-х гг., показало его эффективность и целесообразность распространения на широкий класс задач, связанный с оценкой будущих событий.

Недостатки метода Дельфи:

- значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;

- необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию, что сказывается на результатах экспертизы.

В 60-е гг. область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology - количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого метода экспертной оценки) различных отраслей и научных направлений в решение какого-либо круга задач.

Метод SEER (System for Event Evaluation and Review система оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура - специалисты промышленности, эксперты второго тура - наиболее квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90 % всех оценок).

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс.

Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

3.2. Групповая оценка объектов

В данном параграфе рассмотрим алгоритмы обработки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объектов по l показателям. Результаты оценки представлены в виде величин

[pic], где j – номер эксперта, i - номер объекта, h – номер показателя

(признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины [pic] представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины [pic] представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

Рассмотрим случай, когда величины [pic] получены методами непосредственной оценки или последовательного сравнения, т. е. [pic] являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта [12]

[pic]

(5.1) где [pic] - коэффициенты весов показателей сравнения объектов, [pic] - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объектов являются нормированными величинами [12]

[pic]

(5.2)

Коэффициенты весов показателей могут быть определены экспертным путем.

Если [pic] - коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен [12]

[pic]

(5.3)

Получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на предположении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как правило, выполняются, поэтому получение групповой оценки объектов путем суммирования с весами индивидуальных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентности экспертов имеет вид рекуррентной процедуры [12]:

[pic]

(5.4)

[pic]

(5.5)

[pic]

(5.6)

Вычисления начинаются с t=1. В формуле (5.4) начальные значения коэффициентов компетентности принимаются одинаковыми и равными [pic] Тогда по формуле (5.4) групповые оценки объектов первого приближения равны средним арифметическим значениям оценок экспертов [12]

[pic]

(5.7)

Далее вычисляется величина [pic] по формуле (5.5) [12]:

[pic]

(5.8) и значение коэффициентов компетентности первого приближения по формуле

(5.6) [12]:

[pic]

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисления по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин [pic]

Повторение рекуррентной процедуры вычислений оценок объектов и коэффициентов компетентности естественно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) переменные

[pic] и [pic] и представим эти уравнения в векторной форме [12]

[pic]

(5.10) где матрицы В размерности [pic] и С размерности [pic] равны [12]

[pic]

(5.11)

Величина [pic] в уравнениях (5.10) определяется по формуле (5.5).

Если матрицы В и С неотрицательны и неразложимы, то, как это следует из теоремы Перрона – Фробениуса, при [pic] векторы [pic] и [pic] - сходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц [12]

[pic]

(5.12)

Предельные значения векторов х и k можно вычислить из уравнений [12]:

[pic]

(5.13) где [pic] максимальные собственные числа матриц В и С.

Условие неотрицательности матриц В и С легко выполняется выбором неотрицательных элементов [pic] матрицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экспертов оценивает только объекты своей группы. Естественно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практических условиях выполняются.

Следует заметить, что практическое вычисление векторов групповой оценки объектов и коэффициентов компетентности проще выполнять по рекуррентным формулам (5.4), (5.5), (5.6). Определение предельных значений этих векторов по уравнению (5.13) требует применения вычислительной техники.

Рассмотрим теперь случай, когда эксперты производят оценку множества объектов методом ранжирования так, что величины [pic] есть ранги. Обработка результатов ранжирования заключается в построении обобщенной ранжировки.

Для построения такой ранжировки введем конечномерное дискретное пространство ранжировок и метрику в этом пространстве. Каждая ранжировка множества объектов j-м экспертом есть точка [pic] в пространстве ранжировок.

Ранжировку [pic] можно представить в виде матрицы парных сравнений, элементы которой определим следующим образом [12]:

[pic]

Очевидно, что [pic], поскольку каждый объект эквивалентен самому себе.

Элементы матрицы [pic] антисимметричны [pic].

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Такую матрицу будем обозначать [pic] и считать, что точка в пространстве ранжировок, соответствующая матрице [pic], является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрика [pic] как расстояние между i-й и j-й ранжировками определяется единственным образом формулой [12]

[pic] если выполнены следующие 6 аксиом [12]:

1. [pic] причем равенство достигается, если ранжировки [pic] и [pic] тождественны;

2. [pic]

3. [pic] причем равенство достигается, если ранжировка «лежит между» ранжировками

[pic] и [pic]. Понятие «лежит между» означает, что суждение о некоторой паре [pic] объектов в ранжировке совпадает с суждением об этой паре либо в

[pic], либо в [pic] или же в [pic] [pic] в [pic] [pic] а в [pic] [pic]

4. [pic] где [pic] получается из [pic] некоторой перестановкой объектов, а [pic] из

[pic] той же самой перестановкой. Эта аксиома утверждает независимость расстояния от перенумерации объектов.

5. Если две ранжировки [pic], [pic] одинаковы всюду, за исключением n- элементного множества элементов, являющегося одновременно сегментом обеих ранжировок, то [pic] можно вычислить, как если бы рассматривалась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которого непусто и все элементы этого дополнения находятся либо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжировки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n- объектов, то естественно принять, что расстояние между ранжировками должно равняться расстоянию, соответствующему ранжировкам средних n-объектов.

6. Минимальное расстояние равно единице.

Пространство ранжировок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны [pic] [pic]

При трех объектах пространство всех возможных ранжировок состоит из 13 точек.

Используя введенную метрику, определим обобщенную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжировок, сумма расстояний от которой до всех точек - ранжировок экспертов является минимальной. В соответствии с определением медиана вычисляется из условия

[pic]

Средняя ранжировка есть такая точка, сумма квадратов расстояний от которой до всех точек – ранжировок экспертов является минимальной. Средняя ранжировка определяется из условия

[pic]

Пространство ранжировок конечно и дискретно, поэтому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем случае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то медиана и средняя ранжировка определяются из условий [12]:

[pic] [pic] где [pic] - коэффициенты компетентности экспертов.

Если ранжировка объектов производится по нескольким показателям, то определение медианы вначале производится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов [12]:

[pic] (j=1,2,…,m);

[pic] где [pic] - коэффициенты весов показателей.

Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания [pic] или [pic] в виде перебора всех точек пространства ранжировок неприемлем вследствие очень быстрого роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемкости вычислений. Можно свести задачу отыскания [pic] или [pic] к специфической задаче целочисленного программирования. Однако это не очень эффективно уменьшает вычислительные трудности.

Расхождение обобщенных ранжировок при различных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпадать.

Сложность вычисления медианы или средней ранжировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок [pic] составляются суммы [12]

[pic] (i=1,2,…,n).

Далее объекты упорядочиваются по цепочке неравенств [pic]

Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент компетентности j-го эксперта [pic] В этом случае вычисление суммы рангов для i-го объекта производится по следующей формуле

[12]:

[pic] (i=1,2,…,n).

Обобщенная ранжировка с учетом компетентности экспертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжировки по суммам рангов является корректной процедурой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие монотонности преобразования и, следовательно, можно получать различные обобщенные ранжировки при различных отображениях объектов на числовую систему. Нумерация мест объектов может быть произведена единственным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом отношении подходом к построению обобщенной ранжировки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы.

Упорядочение объектов производится по величине компонент собственного вектора.

3.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из m экспертов [pic] (j=1,…,m; i=1,…,n), где

[pic] - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В результате получим вектор с компонентами [12]

[pic] (i=1,2,…,n).

(5.14)

Величины [pic] рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:

[pic],

(5.15) где [pic] - оценка математического ожидания, равная

[pic]

(5.16)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (5.15) к максимальному значению этой оценки [12]

[pic].

(5.17)

Коэффициент конкордации изменяется от нуля до единицы, поскольку [pic].

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка математического ожидания зависит только от числа объектов и количества экспертов. Подставляя в (5.16) значение [pic] из (5.14), получаем [12]

[pic]

(5.18)

Рассмотрим вначале суммированные по i при фиксированном j. Это есть сумма рангов для j-го эксперта. Поскольку эксперт использует для ранжировки натуральные числа от 1 до n, то, как известно, сумма натуральных чисел от 1 до n равна [12]

[pic]

(5.19)

Подставляя (5.19) в (5.18), получаем [12]

[pic][pic]

(5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n.

Для вычисления максимального значения оценки дисперсии подставим в (5.15) значение [pic] из (5.14) и возведем в квадрат двучлен в круглой скобке. В результате получаем [12]

[pic]

(5.21)

Учитывая, что из (5.18) следует

[pic] получаем [12]

[pic]

(5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скобках. Величина этого члена существенно зависит от расположения рангов - натуральных чисел в каждой строке i.

Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицы [pic]будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-u строке дает m- кратное повторение i-ro числа [12]:

[pic]

Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22)

[12]:

[pic]

(5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n=m все эксперты присваивают разные ранги одному объекту. Тогда

[12]

[pic]

Сравнивая это выражение с [pic] при m=n, убеждаемся, что первый член в квадратных скобках формулы (9) равен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжировок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в

(5.22) и выполняя преобразования, получаем [12]

[pic]

(5.24)

Введем обозначение [12]

[pic]

(5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде [12]

[pic]

(5.26)

Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n—1), запишем окончательное выражение для коэффициента конкордации [12]

[pic]

(5.27)

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (5.17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле [12]:

[pic]

(5.28) где

[pic]

(5.29)

В формуле (5.28) [pic] - показатель связанных рангов в j-й ранжировке,

[pic] - число групп равных рангов в j-й ранжировке, [pic] - число равных рангов в k-й группе связанных рангов при ранжировке j-м экспертом. Если совпадающих рангов нет, то [pic]=0, [pic]=0 и, следовательно, [pic]=0. В этом случае формула (5.28) совпадает с формулой (5.27).

Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы.

Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. совершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов m и количества объектов n. Распределение частот для W при [pic] и [pic]вычислено в [52]. Для больших значений m и n можно использовать известные статистики. При числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию

[pic]. Величина Wm(n—1) имеет [pic] распределение с v=n –1 степенями свободы.

При наличии связанных рангов [pic] распределение с v=n—1 степенями свободы имеет величина [12]:

[pic]

(5.30)

Энтропийный коэффициент конкордации определяется формулой (коэффициент согласия) [12]:

[pic]

(5.31) где Н – энтропия, вычисляемая по формуле

[pic]

(5.32)

а [pic]- максимальное значение энтропии. В формуле для энтропии [pic] - оценки вероятностей j-го ранга, присваиваемого i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов [pic], приписавших объекту [pic] ранг j к общему числу экспертов [12].

[pic]

(5.33)

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда [pic]. Тогда [12]

[pic]

(5.34)

Подставляя это соотношение в формулу (5.32), получаем [12]

[pic]

(5.35)

Коэффициент согласия изменяется от нуля до единицы. При [pic] расположение объектов по рангам равновероятно, поскольку в этом случае

[pic]. Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При [pic], что достигается при нулевой энтропии (H=0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта [pic] все эксперты присваивают ему один и тот же ранг j, следовательно, [pic], a [pic] [pic]

Поэтому и H=0.

Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации.

Дата добавления: 2018-05-09; просмотров: 981; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 6 7 8 9 101112 13 14 15 Следующая ⇒

Мы поможем в написании ваших работ!