Методика обработки результатов экспертной оценки
Коломенский институт (филиал)
федерального государственного бюджетного образовательного учреждения высшего образования
«МОСКОВСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
Кафедра автоматизации производства и информационных
технологий
Романов П.С.
Методические указания по выполнению практического занятия
По дисциплине
«Математические основы теории систем (ИВТ)
(Математические основы теории систем и системного анализа – УТС)»
Прогнозирование развития технических систем на основе
Методов экспертной оценки
Коломна – 2017
Содержание
| 1. | Введение ........................................................................................................................ | 2 |
| 2. | Методы экспертных оценок при прогнозировании облика технических систем… | 2 |
| 3. | Методика обработки результатов экспертной оценки……………………………… | 4 |
| 4. | Контрольные задания…………………………………………………………………. | 8 |
| 5. | Структура отчета............................................................................................................ | 8 |
| 6. | Исходные данные........................................................................................................... | 9 |
| 7. | Вопросы для защиты отчета………………………………………………………….. | 12 |
| 8. | Литература...................................................................................................................... | 12 |
| Приложение 1…………………………………………………………………………. | 13 |
Введение
Практическое занятие выполняется на основе теоретических положений системотехники и методов экспертной оценки на ПК с использованием табличного процессора Microsoft EXCEL и Microsoft WORD в среде Windows ХР/8/10. Цель занятия:
|
|
|
изучение методов экспертных оценок при прогнозировании облика технических систем;
получение умений и навыков:
в применении методов экспертных оценок для прогнозирования облика технических систем;
в использовании современных компьютерных и информационных технологий при производстве инженерных расчетов;
в анализе полученных результатов.
Методы экспертных оценок при прогнозировании облика технических систем
Прогнозирование облика может проводиться на разных этапах, жизненного цикла технической системы (ТС), именно поэтому понятие облика в ряде исследований связывается со структурой, конфигурацией образца, с общим замыслом, главным принципом организации образца, с составом и типом входящих в него узлов и механизмов, с набором основных характеристик и т.д. Возникла ситуация трансформации понятия облика ТС в зависимости от условий прогнозирования. В дальнейшем будем использовать следующее определение облика ТС.
Облик системы – это совокупность качественных характеристик, определяемых типом и составом входящих подсистем и элементов.
|
|
|
Таким образом, понятие облика включает в себя совокупность структурных характеристик, определяемых типом и составом входящих в систему подсистем и элементов. Но, говоря о структурных характеристиках, необходим обязательно рассматривать и технические характеристики, так как структурные характеристики отражают конструктивные особенности образца, принципы компоновки его агрегатов и используются для выбора вариантов облика перспективного образца, а технические - для описания того эффекта, который будет получен при применении того или иного варианта этого перспективного образца.
В последнее время все большее значение, несмотря на кажущуюся субъективность, в области оценки технических решений получил методы экспертных оценок.
Экспертам передается на рассмотрение перечень показателей по теме прогнозирования и предлагается указать их весомость (выстроить ранжированную последовательность показателей, версий вариантов образца в порядке их значимости). Дальнейшая обработка результатов экспертизы (мнений экспертов) применением методов математической статистики.
Методы экспертной оценки чаще всего используют в ситуациях, когда достоверность исходной информации невелика. Эти методы являются вероятностными. Они основаны на способности специалиста давать полезную информацию в условиях неопределенности. Неизвестную количественную характеристику рассматривают в таких условиях как случайную величину, отражением закона распределения которой является индивидуальная оценка достоверности или значимости того или иного события.
|
|
|
Когда такие оценки получены от группы экспертов, то предполагают что «истинное» значение исследуемой характеристики находится внутри диапазона оценок и что «обобщенное» коллективное мнение является более достоверным.
Для анализа группового мнения используют средние величины: среднюю арифметическую оценку
(1)
или среднюю взвешенную оценку
, (2)
где νi - веса оценок при i =1.2,...,n; n - число экспертов.
Оценки, полученные от экспертов могут быть расположены в порядке возрастания или убывания показателя. Если необходимо установить значение показателя, которое находится в середине упорядоченного ряда, рассчитывают медиану. Медиану можно предпочесть средней арифметической, так как на нее меньше влияют крайние точки ряда. Кроме того, в большинстве случаев медиана более устойчива и менее подвержена случайностям подбора экспертов, чем средняя арифметическая.
|
|
|
При анализе экспертных оценок особенно важна вариация значений около средней оценки, поскольку, чем меньше рассеяны оценки, тем точнее средние значения будут отражать групповое мнение. Для приближенной характеристики вариации ряда может быть вычислена амплитуда:
R=xmax - xmin. (3)
Для упорядоченного ряда могут быть рассчитаны квартили, т.е. значения Q1, Q2 и Q3, выбранные так, что 25 % оценок оказываются ниже Q1 (меньше его), 25 % заключены между, Q1 и Q2, 25% - между Q2 и Q3, а остальные 25 % превосходят Q3. Если значения квартилей приближаются к медиане, это означает, что распределение оценок характеризуется малым рассеянием. Следовательно, за показатель вариации принимают отклонение квартилей от медианы. Медиану применяют тогда, когда существуют значительные колебания в оценках, полученных от разных экспертов. В остальных случаях используют среднюю арифметически оценку.
Существует несколько способов проведения опроса экспертов. Один из них (метод согласования) заключается и том, что каждый эксперт даст оценку независимо от других, а затем эти опенки объединяют в одну обобщенную (согласованную) с помощью одного из статистических методов. Второй способ (групповой) основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При третьем способе (метод Дельф) согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных.
Наиболее распространен опрос группы экспертов по методу согласования оценок. В этом случае обобщенная оценка
, (4)
где рi - оценка i-го эксперта, n - число экспертов.
Средняя взвешенная оценка
, (5)
где Ri - вес, приписываемый мнению i-го эксперта.
Вес мнения каждого эксперта определяют на основе оценок его предыдущей деятельности, например, степени надежности, или с учетом квалификации, эрудиции, должности или академического звания эксперта.
Опрашивать экспертов можно заочно, когда личный контакт аналитиков с экспертами отсутствует, или очно, когда эксперты заполняют анкету в присутствии аналитиков. Преимуществами заочного опроса является его относительная простота и дешевизна; однако, тут возможны ошибки при заполнении анкет. При личной беседе этот недостаток исключается, но требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может сознательно или невольно влиять на ответы эксперта.
Иногда рекомендуется опрашивать экспертов в несколько туров. Это позволяет экспертам «взвесить» свои суждения с учетом ответов и доводов коллег и дополнительной информации, которая не была учтена в предыдущем туре.
Методика обработки результатов экспертной оценки зависит от типа решаемых задач. Если в результате экспертной оценки производится ранжирование показателей для определения их относительной значимости (например, задача расположения элементов машины в порядке убывания одного из показателей ТС), полученные данные обрабатывают по методике, приведенной в п.3.
При определении значений показателей ТС результаты экспертной оценки обрабатывают обычным порядком. Использование экспертных методов помогает формализовать процедуру сбора, обобщения и анализа мнений специалистов для преобразования их в форму, более удобную для принятия обоснованного решения.
Наиболее важной проблемой совершенствования экспертных методов является повышение их надежности (достоверности результатов оценки). Решение этой проблемы требует большой экспериментальной и аналитической работы, результатами которой должны быть: выяснение соответствия между вопросами и опенками; выявление возможных «скрытых» факторов, влияющих на суждение экспертов; исследование форм обратной связи между экспертами и аналитиками; создание методов, позволяющих объективно оценить степень обоснованности ответов экспертов.
Методика обработки результатов экспертной оценки показателей (вариантов) ТС зависит от типа решаемых задач. Если в результате экспертной оценки производится ранжирование показателей для определения их относительной значимости (например, расположения вариантов ТС в порядке убывания одного из показателей), полученные данные обрабатывают по методике, приведенной в п.3.
Методика обработки результатов экспертной оценки
Проведем рассмотрение методики на примере.
Пример 1. В результате анализа перспективных разработок выделено m версий развития системы числового программного управления (ЧПУ) станков.
Системой ЧПУ станка называют комплекс устройств, служащих для отработки числовой программы. В этот комплекс входят:
управляющее устройство, которое преобразует по соответствующему закону числовую информацию, содержащуюся в программе, в управляющие сигналы;
исполнительные устройства станка (или какого-либо другого оборудования), служащие в первую очередь для обеспечения заданных движений подач. Кроме движений подач, на станках многих типов необходимо управлять и другими функциями.
Отобрано d экспертов, которые выразили свое мнение о наиболее вероятной версии развития систем ЧПУ станков, поступающих на производство до 2017 г. Результаты такого мнения при m=9 и d=9 отражены в табл.1, где нет связанных рангов (мнение эксперта по той или иной версии однозначно).
В табл.2 при m=6 и d=5 связанные ранги есть (мнение по той или иной версии неоднозначно). На основе дисперсионного коэффициента конкордации сделать вывод о согласованности мнений экспертов и о наиболее вероятной версии развития систем ЧПУ в будущих станках.
Надо отметить, что для табл.1 и 2 сумма рангов по столбцам 
соответственно равны 45 и 21. Это учитывается экспертами, если ранжировка производится со связанными рангами.
Таблица 1
Результаты ранжировки предполагаемых версий развития систем ЧПУ
(связанные ранги отсутствуют)
| Версии развития систем ЧПУ i, | Ранги версий систем ЧПУ по мнению экспертов | Сумма рангов по версиям ЧПУ
| Среднее арифметическое значение рангов экспертов
| ||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |||
| 1 | 2 | 3 | 2 | 2 | 1 | 2 | 2 | 2 | 2 | 18 | 2 |
| 2 | 3 | 1 | 5 | 4 | 3 | 3 | 3 | 4 | 3 | 29 | 3,2 |
| 3 | 1 | 2 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 11 | 1,2 |
| 4 | 5 | 5 | 3 | 3 | 4 | 4 | 4 | 3 | 5 | 36 | 4 |
| 5 | 7 | 7 | 8 | 7 | 6 | 6 | 7 | 8 | 7 | 63 | 7 |
| 6 | 6 | 4 | 6 | 6 | 7 | 7 | 6 | 6 | 6 | 54 | 6 |
| 7 | 9 | 9 | 9 | 8 | 9 | 9 | 9 | 7 | 9 | 78 | 8,7 |
| 8 | 4 | 6 | 4 | 5 | 8 | 5 | 5 | 5 | 4 | 46 | 5,1 |
| 9 | 8 | 8 | 7 | 9 | 5 | 8 | 8 | 9 | 8 | 70 | 7,8 |
, 
Таблица 2
Результаты ранжировки предполагаемых версий развития
систем ЧПУ (есть связанные ранги)
| Версии развития систем ЧПУ i, | Ранги версий систем ЧПУ по мнению экспертов | Сумма рангов по версиям ЧПУ
| Среднее арифметическое значение рангов экспертов
| ||||
| 1 | 2 | 3 | 4 | 5 | |||
| 1 | 1 | 2 | 1,5 | 1 | 2 | 7,5 | 1,5 |
| 2 | 2,5 | 2 | 1,5 | 2,5 | 1 | 9,5 | 1,9 |
| 3 | 2,5 | 2 | 3 | 2,5 | 3 | 13 | 2,6 |
| 4 | 4 | 5 | 4,5 | 4,5 | 4 | 22 | 4,4 |
| 5 | 5 | 4 | 4,5 | 4,5 | 5,5 | 23,5 | 4,7 |
| 6 | 6 | 6 | 6 | 6 | 5,5 | 29,5 | 5,9 |
Требуется определить насколько согласованы мнения экспертов и какая из версий развития системы ЧПУ наиболее вероятна.
Дата добавления: 2018-06-27; просмотров: 1048; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!