Определение рангов важности вариантов развития СУ
ЭКСПЕРТНЫЕ ПРОЦЕДУРЫ И МЕТОДЫ СУБЪЕКТИВНЫХ ОЦЕНОК в ИСУ
Как научный способ экспертный метод (метод основанный на интуиции, знаниях и опыте специалиста) был разработан сравнительно недавно и впервые получил название «Дельфи». В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области пауки и техники, а затем стали применяться н других областях, в том числе в управлении.
Сущность экспертных методов как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.
Очень важна форма сбора мнений экспертов. Это могут быть индивидуальные, коллективные и смешанные, то есть различаться прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:
• анкетирование (наиболее часто);
• интервьюирование;
• дискуссия;
• мозговой штурм;
• совещание;
• деловая игра.
Все они обладают своими достоинствами и недостатками. Смешанная форма применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.
|
|
|
К разновидности экспертного метода можно отнести социологический опрос, который основан на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме — распространением анкет либо устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.
Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому при сборе и обработке результатов экспертной и социологической информации необходимо широко использовать компьютерную технику. Возможности для этого есть, так как автоматизация обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.
Экспертный метод дает возможность оценивать систему управления при отсутствии информации. При этом каждый вид СУ характеризуется несколькими показателями (факторами). Оценка этих показателей определяется экспертами в баллах, кроме того, каждому из показателей назначается вес, соответствующий его значимости. Этот метод применительно к ИСУ основан на обработке мнений опытных предпринимателей или специалистов. Желательно, чтобы эксперты давали свои оценки вероятностей той или иной операции и т.п., но можно ограничиться получением оценок вероятностей допустимого, критического и катастрофического СУ.
|
|
|
Оценка СУ и выбор эффективного решения во многом зависит от человека, принимающего решения.
Характеристика экспертных процедур
Выше были рассмотрены часто применяемые в практической деятельности статистические методы количественной оценки экономического СУ.
Вместе с тем, существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не представляется возможным.
В таких случаях широко применяются методы, использующие результаты опыта и интуицию, то есть эвристические методы или методы экспертных оценок.
Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.
|
|
|
Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследования.
Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприятия. Одной из сфер его применения является качественный анализ и количественная оценка экономического СУ.
Рассмотрим кратко характеристику экспертных процедур.
В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (оп росы).
Основными целями использования индивидуальных экспертных оценок являются:
прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке СУ — это выявление источников и причин СУ, прогнозирование действий конкурентов, установление всех возможных взаимосвязей, оценка вероятности наступления событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование событий, вы явление путей снижения СУ и др.;
|
|
|
— анализ и обобщение результатов, представленных другими экспертами;
— составление сценариев действий;
— вьдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т.п.).
Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.
В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.
Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.
Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.
Используя групповые экспертные процедуры, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с боль шей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.
Можно выделить следующие типы групповых экспертных процедур:
1) открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
2) свободное высказывание без обсуждения и голосования;
З) закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.
Опыт показал, что традиционные методы обсуждения вопросов, поставленных перед группой экспертов, относящиеся к
первому типу экспертных процедур, не всегда обеспечивают достижение цели — достоверность полученных оценок.
Эти методы страдают рядом недостатков, таких, как влияние авторитетных и «напористых» участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки СУ) все большее распространение находят второй и третий типы групповых экспертных процедур.
Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующего формулировке идей, свободную интерпретацию идей в рамках постав ленной проблемы.
Такой метод обсуждения получил названия метода коллективной генерации идей (по американской терминологии метод <мозговой атаки»). Он направлен на получение большого количества идей, в том числе и от лиц, которые, обладая большой эрудицией, обычно воздерживаются от высказываний.
Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.
Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше новых ценных идей, чем сумма индивидуальных мышлений. С помощью этого метода может успешно решаться ряд задач СУ, таких как:
— выявление источников и причин рассогласований в СУ, установление всех возможных сценариев развития;
— выбор направлений и путей совершенствования и развития СУ;
— формирование полного набора и качественная оценка вариантов, использующих различные способы снижения СУ или их комбинацию, и др.
К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационно го шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.
При использовании результатов групповых экспертных процедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление, как «сдвиг риска».
Феномен сдвига риска заключается в том, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.
Существует ряд гипотез, объясняющих это явление — диффузия ответственности, ознакомление, лидерство, изменения полезности и т.д..
В настоящее время наиболее распространенным объяснением явления «сдвига риска» является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся повысить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способных и умеющих рисковать. Таким образом, данная гипотеза исходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного члена группы уровень предпочтения риска оказывается значительно ниже среднего для группы, то это может вызвать у него беспокойство и опасения по поводу того, как к этому отнесется группа.
Третий тип групповых экспертных оценок — закрытое об суждение поставленных проблем — позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур.
Примером экспертных процедур третьего типа может служить метод «Дельфи» (происходит от греческих дельфийских оракулов).
В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».
Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров. Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке их убывания N1, ..., Nm затем определяют медиану (М) и квартили (Q1, Q2), которые разбивают все оценки на четыре интервала, как показано на рис. 4.1.
 | |||
| |||
Рис.
Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q1 - Q2), просят обосновать свое мнение по поводу этих оценок. С их обоснованием и выводами, не указывая от кого они получены, знакомят остальных экспертов.
Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.
После получения оценок второго тура снова рассчитываются медиана и квартили.
Этот процесс продолжается до тех пор, пока продвижение к сближению точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.
Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных событий, ситуаций и последствий от действий СУ в целом — определении вероятности наступления событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т.п.
Учитывая условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии достоверности полученных оценок. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.
Однако это не всегда так, и можно привести примеры, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.
Как показала практика использования экспертных оценок, в подавляющем большинстве случаев при согласованности мнений экспертов их оценки оказывались правильными.
Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, обусловленной недостатком ин формации об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспертизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки.
Устраняются указанные недостатки путем использования соответствующих методов и, в первую очередь, посредством правильной организации экспертной процедуры — от подбора экспертов до обработки их мнений.
Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных не формализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.
Общая схема экспертизы
Общая схема экспертных опросов включает следующие основные этапы:
— подбор экспертов и формирование экспертных групп;
— формирование вопросов и составление анкет;
— работу с экспертами;
— формирование правил определения суммарных оценок на основе оценок отдельных экспертов;
— анализ и обработку экспертных оценок.
Прежде чем приступить к рассмотрению содержания отдельных этапов экспертной процедуры, необходимо сделать следующее замечание.
Проблема экспертных оценок имеет самостоятельное теоретическое и прикладное значение и выходит далеко за рамки проблем экономического СУ. для ее решения используются специальные экономико-математические методы и методы системного анализа.
Здесь не стоит задача раскрытия сущности и содержания используемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому представленная ниже краткая характеристика содержания от дельных этапов носит ознакомительно-описательный характер.
Для более глубокого изучения проблемы можно порекомендовать где, на наш взгляд, наиболее полно описывается как содержание этапов, так и используемый для их реализации аппарат.
Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.
Оценки численности группы экспертов производятся на основе следующих соображений.
Численность группы не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.
При увеличении группы экспертов, хотя и устраняются эти недостатки, зато появляется опасность возникновения новых. Так, при очень большом числе экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. При чем рост численности экспертной группы далеко не всегда при водит к повышению достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицированных специалистов, что, в свою очередь, может привести к снижению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработки результатов опроса.
Существующие методы позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру
— численность экспертов требуемой специализации и квалификации.
При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов оценивать необъективно рассматриваемые события. Для этого желательно выявить возможные потенциальные цели экспертов, противоречащие целям получения объективных результатов.
Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завысить или занизить оценки так, чтобы повлиять на групповые результаты в желательном для себя либо для других лиц направлении.
Формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:
— независимость формирования экспертами собственного мнения об оцениваемых событиях;
— удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);
— логическое соответствие вопросов структуре объекта оп роса;
— приемлемые затраты времени на ответы по вопросам ан кеты, удобное время получения вопросов и выдачи ответов;
— сохранение анонимности ответов для членов экспертной группы;
— предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.
Работа с экспертами. В зависимости от характера исследуемо го объекта, от степени его формализации и возможности при влечения необходимых экспертов порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.
На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.
На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок построения таблиц с примерами. Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет при соблюдении правил анкетирования.
Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов. На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию для уточнения данных и их окончательного анализа.
Формирование правил определения суммарных оценок на основе оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.
Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем, с помощью определенных приемов, эти оценки объединяются в одну обобщенную (согласованную).
Например, если речь идет о вероятности наступления события (р) и i-й эксперт указывает для этой вероятности число р., то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:
р = 
р i / m,
где m — число экспертов, участвующих в экспертизе.
В методе «дельфи» в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.
Можно рассчитать и средневзвешенное значение вероятности, если попытаться учесть вес (компетентность) самого эксперта, который определяется на основе предыдущей деятельности (отношение количества верных ответов к общему количеству), либо на основе других методов — самооценки эксперта с учетом своих знаний в области заданных вопросов, квалификации, должности, ученого звания и т.д.
где hi — вес, приписываемый i-му эксперту.
Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.
В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки.
В этом случае: 0< hi < 1.
В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Вместе с тем принципиальной разницы в шкалах измерения нет, выбор какой-либо из них во многом определяется вкусом исследователя, проводящего экспертный опрос.
Принятая шкала измерения может в некоторой степени по влиять на выбор методов анализа и обработки мнений экспертов.
Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты — варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа систему управления необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения СУ — в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются: ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, о достоверности их оценок.
Коэффициент конкордации определяется из выражения:
где: σф2 — фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами;
σ2max— дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпадают.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения Wн(W>Wн)
Можно принять W = 0,5. Считается, что при W > 0,5 действия экспертов в большей степени согласованны, чем не согласованны.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов СУ, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти систему управления (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
Результаты оценок четырьмя экспертами представлены в табл.1,2.
Таблица 1
Определение рангов важности вариантов развития СУ
| Эксперты | Варианты развития системы управления | ||||
| 1 | 2 | 3 | 4 | 5 | |
| 1 | 2 | 1 | 5 | 3 | 4 |
| 2 | 3 | 2 | 4 | 1 | 5 |
| 3 | 1 | 2 | 4 | 3 | 5 |
| 4 | 2 | 1 | 3 | 3 | 4 |
| Суммарный ранг важности | 8 | 6 | 16 | 11 | 18 |
Таблица 2
Дата добавления: 2021-03-18; просмотров: 165; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!