Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.
Элизер Юдковский
Eliezer Yudkowsky
Cognitive biases potentially affecting judgment of global risks.
yudkowsky@singinst.org
Singularity Institute for Artificial Intelligence
Palo Alto, CA
Примечание переводчика: несколько коротких многозначных английских терминов заменены длинными русскими словосочетаниями. А именно:
Bias – «систематическая ошибка мышления», иногда «погрешности» или «предубеждения».
Heuristic – модели рассуждений, эвристика.
К терминам, выделенным автором, дано в скобках их написание по-английски.
Алексей Валерьевич Турчин, (avturchin@mail.ru). Разрешено некоммерческое использование перевода.
Введение.
При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.
Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях, и того, что эти ошибки говорят о предшествующих им ментальных процессах, известно как программа иследований моделей рассуждений и погрешностей в когнитивной психологии.
|
|
|
Эта программа сделала открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках некой субстанции Р, взрывчатого вещества, способного разрушить всю планету, которое взорвётся, если подвергнется досточно сильному радиосигналу.
К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил 30 лет, работая с ней, и знает её лучше, чем любой другой на земле. Вы звоните эксперту и спрашиваете, как силён должен быть радиосигнал, чтобы взорвать вещество. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» - спрашиваете вы. «Можете ли вы мне дать интервал 98 процентной уверенности?» - «Конечно, - отвечает экспрет. – Я на 99 процентов уверен, что критический порог больше 500 тераватт, и на 99 процентов уверен, что он меньше 80.000 тераватт.» «А как насчёт 10 терватт?» – спрашиваете вы. «Невозможно» - отвечает эксперт.
Приведённая выше методология опроса эксперта выглядит совершенно резонной, такой, какой её любой компетентный работник должен делать, когда сталкивается с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов (Расмуссен (Rasmussen) 1975), ныне считающемся в качестве первой большой попытки вероятностной оценки рисков.
|
|
|
Но исследователь моделей рассуждений и погрешностей может распознать по крайней мере два больших недостатка в этом методе, - не логических слабых места, а обстоятельства, чрезвычайно уязвимых к человеческой ошибке.
(Сноска: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Цироквица (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner), и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе – мои.)
Иследования моделей рассуждений и погрешностей открыли результаты, которые могут напугать и привести в уныние неподготовленного учёного. Некоторые читатели, впервые встречающие экспериментальные результаты, цитруемые здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты уйдут, если сделать такие-то и такие-то манипуляции?» Не имея досточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже испробывались, и результаты были устойчивыми.
|
|
|
Доступность информации.
Предположим, вы возьмёте случайное слово из трёх или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?
Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления – эвристику – которые дают хорошие средние ответы в большинстве случаев, но это так же приводит к увеличению системных ошибок, называемых погрешностями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть лёгкости, с которой примеры этого события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на букву R. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. (Тверский и Канеман (Tversky and Kahneman) 1973.)
|
|
|
Погрешности, основанные на эвристике доступности, влияют на оценки риска.
Пионерское исследование Лихтенштейна (Lichtenstein) (1978) описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – только немного смертей. Однако, когда их просят посчитать риски точнее, люди сильно переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных причин смерти.
Другие повторяющиеся ошибки тоже были очевидными: аварии считались причиняющими столько же смертей, сколько болезни (на самом деле болезни причиняют в 16 раз больше смертей, чем аварии). Убийство неверно считалось как более частая причина смерти, чем диабет или рак желудка.
Последующее исследование Комбса и Словица (Combs and Slovic) (1979) провело подсчёт сообщений о смерти в двух газетах и обнаружило высокую корреляцию между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).
Люди отказываются покупать страховку от наводнений, даже если она мощно субсидируется и оценена гораздо ниже своей справедливой цены. Канрейсер (Kunreuther) (1993) предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивидов представить себе наводнение, которое никогда не случалось. Люди на затапливаемых равнинах выглядят как пленники своего опыта.
Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены. Бёртон (Burton) (1978) сообщает, что когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается.
Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков. Общество, хорошо защищённое против малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. (Строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены). Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы размеров возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших наводнений).
Риск человеческого истребления может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием. (2)
Сноска 2: Милан Цирковиц (Milan Cirkovic) указывает на то, что сверхизвержение вулкана Toba (73 000 лет до Р.Х.) может считаться как событие, едва не приведшее к истреблению людей. Взрыв и последующая зима убила большую часть человечества; генетические свидетельства предполагают, что было только несколько тысяч выживших, или даже меньше. (Эмброуз (Ambrose) 1998.) Отметьте, что это событие отсутствует в нашей исторической памяти – оно предшествует возникновению письменности.
Дата добавления: 2019-03-09; просмотров: 195; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!