Мы живём в симуляции и она выключается . (We're living in a simulation and it gets shut down).
Может быть доказано, что гипотезе, что мы живём в компьютерной симуляции, следует приписать значительную вероятность. [27]. Основная идея, лежащая в основе так называемого «Доказательства симуляции» ( Simulation argument ), состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (см., например, [28,29]), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не очень невероятных предположениях результат может быть тот, что большинство умов, подобных нашим, являются симулированными умами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными умами, а не (субъективно неразличимыми) умами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами
Хотя кому-то может показаться легкомысленным ставить такую радикальную «философскую» гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным в [27], было бы интеллектуально нечестно пренебрегать упоминанием «выключения симуляции» как возможной причиной истребления.
|
|
|
Плохо запрограммированный суперинтеллект
Когда мы создадим первое суперинтеллектуальное устройство [28-34], мы можем сделать ошибку и дать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающего ему силу сделать это. Например, мы можем ошибочно возвести под-цель в статус сверх-цели. Мы говорим ему решить некую математическую задачу, и оно подчиняется, превращая всё вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. [35].)
Генетически сконструированный биологический объект.
В результате баснословного прогресса в генетических технологиях, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать вирус конца света, организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью [36].
Опасные вирусы могут быть даже выращены не нарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы ( mousepox ) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его в контроле вредителей [37]. Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что подчёркивает ( underscores ) будущую угрозу здесь – это то, что исследование было быстро опубликовано в открытой научной литературе [38]. Редко увидишь, чтобы информация, созданная в открытых биотехнологических программах, была закрыта ( contained ), независимо от того, насколько суровой потенциальной опасностью она обладает; и тоже относится к исследованиям в нанотехнологиях.
|
|
|
Генетическая медицина приведёт к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, страхи биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный потенциал долговременный потенциал для медицины [39], они несут свои собственный опасности.
Случайное ошибочное применение нанотехнологий («серая слизь»). (Accidental misuse of nanotechnology (“gray goo”)).
|
|
|
Возможность аварии никогда не может быть полностью исключена.
Однако есть много путей наверняка избежать, посредством ответственных инженерных методов, аварий, уничтожающих всех людей. Можно избежать применения самовоспроизводства; можно сделать наноботов зависимыми от питания каким-то редким химическим веществом, не существующим в природе; можно заключать их в герметичном окружении; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование [40]. По этой причине случайное неправильное применение наноботов гораздо меньше тревожит, чем злонамеренное [23,25,41].
Однако различие между случайным и намеренным может стать расплывчатым. Хотя «в принципе» кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить этому идеальному уровню безопасности реализоваться. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, абсолютно возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике может быть очень трудно избежать использования ядерных технологий также и для создания ядерного оружия, что ведёт к гонке вооружений. С большими ядерными арсеналами с высокой степенью готовности ( hair - trigger alert ) неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который создаёт неизбежный риск серьёзных происшествий.
В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «угрозу, в которой есть элемент случайности» ( threat that leaves something to chance ) [42].
Дата добавления: 2019-03-09; просмотров: 167; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!