Ошибающийся сверхинтеллект. (Flawed superintelligence)
Опять, существует возможность, что плохо запрограммированный сверхинтеллект возьмёт власть и реализует те ошибочные цели, которые были ошибочно ему даны.
Глобальный репрессивный тоталитарный режим. (Repressive totalitarian global regime).
Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые пост-человеческий мир может иметь.
Такое мировое правительство, очевидно, может сформироваться небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут выбирать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот пост-человеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.
6.4. Нечто непредвиденное. [прим. 12]
Всё остальное.
Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьёз в нашем стратегическом планировании.
Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в пост-человеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать пост-людьми. Если мы примем это, то тогда любой сценарий, в котором переход к пост-человеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до того (предполагая, что они не были успешно сохранены посредством крионики [53,57]) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому пост-человечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, нагружено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.
|
|
|
Всхлипы. (Whimpers).
Если всё пойдёт хорошо, мы можем однажды выйти на фундаментальные физические пределы. Даже хотя вселенная кажется бесконечной [58,59], доля вселенной, которую мы можем теоретически колонизировать (исходя из общепризнанно очень ограниченного нашего теперешнего понимания ситуации) конечна [60], и мы, в конечном счёте, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим распада материи в радиацию. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению в схлипа, так как человечество на этом пути реализует большую часть своего потенциала.
|
|
|
Два вида Всхлипа (в отличие от обычных, охватывающих всё гипотез) кажутся имеющими значительную вероятность:
Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции . (Our potential or even our core values are eroded by evolutionary development).
Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живём в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой [61]. Очерк той статьи приведён в Приложении.
Похожий сценарий описывается в [62], где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на посылание наружу следующих колонизационных зондов [63].
|
|
|
Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он всё равно может иметь важные стратегиеские приложения, потому что краткосрочные решения могут предопределить, вступим ли мы на путь [64], который неизбежно ведёт к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить её [65]. Вполне может быть, что единственный возможный путь избежать Всхлипа – полностью предотвратить раскручивание этих цепочек событий.
Дата добавления: 2019-03-09; просмотров: 165; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!