От эксплуатируемых к ненужным

⇐ ПредыдущаяСтр 2 из 4Следующая ⇒

Возможные решения можно разделить на три категории: меры по предотвращению потери рабочих мест; меры по созданию достаточного числа новых рабочих мест; меры на случай, если темпы сокращения рабочих мест все же значительно превысят скорость появления новых.

Стратегия полного сохранения рабочих мест непривлекательна и, по всей видимости, нереалистична, поскольку предполагает отказ от огромных возможностей и преимуществ искусственного интеллекта и роботов. Тем не менее правительства могут намеренно сдерживать темпы автоматизации, чтобы смягчить ее последствия и дать людям время адаптироваться. Развитие технологий не предопределено заранее, и возможность тех или иных событий вовсе не означает их неизбежности. Власти могут успешно препятствовать новым технологиям, даже если те коммерчески конкурентны и экономически выгодны. Например, уже несколько десятилетий у нас есть технология для создания рынка человеческих органов, с предложением от «ферм тел» в слаборазвитых странах и практически неиссякаемым спросом со стороны богатых покупателей. Такие «фермы тел» могли бы стоить сотни миллиардов долларов. Однако свободная торговля человеческими органами законодательно запрещена, а черный рынок, хоть и существует, не так масштабен и развит, как можно было бы предположить[31].

Сдерживание темпов перемен поможет нам выиграть время для создания рабочих мест взамен устаревающих. Но, как я уже говорил, экономическое предпринимательство должно сопровождаться революцией в образовании и психологии. По всей видимости, новые профессии – если они не превратятся в простые бюджетные кормушки – потребуют высокой квалификации; по мере совершенствования искусственного интеллекта людям придется постоянно осваивать новые навыки и менять профессии. Здесь необходимо участие государства, которое должно субсидировать сектор непрерывного образования и обеспечивать социальную защиту во время неизбежных переходных периодов. Если сорокалетнего оператора беспилотника нужно три года переучивать на разработчика виртуальных миров, ему потребуется поддержка государства, чтобы все это время он и его семья не голодали. (Такую схему недавно начали внедрять в Скандинавских странах, где власти следуют принципу «защищать работников, а не профессии».)

Однако нет никаких гарантий, что даже при существенной поддержке государства миллиарды людей смогут без ущерба для психики раз за разом начинать жизнь с нуля. Стало быть, если, несмотря на все наши усилия, значительная часть человечества будет вытеснена с рынка труда, нам придется исследовать новые модели посттрудового общества, посттрудовой экономики и посттрудовой политики. Первый шаг на этом пути – честно признать, что социальные, экономические и политические модели, унаследованные нами из прошлого, неспособны противостоять этому вызову.

Возьмем, к примеру, коммунизм. Мы видим, что автоматизация угрожает потрясением самих основ капиталистической системы, и логично было бы предположить, что коммунистическая идея будет реабилитирована. Однако коммунизм не поможет справиться с кризисом такого рода. Коммунизм XX века исходил из посылки, что основа экономики – это рабочий класс, и философы, разделявшие эту доктрину, пытались объяснить пролетариату, как конвертировать его громадную экономическую силу в политическое влияние. Коммунистический проект предполагал свершение пролетарской революции. Но что останется от этого учения в условиях, когда массы потеряют свою экономическую значимость и сражаться придется не против эксплуатации, а против ненужности? Как организовать пролетарскую революцию в отсутствие рабочего класса?

Мне возразят, что люди никогда не утратят экономическую значимость: ведь даже если они не смогут конкурировать с искусственным интеллектом за рабочие места, то всегда будут нужны экономике как потребители. Но вовсе не очевидно, что мы понадобимся экономике будущего даже в качестве потребителей.

Почему бы машинам и компьютерам не взять на себя и эту роль? Теоретически можно представить себе экономику, в которой горнопромышленная корпорация добывает железную руду и продает железо корпорации, которая производит роботов, а та, в свою очередь, продает роботов горнопромышленной корпорации, которая добывает еще больше руды, используемой для производства еще большего числа роботов, и так далее. Эти корпорации будут расти и расширяться до дальних рубежей Галактики, и им потребуются только роботы и компьютеры, а люди не будут нужны даже для того, чтобы покупать их товары.

Уже сегодня компьютеры и алгоритмы выступают в роли не только производителей, но и клиентов. Например, на бирже самыми влиятельными покупателями акций, облигаций и товаров оказываются алгоритмы. В рекламном бизнесе главным потребителем становится поисковый алгоритм Google. Разрабатывая веб‑страницы, люди зачастую ориентируются именно на его предпочтения, а не на вкусы того или иного человеческого существа.

Очевидно, что алгоритмы не обладают сознанием, а потому, в отличие от потребителей из числа людей, не способны насладиться покупкой, и на их решения не влияют чувства и эмоции. Поисковый алгоритм Google не может ощутить вкус мороженого. Тем не менее алгоритмы делают выбор на основе вычислений и встроенных предпочтений, и эти предпочтения все заметнее влияют на нашу жизнь. В том, что касается ранжирования веб‑страниц поставщиков мороженого, у поискового алгоритма Google весьма утонченный вкус, и самым успешным продавцом мороженого в мире будет та компания, которую Google поставит на первое место, а вовсе не та, что производит самое вкусное мороженое.

Я знаю это по своему опыту. Когда я публикую книгу, издатели просят меня приложить краткое описание, которое они будут использовать для рекламы в интернете. Но у них есть эксперт, который адаптирует мой текст для соответствия предпочтениям алгоритма Google. Этот человек внимательно читает то, что я написал, и говорит: «Не используйте это слово – замените его вот тем. Так у нас будет больше шансов привлечь внимание поискового алгоритма». Мы знаем, что если сумеем попасть в поле зрения алгоритма, то о числе читателей беспокоиться не придется.

Но если люди не нужны ни в качестве производителей, ни в качестве потребителей, как гарантировать их выживание и психологическое благополучие? Мы не имеем права ждать, пока кризис разразится в полную силу, чтобы потом начать искать ответы. Потом будет слишком поздно. Чтобы противостоять беспрецедентным технологическим и экономическим угрозам XXI века, нужно как можно быстрее создавать новые социальные и экономические модели. Эти модели должны быть направлены на защиту людей, а не профессий. Многие профессии скучны и монотонны, и сохранять их нет никакого смысла: едва ли кто‑то мечтает всю жизнь быть кассиром. Мы должны сосредоточиться на обеспечении базовых потребностей людей, на защите их социального статуса и самооценки.

Одна из новых моделей, которая в последнее время привлекает все больше внимания, – это универсальный базовый доход (УБД). Концепция УБД предполагает, что государство взимает налоги с миллиардеров и корпораций, контролирующих алгоритмы и роботов, и тратит эти средства на выплату каждому человеку пособия, достаточного для удовлетворения базовых потребностей. Бедных это защитит от потери работы и разрушения экономических связей, а богатых – от нападок популистов[32].

Похожая теория предлагает расширить круг занятий, относимых к «труду». Сегодня миллиарды родителей воспитывают детей, соседи помогают друг другу, граждане объединяются в общественные организации, но все это не считается работой. Возможно, нам следует переключить что‑то в своих головах и осознать, что воспитание ребенка – это, пожалуй, самая важная и трудная работа в мире. В этом случае нам не будет угрожать безработица, даже если компьютеры и роботы заменят всех водителей, банкиров и адвокатов. Резонный вопрос: кто будет оценивать этот труд и платить за него? Учитывая, что шестимесячные младенцы вряд ли будут платить жалованье своим матерям, эти расходы, по всей видимости, должно будет взять на себя государство. А поскольку нам хотелось бы, чтобы материнская зарплата покрывала базовые потребности семьи, в результате сложится система, мало чем отличающаяся от универсального базового дохода.

Еще один вариант: государство субсидирует не базовый доход, а универсальные базовые услуги. Вместо того чтобы давать людям деньги, на которые они купят все необходимое, государство может обеспечить им бесплатное образование, здравоохранение, транспортные услуги и так далее. По сути, это коммунистическая утопия. Планы коммунистов, связанные с пролетарской революцией, давно устарели, но, может быть, нам следует двигаться к идеалам коммунизма другим путем?

Никто точно не знает, что лучше: универсальный базовый доход (капиталистический рай) или универсальные базовые услуги (коммунистический рай). У обеих моделей есть свои преимущества и недостатки. Но независимо от того, какой рай кажется вам предпочтительным, главная проблема состоит в определении понятий «универсальный» и «базовый».

Что значит «универсальный»?

Когда речь заходит об универсальном базовом обеспечении – в виде дохода или услуг, – обычно подразумевается государственное базовое обеспечение. До сих пор все инициативы по внедрению УБД ограничивались национальными или муниципальными рамками. В январе 2017 года в Финляндии начался двухлетний эксперимент, в ходе которого 2000 безработных финнов ежемесячно получали по 560 евро, независимо от того, удавалось им найти работу или нет. Похожие эксперименты проводятся в канадской провинции Онтарио, в итальянском городе Ливорно и в нескольких голландских городах[33]. (В 2016 году в Швейцарии прошел референдум о введении национального базового дохода, но граждане проголосовали против этого предложения)[34].

Проблема с подобными государственными или муниципальными моделями заключается в том, что основные жертвы автоматизации чаще всего живут не в Финляндии, Онтарио, Ливорно или Амстердаме. Глобализация привела к тому, что население той или иной страны нередко полностью зависит от рынка сбыта в других странах, но автоматизация разрушает целые сегменты всемирной торговой сети – с катастрофическими последствиями для самых слабых ее участников. В XX веке развивающиеся страны, не имевшие природных ресурсов, развивали свою экономику главным образом за счет продажи дешевой и неквалифицированной рабочей силы. Сегодня миллионы граждан Бангладеш зарабатывают на жизнь тем, что шьют рубашки на продажу потребителям в США, а жители Бангалора трудятся в колл‑центрах, принимая жалобы американских покупателей[35].

Однако с появлением искусственного интеллекта, роботов и 3D‑принтеров дешевый неквалифицированный труд становится ненужным. Вместо того чтобы шить рубашки в Дакке, а затем доставлять их в США через океан, проще купить в интернет‑магазине Amazon программу для 3D‑печати рубашки и изготовить ее в Нью‑Йорке. Магазины Zara и Prada на Пятой авеню сменятся центрами 3D‑печати в Бруклине, и многие американцы, вероятно, предпочтут печатать одежду дома. А вместо того чтобы звонить в клиентскую службу в Бангалоре с жалобой на поломку принтера, вы сможете обсудить неисправность с искусственным интеллектом в облачном сервисе Google (его акцент и тембр голоса будут настроены с учетом ваших предпочтений). Но у оставшихся без работы швей в Дакке и у операторов колл‑центров в Бангалоре не будет необходимого образования, чтобы сменить профессию и стать дизайнерами одежды или программистами. На что они будут жить?

Если искусственный интеллект и 3D‑принтеры действительно вытеснят из сферы производства жителей Бангладеш и Бангалора, доход, который раньше получала Юго‑Восточная Азия, будет оседать на счетах нескольких технологических гигантов из Калифорнии. Вместо экономического роста и улучшения условий жизни во всем мире мы увидим концентрацию огромных богатств в высокотехнологичных хабах вроде Кремниевой долины и разорение многих развивающихся стран.

Конечно, некоторые развивающиеся экономики, включая Индию и Бангладеш, смогут нарастить темпы и присоединиться к странам‑лидерам. Дети и внуки работников текстильных фабрик или операторов колл‑центров станут инженерами и предпринимателями, которые будут создавать собственные компьютеры и 3D‑принтеры, – но на это нужно время. А времени осталось мало. В прошлом дешевый неквалифицированный труд служил мостом через глобальную экономическую пропасть, и, даже если та или иная страна развивалась медленно, у нее оставалась надежда рано или поздно достичь приемлемого уровня жизни. Шаги в верном направлении были важнее скорости движения. Но теперь мост шатается и очень скоро может рухнуть. С теми, кто уже преодолел пропасть между дешевым трудом и высокотехнологичными отраслями, вероятно, все будет в порядке. Но отстающие так и останутся на другой стороне этой пропасти без каких бы то ни было шансов через нее перебраться. Что делать в ситуации, когда ваша дешевая неквалифицированная рабочая сила никому не нужна, а у вас нет ресурсов, чтобы создать качественную систему образования и обучить людей новым навыкам?[36]

Какая судьба ждет отстающих? Возможно, американские избиратели не будут возражать против того, чтобы налоги Amazon и Google от их бизнеса в США пошли на пособия или бесплатные услуги оставшимся без работы шахтерам Пенсильвании или таксистам Нью‑Йорка. Но согласятся ли граждане США направить свои налоги на поддержку безработных в тех странах, которые президент Трамп назвал «вонючими дырами»[37]? С тем же успехом можно рассчитывать на то, что проблему решит Санта‑Клаус или пасхальный заяц.

Что значит «базовый»?

Универсальное базовое обеспечение предназначено для удовлетворения базовых потребностей человека, но у нас нет общепринятого определения этого термина. С чисто биологической точки зрения человеку для выживания требуется 1500–2500 Ккал в день. Все, что превышает эту норму, можно считать роскошью. Однако каждая культура в истории человечества определила для себя дополнительные потребности, назвав их «базовыми», хотя они и выходили за пределы минимальной нормы. В средневековой Европе доступ к богослужениям в церкви считался важнее пищи – это была забота о бессмертной душе, а не о бренном теле. В современной Европе в число базовых человеческих потребностей входят достойное образование и услуги здравоохранения, а некоторые даже утверждают, что теперь для всех мужчин, женщин и детей жизненно необходим доступ в интернет. Если в 2050 году «объединенное мировое правительство» согласится обложить налогами Amazon, Baidu и Tencent, чтобы обеспечить базовую поддержку всем людям на земле – не только в Детройте, но и в Дакке, – какой смысл они будут вкладывать в слово «базовые»?

Например, что должно включать базовое образование: обучение только чтению и письму или также программированию и игре на скрипке? Шесть лет начальной школы – или дальнейшие ступени, вплоть до докторантуры? А как насчет здравоохранения? Если к 2050 году достижения медицины позволят замедлить процессы старения и значительно продлить человеческую жизнь, будут эти услуги доступны всем 10 миллиардам жителей планеты – или только горстке миллиардеров? Если с помощью биотехнологий родители смогут совершенствовать детей, будет ли это относиться к базовым потребностям человека – или мы увидим расслоение человечества на разные биологические касты, когда у богатых суперлюдей появятся способности, намного превосходящие таланты бедных Homo sapiens?

Независимо от того, что мы понимаем под базовыми человеческими потребностями, как только все получат возможность бесплатно их удовлетворять, базовое обеспечение станет восприниматься как норма, а жесткая социальная конкуренция и политическая борьба сместятся в сферу роскоши. Это будут, например, беспилотные автомобили, доступ к паркам виртуальной реальности или возможность совершенствовать свое тело с помощью биоинженерии. Однако если безработные массы будут отстранены от управления экономическими активами, трудно представить себе, как они смогут получить доступ к подобной роскоши. А значит, пропасть между богатыми (руководителями Tencent и акционерами Google) и бедными (теми, кто зависит от УБД) станет практически непреодолимой.

Таким образом, даже если в 2050 году система универсального базового обеспечения позволит людям получать более качественные, чем сегодня, образовательные и медицинские услуги, недовольство всеобщим неравенством и отсутствием социальной мобильности не исчезнет. Люди будут считать, что система их обманывает, что правительство служит только сверхбогатым и что в будущем положение их самих и их детей только ухудшится[38].

Homo sapiens просто не создан для удовлетворенности. Счастье человека зависит не столько от объективных условий, сколько от его ожиданий. Однако ожидания часто подстраиваются к обстоятельствам, в том числе к обстоятельствам других людей.

Когда жизнь становится лучше, ожидания растут быстрее, и даже значительное улучшение условий может оставить нас такими же неудовлетворенными, как и прежде. Если цель универсального базового обеспечения – улучшение объективных условий жизни среднего человека к 2050 году, у такой стратегии неплохие шансы на успех. Но если цель – сделать так, чтобы люди были все более удовлетворены своей жизнью, а социальное неравенство уменьшалось, то из этого, скорее всего, ничего не выйдет.

Для достижения этих целей универсальное базовое обеспечение должно быть дополнено осмысленной деятельностью, от спорта до религии. Возможно, самый успешный на сегодняшний день эксперимент по достижению удовлетворенности жизнью в обществе посттруда поставлен в Израиле. В этой стране около 50 % мужчин из числа ультраортодоксальных евреев не работают. Они посвящают жизнь изучению священных книг и исполнению религиозных обрядов. Но они и их семьи не голодают: отчасти потому, что работают их жены, отчасти благодаря щедрому государственному пособию и бесплатным услугам, покрывающим их базовые потребности. Это некий прообраз универсального базового обеспечения[39].

Все исследования показывают, что, несмотря на бедность и отсутствие работы, ортодоксальные евреи неизменно демонстрируют более высокий по сравнению с другими слоями израильского общества уровень удовлетворенности жизнью. Причиной тому крепкие связи внутри общины, а также глубокий смысл, который они находят в изучении священных текстов и исполнении религиозных обрядов. В маленькой комнате, где еврейские мужчины обсуждают Талмуд, царит больше радости, подъема и внезапных озарений, чем в огромном цехе на текстильной фабрике, где не покладая рук трудятся рабочие. В глобальных исследованиях удовлетворенности жизнью Израиль обычно занимает верхние строчки – именно благодаря вкладу этих бедных и безработных людей[40].

Светские израильтяне часто жалуются, что ультраортодоксы вносят недостаточный вклад в развитие общества и живут за счет тяжелого труда других. Светские израильтяне склонны считать образ жизни ультраортодоксов неприемлемым, особенно учитывая тот факт, что ультраортодоксальные семьи в среднем воспитывают семерых детей[41]. Рано или поздно государство больше не сможет материально обеспечивать такое число безработных, и ультраортодоксам придется пойти работать. Но вероятен и противоположный сценарий. По мере того как искусственный интеллект и роботы будут вытеснять людей с рынка труда, на ортодоксальных евреев начнут смотреть как на модель будущего, а не как на пережиток прошлого. Это не значит, что все станут ортодоксальными евреями и отправятся в иешивы изучать Талмуд. Просто поиски смысла жизни и единомышленников заменят людям поиск работы.

Если мы сумеем соединить всеобщую экономическую безопасность с развитием общественной жизни и содержательной деятельностью, то передача работы алгоритмам может стать настоящим благословением. Но возможен и другой сценарий – потеря контроля над своей жизнью. Несмотря на опасность массовой безработицы, гораздо большее беспокойство должен вызывать переход власти от людей к алгоритмам, способный разрушить остатки веры в либеральную концепцию и открыть путь к появлению цифровых диктатур.

Свобода

Алгоритмы следят за тобой

В либеральной концепции свобода человека считается наивысшей ценностью. Сторонники либерализма утверждают, что в конечном счете источником любой власти служит свободная воля отдельных людей, выраженная в их чувствах, желаниях и выборе. В политике либерализм полагается на мнение избирателя и поэтому поддерживает демократические выборы. В экономике либерализм руководствуется принципом «клиент всегда прав» и превозносит принципы свободного рынка. В частной жизни либерализм призывает человека прислушиваться к себе, быть честным с собой и следовать велению сердца – до тех пор, пока он не посягает на свободу других. Эта личная свобода закреплена в правах человека.

Термин «либеральный» иногда используется в более узком смысле, как противоположность понятию «консервативный». Однако многие так называемые консерваторы тоже придерживаются принципов либерализма. Проверьте себя. Считаете ли вы, что люди должны выбирать правительство, а не слепо повиноваться монарху? Считаете ли вы, что люди должны сами выбирать себе профессию, а не оставаться в касте, к которой принадлежат по рождению? Считаете ли вы, что люди должны сами выбирать себе супруга, а не вступать в брак с тем, на кого указали родители? Если на все три вопроса вы ответили «да», примите мои поздравления: вы либерал.

Примечательно, что такие иконы консерватизма, как Рональд Рейган и Маргарет Тэтчер, были убежденными защитниками не только экономических, но и личных свобод. В 1987 году в своем знаменитом интервью Тэтчер сказала: «Общества как такового не существует. Есть только живая ткань из мужчин и женщин… и качество нашей жизни будет зависеть от того, насколько каждый из нас готов за себя отвечать»[42].

Наследники Тэтчер из партии консерваторов полностью согласны с лейбористами в том, что политическая власть проистекает из чувств, выбора и свободной воли отдельных избирателей. Когда Великобритания оказалась перед выбором, выходить из ЕС или нет, премьер‑министр Дэвид Кэмерон не обращался за ответом к королеве Елизавете II, архиепископу Кентерберийскому или к ученым мужам из Оксфорда и Кембриджа. Он даже не обращался к членам парламента. Премьер‑министр назначил референдум, и каждому британцу был задан вопрос: «Что вы чувствуете?»

Вы возразите, что людей спрашивали: «Как вы думаете?», а не «Что вы чувствуете?» – но это распространенная ошибка восприятия. На референдумах и выборах исход всегда зависит от чувств людей, а не от их рациональных размышлений. Если бы демократия требовала рационального принятия решений, не было бы никакого резона давать людям равные избирательные права – или вообще хоть какие‑то избирательные права. Существует масса свидетельств того, что одни люди гораздо лучше информированы и более способны к рациональному мышлению, чем другие, особенно когда дело касается конкретных экономических и политических вопросов[43]. После референдума по Брекзиту выдающийся биолог Ричард Докинз высказал мнение, что подавляющее большинство британцев – включая его самого – не должны были голосовать на референдуме, поскольку не обладали необходимыми знаниями в области экономики и политики. «С тем же успехом можно организовать национальный плебисцит, чтобы решить, верны ли выкладки Эйнштейна, или позволить пассажирам голосовать, на какую полосу пилот должен посадить самолет»[44].

Хорошо это или плохо, но выборы и референдумы выявляют не мысли, а чувства людей. А в том, что касается чувств, Эйнштейн и Докинз ничем не лучше любого другого человека. Демократия предполагает, что наши чувства отражают загадочную и глубокую «свободу воли», что эта «свобода воли» – главный источник власти и что, хотя некоторые люди умнее других, все они одинаково свободны. Неграмотная горничная обладает такой же свободой воли, как Эйнштейн и Докинз, и в день голосования ее чувства, выраженные в сделанном ею выборе, обладают таким же весом, как и чувства всех остальных.

Чувствами руководствуются не только избиратели, но и политические лидеры. В 2016 году в процессе подготовки референдума по Брекзиту кампанию за выход из ЕС возглавляли Борис Джонсон и Майкл Гоув. После отставки Дэвида Кэмерона Гоув поначалу поддерживал кандидатуру Джонсона, но в последний момент заявил, что тот не подходит для должности премьер‑министра, и объявил о намерении самому бороться за этот пост. Действия Гоува, лишившие Джонсона шансов стать главой кабинета, были расценены как политическое убийство в стиле Макиавелли[45]. Но Гоув оправдывал свой поступок чувствами, объясняя: «Перед каждым шагом в своей политической жизни я задавал себе вопрос: „Как я должен поступить? Что мне подсказывает сердце?“»[46] Вот почему, если верить Гоуву, он так яростно сражался за Брекзит, а затем счел необходимым нанести удар в спину своему верному союзнику Борису Джонсону, чтобы самому претендовать на статус альфа‑самца: так подсказывало ему сердце.

Возможно, именно эта зависимость от веления сердца – ахиллесова пята либеральной демократии. Если кто‑то (неважно, в Пекине или в Сан‑Франциско) получит технологическую возможность «проникать в человеческое сердце» и манипулировать им, демократическая политика превратится в театр эмоциональных марионеток.

Прислушивайтесь к алгоритму

Либеральная вера в чувства и свободный выбор индивидов не являются ни естественными, ни древними. Тысячелетиями люди верили, что источник власти – божественные законы, а не человеческое сердце, а потому нужно благословлять слово Божие, а не свободу человека. Только в последние несколько веков источник власти переместился от богов, обитающих на небесах, к людям из плоти и крови.

Вскоре мы снова можем стать свидетелями передачи власти – но уже от людей к алгоритмам. Точно так же, как легитимацией божественной власти служила религиозная мифология, а власти людей – либеральная концепция, грядущая технологическая революция утвердит власть алгоритмов Big Data, подорвав саму идею индивидуальной свободы.

Как я уже отмечал в предыдущей главе, научные исследования функционирования нашего мозга и тела указывают на то, что чувства не являются уникальным духовным качеством человека и следствием «свободы воли». Скорее чувства представляют собой биохимические механизмы, которые используют все млекопитающие и птицы для быстрого вычисления шансов на выживание и продолжение рода. Чувства основаны не на интуиции, вдохновении или свободе – в их основе лежат вычисления.

Когда обезьяна, мышь или человек видит змею, чувство страха возникает из‑за того, что миллионы нейронов в мозгу быстро обрабатывают соответствующие данные и приходят к заключению, что вероятность гибели велика. Чувство полового влечения возникает тогда, когда другие биохимические алгоритмы вычисляют, что находящийся рядом индивид обещает высокую вероятность успешного партнерства, социальных связей или какую‑либо другую желанную цель. Нравственные чувства, такие как негодование, вина или прощение, обусловлены нейронными механизмами, отвечающими за групповое сотрудничество. Все эти биохимические алгоритмы совершенствовались миллионами лет эволюции. Если чувства одного из наших древних предков приводили к фатальной ошибке, то гены, сформировавшие эти чувства, не передавались следующему поколению. Таким образом, чувства не противоположны рациональности – они суть воплощение эволюционной рациональности.

Нам непросто осознать, что наши чувства представляют собой результат вычислений, поскольку быстрый вычислительный процесс протекает далеко за порогом нашего сознания. Мы не ощущаем, как миллионы нейронов мозга просчитывают вероятности выживания и продолжения рода, и поэтому ошибочно полагаем, что боязнь змей, выбор полового партнера или отношение к Евросоюзу определяются некой таинственной «свободой воли».

Теоретики либерализма ошибаются, полагая, что наши чувства отражают свободу воли, однако вплоть до недавнего времени руководствоваться чувствами было вполне разумно. В наших чувствах нет никакой магии, и все же именно они лучше всего помогают понять, чему нам учиться, на ком жениться, за какую партию голосовать. Никакая внешняя по отношению ко мне система никогда не поймет мои чувства лучше, чем я сам. Даже если бы испанская инквизиция или советский КГБ следили за мной каждую минуту каждого дня, у них не хватило бы биологических знаний и вычислительных мощностей, чтобы вмешаться в процессы, определяющие мои желания и мой выбор. С практической точки зрения было разумно считать, что мы обладаем свободой воли, потому что наша воля определяется в основном взаимодействием внутренних сил, невидимых снаружи. Я могу наслаждаться иллюзией контроля над своим внутренним миром, тогда как внешние наблюдатели никогда не поймут, что происходит у меня в мозгу и как я принимаю решения.

Так что либералы правы, когда советуют людям поступать по велению сердца, а не подчиняться диктату священника или партийного аппаратчика. Но по мере того как на место испанской инквизиции и КГБ будут заступать Google и Baidu, «свобода воли», скорее всего, превратится в миф, и тогда либерализм может лишиться своих практических преимуществ.

На наших глазах происходит слияние двух масштабных революций. Биологи проникают в тайны человеческого тела, мозга и чувств. Одновременно специалисты в области вычислительных систем открывают беспрецедентные возможности обработки данных. Когда биотехнологическая революция сольется с революцией в ИТ, появятся алгоритмы Big Data, способные следить за нашими чувствами и понимать их гораздо лучше, чем мы. И тогда власть перейдет от людей к компьютерам. Иллюзия свободы воли, скорее всего, развеется, если я каждый день буду сталкиваться с институтами, корпорациями и госучреждениями, которые манипулируют тем, что я до недавних пор считал своим внутренним миром, недоступным для других.

Для краткости воспользуемся следующей формулой:

б × в × д = ввч, где

б – биологическое знание,

в – вычислительная мощность,

д – объем данных.

Их произведение – ввч – возможность взломать человека.

Мы уже видим, как это работает в медицине. Самые важные медицинские решения опираются не на наше самочувствие, и даже не на компетентные прогнозы врача, а на вычисления компьютера, который понимает наше тело лучше, чем мы. Через несколько десятилетий алгоритмы больших данных, обрабатывающие непрерывный поток биометрической информации, смогут следить за нашим здоровьем ежедневно, 24 часа в сутки. Они выявят грипп, рак или болезнь Альцгеймера на самой ранней стадии – задолго до того, как мы почувствуем, что с нами что‑то не так. Затем они порекомендуют необходимое лечение, диету и режим, разработанные с учетом наших физических данных, ДНК и особенностей личности.

Люди получат лучшее здравоохранение в истории, но именно поэтому они, вероятно, будут постоянно болеть. В нашем организме всегда есть неполадки и всегда есть что улучшить. В прошлом человек ощущал себя совершенно здоровым, пока не чувствовал боль или не начинал страдать от нарушения каких‑то функций, например от хромоты. Но к 2050 году благодаря биометрическим датчикам и алгоритмам больших данных болезни будут диагностироваться и лечиться задолго до появления боли или нарушения функций. В результате вы всегда будете считаться «больным» и выполнять те или иные рекомендации алгоритма. А отказавшись лечиться, вы можете лишиться страховки или даже работы – зачем работодателю платить за ваше упрямство?

Одно дело – не отказываться от сигарет, несмотря на статистические данные, связывающие курение с раком легких. Совсем другое – продолжать курить, вопреки категорическому предупреждению биометрического датчика, который обнаружил в верхней доле левого легкого 17 раковых клеток. А если вы решите проигнорировать предупреждение, что будет, когда датчик сообщит информацию вашей страховой фирме, вашему начальнику и вашей матери?

Но где взять время и силы, чтобы бороться со всеми этими болезнями? Скорее всего, мы научимся так программировать следящий за нашим здоровьем алгоритм, чтобы он сам справлялся с большинством выявленных проблем. В идеале он будет периодически слать отчеты нам на смартфон, сообщая, что «обнаружены и уничтожены 17 раковых клеток». Ипохондрики, конечно, расстроятся, но большинство людей просто проигнорируют эти сообщения точно так же, как сегодня мы игнорируем сообщения антивирусной программы на компьютере.

Драматизм принятия решений

То, что уже происходит в медицине, по всей видимости, будет распространяться и на другие сферы человеческой деятельности. Главное изобретение – биометрический датчик на поверхности или внутри тела, который преобразует биологические процессы в электронную информацию для компьютерной обработки и хранения. Достаточное количество информации и достаточная вычислительная мощность позволят внешним системам обработки данных вызнать все о ваших желаниях, решениях и мнениях. Они смогут точно определить, кто вы.

Большинство людей плохо себя знает. Я сам только в 21 год, после нескольких лет отрицания, наконец понял, что я гей. И мой случай не исключение. В подростковом возрасте многие геи сомневаются в своей сексуальной ориентации. Теперь представьте себе ситуацию: в 2050 году алгоритм точно подскажет подростку, в какой части спектра ориентации (гомосексуальной или гетеросексуальной) он находится и насколько гибка эта позиция. Возможно, алгоритм покажет вам фотографии или видео привлекательных мужчин и женщин, проследит за движением ваших глаз, кровяным давлением и активностью мозга, и уже через пять минут определит ваше положение на шкале Кинси[47]. Подобное изобретение могло бы избавить меня от нескольких лет фрустрации. Возможно, сами вы не испытываете желания проходить такой тест, но однажды на чьем‑нибудь дне рождения кто‑то из друзей предложит всем проверить себя с помощью нового крутого алгоритма (а все остальные будут стоять и смотреть, комментируя результаты). Вы откажетесь и уйдете?

Но даже если вы скрываете свою сексуальную ориентацию от себя и друзей, у вас не получится скрыть ее от Amazon, Alibaba или тайной полиции. Пока вы бродите по интернету, смотрите YouTube или листаете социальные сети, алгоритмы будут внимательно следить за вами, изучать вас и сообщать компании Coca‑Cola, что, если она хочет продавать вам свои напитки, ей лучше использовать рекламу с полуобнаженным парнем, а не с полуобнаженной девушкой. Сами вы об этом даже не узнаете. Но они – будут знать, и ценность такой информации будет исчисляться миллиардами.

С другой стороны, нельзя исключить, что люди сами будут с готовностью делиться личными данными, чтобы получать наилучшие рекомендации, а то и вовсе просить алгоритм принимать решения вместо них. Начнется все с самого простого, например с выбора фильма для просмотра. Когда вы усаживаетесь с друзьями перед телевизором, сначала нужно решить, что все будут смотреть. Полвека назад у вас не было выбора, но сегодня, с развитием интерактивного телевидения, в вашем распоряжении – тысячи названий. Договориться непросто, потому что вы, например, любите научно‑фантастические триллеры, Джек предпочитает романтические комедии, а Джилл обожает французский артхаус. В итоге компромиссом станет, скорее всего, бездарный малобюджетный фильм, который разочарует всех.

В подобной ситуации на помощь придет алгоритм. Вы сообщите ему, какие из ранее просмотренных фильмов понравились каждому из вас, и он, покопавшись в огромной базе данных, найдет идеальное решение для всей группы. К сожалению, слишком грубый алгоритм может ошибиться, особенно из‑за того, что сведения, которые люди сообщают о себе, не всегда точно отражают их истинные предпочтения. Например, мы слышим, как многие хвалят фильм, называя его шедевром, чувствуем себя обязанными его посмотреть, засыпаем на середине, но все равно говорим, что восхищены, не желая выглядеть профанами[48].

Такого рода проблемы легко решить, если просто позволить алгоритму не полагаться на наши сомнительные самоотчеты, а собирать данные о нас в реальном времени, во время просмотра фильмов. Для начала алгоритм просто запомнит, какие фильмы мы досмотрели до конца, а какие бросили на середине. Даже если мы говорим всем и каждому, что «Унесенные ветром» – лучший из когда‑либо снятых фильмов, алгоритм будет знать, что мы ни разу не продержались больше получаса и никогда не видели горящей Атланты.

Но алгоритм способен и на более глубокий анализ. В настоящее время разрабатывается программное обеспечение, умеющее распознавать эмоции человека по движению глаз и лицевых мышц[49]. Дополните телевизор хорошей камерой, и программа будет знать, какие сцены заставляют вас смеяться, какие вызывают грусть, а какие скуку. Затем предоставьте алгоритму доступ к показаниям биометрических датчиков, и он определит, как разные кадры влияют на частоту сокращений вашего сердца, на кровяное давление и активность мозга. Когда, например, мы смотрим «Криминальное чтиво» Тарантино, алгоритм может отметить, что сцена изнасилования вызывает у нас едва заметный импульс сексуального возбуждения, что случайный выстрел Винсента в лицо Марвину заставляет нас виновато рассмеяться, а шутку про бургер мы вообще не поняли – но все равно засмеялись, просто чтобы не выглядеть глупо. Когда вы заставляете себя смеяться, работают не те цепи нейронов в мозгу и не те лицевые мышцы, которые приходят в действие при искреннем смехе. Люди, как правило, не видят этих различий – но алгоритм их улавливает[50].

Слово «телевизор» образовано от греческого корня tele, что означает «далеко», и латинского visio – «вижу». Изначально это было устройство, которое позволяло нам видеть издалека. Но вскоре с его помощью издалека будут видеть нас. Как предсказывал Джордж Оруэлл в романе «1984», телевизор будет наблюдать за нами, пока мы его смотрим. Возможно, мы быстро забудем все фильмы Тарантино. Но Netflix, Amazon или любой другой владелец телевизионного алгоритма не забудет, какой у нас тип личности и как управлять нашими эмоциями. Такие данные позволят им не только с невероятной точностью выбирать для нас фильмы, но и принимать за нас самые важные решения в жизни – чему учиться, где работать, на ком жениться.

Разумеется, иногда Amazon будет ошибаться. Это неизбежно. Ошибки будут возникать из‑за недостатка данных, несовершенства программы, нечетко поставленных целей и хаотичного характера самой жизни[51]. Но программа Amazon и не должна быть идеальной. Достаточно, чтобы в среднем алгоритм превосходил человека. А это не так уж трудно, потому что большинство людей плохо себя знают и, принимая самые важные в своей жизни решения, совершают ужасные ошибки. Люди страдают от недостатка данных, несовершенства программы (генетической и культурной), нечетких определений и хаоса жизни намного больше алгоритмов.

Можно перечислить множество проблем, с которыми сталкиваются алгоритмы, и прийти к выводу, что люди никогда не будут им доверять. Но это сродни составлению списка недостатков демократии с последующим заключением, что ни один здравомыслящий человек не поддержит такую систему. Широко известны слова Уинстона Черчилля о том, что демократия – худшая политическая система, если не считать всех остальных. Люди могут прийти к таким же выводам (справедливым или не очень) об алгоритмах больших данных: у них масса недостатков, но лучшей альтернативы у нас нет.

Ученые все яснее понимают природу процессов, связанных с принятием человеком решений, и соблазн довериться алгоритмам, скорее всего, будет усиливаться. Знания о процессе принятия решений мозгом не только повысят надежность алгоритмов больших данных, но и сделают менее надежными человеческие чувства. Когда правительства и корпорации взломают операционную систему человека, на нас обрушится шквал точно выверенных манипуляций, рекламы и пропаганды. Манипулировать нашим мнением и эмоциями станет так легко, что мы будем вынуждены довериться алгоритмам – подобно тому, как пилот самолета, у которого закружилась голова, должен игнорировать свои ощущения и довериться приборам и автоматике.

В ряде стран и в некоторых ситуациях у людей, возможно, просто не останется выбора: им придется подчиняться решениям алгоритмов больших данных. Но алгоритмы могут захватить власть даже в предположительно свободных обществах, поскольку мы на личном опыте научимся доверять им все больше и больше дел, постепенно утрачивая способность самостоятельно принимать решения. Задумайтесь: всего за два десятка лет миллиарды людей научились доверять алгоритму Google решение одной из самых важных задач: поиска достоверной информации. Мы больше не ищем информацию – мы «гуглим». И пока мы раз за разом полагаемся на Google, наша способность к самостоятельному поиску информации ослабевает. Уже сегодня «правдой» считается то, что попадает в верхние строки поисковой выдачи Google[52].

Нечто подобное происходит и с физическими возможностями, в частности с ориентацией на местности. Люди спрашивают дорогу у Google. Например, интуиция подсказывает водителю повернуть на перекрестке налево, но навигатор в Google Maps говорит: «Поверните направо». Поначалу водитель прислушивается к интуиции, поворачивает налево, попадает в пробку и пропускает важную встречу. В следующий раз он следует указанию Google, поворачивает направо и приезжает вовремя. Опыт приучает его доверять Google. Через год или два он уже слепо выполняет любые рекомендации Google Maps, а при поломке смартфона становится совершенно беспомощным.

В марте 2012 года в Австралии три японских туриста решили осмотреть маленький остров недалеко от берега и заехали на машине прямо в Тихий океан. Водитель, двадцатиоднолетний Юдзу Нода, впоследствии объяснил, что просто следовал указаниям системы GPS: «Она сказала нам, что мы можем ехать прямо туда. Навигатор говорил, что покажет нам дорогу. Мы чуть не утонули»[53]. В нескольких аналогичных случаях люди въезжали в озеро или падали с разрушенного моста – вероятно, следуя инструкциям GPS‑навигатора[54]. Способность ориентироваться в пространстве подобна мышце – без тренировки она атрофируется[55]. То же относится и к способности выбирать супруга или профессию.

Каждый год миллионам юношей и девушек приходится выбирать, какие предметы изучать в университете. Это очень важное и очень непростое решение. Вы испытываете давление родителей, друзей и преподавателей, у каждого из которых свой интерес и свое мнение. А у вас собственные страхи и фантазии. На ваше решение влияют голливудские блокбастеры, низкопробные романы и изощренные рекламные кампании. Разумное решение особенно трудно принять еще и потому, что вы не знаете, что требуется для успеха в разных профессиях, и у вас не всегда реалистичные представления о своих достоинствах и недостатках. Что нужно, чтобы стать успешным адвокатом? Как я буду реагировать на стресс? Получится ли у меня работать в команде?

Допустим, студентка выбирает юридический факультет, неверно оценив свои способности и имея искаженное представление о работе юриста (которая не сводится к прочувствованным речам и выкрикам: «Возражаю, ваша честь!»). А ее подруга полна решимости осуществить детскую мечту и стать профессиональной балериной, несмотря на неподходящее телосложение или трудности с самодисциплиной. По прошествии многих лет обе будут горько сожалеть о сделанном выборе. В будущем в подобных случаях мы сможем опереться на Google. Алгоритм подскажет, что я зря потрачу время на юридическом факультете или в балетной школе, но стану успешным (и очень счастливым) психологом или водопроводчиком[56].

Когда искусственный интеллект начнет принимать оптимальные решения о выборе карьеры (а возможно, и об отношениях с другими людьми), наше представление о человеческой природе и о жизни должно будет измениться. Люди обычно думают, что жизнь – это драма принятия решений. Либеральная демократия и капитализм со свободным рынком рассматривают индивида как независимого агента, постоянно принимающего решения, касающиеся окружающего мира. Произведения искусства – будь то пьесы Шекспира, романы Джейн Остин или пошлые голливудские комедии – обычно фокусируются на герое, который должен сделать непростой выбор. Быть или не быть? Последовать совету жены и убить короля Дункана – или прислушаться к голосу совести и пощадить его? Выйти замуж за мистера Коллинза или за мистера Дарси? В фокусе и христианской, и исламской теологии находится драма принятия решения: спасение души зависит от правильного выбора.

Что случится с подобным взглядом на жизнь, если мы будем все больше полагаться на искусственный интеллект, предоставляя ему право решать за нас? Сегодня мы доверяем Netflix выбирать для нас фильмы и спрашиваем у Google Maps, куда поворачивать. Но как только мы начнем полагаться на искусственный интеллект в выборе образования, места работы и супруга, человеческая жизнь перестанет быть драмой принятия решений. Демократические выборы и свободный рынок потеряют смысл – а с ними и большинство религий и произведений искусства. Представьте себе, что Анна Каренина достает смартфон и спрашивает алгоритм Facebook, что ей делать: остаться с Карениным или сбежать с красавцем графом Вронским. Или вообразите пьесу Шекспира, в которой жизненно важные решения принимает алгоритм Google. Несомненно, жизнь Гамлета и Макбета стала бы более комфортной – но на что она стала бы похожа? Есть ли у нас модель, позволяющая наполнить такую жизнь смыслом?

По мере того как власть будет переходить от людей к алгоритмам, наш мир перестанет быть местом, в котором действуют независимые индивиды, стремящиеся сделать правильный выбор. Вместо этого мы будем воспринимать Вселенную в виде потока данных, а организмы – в виде биохимических алгоритмов, и верить, что космическая миссия человечества заключается в создании всеобъемлющей системы обработки данных и последующем слиянии с ней. Уже сегодня мы превращаемся в крошечные элементы внутри гигантской системы обработки данных, которую никто до конца не понимает. Каждый день я получаю поток битов информации из электронной почты, твитов и статей. На самом деле я не знаю, каково мое место в этой гигантской структуре и как мои биты данных связаны с другими, исходящими от миллиардов других людей и компьютеров. И у меня нет времени это выяснять, поскольку я занят отправкой ответов на электронные письма.

Философствующий автомобиль

Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.

Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм?[57]

Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам)[58]. До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.

Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.

Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу[59].

Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.

К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из‑за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.

Подобный разрыв между семинарией и дорогой – одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители – в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы‑1», которого иногда называют лучшим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры.

В отличие от людей компьютерные алгоритмы не проходили через естественный отбор, и у них нет ни эмоций, ни врожденных инстинктов. Поэтому в критические моменты они способны следовать этическим рекомендациям более четко, чем люди, – при условии, что мы сумеем перевести этику на язык точных цифр и статистики. Если бы Кант, Милль и Ролз умели программировать, они в тиши своих кабинетов написали бы программу для беспилотного автомобиля, чтобы на шоссе он в точности выполнял их указания. И тогда каждым автомобилем управлял бы алгоритм, состоящий одновременно из Михаэля Шумахера и Иммануила Канта.

Если вы запрограммируете беспилотный автомобиль, чтобы он останавливался и помогал попавшим в беду незнакомцам, он будет беспрекословно выполнять эту программу. Если ваш беспилотный автомобиль запрограммирован сворачивать на встречную полосу, чтобы спасти выскочивших на дорогу детей, можно не сомневаться, что он это сделает. А это значит, что при проектировании беспилотного автомобиля Toyota или Tesla теоретическая проблема философской этики превращается в практическую инженерную задачу.

Разумеется, философские алгоритмы никогда не будут идеальными. Ошибки неизбежны, и они будут приводить к травмам, смертям и крайне запутанным судебным разбирательствам. (Впервые в истории у вас появится возможность подать в суд на философа за пагубные последствия его учения, потому что впервые в истории вы сможете доказать прямую причинно‑следственную связь между философскими идеями и реальными событиями.) Однако для победы над водителями из плоти и крови алгоритмам вовсе не требуется совершенство. Достаточно просто быть лучше людей. Учитывая, что каждый год водители убивают на дорогах больше миллиона человек, это не такая уж трудная задача. Что вы предпочтете: чтобы следующим за вами автомобилем управлял пьяный подросток – или команда в составе Шумахера и Канта?[60]

Та же логика применима не только к управлению автомобилем, но и ко многим другим ситуациям. Возьмем, например, заявления о приеме на работу. В XXI веке решение о том, нанимать кандидата на должность или нет, все чаще будут принимать алгоритмы. Мы не можем доверить компьютеру устанавливать этические стандарты – для этого по‑прежнему нужны люди. Но когда решение о том или ином этическом стандарте (например, о запрете дискриминации чернокожих или женщин) на рынке труда уже принято, мы вправе рассчитывать, что компьютеры будут внедрять и соблюдать эти стандарты лучше людей[61].

Менеджер из плоти и крови знает, что дискриминация чернокожих и женщин противоречит требованиям этики, и даже соглашается с этим, но, когда к нему на собеседование приходит чернокожая женщина, он подсознательно принимает решение отказать ей в приеме на работу. Поручив рассматривать заявления компьютеру, мы можем быть абсолютно уверены, что он проигнорирует такие факторы, как цвет кожи и пол, поскольку у компьютеров отсутствует подсознание. Конечно, будет нелегко написать программу для оценки кандидатов на ту или иную должность, и сохранится опасность, что программисты перенесут в алгоритм свои подсознательные предубеждения[62]. Но эти ошибки всегда можно выявить, а исправить программное обеспечение гораздо проще, чем избавить людей от расистских и мизогинных предрассудков.

Мы показали, что развитие искусственного интеллекта может вытеснить с рынка труда многих людей – в том числе водителей и дорожную полицию (когда непредсказуемых водителей сменят законопослушные алгоритмы, дорожная полиция станет ненужной). Но при этом появятся новые рабочие места для философов, поскольку на их навыки, ранее не имевшие рыночной ценности, внезапно возникнет повышенный спрос. Так что если вы хотите изучать то, что позволит вам в будущем получить хорошую работу, возможно, философия – не самый плохой выбор.

Разумеется, философы редко соглашаются друг с другом в том, какое поведение считать этичным, а какое нет. Лишь немногие решения «проблемы вагонетки» удовлетворили всех философов, а мнение таких сторонников консеквенциализма, как Джон Стюарт Милль (он оценивал поступки по их последствиям), прямо противоположно мнению сторонников деонтологии, к которым принадлежал Иммануил Кант (он оценивал поступки по отношению к абсолютным законам). Должна ли компания Tesla, чтобы продолжать выпускать автомобили, занять в этом запутанном вопросе определенную позицию?

Возможно, Tesla предоставит выбор рынку. Скажем, компания выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все возможное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большинство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав.

Это не шутка. В исследовании, проведенном в 2015 году, испытуемым предлагали гипотетический сценарий, по которому беспилотный автомобиль вот‑вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спасать пешеходов даже ценой жизни владельца. Но когда их спросили, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответили отрицательно. Для себя они предпочли бы модель «Эгоист»[63].

Представьте себе ситуацию: вы купили новую машину, но перед тем, как сесть за руль, должны открыть меню настроек и проставить галочки напротив нескольких опций. Что должна делать машина в случае неизбежной дорожной аварии: жертвовать вами или убивать семью в другом автомобиле? Вообразите себе сцену: вы с супругом сидите и обсуждаете, где поставить галочку.

Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязательную для всех беспилотных автомобилей? Вне всяких сомнений, некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда. Других такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правоприменения служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахованных от ошибок политиков будут действовать с такой же непреложностью, как закон всемирного тяготения?

Цифровые диктатуры

Страх людей перед искусственным интеллектом часто обусловлен неверием в то, что он не выйдет из‑под их контроля. Мы видели много научно‑фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспрекословно слушаться хозяев и никогда не восстанут.

Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий использование роботов позволит впервые в истории обеспечить соблюдение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать – в нарушение этих законов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомневаться, что они всегда будут следовать уставу и ни при каких обстоятельствах не пойдут на поводу у страха или ненависти[64].

16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции[65]. Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.

Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенности своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с роботами заключается не в их искусственном интеллекте, а в естественной глупости и жестокости их хозяев.

В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией – элементом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман[66]. Если бы в 1995 году у боснийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выполнил бы любой полученный приказ, не пощадив ни одного ребенка боснийских мусульман из чувства сострадания, отвращения или просто из лени.

Безжалостному диктатору, командующему боевыми роботами, не надо бояться, что «солдаты» обратят оружие против него самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Великую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империалистическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его «солдаты» утратят мотивацию или что их семьи выйдут на акции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продолжаться еще много лет, потому что американскому правительству не пришлось бы волноваться из‑за деморализации в армии, массовых антивоенных демонстраций или движения «роботы‑ветераны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жестокостях или болезненных потерях близких, они, вероятно, выступали бы в меньших количествах и вели себя менее активно)[67].

Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений – это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.

Угрозу представляют не только машины‑убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка[68].

Фактически мы имеем все шансы получить то, чего в своем богатом воображении не предвидел даже Оруэлл: режим тотальной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и следить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Ким Чен Ына в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который будет фиксировать каждое его слово, а также следить за его кровяным давлением и активностью мозга. Опираясь на новые знания о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чем в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биометрические датчики регистрируют явные признаки гнева (повышение кровяного давления, усиление активности миндалевидного тела), уже наутро вы проснетесь в исправительном лагере.

Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуемые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать. И Китай, и Россия постоянно совершенствуют свои инструменты слежки – как и некоторые демократические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время страна погружена в жестокий конфликт с палестинцами, и некоторые из ее руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном берегу реки Иордан, как только появится необходимая технология.

Уже сегодня за палестинцами, которые звонят по телефону, пишут в Facebook или переезжают из одного города в другой, регулярно следят израильские микрофоны, камеры, дроны или шпионские программы. Собранные данные анализируются с помощью алгоритмов больших данных. Это помогает силам безопасности Израиля выявить и нейтрализовать потенциальные угрозы без проведения военных операций. Под контролем палестинцев находятся некоторые города и деревни на Западном берегу реки Иордан, но израильтяне контролируют небо, радиоволны и киберпространство. Поэтому для эффективного контроля над 2,5 миллиона палестинцев, населяющих Западный берег, требуется на удивление мало израильских солдат[69].

Случались и трагикомические инциденты. В октябре 2017 года один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозером. Снимок он сопроводил надписью: «Доброе утро!» Автоматический алгоритм совершил небольшую ошибку при транслитерации арабских букв. Вместо Ysabechhum! (что означает «доброе утро») алгоритм прочел фразу как Ydbachhum! (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook все же был удален – излишняя осторожность не помешает[70]. Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждет жителей всей планеты.

В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской.

Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века – стремление сосредоточить всю информацию в одном месте – в XXI веке может превратиться в преимущество.

Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, – они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения – ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придется жить в условиях «цифровых диктатур».

Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования[71]. Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930‑х, застигнет врасплох атака совсем с другой стороны.

Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[72].

Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что‑то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной[73].

В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по‑прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.

Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по‑настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.

Дата добавления: 2019-09-13; просмотров: 137; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 123 4 Следующая ⇒

Мы поможем в написании ваших работ!