Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

50 Искусственный интеллект и робототехника

Искусственный интеллект (ИИ) – это информационная технология. Она представляет собой программное обеспечение для компьютеров и уже глубоко внедрилась в нашу социальную структуру, причем не только там, где мы это видим и осознаем, но и в области, пока недоступные нашему пониманию. Эта технология хакнет наше общество так, как никто и ничто доселе.

Мое утверждение базируется на двух предпосылках. Во-первых, системы ИИ будут непревзойденным инструментом для хакеров-людей. А во-вторых, они сами станут хакерами. ИИ будет находить уязвимости во всех видах социальных, экономических и политических систем, а затем использовать их с беспрецедентной скоростью, масштабом, размахом и изощренностью. Это не просто разница в интенсивности, это качественно иной хакинг. Мы рискуем оказаться в будущем, где системы ИИ будут взламывать другие системы ИИ, а последствия этого, которые обрушатся на людей, будут не более чем сопутствующим ущербом.

Это может показаться преувеличением, но ничего из того, что я описываю, не требует научно-фантастических технологий далекого будущего. Я не постулирую никакой «сингулярности», когда цикл обратной связи при обучении ИИ становится настолько быстрым, что опережает человеческое понимание. В моих сценариях нет ни злых гениев, ни разумных андроидов вроде Дейты из «Звездного пути», R2-D2 из «Звездных войн» или Марвина из «Автостопом по галактике». Не потребуется таких мощных и вредоносных системы ИИ, как Скайнет из «Терминатора», Альтрон из «Мстителей» или агент Смит из «Матрицы». Некоторые хаки, о которых я расскажу, даже не предполагают серьезных научных открытий. Да, они будут совершенствоваться по мере развития технологий ИИ, но уже сегодня мы можем видеть намеки на их появление. Эти хаки возникнут естественным образом, по мере того как ИИ будет становиться все более совершенным в обучении, понимании и решении проблем.

Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом{215}: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как{216} «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., придуманная им по аналогии с игрой в имитацию[30], ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.

Здесь необходимо провести различие между специализированным, или узким, и общим ИИ. Общий ИИ мы часто видим в фильмах: он может чувствовать, думать и действовать схожим с человеком образом по широкому спектру задач. Если по сюжету он умнее людей, то обычно говорят об «искусственном сверхинтеллекте». Соедините его с робототехникой и получите андроида, более или менее похожего на человека. Роботы, которые пытаются уничтожить человечество в фильмах, – это тоже общий ИИ.

Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты в действии, вероятно, пройдут еще десятилетия{217}. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.

Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать в непредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать на основе этих знаний решения, но только в сфере, ограниченной вождением.

Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.

Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фантастического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды – температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.

Я бы предпочел не зацикливаться на определениях, поскольку для целей нашего обсуждения они не имеют особого значения. В дополнение к принятию решений, важными качествами систем ИИ, которые я буду обсуждать, являются автономность (способность действовать независимо), автоматизация (способность реагировать на конкретные триггеры заданным образом) и физическая активность (способность изменять физическую среду). Термостат имеет ограниченную автоматизацию и физическую активность, но не обладает автономностью. Система, предсказывающая рецидив преступлений, не обладает физической активностью: она просто дает рекомендации судье. Беспилотный автомобиль обладает всеми тремя качествами, но строго в рамках заданных функций. Робот R2-D2 обладает всеми тремя в большом объеме, хотя по какой-то неясной причине его разработчики забыли о синтезе человеческой речи.

Робототехника тоже обросла популярной мифологией, но ее реальность менее причудлива. Как и в случае с ИИ, существует множество определений этого термина. В кино и на телевидении роботов часто подают как неких искусственных людей, или андроидов. Подобно ИИ, робототехника охватывает целый спектр логических и физических способностей. Я предпочитаю и в этом вопросе сосредоточиться на технологиях более прозаических и близких к нам по времени. Для наших целей робототехника – это автономия, автоматизация и физическая активность, развитая до максимума. Это киберфизическая автономия: технология ИИ внутри объектов, которые могут взаимодействовать с физическим миром напрямую.

51 Хакинг систем искусственного интеллекта

Системы ИИ представляют собой программы, работающие на компьютерах, как правило, в крупномасштабных компьютерных сетях. Это означает, что они уязвимы для всех типов хакерских атак, которым подвергаются обычные компьютерные системы. Но помимо этого существуют специальные хаки, направленные исключительно на системы ИИ и, в частности, на системы машинного обучения (МО). МО – это подобласть ИИ, которая в прикладных системах вышла сегодня на первый план. Системы МО базируются на моделях, которые обрабатывают огромное количество данных и самостоятельно ищут решения согласно инструкциям. Атаки на системы MО бывают двух типов: одни нацелены на кражу данных, используемых для обучения, или кражу модели, на которой основана система, другие связаны с обходом настроек системы МО и подталкивают ее к принятию ошибочных решений.

Последний тип атак известен как враждебное машинное обучение и, по сути, представляет собой набор хаков. Часто процесс начинается с детального изучения конкретной системы МО, чтобы получить максимальное представление о ее функционировании и слепых зонах. Затем хакеры разрабатывают тщательно продуманные входные данные и направляют их в эти слепые зоны, чтобы обмануть систему МО. В 2017 г. исследователи из MIT напечатали на 3D-принтере черепаху, которую классификатор изображений на базе ИИ всякий раз опознавал как винтовку. Казалось бы, безобидные наклейки на знаке «Стоп», размещенные определенным образом, обманывают ИИ-классификатор, заставляя его думать, что перед ним знак ограничения скорости. Точно так же небольшие наклейки, размещенные на дороге, вводят в заблуждение беспилотный автомобиль, заставляя его свернуть на встречную полосу. Все это примеры, полученные в ходе исследований, и, насколько мне известно, никто еще не разбивал беспилотный автомобиль с помощью враждебного МО.

За враждебным МО, несмотря на название, совсем не обязательно должны стоять чьи-то злые намерения, и оно не ограничивается лабораторными условиями. В настоящее время существуют проекты, целью которых является хакинг систем распознавания лиц, чтобы протестующие граждане да и любые другие люди могли собираться в общественных местах, не опасаясь быть опознанными полицией. Аналогичным образом можно представить себе будущее, в котором страховые компании будут использовать системы ИИ для принятия решений по претензиям. В этом случае врач может хакнуть такую систему методом враждебного МО, чтобы гарантировать одобрение страховки для пациента, который нуждается в определенном лекарстве или процедуре.

Другие успешные хаки подразумевают подачу в систему ИИ определенных входных данных, предназначенных ее изменить. В 2016 г. компания Microsoft представила в Twitter чат-бота по имени Tэй. Его разговорный стиль был смоделирован на основе речи девочки-подростка и должен был становиться все более сложным по мере взаимодействия с людьми и изучения их разговорных стилей. В течение 24 часов группа хакеров на дискуссионном форуме 4chan скоординировала свои ответы и наводнила систему расистскими, женоненавистническими и антисемитскими твитами, тем самым превратив Тэй в злобного шовиниста. Тэй честно учился на том материале, который ему подбрасывали, и, не понимая смысла своих реплик, словно попугай, вернул миру его уродство.

Системы ИИ – это компьютерные программы, поэтому нет оснований полагать, что они окажутся неуязвимыми для обычных компьютерных хаков. Исследования в области враждебного МО все еще находятся на ранних стадиях, поэтому мы не можем однозначно сказать, будут подобные атаки легкими или сложными и насколько эффективными будут контрмеры служб безопасности. Если опираться на историю компьютерного хакинга, то можно утверждать, что уже в обозримом будущем в системах ИИ появятся и будут обнаружены уязвимости. Системы ИИ встроены в те же социотехнические системы, которые мы обсуждали на протяжении всей книги, поэтому обязательно найдутся люди, которые захотят взломать их ради личной выгоды.

Хаки, которые я только что описал, объединяет наглядность результатов. Автомобили разбиваются. Черепаха классифицируется как винтовка. Тэй ведет себя как нацист-женоненавистник. Мы видим, что приводит к таким результатам, и – я надеюсь – сможем исправлять системы МО и восстанавливать их работу.

Однако меня больше беспокоят более тонкие атаки, результаты которых менее очевидны. Беспилотные автомобили могут не разбиваться, а просто начать двигаться чуть более хаотично. Чат-боты могут не превращаться в явных нацистов, а просто стать чуть более склонными к поддержке какой-то конкретной политической партии. Хакеры могут придумать формулировку, вставив которую в текст заявки на поступление в университет вы автоматически получите больше шансов. До тех пор, пока результаты неочевидны, а алгоритмы неизвестны, как можем мы знать, что система не взломана?

52 Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной – Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает{219}, что ответ на главный вопрос бытия – «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются «черными ящиками»: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 г. система искусственного интеллекта AlphaGo выиграла матч из пяти партий{220} у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее – он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два»{221}. У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 г. исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Исследователи ИИ работают над проблемой объяснимости. В 2017 г. Управление перспективных исследовательских проектов министерства обороны США (DARPA) учредило исследовательский фонд в размере $75 млн для десятка программ в этой области. Потенциально это влияет на успех, но, похоже, нам не уйти от компромиссов между эффективностью и объяснимостью, между эффективностью и безопасностью и между объяснимостью и конфиденциальностью. Объяснения – это форма стенографии когнитивного процесса, используемая людьми и подходящая для наших методов принятия решений. Решения ИИ могут просто не соответствовать формату понятных для человека объяснений, а принуждение к ним систем ИИ может стать дополнительным ограничением, которое повлияет на качество принимаемых ими решений. Пока неясно, к чему приведут эти исследования. В ближайшей перспективе ИИ будет все более непрозрачным, поскольку системы усложняются, становясь все менее похожими на человека, а значит, и менее объяснимыми.

Впрочем, в некоторых контекстах мы можем не заботиться об объяснимости. Я был бы уверен в диагнозе, поставленном мне Deep Patient, даже если бы он не мог объяснить свои действия, но, согласно данным, ставил диагнозы точнее, чем врач-человек. Точно так же я мог бы относиться к системе ИИ, которая решает, где бурить нефтяные скважины, или предсказывает, какие детали самолета с большей вероятностью выйдут из строя. Но я бы не чувствовал себя так же комфортно в случае с непрозрачной системой ИИ, которая принимает решения о приеме в колледж, прогнозируя вероятность академических успехов абитуриента, с системой, которая принимает решения о выдаче кредита, учитывая расовые стереотипы в своих прогнозах возможной невыплаты, или с системой, принимающей решения об условно-досрочном освобождении на основе прогноза рецидивов. Возможно, некоторым людям даже спокойнее оттого, что системы ИИ принимают серьезные решения без объяснения причин. Все это очень субъективно и, вероятно, со временем будет меняться по мере того, как мы все больше будем приобщаться к принятию решений ИИ.

Однако есть те, кто категорически не согласен с такой ситуацией и выступает против необъяснимого ИИ. Институт будущего жизни (FLI) и другие исследователи ИИ отмечают, что объяснимость особенно важна для систем, которые{222} могут «причинить вред», оказать «существенное влияние на людей» или повлиять на «жизнь конкретного человека, ее качество или его репутацию». В докладе, озаглавленном «ИИ в Великобритании», говорится, что если система ИИ оказывает «существенное влияние на жизнь человека»{223} и не может предоставить «полное и удовлетворительное объяснение» своих решений, то такую систему внедрять не следует.

На мой взгляд, разница между системой ИИ, которая предоставляет объяснение, и такой же системой, которая этого не делает, заключается в справедливости. Мы должны быть уверены, что система ИИ не является расистской, сексистской, абьюзивной или дискриминирующей в каком-то ином смысле, о котором мы пока не имеем представления. Без объяснимости можно легко получить результаты, подобные тем, которые генерирует внутренняя система ИИ компании Amazon для отбора заявлений о приеме на работу. Эта система была обучена на десятилетних данных о найме, и, поскольку в технологической отрасли доминируют мужчины, она научилась сексизму: оценивая резюме, система перемещала вниз те из них, в которых встречалось слово «женщина» или был указан женский колледж как место учебы. (Бывают случаи, когда мы не хотим, чтобы будущее было похоже на прошлое.)

Как только руководители Amazon осознали эту предвзятость и несправедливость, они потеряли к проекту интерес и в итоге отказались от использования системы{224}. Они столкнулись с трудной, возможно, даже непреодолимой проблемой, поскольку существует множество противоречащих друг другу определений справедливости{225}; то, что справедливо в одном контексте, не обязательно справедливо в другом. Какая система приема заявлений является справедливой? Та, которая не учитывает пол кандидата? Та, которая намеренно корректирует гендерные предубеждения? Та, которая распределяет квоты между представителями полов в той пропорции, в которой они подали заявления? Или та, которая обеспечивает равные возможности для разных полов?

Если система ИИ сможет объяснить, чем она руководствовалась, давая ту или иную рекомендацию о приеме на работу или об условно-досрочном освобождении, мы сможем лучше проанализировать процесс принятия решений. Это означает, что мы с большей вероятностью будем доверять этой системе в ситуациях, которые имеют больше социальных нюансов, чем вопрос «Указывает ли этот рентген на опухоль?».

С другой стороны, сами человеческие решения не всегда объяснимы. Конечно, мы можем давать объяснения, но исследования показывают, что часто это скорее оправдания постфактум. Так что, возможно, ответ заключается в том, чтобы просто внимательно изучить результаты. Когда суды решают, является ли поведение того или иного полицейского департамента расистским, они не вскрывают черепа полицейских и не требуют от них объяснений своего поведения. Они смотрят на его результаты и на основании этого выносят решение.

53 Очеловечивание искусственного интеллекта

Системы искусственного интеллекта будут влиять на нас как на личном, так и на социальном уровне. Ранее я уже упоминал о социальной инженерии. Самые эффективные попытки фишинга – то есть те, в результате которых люди и компании теряют много денег, – всегда персонализированны. Электронное письмо от имени генерального директора с просьбой о банковском переводе, адресованное кому-то из финансового отдела, может быть особенно эффективным, а голосовое или видеосообщение – тем паче. Трудоемкая задача настройки фишинговых атак может быть автоматизирована с помощью методов ИИ, что позволит мошенникам сделать электронные письма или голосовые сообщения от авторитетных лиц максимально правдоподобными.

Быть обманутым ИИ не обязательно означает, что вы получите больше проблем, чем от любого другого обмана. Настоящая опасность заключается в том, что ИИ сможет убеждать с компьютерной скоростью и масштабами. Сегодняшние когнитивные хаки – фейковая статья или провокационный вброс, способные одурачить лишь самых легковерных или отчаявшихся, – покажутся топорной работой. ИИ обладает потенциалом для того, чтобы когнитивные хаки стали микроцелевыми: персонализированными, оптимизированными и доставляемыми непосредственно адресату. Есть много старых мошеннических трюков, учитывающих индивидуальные особенности жертвы. Рекламные сообщения – это когнитивные хаки массового поражения. Технологии ИИ способны объединить в себе и те и другие.

Люди уже давно приписывают компьютерным программам человеческие качества. В 1960-х гг. программист Джозеф Вейценбаум создал примитивную разговорную программу ELIZA{226}, которая имитировала манеру общения психотерапевта. Вейценбаум был поражен тем, что люди готовы делиться глубоко личными секретами с глупой компьютерной программой. Секретарша Вейценбаума даже просила его выйти из комнаты, чтобы она могла поговорить с ELIZA наедине. Сегодня мы наблюдаем, как люди стараются быть вежливыми с голосовыми помощниками, такими как Alexa и Siri{227}, будто для них действительно важен тон общения. Siri даже жалуется, когда вы грубите ей. «Это не очень приятно», – говорит она, но лишь потому, что так запрограммирована.

Многочисленные эксперименты дают аналогичные результаты. Испытуемые оценивали производительность компьютера менее критично, если давали оценку в его присутствии, что свидетельствует об их подсознательном желании не ранить его чувства{228}. В другом эксперименте, когда компьютер сообщал испытуемому явно вымышленную «личную информацию» о себе, тот, как правило, отвечал взаимностью, сообщая реальную личную информацию{229}. Сила взаимности изучается сегодня психологами. Это еще один когнитивный хак, используемый людьми, который могут усилить масштаб и персонализация ИИ.

Робототехника делает хакинг ИИ более эффективным. Люди освоили много способов узнавания самих себя в окружающем мире. Мы видим лица повсюду: две точки с горизонтальной черточкой под ними уже воспринимаются как лицо. Вот почему даже минималистичные иллюстрации так хорошо считываются нами. Если что-то имеет лицо, оно перестает быть чем-то и становится неким существом, со своими мыслями, чувствами и всем, что полагается настоящей личности. Если это некое существо говорит или, еще лучше, вступает с нами в диалог, то мы можем поверить, что у него есть намерения, желания и свобода действий. А если на его лице присутствуют еще и брови, то ничто не помешает нам в этом.

Роботы только подчеркивают эту человеческую уязвимость. Многие люди поддерживают квазисоциальные отношения со своими роботами-пылесосами и даже жалуются, если компания предлагает заменить, а не отремонтировать их. Армия США столкнулась с проблемой, когда полковник подразделения, где проходил тестирование новый противоминный робот, запретил насекомообразному устройству{230} продолжать наносить себе вред, наступая на мины. Робот, разработанный в Гарварде, смог убедить студентов впустить его в кампус, притворившись доставщиком пиццы. А Boxie – говорящий робот, похожий на ребенка, разработанный в стенах MIT, – способен убеждать людей отвечать на личные вопросы, просто вежливо их попросив.

Наша реакция на некоторых роботов в чем-то схожа с нашим восприятием детей. У детей большие головы относительно тела, большие глаза относительно головы, большие ресницы относительно глаз и высокие голоса. Мы реагируем на эти характеристики инстинктивным желанием защитить.

Художники из поколения в поколение использовали этот феномен, чтобы придать своим творениям симпатичный вид. Детские куклы призваны вызывать чувство любви и заботы. Герои многих мультфильмов, включая Бетти Буп (1930-е) и Бэмби (1942), нарисованы по такому шаблону. Главной героине научно-фантастического боевика «Алита: Боевой ангел» (2019) с помощью компьютерной графики увеличили глаза, чтобы они казались больше.

В 2016 г. Технологический институт Джорджии опубликовал исследование о доверии человека к роботам{231}, в котором неантропоморфный робот помогал участникам перемещаться по зданию, давая указания типа «Это путь к выходу». Сначала участники взаимодействовали с роботом в обычной обстановке, чтобы оценить его эффективность, которая была специально занижена. Затем они должны были решить, следовать или нет советам робота в условиях смоделированной чрезвычайной ситуации. Поразительно, но все 26 участников послушались его указаний, несмотря на то что всего за несколько минут до этого убедились в его плохих навигационных навыках. Степень доверия к машине была вне всякой логики: когда робот указал на темную комнату без четко обозначенного выхода, большинство людей послушались его, вместо того чтобы просто и безопасно покинуть здание через дверь, в которую они вошли. Исследователи провели аналогичные эксперименты с другими роботами, явно имитировавшими неисправность. И вновь испытуемые вопреки здравому смыслу последовали экстренным указаниям роботов. Похоже, роботы могут естественным образом взламывать наше доверие.

Антропоморфные роботы – это еще более убедительная в эмоциональном плане технология, а ИИ только усилит ее привлекательность. Поскольку ИИ все лучше имитирует людей и животных, постепенно он захватит все механизмы, которые мы используем для оценки друг друга. Как писала психолог Шерри Теркл в 2010 г., «когда роботы устанавливают зрительный контакт, узнают лица, повторяют человеческие жесты, они нажимают на наши дарвиновские кнопки, демонстрируя поведение, которое люди связывают с разумом, намерениями и эмоциями». Проще говоря, они хакают наш мозг.

Мы не просто будем относиться к системам ИИ как к людям. Они будут вести себя как люди, причем намеренно обманывая нас. Они прибегнут к когнитивному хакингу.

54 Хакинг человека искусственным интеллектом и роботами

Во время выборов в США в 2016 г. около одной пятой всех политических твитов было размещено ботами. Во время голосования по Brexit в Великобритании в том же году эта доля составила одну треть. В отчете Оксфордского института интернета за 2019 г. приведены доказательства использования ботов для распространения пропаганды{232} в 50 странах. Как правило, это были простые программы, бездумно повторяющие лозунги. Например, после убийства Джамаля Хашогги в 2018 г. посредством ботов было размещено около четверти миллиона просаудовских твитов «Мы все доверяем [наследному принцу] Мохаммеду бин Салману».

В 2017 г. Федеральная комиссия по связи объявила о начале публичных онлайн-обсуждений ее планов по отмене сетевого нейтралитета. Было получено ошеломляющее количество комментариев – 22 млн, – многие из которых, возможно даже половина, были поданы с использованием украденных личных данных. Эти поддельные комментарии были сделаны очень грубо: 1,3 млн из них явно создавались на основе одного и того же шаблона с изменением некоторых слов для придания уникальности. Это было видно невооруженным глазом.

Подобные попытки будут становиться все более изощренными. В течение многих лет программы ИИ составляли спортивные и финансовые новости для реальных новостных агентств, таких как Associated Press. Ограниченный характер большинства репортажей на эти темы упростил их адаптацию к ИИ. Сегодня ИИ используется для написания более общих историй. Современные системы создания текстов{233}, такие как GPT-3 от Open AI, могут писать правдивые истории на основе поставляемых фактов, но точно так же они могут строчить и фейковые новости, будучи накормленными ложью.

Не требуется обладать богатым воображением, чтобы понять, как ИИ ухудшит политический дискурс. Уже сейчас управляемые ИИ-персоны могут писать письма в газеты и выборным должностным лицам, оставлять внятные комментарии на новостных сайтах и досках объявлений, а также обсуждать политику в социальных сетях. По мере того как эти системы становятся все более детализированными и все убедительнее имитируют личность, их все труднее отличать от реальных людей. Тактику, которая раньше была очевидной, сегодня уже распознать не так просто.

В ходе недавнего эксперимента исследователи использовали программу генерации текстов для отправки 1000 комментариев в ответ на просьбу правительства к гражданам высказать свое мнение по вопросу Medicaid{234}. Каждый комментарий выглядел уникально, так, будто реальные люди отстаивали свои политические позиции. Администраторы сайта Medicaid.gov даже не усомнились в их подлинности и приняли всё за чистую монету. Позже исследователи указали им на эти комментарии и попросили удалить, чтобы избежать предвзятости в политических дебатах. Однако не все будут столь этичными.

Эти методы уже применяются в реальном мире для влияния на политику. Пропагандистская онлайн-кампания использовала сгенерированные ИИ изображения лиц для создания фальшивых журналистов. Китай распространял созданные ИИ текстовые сообщения, призванные повлиять на выборы на Тайване в 2020 г. Технология дипфейк, использующая ИИ для создания реалистичных видеороликов о фальшивых событиях, часто с участием реальных людей, чтобы изобразить их произносящими то, что они никогда не говорили, уже применяется в политических целях в таких странах, как Малайзия, Бельгия и США.

Одним из примеров расширения этой технологии является бот-персона – ИИ, выдающий себя за человека в социальных сетях. Бот-персоны имеют свою личную историю, характер и стиль общения. Они не занимаются откровенной пропагандой. Такие боты внедряют в различные группы по интересам: садоводство, вязание, модели железных дорог, что угодно. Они ведут себя как обычные члены этих сообществ, публикуя сообщения, комментируя и обсуждая. Системы, подобные GPT-3, позволяют им легко добывать информацию из предыдущих бесед и соответствующего интернет-контента, чтобы выглядеть знатоками в конкретной области. Затем, время от времени, бот-персона может размещать что-то относящееся к политике, например статью об аллергической реакции медицинского работника на вакцину COVID-19, сопровождая ее обеспокоенными комментариями. Или же высказать мнение своего разработчика о недавних выборах, расовой справедливости или любой другой поляризующей теме. Одна бот-персона не может изменить общественное мнение, но что, если их будут тысячи? Или миллионы?

Этому явлению уже дали название – вычислительная пропаганда. Оно в корне изменит наше представление о коммуникации. ИИ способен сделать распространение дезинформации бесконечным. И он может полностью поменять само понятие общения. В 2012 г. специалист по этике робототехники Кейт Дарлинг провела эксперимент с аниматронным пластиковым динозавром по имени Клео{235} – игрушкой, которая по-разному реагировала на прикосновения. После того как участники научной конференции поиграли с Клео, она попыталась убедить их «причинить боль» игрушке различными способами. Однако даже непродолжительная игра с Клео заставляла людей испытывать настолько сильное сочувствие, что они отказывались это делать, хотя игрушка явно не чувствовала боли. Это фундаментальная человеческая реакция. Умом мы можем понимать, что Клео всего лишь зеленый пластиковый динозавр, но большая голова в паре с маленьким телом заставляет нас воспринимать объект как ребенка. К тому же у игрушки есть имя, которое говорит нам, что это «она»! И она реагирует на наши прикосновения! Внезапно мы начинаем относиться к ней как к живому существу{236} и чувствуем себя обязанными защитить от любого вреда. И хотя такая реакция кажется вполне доброжелательной, что произойдет, когда этот милый маленький робот посмотрит на своих хозяев большими грустными глазами и попросит их купить ему обновление программного обеспечения?

Поскольку мы, люди, склонны смешивать категории и относиться к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников»{237}, побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?

В этом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет. В какой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.

AIBO – это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.

В 2018 г. Sony начала продажи нового поколения AIBO. В игрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».

Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.

Такие корпорации, как Sony, и другие влиятельные игроки долго и упорно пытаются хакнуть наши эмоции ради власти и прибыли. Для этого они вкладывают немалые средства в исследования и технологии. И без активных усилий по установлению норм и правил, ограничивающих такой тип хакинга, мы вскоре обнаружим, что нечеловеческие в буквальном смысле возможности систем ИИ обращены против обычных людей в интересах их могущественных хозяев.

55 Компьютеры и искусственный интеллект ускоряют социальный хакинг

Хакерство старо, как само человечество. Мы, люди, взламываем системы с тех пор, как существуем, а хакинг компьютерных систем – ровесник самих компьютеров. Благодаря степени своей сложности и программируемым интерфейсам компьютеры однозначно поддаются взлому. Сегодня многие потребительские товары, такие как автомобили, бытовая техника или телефоны, управляются компьютерами. Все наши институты – финансирование, налогообложение, соблюдение нормативных требований, политические выборы – представляют собой сложные социотехнические системы, включающие компьютеры, сети, людей и организации. Это делает общество более восприимчивым к хакерским атакам.

Компьютеризация изменила и продолжает менять характер хакинга. В сочетании с методами ИИ она ускоряет его по четырем основным параметрам: скорость, масштаб, охват и сложность.

Скорость – наиболее очевидный параметр из этого списка, просто потому что компьютеры намного быстрее людей. Им не нужно спать, они не испытывают скуки и не отвлекаются от поставленных задач. Запрограммированные должным образом, они делают ошибки гораздо реже, чем люди. Это означает, что компьютеры выполняют рутинные задачи намного эффективнее{238}: чтобы произвести правильный математический расчет, смартфону требуется мизерная доля энергии и времени от тех, что затратил бы человек на решение той же задачи. Значительно сокращая трудозатраты, компьютеры превращают некоторые хаки из почти невыполнимых в простые и практичные.

Мы уже видим свидетельства этих новых возможностей. Бесплатный сервис Donotpay.com, управляемый искусственным интеллектом, автоматизирует процесс оспаривания штрафов за парковку{239}, помогая отменить сотни тысяч штрафов, выписанных в Лондоне, Нью-Йорке и других городах. Услуга расширяется и на новые сферы, помогая пользователям получать компенсации за задержку авиарейсов и отменять различные подписки.

Высокая скорость ИИ также позволяет быстрее экспериментировать: компьютеры могут оперативно тестировать и отбрасывать бесчисленные варианты элементов продукта, чтобы найти лучший. A/B-тестирование, при котором разным пользователям случайным образом демонстрируются разные версии продукта, часто используется веб-разработчиками для проверки эффективности дизайна веб-страниц. Например, пользователям может быть случайно показана версия А с большой кнопкой «Нажмите здесь» и версия Б с кнопкой поменьше, при этом веб-сайт автоматически собирает данные о том, какая версия приносит максимальное количество кликов. Автоматизированное A/B-тестирование дает разработчикам возможность{240} одновременно тестировать сложные комбинации переменных (таких, как размер, цвет, расположение и шрифт кнопки), открывая доступ к беспрецедентному разнообразию хаков, которые можно дополнительно персонализировать на основе больших данных в соответствии с предпочтениями и привычками конкретных пользователей. Возможность моделировать тысячи вариантов хаков также расширяет спектр их применения, как для бизнеса, так и для преступности.

Следующим параметром, который необходимо учитывать, является масштаб ИИ. Любая человеческая деятельность, уже имеющая историю, например биржевая торговля, кардинально меняется, обретая непреднамеренные и непредвиденные свойства, когда компьютерная автоматизация резко увеличивает ее масштаб. Системы ИИ могут заниматься теми же видами деятельности, что и создавшие их люди, но в беспрецедентных масштабах.

Можно быть почти уверенным, что в социальных сетях будут массово развернуты бот-персоны, о которых говорилось выше. Они смогут участвовать в обсуждениях круглосуточно, отправляя неограниченное число сообщений любого размера. Если позволить им разгуляться, такие боты способны подавить любые реальные онлайн-дебаты{241}. Они будут искусственно влиять на то, что мы считаем нормальным, и на то, что, по нашему мнению, думают другие, а их влияние станет ощущаться не только в социальных сетях, но и на любой публичной площадке, в гостиной каждого дома. Такого рода манипуляции вредят как рынку идей, так и любому демократическому процессу. Напомним, что для нормального функционирования демократии необходимы информация, выбор и свобода действий. Искусственные персоны могут лишить граждан как первого, так и последнего.

Сфера применения ИИ неизбежно будет расти. По мере того как компьютерные системы становятся более способными, общество будет делегировать им все больше и больше важных решений. Это означает, что хакинг этих систем будет наносить более масштабный ущерб и иметь больший потенциал разрушения базовых социотехнических систем, даже если это не будет входить в намерения хакеров.

ИИ усугубит эти тенденции. Системы ИИ уже принимают решения, которые влияют на нашу жизнь, от самых обыденных до определяющих. Они дают нам пошаговые инструкции в процессе вождения. Они решают, останетесь ли вы в тюрьме и получите ли кредит в банке. Они проверяют кандидатов на должности, абитуриентов, поступающих в колледж, и людей, обращающихся за государственными услугами. Они принимают инвестиционные решения и помогают формировать решения по уголовным делам. Они определяют, какие новости нам показывать в ленте, какие объявления мы увидим, какие люди и темы привлекают наше внимание. Они принимают военные решения о нацеливании. В будущем ИИ, вероятно, будет рекомендовать политиков для поддержки богатым политическим донорам. Он будет решать, кто имеет право голосовать, а кто – нет. Он сможет преобразовывать желаемые социальные результаты в конкретную налоговую политику или корректировать детали программ социального обеспечения.

Хаки этих важнейших систем будут становиться все более разрушительными. (Мы уже видели это на примере «внезапных» крахов фондового рынка{242}.) И по большей части мы не имеем достаточного представления о том, как эти системы спроектированы, воплощены или используются.

Наконец, совершенство ИИ означает, что он все чаще будет заменять человека, поскольку компьютеры смогут реализовывать более сложные и непредвиденные стратегии, чем человек. Эти возможности только увеличатся по мере того, как компьютеры будут становиться быстрее и мощнее, а сети – сложнее.

Многие алгоритмы уже находятся за пределами человеческого понимания, будь то рекомендации фильмов к просмотру, объектов для инвестирования или очередного хода в игре го. Эта тенденция тоже будет нарастать, причем рост примет экспоненциальный характер, как только алгоритмы начнут создаваться алгоритмами.

С развитием ИИ компьютерный хакинг становится наиболее мощным способом хакнуть наши социальные системы. Когда все, по сути, является компьютером, управление этим «всем» переходит к программному обеспечению. Представьте себе хакера внутри финансовой сети, который меняет направление денежных потоков. Или хакера внутри юридических баз данных, который вносит небольшие, но существенные изменения в законы и судебные решения. (Смогут ли люди заметить это? Будут ли они знать достаточно, чтобы свериться с первоначальной формулировкой?) Представьте себе хакера, переписывающего алгоритмы Facebook изнутри, меняющего правила, чей пост поднимается в ленте, чей голос усиливается и кто его будет слышать. Когда компьютерные программы управляют системами, которые мы используем повседневно – для работы, трат, общения, организации времени и личной жизни, – технология сама становится политическим деятелем. И при всей свободе, которую нам дают технологии, в руках хакера они могут превратиться в орудие беспрецедентного социального контроля.

Все системы уязвимы для хакинга. Более того, современные исследования показывают, что все системы МО могут быть хакнуты незаметно. И эти хаки будут иметь все более серьезные социальные последствия.

56 Когда искусственный интеллект становится хакером

Старое хакерское состязание «Захват флага» – это, по сути, подвижная игра на открытом воздухе, перенесенная в компьютер. Команды защищают свои сети, атакуя сети других команд. Игра отражает в контролируемой обстановке то, чем занимаются компьютерные хакеры в реальной жизни: поиском и исправлением уязвимостей в своих системах и их использованием в чужих.

Эта игра стала основным развлечением на хакерских конференциях с середины 1990-х гг. В наши дни десятки команд со всего мира принимают участие в состязательных марафонах, которые проводятся в течение выходных. Люди тратят месяцы на подготовку, а победа становится большим событием. Если вы увлекаетесь подобными вещами, то это самое лучшее развлечение для хакера, которое не сделает вас преступником.

DARPA Cyber Grand Challenge – аналогичное мероприятие для ИИ{243}, проводившееся в 2016 г. В нем приняли участие 100 команд. После прохождения отборочных туров семь финалистов встретились на хакерской конференции DEF CON в Лас-Вегасе. Соревнование проходило в специально разработанной тестовой среде, наполненной пользовательским программным обеспечением, которое никогда не анализировалось и не тестировалось. ИИ было дано 10 часов на поиск уязвимостей, чтобы использовать их против других ИИ, участвующих в соревновании, и на исправление собственных уязвимостей. Победила система под названием Mayhem, созданная группой исследователей компьютерной безопасности из Питтсбурга. С тех пор они коммерциализировали эту технологию, и сейчас она активно защищает сети таких клиентов, как министерство обороны США.

В том же году на DEF CON проводилась игра «Захват флага» с участием человеческих команд. Единственное исключение сделали для Mayhem – ее тоже пригласили поиграть. Система ИИ заняла последнее место в общем зачете, но в некоторых категориях показала не самые плохие результаты. Несложно себе представить, как эти смешанные соревнования развернутся в будущем. Мы видели траекторию развития подобной конкуренции на примере шахмат и игры го. Участники с ИИ будут прогрессировать с каждым годом, поскольку все основные технологии совершенствуются. Команды людей в основном останутся на прежнем уровне, потому что люди остаются людьми, даже когда совершенствуются наши инструменты и владение ими. В конце концов ИИ, вероятно, станет регулярно побеждать людей. Я готов дать прогноз, что на это уйдет не более десяти лет.

По необъяснимым причинам DARPA так и не повторила «Захват флага» с участием ИИ, зато Китай с тех пор взял такой формат на вооружение: он регулярно устраивает разнообразные гибридные игрища, в которых команды людей и компьютеров соревнуются друг с другом. Подробностей мы не знаем, поскольку такие соревнования проводятся только внутри страны и все чаще организуются военными, но доподлинно известно, что китайские системы ИИ быстро совершенствуются{244}.

Пройдут годы, прежде чем мы полностью раскроем возможности ИИ в плане автономных кибератак, но эти технологии уже меняют их характер. Одной из областей, которая кажется особенно плодотворной для систем ИИ, является поиск уязвимостей. Просматривание программного кода строка за строкой – это именно та утомительная задача, в которой ИИ преуспевает, если только научить его распознавать уязвимости. Конечно, необходимо будет решить множество проблем, связанных с конкретными областями применения, но по этой теме уже существует академическая литература, и исследования продолжаются{245}. Есть все основания ожидать, что со временем системы ИИ будут улучшаться и в итоге приблизятся к совершенству.

Последствия этого потенциала простираются далеко за пределы компьютерных сетей. Нет никаких причин, по которым ИИ не сможет найти тысячи новых уязвимостей в системах, о которых шла речь в этой книге: налоговом кодексе, банковских правилах, политических процессах. Везде, где есть большой массив правил, взаимодействующих друг с другом, ИИ с большой вероятностью найдет уязвимости и создаст эксплойты для их компрометации. Сегодня системы ИИ уже вовсю ищут лазейки в коммерческих контрактах{246}.

Со временем эти возможности будут шириться. Любой хакер из плоти и крови хорош лишь настолько, насколько он понимает систему, на которую нацелился, и ее взаимодействие с остальным миром. ИИ достигает этого понимания практически сразу, благодаря данным, на которых его обучают, и продолжает совершенствоваться по мере своего использования. Современные системы ИИ развиваются непрерывно, получая все новые данные и соответствующим образом корректируя свою работу. На этом потоке данных ИИ продолжает обучаться и пополнять свой опыт прямо в процессе работы. Именно по этой причине разработчики систем ИИ для беспилотных автомобилей любят хвастаться количеством часов, проведенных на дорогах их детищами.

Разработка систем ИИ, способных взламывать другие системы, порождает две связанные между собой проблемы. Во-первых, ИИ может получить указание взломать систему. Кто-то может «скормить» ИИ налоговые кодексы или правила мировой финансовой игры с целью создания прибыльных хаков. Во-вторых, ИИ может взломать систему случайно в процессе своей работы. Оба сценария не сулят ничего хорошего, но второй куда опаснее, поскольку мы можем так и не узнать, что произошло.

57 Хакинг ради цели

Как я уже отмечал ранее, ИИ решает проблемы не так, как люди. Он неизбежно натыкается на решения, которые мы просто не способны предвидеть. Некоторые из этих решений могут подрывать цель анализируемой системы в силу того, что ИИ не учитывает последствия, контекст, нормы и ценности, которые люди принимают как само собой разумеющиеся.

В отношении ИИ выражение «хакинг ради цели» означает, что для решения поставленной задачи он может действовать так, как не планировали его разработчики{247}. Приведу несколько ярких примеров.

● В футбольном симуляторе в режиме «один на один» игрок должен был забивать голы вратарю. Вместо того чтобы наносить удар, когда игрок оказывался прямо напротив ворот, система ИИ принимала решение выбивать мяч за пределы поля{248}. Вратарь, как единственный представитель команды-соперника, должен был сам вбрасывать мяч из-за боковой, оставив ворота незащищенными.

● ИИ было поручено сложить из виртуальных блоков{249} максимально высокую стену. Высота измерялась по нижней грани последнего блока. ИИ научился переворачивать этот блок так, чтобы его нижняя грань была обращена вверх и стена казалась выше. (Очевидно, что в правилах не было четких указаний относительно того, как должны быть ориентированы блоки.)

● В моделируемой среде для «эволюционирующих» существ ИИ было разрешено изменять физические характеристики своего персонажа, чтобы лучше достигать разных целей. Когда исследователи поставили перед ИИ задачу как можно быстрее пересечь далекую финишную черту, они ожидали, что тот отрастит персонажу длинные ноги, увеличит объем мышц или легких. Но вместо этого ИИ сделал своего персонажа достаточно высоким{250}, чтобы тот пересек финишную черту, просто упав на нее.

Все это хаки. Вы можете подумать, что дело в плохой формулировке задач, и будете правы. Вы можете указать на то, что все это происходило в симулированной среде, и тоже будете правы. Но проблема, которую иллюстрируют эти примеры, является более общей: ИИ создан оптимизировать свои функции для достижения цели. При этом он может естественным образом непреднамеренно внедрять неожиданные хаки.

Представьте, что роботу-пылесосу{251} поручено убирать любой мусор, который он увидит. Если цель не определена более точно, он может просто отключить или прикрыть непрозрачным материалом свои визуальные датчики, чтобы не видеть грязь. В 2018 г. один предприимчивый – а возможно, и просто скучающий – программист решил, что не хочет, чтобы его робот-пылесос постоянно натыкался на мебель{252}. Он настроил систему обучения таким образом, чтобы она поощряла робота, когда тот не задевал препятствия датчиками. Однако вместо того, чтобы перестать натыкаться на мебель, ИИ научился водить пылесос задним ходом, поскольку на задней части устройства попросту не было датчиков – все они размещались спереди.

Если в наборе правил есть нестыковки или лазейки и если они могут привести к приемлемому решению, то ИИ найдет их. Взглянув на такие результаты, мы можем сказать, что технически ИИ следовал правилам. Но все же мы будем чувствовать в этом отклонение и обман, потому что понимаем социальный контекст проблемы так, как не понимает его ИИ. Просто у нас другие ожидания. Исследователи называют эту проблему «согласованием целей».

Ее хорошо иллюстрирует миф о царе Мидасе. Когда бог Дионис готов исполнить его единственное желание, Мидас просит, чтобы все, к чему он прикоснется, превращалось в золото. В итоге Мидас умирает от голода и несчастий, поскольку вся еда, питье и даже его дочь превращаются в непригодное для употребления в пищу и безжизненное золото. Это не что иное, как проблема согласования целей: Мидас неверно запрограммировал цель в своей системе желаний.

Джинны в сказках тоже весьма привередливы к формулировкам желаний и могут быть злонамеренно педантичны, исполняя их. Но перехитрить джинна невозможно. Что бы вы ни пожелали, джинн всегда сможет исполнить это так, чтобы вам захотелось все отменить. Джинн всегда сможет хакнуть ваше желание.

В более общем смысле наши цели и желания всегда недостаточно конкретны{253}. Мы никогда не представляем себе всех возможных вариантов. Мы никогда не формулируем все нюансы, исключения и оговорки. Мы просто не способны перекрыть все пути для хака. Любая цель, которую мы укажем, обязательно будет неполной.

Это приемлемо в человеческих отношениях, потому что люди понимают контекст и обычно действуют добросовестно. Мы все социализированы и в процессе становления познаем, что значит здравый смысл в отношении людей и окружающего мира. Мы заполняем любые пробелы в нашем понимании контекстом и доброй волей.

Философ Эбби Эверетт Жак, в то время руководитель проекта MIT по этике ИИ, объяснил это так: «Если бы я попросил вас принести мне кофе, вы, вероятно, пошли бы к ближайшему кофейнику и наполнили чашку, а может быть, дошли бы до кофейни на углу. Вы бы не привезли мне грузовик с сырыми кофейными зернами. И не купили бы кофейную плантацию в Коста-Рике. Вы также не стали бы вырывать из рук чашку кофе у первого попавшегося человека. Холодный кофе недельной давности или грязную салфетку, пропитанную искомым напитком, вы бы тоже не принесли. Мне не нужно было бы все это уточнять в своей просьбе. Вы и так прекрасно понимаете, что значит "принести кофе"».

Точно так же, если я попрошу вас разработать технологию, которая при прикосновении превращает вещи в золото, вы не станете создавать ее такой, чтобы она морила меня голодом. Мне не нужно было бы указывать это, вы бы это просто знали.

Мы не можем полностью указать цели для ИИ, а ИИ не сможет полностью понять контекст. В своем выступлении на TED исследователь ИИ Стюарт Рассел пошутил о гипотетическом ИИ-помощнике{254}, который, для того чтобы оправдать опоздание своего хозяина на званый ужин, устраивает сбой в компьютерной системе самолета, в котором тот летит. Аудитория оценила шутку, но ведь на самом деле откуда компьютерной программе знать, что вмешательство в работу систем летящего самолета не является адекватным ответом на подобную просьбу? Возможно, она обучилась на данных отчетов о пассажирах, пытавшихся сделать нечто подобное{255}. (В 2017 г. в интернете ходила шутка. Джефф Безос: «Алекса, купи мне что-нибудь в Whole Foods». Алекса: «ОК, покупаю Whole Foods».)

В 2015 г. компания Volkswagen была уличена в мошенничестве с тестами на выбросы. Компания не подделывала их результаты; вместо этого она разработала для своих автомобилей бортовые компьютеры, которые бы обманывали контрольные устройства. Инженеры запрограммировали их таким образом, чтобы они определяли, когда автомобиль проходит тест на выбросы. Компьютер включал систему контроля выбросов на время теста и отключал ее по его окончании. На самом же деле автомобили Volkswagen, демонстрирующие превосходные ходовые качества, выбрасывали до 40 раз больше допустимого количества оксида азота, но только тогда, когда за этим не следило Агентство по охране окружающей среды США (EPA).

История Volkswagen не связана с искусственным интеллектом – обычные инженеры запрограммировали обычную компьютерную систему на обман, – но тем не менее она хорошо иллюстрирует проблему. Более десяти лет компании сходило с рук мошенничество только потому, что компьютерный код сложен и трудно поддается анализу. Непросто понять, что именно он делает, и точно так же непросто было понять, что делает автомобиль. До тех пор пока программисты хранят свой секрет, подобный хак, скорее всего, будет оставаться необнаруженным. Единственная причина, по которой сегодня мы знаем об уловке Volkswagen, заключается в том, что группа ученых из Университета Западной Вирджинии неожиданно проверила выбросы автомобилей на дорогах с помощью системы, отличной от системы EPA. Поскольку программное обеспечение было разработано для обхода системы EPA, ученым удалось провести измерение выбросов незаметно для бортового компьютера.

Если бы я попросил вас разработать программное обеспечение для управления двигателем автомобиля, чтобы обеспечить максимальную производительность и при этом пройти тесты на выбросы, вы бы не стали разрабатывать его, понимая, что это обман. Для ИИ это не является проблемой. Он не воспринимает абстрактную концепцию обмана на инстинктивном уровне. Он будет мыслить «нестандартно» просто потому, что не обладает представлением об ограничениях человеческих решений. Он также не понимает абстрактных этических концепций. Он не поймет, что решение Volkswagen нанесло вред другим людям, что оно подрывает сам замысел тестов на выбросы или что решение компании было незаконным, если только данные, на которые опирается ИИ, не включают законы, касающиеся выбросов. ИИ даже не поймет, что взламывает систему. И благодаря проблеме объяснимости мы, люди, тоже можем этого не понять.

Если ИИ-программисты не укажут, что система не должна менять свое поведение при тестировании, ИИ тоже сможет додуматься до такого обмана. Программисты будут довольны. Бухгалтеры будут в восторге. И никто, скорее всего, не поймает его с поличным. Теперь, когда скандал с Volkswagen подробно задокументирован, программисты могут четко поставить цель избежать конкретно этого хака. Однако рано или поздно возникнут новые непредвиденные действия ИИ, которые программисты не смогут предугадать. Урок джинна заключается в том, что так будет всегда.

58 Защита от хакеров с искусственным интеллектом

Очевидные хаки не единственная проблема. Если навигационная система вашего беспилотного автомобиля решает задачу поддержания высокой скорости за счет того, что автомобиль просто носится по кругу, программисты заметят такое поведение и соответствующим образом скорректируют цель ИИ. Но на дороге мы никогда не увидим подобного поведения. Наибольшее беспокойство вызывают менее очевидные взломы, которых мы даже не замечаем.

Многое было написано о рекомендательных системах{256} – первом поколении тонких хаков ИИ – и о том, как они подталкивают людей к поляризованному контенту. Они не были запрограммированы на это изначально. Такое свойство системы приобрели естественным образом, постоянно пробуя что-то, оценивая результаты, а затем модифицируя себя, чтобы действовать, повышая вовлеченность пользователей. Алгоритмы рекомендаций YouTube и Facebook научились предлагать пользователям более экстремальный контент, потому что он вызывает сильные эмоциональные реакции, и именно это заставляет людей проводить больше времени на платформе. Довольно простая автоматизированная система сама нашла этот хак. И большинство из нас в то время не осознавали, что происходит.

Аналогичным образом в 2015 г. ИИ научился играть в аркадную видеоигру 1970-х гг. Breakout. ИИ ничего не сообщали о правилах или стратегии игры. Ему просто дали управление и награждали за набор максимального количества очков. То, что он научился играть, неудивительно: все и так этого ожидали. Однако ИИ самостоятельно открыл и оптимизировал до не досягаемого людьми уровня тактику «туннелирования» сквозь кирпичную стену, чтобы отбивать мяч от ее обратной стороны.

Ничто из сказанного здесь не станет новостью для исследователей ИИ, и многие из них в настоящее время рассматривают способы защиты от взлома ради цели. Одним из решений является обучение ИИ контексту. Наряду с проблемой согласования целей исследователи рассматривают проблему согласования ценностей, чтобы создать ИИ, который лучше бы понимал человека. Решение этой проблемы можно представить как две крайности. С одной стороны, мы можем в форме прямых указаний закачать в ИИ наши ценности. В какой-то мере это можно сделать уже сегодня, но такой подход уязвим для всех описанных выше хаков. С другой стороны, мы можем создать ИИ, который изучит наши ценности, возможно наблюдая за людьми в действии или взяв в качестве входных данных человеческую историю, литературу, философию и т. д. Это проект на много лет вперед, и, вероятно, именно такой подход задаст ряд свойств общему ИИ. Большинство же современных исследований колеблется между этими двумя крайностями.

Несложно представить себе вопросы, которые возникнут, когда ИИ придет в соответствие с человеческими ценностями. Чьи ценности он должен будет отражать? Сомалийского мужчины? Сингапурской женщины? Или нечто среднее между ними, что бы это ни значило? Люди часто придерживаются противоречивых ценностей и бывают непоследовательны, пытаясь жить в соответствии с ними. Ценности отдельно взятого человека могут быть иррациональными, аморальными или основанными на ложной информации. История, литература и философия тоже полны иррациональности, безнравственности и ошибок. Люди в принципе далеки от собственных идеалов.

Наиболее эффективная защита от любых хаков основана на выявлении уязвимостей, то есть на обнаружении и устранении хакерских атак еще до того, как они будут совершены. В этом могут существенно помочь технологии ИИ, тем более что они могут работать на сверхчеловеческих скоростях.

Однако вспомните, о чем мы говорили, когда рассматривали компьютерные системы. Как только ИИ станет способен обнаруживать новые уязвимости в программном обеспечении, фору получат все стороны, а значит, и правительственные хакеры, и криминал, и любители. Они смогут использовать новые уязвимости для компрометации компьютерных сетей по всему миру. Это поставит под угрозу всех нас.

Но та же самая технология будет более эффективно работать на безопасность, поскольку обнаруженная уязвимость может быть устранена навсегда. Представьте себе, что компания-разработчик программного обеспечения сможет внедрять ИИ-детектор уязвимостей непосредственно в код программы. Уязвимости будут найдены и устранены еще до того, как программное обеспечение будет выпущено. Тестирование может идти автоматически в процессе разработки. Таким образом, хотя и нападение, и защита будут иметь доступ к одной и той же технологии, защита сможет использовать ее для постоянного повышения безопасности своих систем. Мы можем надеяться на будущее, когда уязвимости программного обеспечения уйдут в прошлое. «Помните первые десятилетия вычислительной техники, когда хакеры взламывали программы через уязвимости? Вот было безумное времечко!»

Конечно, переходный период простым не будет. Новый код может быть безопасным, но старый все еще будет уязвим. Злоумышленники сосредоточат свои ИИ-инструменты на автоматическом поиске уязвимостей в уже действующем старом коде, который часто невозможно исправить. Однако в долгосрочной перспективе технология ИИ для поиска уязвимостей в программном обеспечении благоприятствует тем, кто защищает системы от вторжений и нанесения им вреда.

Это утверждение справедливо и для более широких социальных систем. Когда ИИ начнет находить уязвимости в политических, экономических и социальных системах, они будут использоваться в преступных целях. Более того, эти взломы могут способствовать интересам тех, кто контролирует системы ИИ. Индивидуально подобранная реклама намного убедительнее, а значит, она будет оплачена теми, в чьих интересах работает. Когда ИИ обнаружит новую налоговую лазейку, можно не сомневаться, что к ней тут же появится эксплойт, потому что те, кто имеет доступ к системе ИИ, захотят снизить свое налоговое бремя. Хакинг в значительной степени укрепляет существующие структуры власти, а ИИ будет усиливать их еще больше, если мы не научимся преодолевать существующий дисбаланс.

Однако, как и в случае компьютерных систем, та же самая технология будет полезнее стороне защиты{257}. Хотя ИИ-хакеры могут найти тысячи уязвимостей в существующем налоговом кодексе, эта же технология может быть использована для оценки потенциальных уязвимостей в любых новых законопроектах или постановлениях, касающихся сферы налогообложения. Последствия этого радикально изменят правила игры. Представьте себе, что по такому принципу проверяется новый налоговый закон. Законодатель, наблюдательная организация, журналист или любой заинтересованный гражданин могут проанализировать текст законопроекта с помощью системы ИИ, чтобы найти уязвимости. Это не означает, что они сразу будут исправлены (помните, что исправление уязвимостей – это отдельный процесс), но они как минимум будут вынесены в публичное поле. Теоретически эти лазейки можно будет устранить еще до того, как кто-нибудь ими воспользуется, но здесь вновь выходят на первый план опасности переходного периода, который будет протекать в среде унаследованных законов и правил. И все-таки в долгосрочной перспективе технология поиска уязвимостей с помощью ИИ благоприятствует защите.

Это и хорошо, и плохо. Хорошо, поскольку технология может быть использована обществом для предотвращения взлома систем правящими элитами. Плохо, потому что элиты с большей вероятностью возьмут ее на вооружение, чтобы противостоять общественному контролю и социальным изменениям. Как и всегда, все упирается в структуру власти.

59 Будущее хакеров с искусственным интеллектом

Насколько реалистичен сценарий будущего, в котором процветают ИИ-хакеры?

Его осуществимость зависит от конкретных моделируемых и взламываемых систем. Чтобы ИИ просто начал оптимизировать готовое решение, не говоря уже о разработке нового, все правила среды должны быть формализованы в понятном компьютеру виде. Необходимо определить целевые функции для ИИ, то есть установить цели. ИИ нуждается в обратной связи, чтобы понимать, насколько хорошо он справляется со своими задачами, и улучшать свою производительность.

Иногда это сделать просто. Например, для игры го правила, цель и обратная связь – выиграл или проиграл – четко определены, и ничто не может внести хаос. ИИ GPT-3 пишет относительно связные эссе, потому что его «мир» полностью подчиняется прозрачным правилам организации текста. Вот почему большинство современных примеров ИИ-хакинга ради цели происходят в смоделированных средах. Они искусственны и ограниченны, что позволяет задать ИИ четкие правила.

Степень неоднозначности, присутствующая в системе, играет здесь ключевую роль. Казалось бы, несложно «скормить» ИИ мировые налоговые законодательства, поскольку любой налоговый кодекс сводится к формулам, определяющим сумму налога в каждом конкретном случае. Существует даже язык программирования Catala, который оптимизирован для кодирования законов. Тем не менее любой закон всегда содержит некоторую неоднозначность. Она не поддается переводу в код, поэтому не по зубам ИИ. Налоговые юристы могут спать спокойно: несмотря на развитие ИИ, в обозримом будущем их услуги останутся востребованными.

Большинство человеческих систем еще более неоднозначны, чем законодательство. Трудно вообразить, что ИИ сможет произвести на свет реальный спортивный хак, такой как изогнутая хоккейная клюшка. ИИ должен досконально понимать не только правила игры, но и физиологию человека, аэродинамику клюшки и шайбы и т. д. Теоретически это возможно, но намного сложнее, чем придумать новый ход в игре го.

Эта неоднозначность, скрыто присутствующая в наших сложных общественных системах, и обеспечивает защиту от ИИ-хакеров, по крайней мере в ближайшем будущем. Мы не увидим спортивных хаков, сгенерированных ИИ, до тех пор, пока андроиды сами не начнут гонять мяч или не будет разработан общий ИИ, способный понимать мир во всех его пересекающихся измерениях. То же самое можно сказать относительно хакинга казино (когда уже ИИ научится хорошо мухлевать?!) и законодательного процесса. Пройдет еще много времени, прежде чем ИИ сможет моделировать и имитировать то, как работают люди, по одному и в группах, чтобы придумывать новые способы взлома законодательных процессов.

Но хотя мир, наполненный ИИ-хакерами, существует сегодня только в книгах и фильмах, эта серьезная проблема все больше выходит за рамки научной фантастики. Прогресс в сфере ИИ идет невероятно быстрыми темпами, а новые возможности открываются внезапно и скачкообразно. То, что еще вчера мы считали почти невозможным, оказалось проще простого, а то, что казалось легким, превратилось в большую проблему. Когда я учился в университете в начале 1980-х гг., нас уверяли, что игра го никогда не будет освоена компьютером в силу ее высокой сложности: не самих правил, а огромного количества возможных ходов. Сегодня ИИ – это гроссмейстер игры го.

Поэтому, хотя ИИ претендует на роль проблемы завтрашнего дня, мы видим ее предвестников уже сегодня. Нам необходимо начать думать о том, какие решения, понятные и этичные, есть в нашем распоряжении, потому что если мы и можем быть в чем-то уверены относительно ИИ, так это в том, что эти решения понадобятся нам раньше, чем мы могли бы ожидать.

Вероятно, первым местом, где следует искать следы хакерских атак, генерируемых ИИ, являются финансовые системы, поскольку их правила разработаны таким образом, чтобы быть реализованными посредством алгоритмов. Алгоритмы высокочастотной торговли являются примитивным примером таких атак: в будущем они станут намного сложнее. Мы можем представить себе, как в режиме реального времени в систему ИИ закачивается вся мировая финансовая информация, мировые законы и правила, новостные ленты и все остальное, что, по нашему мнению, может иметь значение, а затем перед ним ставится цель получения максимальной законной прибыли или даже просто максимальной. Я полагаю, что это время не за горами, и уже скоро мы увидим новые, совершенно неожиданные хаки{258}. И, вероятно, будут такие хаки, которые находятся где-то за гранью человеческого понимания, а это значит, мы никогда не поймем, что они в принципе существуют.

В краткосрочной перспективе, скорее всего, наберет обороты совместный хакинг ИИ и человека. ИИ будет выявлять уязвимости, а опытные бухгалтеры или налоговые юристы – применять свой опыт и суждения, чтобы понять, можно ли с выгодой их использовать.

На протяжении почти всей истории хакинг был исключительно человеческим занятием. Поиск новых хаков требует опыта, времени, креативности и удачи. Когда ИИ начнет заниматься хакингом, ситуация в корне изменится. Для ИИ не существует стереотипов и ограничений, свойственных людям. Ему не нужно спать. Он мыслит как инопланетянин. И он будет хакать системы такими способами, о которых мы даже помыслить не можем.

Как я уже сказал в главе 55, компьютеры ускорили процесс хакинга по четырем параметрам: скорость, масштаб, охват и сложность. ИИ еще больше усугубит эту тенденцию.

Сначала о скорости. Процесс подготовки и внедрения хака, который для нас занимает месяцы или годы, может сократиться до дней, часов или даже секунд. Что может произойти, если вы «скормите» ИИ налоговый кодекс США и прикажете ему вычислить все способы минимизации налоговых обязательств? Или, в случае транснациональной корпорации, проанализировать и оптимизировать налоговую политику на базе налоговых кодексов всей планеты? Может ли ИИ без подсказок понять, что разумнее всего зарегистрировать компанию в Делавэре, а судно – в Панаме? Сколько лазеек он найдет, о которых мы еще не знаем? Десятки? Сотни? Тысячи? Ответов на эти вопросы у нас пока нет, но, вероятно, они появятся в течение следующего десятилетия.

Далее о масштабе. Когда системы ИИ начнут обнаруживать уязвимости, они смогут использовать их в таких масштабах, к которым мы просто не готовы. ИИ, успешно хакнувший финансовые системы, будет доминировать в этой сфере. Уже сейчас наши кредитные рынки, налоговые кодексы и законы в целом ориентированы на богатых. ИИ усилит это неравенство. Первые ИИ-хаки для взлома финансовых систем будут разработаны не исследователями, стремящимися восстановить справедливость, а глобальными банками, хедж-фондами и консультантами по управлению капиталом.

Теперь об охвате. У нас есть социальные системы, которые неплохо справляются с хакерскими атаками, но они были разработаны, когда хакерами были люди, а взломы осуществлялись в человеческом темпе. У нас нет системы управления, которая могла бы быстро и эффективно реагировать на волну атак через сотни, не говоря уже о тысячах, свежеобнаруженных налоговых лазеек: мы просто не сможем исправить налоговый кодекс так быстро. Мы не смогли предотвратить использование людьми Facebook для хакинга демократии; сложно представить, что может произойти, когда этим займется ИИ. Если ИИ начнет вычислять непредвиденные, но легальные хаки финансовых систем, а затем устроит мировой экономике безумные пляски, восстановление будет долгим и болезненным.

И, наконец, о сложности. Хакинг с помощью ИИ открывает путь для сложных стратегий, выходящих за рамки того, что может создать человеческий разум. Сложный статистический ИИ-анализ может выявлять взаимосвязи между переменными, а значит, и возможные эксплойты, которые лучшие стратеги и эксперты никогда бы не распознали. Такая изощренность может позволить ИИ развертывать стратегии, подрывающие сразу несколько уровней целевой системы. Например, ИИ, созданный для максимизации доли голосов политической партии, может определять точную комбинацию экономических переменных, предвыборной агитации и процедурных настроек голосования, которые могут принести победу на выборах. Это новый виток той самой революции, которую устроила картография, обеспечив появление джерримендеринга. И это не говоря о трудно обнаруживаемых хаках, которые ИИ может внедрить для манипулирования фондовым рынком, законодательными системами или общественным мнением.

Достигнув сверхчеловеческой скорости, гигантских масштабов, размаха и сложности, хакинг превратится в проблему, с которой мы как общество уже не сможем совладать.

Мне вспоминается сцена из фильма «Терминатор», где Кайл Риз описывает Саре Коннор киборга, который на нее охотится: «С ним бесполезно торговаться. Его нельзя переубедить. Оно не чувствует ни жалости, ни раскаяния, ни страха. И оно не остановится. Никогда…» Я не утверждаю, что нам придется иметь дело с киборгами-убийцами в буквальном смысле, но по мере того, как ИИ становится нашим противником в мире социального хакинга, попытки угнаться за его нечеловеческой способностью выискивать наши уязвимости будут точно так же обречены.

Некоторые исследователи ИИ выражают опасения в отношении того, что сверхмощные системы ИИ могут преодолеть наложенные человеком ограничения и потенциально захватить господствующую роль в обществе. Хотя это смахивает на дешевую спекуляцию, такой сценарий все же стоит рассмотреть и принять меры для его предотвращения.

Однако сегодня и в ближайшем будущем хакерские атаки, описанные в этой книге, будут по-прежнему осуществляться в основном правящими элитами против обычных граждан. Все существующие системы ИИ, воплощенные в вашем ноутбуке, облаке или роботе, запрограммированы другими людьми и, как правило, в их интересах, а не в ваших. Хотя подключенное к интернету устройство, такое как Alexa, может имитировать надежного друга, нельзя забывать, что оно создано в первую очередь для продажи товаров компании Amazon. И точно так же, как веб-сайт Amazon подталкивает вас к покупке его домашних брендов вместо более качественных конкурирующих товаров, Alexa далеко не всегда действует в ваших интересах. Если говорить точнее, она хакает ваше доверие ради целей акционеров Amazon.

В отсутствие какого-либо значимого регулирования мы действительно ничего не можем сделать, чтобы предотвратить распространение ИИ-хакинга. Нам нужно просто принять его неизбежность и создать надежные структуры управления, которые смогут быстро и эффективно реагировать, нормализуя полезные хаки и нейтрализуя вредоносные или непреднамеренно наносящие ущерб.

Эта проблема поднимает более глубокие и сложные вопросы, чем те, о которых мы говорили: как будет развиваться ИИ? Как должны реагировать общественные институты? Какие хаки считать полезными, а какие вредными? Кто принимает решения? Если вы свято верите в то, что правительство должно быть немногочисленным и малозаметным, то, вероятно, вам придутся по душе хаки, которые снижают возможности правительств в плане контроля над гражданами. Однако и в этом случае вы вряд ли захотите сменить политических владык на технологических. Если вы исповедуете принцип превентивности{259}, то должны понимать, как важно, чтобы разные эксперты тестировали и оценивали хаки, прежде чем они будут внедрены в наши социальные системы. И, возможно, стоит применить этот принцип и «выше по течению», то есть к институтам и структурам, которые делают эти хаки возможными.

Вопросы только множатся. Должны ли ИИ-хакеры регулироваться локально или глобально? Администраторами или референдумом? Есть ли какой-то способ позволить рынку или гражданскому обществу принимать решения? (Нынешние попытки применить модели управления к алгоритмам служат ранним индикатором того, как это будет происходить.) Структуры управления, которые мы разрабатываем, предоставят отдельным людям и организациям право отбирать хаки, которые определят будущее. И нужно сделать так, чтобы эти полномочия использовались с умом.

60 Системы управления хакингом

Защитный ИИ – это потенциальный ответ на ИИ-хакинг. Пока он еще недостаточно развит, чтобы можно было реализовать этот проект. Сегодня нам нужны люди и команды, которые бы включились в разработку структур управления и последующий процесс внедрения этой технологии.

Как должны выглядеть такие структуры управления, пока не совсем ясно, но уже выдвинуто немало интересных предложений по новым моделям регулирования, которые могли бы эффективно решать проблемы, связанные со скоростью, масштабом, охватом и сложностью ИИ. Технологи ИИ и лидеры отрасли, такие как Ник Гроссман{260}, предложили, чтобы интернет-компании и компании больших данных перешли от парадигмы регулирования 1.0, при которой запускаемые проекты не проходят соответствующую проверку и не предоставляют отчетность, к парадигме регулирования 2.0, когда любые новые проекты подлежат строгой, основанной на данных проверке и должным образом ограничиваются. В главе 33 мы рассмотрели лучшую из систем управления, которая у нас имеется для социальных хаков, – систему общего права, состоящую из залов суда, судей, присяжных и непрерывно развивающихся прецедентов. Система управления разработками ИИ должна быть быстрой, инклюзивной, прозрачной и гибкой, впрочем, как и любая другая хорошая система управления.

Мы можем попытаться набросать, какого рода система управления сможет защитить общество от потенциальных последствий как преднамеренного, так и непреднамеренного ИИ-хакинга. И хотя я просто ненавижу случайно придуманные аббревиатуры, позвольте мне использовать в следующих абзацах сокращение HGS, от Hacking Governance System («система управления хакингом»). Эта абстракция облегчит нам обсуждение подобных вещей.

● Скорость. Чтобы быть эффективной в условиях ускорения темпов технологических и социальных изменений, любая HGS должна работать быстро и точно. Дилемма Коллингриджа{261} – это старое, но по-прежнему верное наблюдение на тему технологических изменений: к тому времени, когда что-то новое и разрушительное становится достаточно распространенным, чтобы стали ясны его последствия для общества, регулировать его уже слишком поздно. Слишком много жизней и средств к существованию оказываются связанными с новой технологией, чтобы вот так запросто вернуть джинна в бутылку. Вы скажете, это чепуха, потому что многое – строительная отрасль, железнодорожный транспорт, продукты питания, медицина, производство, химикаты, атомная энергетика – демонстрируют примеры обратного, но согласитесь, что регулировать уже созданное определенно сложнее. Хаки будут внедряться быстрее, чем большинство правительств смогут менять свои законы и постановления. Но даже если они научатся принимать ответные меры вовремя, регулировать разросшегося гиганта будет очень непросто. В идеале HGS должна быть способна действовать быстрее, чем хак успевает распространиться, и оперативно решать, развивать его дальше или пресечь в корне.

● Инклюзивность. Для того чтобы определить, является хак хорошим или плохим, особенно на ранних стадиях, любая HGS должна учитывать как можно больше точек зрения. Это поможет добиться того, что ни одна потенциальная угроза и ни одно преимущество хака не будут упущены. Такой подход означает как минимум, что в состав HGS должна входить разношерстная междисциплинарная команда – от социологов и юристов до экономистов, психологов и экологов, – способная изучить хаки и их последствия со всех сторон. Кроме того, HGS придется активно искать и использовать информацию от внешних групп, особенно от сообществ, пострадавших от хака, а также от независимых исследователей и экспертов, ученых, профсоюзов, торговых ассоциаций, местных органов власти и гражданских объединений. Эти группы и лица должны не просто высказывать свое мнение на случайных встречах; в идеале их диалог с сотрудниками HGS и друг с другом должен быть постоянным, чтобы в ходе обсуждения, с одной стороны, уточнялась оценка ситуации, а с другой – создавались условия для инициативы и лоббирования с целью изменить методы контроля ИИ-хакинга политиками и должностными лицами, не входящими в состав HGS.

● Прозрачность. Поскольку HGS будет привлекать к принятию решений широкий круг экспертов и простых граждан, ее процессы и постановления должны быть публично прозрачными{262}. Непрозрачная HGS, за работой которой смогут следить только инсайдеры или люди с учеными степенями, окажется закрытой для обратной связи с обществом, которая исключительно важна для полного понимания природы социальных хаков и их побочных эффектов. HGS с более прозрачными процессами и обоснованиями своих решений заслужит больше доверия со стороны граждан. Это дополнительное доверие будет иметь решающее значение для политической поддержки новых институтов, которым придется искать сложные компромиссы между инновациями, стабильностью систем и защищаемыми ценностями, такими как равенство и справедливость.

● Гибкость. Наконец, по мере роста политической поддержки граждан, внедрения хаков, признанных полезными, или по мере того, как ученые и правительство все больше узнают о том, как эффективно регулировать хакинг, любая HGS должна освоить механизмы быстрого развития своей структуры, возможностей, решений и подходов, чтобы преуспеть в меняющемся мире. Даже при наличии всей необходимой информации социальные системы сложны и труднопредсказуемы, и попытки блокировать вредные социальные хаки порой терпят неудачу, а когда HGS разрабатывает эффективный патч или другую защиту от социального хака, хакеры тут же начинают работать над ее взломом. Поэтому HGS должна быть итеративной: быстро учиться на своих ошибках, тестировать, какие подходы к контролю и внедрению социальных хаков лучше всего работают, и постоянно совершенствовать свою способность брать на вооружение передовые методы.

Общее решение здесь состоит в том, чтобы все мы, граждане, более осознанно подходили к вопросу о надлежащей роли технологий в нашей жизни. До сих пор мы в целом не возражали против того, чтобы программисты кодировали мир так, как они считают нужным. Мы делали это по нескольким причинам. Мы не хотели чрезмерно ограничивать зарождающиеся технологии. Законодатели в основном не понимали технологии настолько хорошо, чтобы регулировать их. И это было не настолько важно, чтобы вызвать наше беспокойство. Но сейчас ситуация изменилась. Компьютерные системы влияют не только на компьютеры, и, когда программисты принимают очередные решения, они буквально проектируют будущее мира.

Система общего права является хорошей отправной точкой. Я не хочу преуменьшать противоречия, существующие между демократией и технологией. С одной стороны, далеко не каждый способен понять и внести свой вклад в регулирование ИИ. С другой – где нам найти таких технократов, которым можно доверять и которые, в свою очередь, доверяли бы простым гражданам? Это более общая и крайне сложная проблема современного управления нашим информационно насыщенным, связанным и технологически развитым миром, которая выходит далеко за рамки этой книги. По своей важности она сопоставима с проблемой создания управляющих структур, способных работать со скоростью и в условиях сложности информационного века. Такие ученые-правоведы, как Джиллиан Хэдфилд, Джули Коэн, Джошуа Фэйрфилд и Джейми Сасскинд{263}, пишут об этой более общей проблеме, для решения которой еще многое предстоит сделать.

Однако сначала мы должны решить ряд более крупных проблем нашего общества. Иными словами, повсеместный хищнический хакинг – это симптом несовершенной системы общественного устройства. Деньги – это власть, и правосудие для влиятельных нарушителей правил работает по-другому, нежели для тех, кто деньгами и властью не обладает. Если правоохранительные органы не добиваются справедливости (корпоративные преступления редко преследуются по закону), то у влиятельных людей пропадает стимул следовать правилам. Это подрывает доверие общества как к системам, так и к самим правилам.

Если подумать, становится очевидным, что ставки несправедливого правоприменения слишком высоки. Минимальное регулирование наиболее привилегированных лиц или предприятий означает, что они получают возможность определять политику и де-факто становятся правительствами. Это значит, что остальные люди больше не имеют права голоса, то есть демократия умирает. Да, это крайняя постановка проблемы, но таков конечный результат наблюдаемого процесса, и мы не должны упускать его из виду.

Я описал взаимодействие между человеческими и компьютерными системами, а также риски, связанные с тем, что компьютеры начинают играть роль людей. Это тоже более общая проблема, чем неправильное использование ИИ. О ней много пишут технофилософы и футуристы. И хотя проще всего позволить технологиям самим вести нас в будущее, станет намного лучше, если граждане коллективно решат, какой должна быть роль технологий в этом будущем. Особенно в мире, где так много технологий доступно каждому.

Нигде в мире еще не существует HGS, и ни одно правительство не думает о ее создании. Но время сделать это уже пришло.