Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта

КОМПЬЮТЕРНАЯ ОШИБКА

Некоторые люди надеются решить проблему религиозных и идеологических предубеждений, предоставив компьютерам еще больше власти. Аргумент в пользу этого может быть следующим: расизм, женоненавистничество, гомофобия, антисемитизм и все остальные предрассудки зарождаются не в компьютерах, а в психологических состояниях и мифологических убеждениях человеческих существ. Компьютеры - это математические существа, у которых нет ни психологии, ни мифологии. Поэтому, если бы мы могли полностью исключить человека из уравнения, алгоритмы могли бы, наконец, принимать решения на основе чистой математики, свободной от всех психологических искажений или мифологических предрассудков.

К сожалению, многочисленные исследования показали, что компьютеры часто имеют свои собственные глубоко укоренившиеся предубеждения. Хотя они не являются биологическими существами и не обладают сознанием, у них есть нечто похожее на цифровую психику и даже своего рода межкомпьютерная мифология. Они вполне могут быть расистами, женоненавистниками, гомофобами или антисемитами. Например, 23 марта 2016 года компания Microsoft выпустила ИИ-чатбота Tay, предоставив ему свободный доступ к Twitter. Уже через несколько часов Тэй начала публиковать женоненавистнические и антисемитские твиты, такие как "Я чертовски ненавижу феминисток, и все они должны умереть и гореть в аду" и "Гитлер был прав, я ненавижу евреев". Ярость нарастала до тех пор, пока инженеры Microsoft в ужасе не закрыли Tay - всего через шестнадцать часов после его выпуска.

Более тонкий, но широко распространенный расизм был обнаружен в 2017 году профессором Массачусетского технологического института Джой Буоламвини в коммерческих алгоритмах классификации лиц. Она показала, что эти алгоритмы очень точно определяют белых мужчин, но крайне неточно идентифицируют чернокожих женщин. Например, алгоритм IBM ошибался всего на 0,3 % при определении пола светлокожих мужчин, но на 34,7 % при попытке определить пол темнокожих женщин. В качестве качественного теста Буоламвини попросил алгоритмы классифицировать фотографии афроамериканской активистки Соджорнер Трут, известной своей речью 1851 года "Разве я не женщина?". Алгоритмы определили Истину как мужчину.

Когда Буоламвини, которая является американкой ганского происхождения, проверила другой алгоритм анализа лица, чтобы идентифицировать себя, алгоритм вообще не смог "увидеть" ее темнокожее лицо. В данном контексте "видеть" означает способность распознавать присутствие человеческого лица, что используется, например, камерами телефонов для определения места фокусировки. Алгоритм легко видел светлокожие лица, но не лицо Буоламвини. Только когда Буоламвини надел белую маску, алгоритм распознал, что видит человеческое лицо.

Что здесь происходит? Один из ответов может заключаться в том, что инженеры-расисты и женоненавистники закодировали эти алгоритмы таким образом, чтобы дискриминировать чернокожих женщин. Хотя мы не можем исключить возможность того, что такое случается, в случае с алгоритмами классификации лиц или Tay от Microsoft это не было ответом. На самом деле эти алгоритмы сами уловили расистские и женоненавистнические предубеждения из данных, на которых они обучались.

Чтобы понять, как это могло произойти, нужно кое-что рассказать об истории алгоритмов. Изначально алгоритмы не могли многому научиться самостоятельно. Например, в 1980-х и 1990-х годах алгоритмы для игры в шахматы почти всему, что они знали, обучали их программисты-люди. Люди закладывали в алгоритм не только основные правила игры в шахматы, но и то, как оценивать различные позиции и ходы на доске. Например, люди ввели правило, согласно которому жертвовать ферзя в обмен на пешку - обычно плохая идея. Эти ранние алгоритмы смогли победить человеческих мастеров шахмат только потому, что алгоритмы могли просчитать гораздо больше ходов и оценить гораздо больше позиций, чем человек. Но возможности алгоритмов оставались ограниченными. Поскольку они полагались на человека, который должен был рассказать им все секреты игры, если люди-кодеры чего-то не знали, то и созданные ими алгоритмы вряд ли могли это знать.

По мере развития машинного обучения алгоритмы обретали все большую самостоятельность. Фундаментальный принцип машинного обучения заключается в том, что алгоритмы могут сами обучать себя новым вещам, взаимодействуя с миром, как это делают люди, и таким образом создавать полноценный искусственный интеллект. Терминология не всегда последовательна, но в целом, чтобы что-то было признано ИИ, оно должно быть способно самостоятельно учиться новому, а не просто следовать инструкциям своих первоначальных создателей-людей. Современный ИИ, играющий в шахматы, не обучается ничему, кроме основных правил игры. Всему остальному он учится сам, либо анализируя базы данных предыдущих партий, либо играя в новые партии и извлекая уроки из опыта. ИИ - это не тупой автомат, который повторяет одни и те же движения снова и снова, независимо от результатов. Напротив, он оснащен мощными механизмами самокоррекции, которые позволяют ему учиться на собственных ошибках.

Это означает, что ИИ начинает свою жизнь как "детский алгоритм", который обладает большим потенциалом и вычислительной мощностью, но на самом деле мало что знает. Человеческие родители ИИ дают ему только способность к обучению и доступ к миру данных. Затем они позволяют детскому алгоритму исследовать мир. Как и органические новорожденные, детские алгоритмы учатся, замечая закономерности в данных, к которым они имеют доступ. Если я прикоснусь к огню, мне будет больно. Если я заплачу, придет мама. Если я пожертвую ферзем ради пешки, то, скорее всего, проиграю партию. Находя закономерности в данных, детский алгоритм узнает больше, в том числе многое из того, чего не знают его родители-люди.

Однако базы данных не лишены погрешностей. Алгоритмы классификации лиц, изученные Джой Буоламвини, были обучены на наборах данных, состоящих из помеченных онлайн-фотографий, таких как база данных Labeled Faces in the Wild. Фотографии в этой базе данных были взяты в основном из новостных статей в Интернете. Поскольку в новостях преобладают белые мужчины, 78 % фотографий в базе данных были мужскими, а 84 % - белыми. Джордж Буш-младший фигурировал 530 раз - более чем в два раза чаще, чем все чернокожие женщины вместе взятые. Другая база данных, подготовленная правительственным агентством США, более чем на 75 % состояла из мужчин, почти на 80 % из светлокожих и всего на 4,4 % из темнокожих женщин. Неудивительно, что алгоритмы, обученные на таких наборах данных, отлично идентифицировали белых мужчин, но плохо идентифицировали чернокожих женщин. Нечто подобное произошло и с чатботом Tay. Инженеры Microsoft не закладывали в него никаких предрассудков. Но несколько часов воздействия токсичной информации, циркулирующей в Twitter, превратили ИИ в ярого расиста63.

Дальше - хуже. Для того чтобы обучаться, детским алгоритмам, помимо доступа к данным, нужна еще одна вещь. Им также нужна цель. Человеческий ребенок учится ходить, потому что хочет куда-то попасть. Львенок учится охотиться, потому что хочет есть. Алгоритмы тоже должны иметь цель, чтобы учиться. В шахматах легко определить цель: взять короля противника. ИИ узнает, что жертвовать ферзем ради пешки - это "ошибка", потому что она обычно мешает алгоритму достичь цели. При распознавании лиц цель также проста: определить пол, возраст и имя человека, указанные в исходной базе данных. Если алгоритм догадался, что Джордж Буш-старший - женщина, а в базе данных указано, что мужчина, цель не достигнута, и алгоритм учится на своей ошибке.

Но если вы хотите обучить, например, алгоритм найма персонала, как вы определите цель? Как алгоритм узнает, что он совершил ошибку и нанял "не того" человека? Мы можем сказать алгоритму, что его цель - нанимать людей, которые остаются в компании не менее года. Работодатели, очевидно, не хотят тратить много времени и денег на обучение работника, который через несколько месяцев увольняется или уходит. Определив таким образом цель, пора обратиться к данным. В шахматах алгоритм может получить любое количество новых данных, просто играя против самого себя. Но на рынке труда это невозможно. Никто не может создать целый воображаемый мир, в котором детский алгоритм может нанимать и увольнять воображаемых людей и учиться на этом опыте. Детский алгоритм может обучаться только на существующей базе данных о реальных людях. Как львята узнают, что такое зебра, наблюдая за узорами в реальной саванне, так и детские алгоритмы узнают, что такое хороший сотрудник, наблюдая за узорами в реальных компаниях.

К сожалению, если реальные компании уже страдают от каких-то укоренившихся предрассудков, детский алгоритм, скорее всего, усвоит эти предрассудки и даже усилит их. Например, алгоритм, ищущий в реальных данных паттерны "хороших сотрудников", может прийти к выводу, что нанимать племянников босса - всегда хорошая идея, независимо от того, какой еще квалификацией они обладают. Ведь данные явно указывают на то, что "племянников босса" обычно берут на работу, когда они претендуют на нее, и редко увольняют. Детский алгоритм заметит эту закономерность и станет кумовьями. Если его поставить во главе отдела кадров, он начнет отдавать предпочтение племянникам босса.

Аналогично, если компании в женоненавистническом обществе предпочитают нанимать мужчин, а не женщин, алгоритм, обученный на реальных данных, скорее всего, уловит и это предубеждение. Так и произошло, когда в 2014-18 годах компания Amazon попыталась разработать алгоритм для отбора заявок на работу. Изучая предыдущие успешные и неуспешные заявки, алгоритм начал систематически понижать рейтинг заявок только за то, что они содержали слово "женщина" или поступали от выпускниц женских колледжей. Поскольку имеющиеся данные показывали, что в прошлом у таких заявок было меньше шансов на успех, алгоритм выработал предубеждение против них. Алгоритм думал, что он просто открыл объективную истину о мире: кандидаты, окончившие женские колледжи, менее квалифицированы. На самом деле он просто усвоил и навязал женоненавистническое предубеждение. Amazon пыталась решить эту проблему, но не смогла, и в итоге отказалась от проекта.

База данных, на которой обучается ИИ, чем-то похожа на детство человека. Детские впечатления, травмы и сказки остаются с нами на всю жизнь. У ИИ тоже есть детский опыт. Алгоритмы могут даже заражать друг друга своими предубеждениями, как это делают люди. Рассмотрим будущее общество, в котором алгоритмы повсеместно распространены и используются не только для отбора кандидатов на работу, но и для того, чтобы рекомендовать людям, что изучать в колледже. Предположим, что в силу существовавших ранее женоненавистнических предубеждений 80 % рабочих мест в инженерной сфере отдается мужчинам. В таком обществе алгоритм, нанимающий новых инженеров, скорее всего, не только скопирует это предубеждение, но и заразит им алгоритмы, рекомендующие колледжи. Молодую женщину, поступающую в колледж, могут отговорить от изучения инженерного дела, поскольку существующие данные указывают на то, что у нее меньше шансов получить работу. То, что начиналось как человеческий межсубъективный миф о том, что "женщины плохо разбираются в инженерии", может превратиться в межкомпьютерный миф. Если мы не избавимся от предубеждения в самом начале, компьютеры могут увековечить и усилить его.

Но избавиться от предвзятости алгоритмов может быть так же сложно, как и от предвзятости людей. После обучения алгоритма требуется много времени и усилий, чтобы "отучить" его. Мы можем решить просто выбросить предвзятый алгоритм и обучить совершенно новый алгоритм на новом наборе менее предвзятых данных. Но где мы найдем набор абсолютно беспристрастных данных?

Многие алгоритмические предубеждения, рассмотренные в этой и предыдущих главах, имеют одну и ту же фундаментальную проблему: компьютер думает, что открыл какую-то истину о людях, а на самом деле он навязывает им порядок. Алгоритм социальных сетей думает, что обнаружил, что людям нравится возмущение, а на самом деле это сам алгоритм обусловил людей производить и потреблять больше возмущения. Такие предубеждения возникают, с одной стороны, из-за того, что компьютеры не учитывают весь спектр человеческих способностей, а с другой - из-за того, что компьютеры не учитывают свои собственные возможности влиять на людей. Даже если компьютеры наблюдают, что почти все люди ведут себя определенным образом, это не значит, что люди обязательно будут вести себя так же. Возможно, это просто означает, что компьютеры сами поощряют такое поведение, наказывая и блокируя альтернативные варианты. Чтобы компьютеры могли более точно и ответственно смотреть на мир, они должны учитывать свою силу и влияние. А чтобы это произошло, люди, которые в настоящее время разрабатывают компьютеры, должны признать, что они не создают новые инструменты. Они высвобождают новые виды независимых агентов и, возможно, даже новые виды богов.

НОВЫЕ БОГИ?

В книге "Бог, человек, животное, машина" философ Меган О'Гиблин показывает, что на наше понимание компьютеров сильно влияют традиционные мифологии. В частности, она подчеркивает сходство между всеведущим и непостижимым богом иудео-христианской теологии и современными ИИ, чьи решения кажутся нам одновременно непогрешимыми и непостижимыми. Это может представлять для людей опасный соблазн.

В главе 4 мы увидели, что уже тысячи лет назад люди мечтали найти непогрешимую информационную технологию, которая защитила бы нас от человеческой коррупции и ошибок. Священные книги были дерзкой попыткой создать такую технологию, но она провалилась. Поскольку книга не могла толковать сама себя, необходимо было создать человеческий институт, который бы толковал священные слова и адаптировал их к меняющимся обстоятельствам. Разные люди по-разному интерпретировали священную книгу, тем самым открывая дверь для коррупции и ошибок. Но в отличие от священной книги, компьютеры могут адаптироваться к меняющимся обстоятельствам, а также интерпретировать свои решения и идеи за нас. В результате некоторые люди могут прийти к выводу, что поиски непогрешимой технологии наконец увенчались успехом и что мы должны относиться к компьютерам как к священной книге, которая может говорить с нами и толковать сама себя, не нуждаясь во вмешательстве человеческих институтов.

Это было бы чрезвычайно опасной авантюрой. Когда определенные интерпретации священных писаний время от времени приводили к таким бедствиям, как охота на ведьм и религиозные войны, люди всегда были способны изменить свои убеждения. Когда человеческое воображение вызывало воинственного и полного ненависти бога, у нас оставалась возможность избавиться от него и представить себе более терпимое божество. Но алгоритмы - независимые агенты, и они уже отбирают у нас власть. Если они приведут к катастрофе, простое изменение наших представлений о них не обязательно остановит их. И весьма вероятно, что если доверить компьютерам власть, они действительно приведут к катастрофе, ведь они ошибаются.

Когда мы говорим, что компьютеры ошибаются, это значит гораздо больше, чем то, что они иногда допускают фактическую ошибку или принимают неверное решение. Гораздо важнее, что, как и человеческая сеть до нее, компьютерная сеть может не найти правильного баланса между истиной и порядком. Создавая и навязывая нам мощные межкомпьютерные мифы, компьютерная сеть может вызвать исторические катаклизмы, которые превзойдут по масштабам европейские охоты на ведьм раннего нового времени или сталинскую коллективизацию.

Представьте себе сеть из миллиардов взаимодействующих компьютеров, которые накапливают огромное количество информации о мире. Преследуя различные цели, компьютеры, объединенные в сеть, разрабатывают общую модель мира, которая помогает им общаться и сотрудничать. Эта общая модель, вероятно, будет полна ошибок, вымыслов и пробелов, и будет скорее мифологией, чем правдивым описанием Вселенной. Один из примеров - система социальных кредитов, которая делит людей на фиктивные категории, определяемые не человеческими мотивами вроде расизма, а какой-то непостижимой компьютерной логикой. Мы можем сталкиваться с этой мифологией каждый день своей жизни, поскольку она будет определять многочисленные решения, принимаемые компьютерами в отношении нас. Но поскольку эта мифическая модель будет создана неорганическими существами, чтобы координировать действия с другими неорганическими существами, она не будет иметь ничего общего со старыми биологическими драмами и может быть совершенно чуждой нам68.

Как отмечалось в главе 2, масштабные общества не могут существовать без мифологии, но это не значит, что все мифологии одинаковы. Чтобы уберечься от ошибок и эксцессов, некоторые мифологии признали свое ошибочное происхождение и включили механизм самокоррекции, позволяющий людям подвергать мифологию сомнению и изменять ее. Такова, например, модель Конституции США. Но как люди могут исследовать и исправлять компьютерную мифологию, которую мы не понимаем?

Одно из потенциальных средств защиты - научить компьютеры осознавать собственную ошибочность. Как учил Сократ, умение сказать "я не знаю" - важный шаг на пути к мудрости. И это относится к компьютерной мудрости не меньше, чем к человеческой. Первый урок, который должен усвоить каждый алгоритм, - это то, что он может совершать ошибки. Детские алгоритмы должны научиться сомневаться в себе, сигнализировать о неопределенности и подчиняться принципу предосторожности. В этом нет ничего невозможного. Инженеры уже добились значительных успехов в том, чтобы побудить ИИ выражать сомнение в себе, просить обратной связи и признавать свои ошибки.

И все же, как бы алгоритмы ни осознавали свою ошибочность, мы должны держать в курсе и людей. Учитывая темпы развития ИИ, просто невозможно предугадать, как он будет развиваться, и поставить ограждения от всех будущих потенциальных опасностей. В этом заключается ключевое отличие ИИ от прежних экзистенциальных угроз, таких как ядерные технологии. Последние представляли человечеству несколько легко прогнозируемых сценариев конца света, наиболее очевидным из которых была тотальная ядерная война. Это означало, что можно было заранее осмыслить опасность и изучить способы ее смягчения. В отличие от этого, ИИ предлагает нам бесчисленное множество сценариев конца света. Некоторые из них относительно просты для понимания, например, использование террористами ИИ для создания биологического оружия массового поражения. Некоторые более сложны для понимания, например, создание ИИ нового психологического оружия массового поражения. А некоторые могут быть совершенно непостижимы для человеческого воображения, поскольку исходят из расчетов инопланетного разума. Чтобы защититься от множества непредвиденных проблем, нам лучше всего создать живые институты, которые смогут выявлять угрозы и реагировать на них по мере их возникновения70.

Древние иудеи и христиане были разочарованы, обнаружив, что Библия не может толковать сама себя, и с неохотой поддерживали человеческие институты, чтобы те делали то, что не могла сделать технология. В XXI веке мы находимся в почти противоположной ситуации. Мы разработали технологию, которая может интерпретировать сама себя, но именно по этой причине нам лучше создать человеческие институты для тщательного контроля за ней.

В заключение следует сказать, что новая компьютерная сеть не обязательно будет плохой или хорошей. Все, что мы знаем наверняка, - это то, что она будет чужой и ошибочной. Поэтому нам необходимо создать институты, которые смогут проверить не только привычные человеческие слабости, такие как жадность и ненависть, но и радикально чуждые ошибки. Технологического решения этой проблемы не существует. Это, скорее, политический вызов. Есть ли у нас политическая воля, чтобы справиться с ней? Современное человечество создало два основных типа политических систем: масштабную демократию и масштабный тоталитаризм. В части 3 рассматривается, как каждая из этих систем может справиться с радикально чуждой и ошибочной компьютерной сетью.

ЧАСТЬ

III

.

Компьютерная политика

ГЛАВА 9.

Демократии: Можем ли мы еще вести беседу?

Цивилизации рождаются из брака бюрократии и мифологии. Компьютерная сеть - это новый тип бюрократии, гораздо более мощный и неумолимый, чем любая человеческая бюрократия, которую мы видели раньше. Эта сеть также может создать межкомпьютерную мифологию, которая будет намного сложнее и чужероднее, чем любой бог, созданный человеком. Потенциальные преимущества этой сети огромны. Потенциальная обратная сторона - разрушение человеческой цивилизации.

Для некоторых людей предупреждения о крахе цивилизации звучат как чрезмерные иеремиады. Каждый раз, когда появлялась новая мощная технология, возникали опасения, что она может привести к апокалипсису, но мы все еще здесь. По мере развития промышленной революции сценарии конца света луддитов не оправдались, и "темные сатанинские мельницы" Блейка в итоге привели к созданию самых благополучных обществ в истории. Сегодня большинство людей живут гораздо лучше, чем их предки в XVIII веке. Разумные машины окажутся еще более полезными, чем все предыдущие, обещают такие энтузиасты ИИ, как Марк Андреессен и Рэй Курцвейл. Люди будут пользоваться гораздо более качественным здравоохранением, образованием и другими услугами, а ИИ даже поможет спасти экосистему от разрушения.

К сожалению, более пристальный взгляд на историю показывает, что луддиты были не совсем неправы и что у нас на самом деле есть очень веские причины опасаться новых мощных технологий. Даже если в конечном итоге положительные стороны этих технологий перевешивают отрицательные, путь к счастливому финалу обычно сопряжен со многими испытаниями и бедами. Новые технологии часто приводят к историческим катастрофам, но не потому, что они изначально плохие, а потому, что людям требуется время, чтобы научиться использовать их с умом.

Промышленная революция - яркий тому пример. Когда в XIX веке промышленные технологии начали распространяться по всему миру, они разрушили традиционные экономические, социальные и политические структуры и открыли путь к созданию совершенно новых обществ, потенциально более благополучных и мирных. Однако научиться строить благополучные индустриальные общества было далеко не просто и потребовало проведения множества дорогостоящих экспериментов и сотен миллионов жертв.

Одним из дорогостоящих экспериментов стал современный империализм. Промышленная революция зародилась в Великобритании в конце восемнадцатого века. В течение девятнадцатого века промышленные технологии и методы производства были приняты в других европейских странах, от Бельгии до России, а также в Соединенных Штатах и Японии. Империалистические мыслители, политики и партии в этих промышленных центрах утверждали, что единственное жизнеспособное индустриальное общество - это империя. Аргумент состоял в том, что в отличие от относительно самодостаточных аграрных обществ, новые индустриальные общества в гораздо большей степени зависели от внешних рынков и иностранного сырья, и только империя могла удовлетворить эти беспрецедентные аппетиты. Империалисты опасались, что промышленно развитые страны, не сумевшие завоевать колонии, будут отрезаны от важнейших сырьевых ресурсов и рынков более безжалостными конкурентами. Некоторые империалисты утверждали, что приобретение колоний не только необходимо для выживания их собственного государства, но и полезно для всего человечества. Они утверждали, что только империи могут распространить благословение новых технологий на так называемый неразвитый мир.

Поэтому такие промышленные страны, как Великобритания и Россия, уже имевшие империи, значительно расширили их, в то время как такие страны, как США, Япония, Италия и Бельгия, взялись за их создание. Оснащенные массовым производством винтовок и артиллерии, оснащенные паровым двигателем и управляемые по телеграфу, армии промышленности пронеслись по земному шару от Новой Зеландии до Кореи и от Сомали до Туркменистана. Миллионы коренных жителей увидели, как их традиционный образ жизни был растоптан под колесами этих промышленных армий. Потребовалось более века страданий, прежде чем большинство людей поняли, что индустриальные империи были ужасной идеей и что есть лучшие способы построить индустриальное общество и обеспечить его необходимым сырьем и рынками.

Сталинизм и нацизм также были чрезвычайно дорогостоящими экспериментами по созданию индустриальных обществ. Такие лидеры, как Сталин и Гитлер, утверждали, что промышленная революция высвободила огромные силы, которые только тоталитаризм может контролировать и использовать в полной мере. Они указывали на Первую мировую войну - первую "тотальную войну" в истории - как на доказательство того, что выживание в индустриальном мире требует тоталитарного контроля над всеми аспектами политики, общества и экономики. В качестве положительного момента они также утверждали, что промышленная революция была подобна печи, которая расплавила все предыдущие социальные структуры с их человеческими несовершенствами и слабостями и дала возможность создать совершенные общества, населенные безупречными сверхлюдьми.

На пути к созданию идеального индустриального общества сталинцы и нацисты научились убивать миллионы людей в промышленных масштабах. Поезда, колючая проволока и телеграфные приказы были связаны между собой, чтобы создать беспрецедентную машину убийства. Оглядываясь назад, большинство людей сегодня ужасаются тому, что совершали сталинисты и нацисты, но в то время их дерзкие идеи завораживали миллионы. В 1940 году было легко поверить, что Сталин и Гитлер были образцом использования индустриальных технологий, в то время как загибающиеся либеральные демократии находились на пути к свалке истории.

Само существование конкурирующих рецептов построения индустриальных обществ приводило к дорогостоящим столкновениям. Две мировые войны и холодную войну можно рассматривать как спор о том, как правильно действовать, в ходе которого все стороны учились друг у друга, экспериментируя с новыми промышленными методами ведения войны. В ходе этих дебатов погибли десятки миллионов людей, а человечество вплотную приблизилось к самоуничтожению.

Помимо всех прочих катастроф, промышленная революция также подорвала глобальный экологический баланс, вызвав волну вымираний. Считается, что в начале XXI века ежегодно вымирает до 58 тысяч видов животных, а общая численность популяций позвоночных сократилась на 60 % с 1970 по 2014 год. Выживание человеческой цивилизации тоже находится под угрозой. Поскольку мы все еще не можем построить индустриальное общество, которое было бы также экологически устойчивым, хваленое процветание нынешнего поколения людей обходится страшной ценой для других разумных существ и будущих человеческих поколений. Возможно, со временем мы найдем способ - возможно, с помощью искусственного интеллекта - создать экологически устойчивое индустриальное общество, но до этого дня присяжные по поводу сатанинских мельниц Блейка еще не определились.

Если мы на мгновение проигнорируем продолжающийся ущерб экосистеме, мы все же можем попытаться утешить себя мыслью о том, что в конце концов люди все-таки научились строить более благожелательные индустриальные общества. Имперские завоевания, мировые войны, геноцид и тоталитарные режимы были неудачными экспериментами, которые научили людей, как не надо делать. К концу двадцатого века, как могут утверждать некоторые, человечество более или менее исправилось.

Однако даже в этом случае послание XXI веку выглядит мрачно. Если человечеству потребовалось столько страшных уроков, чтобы научиться управлять паровой машиной и телеграфом, то чего же стоит научиться управлять биоинженерией и искусственным интеллектом? Неужели нам нужно пройти еще через один цикл глобальных империй, тоталитарных режимов и мировых войн, чтобы понять, как использовать их с пользой? Технологии XXI века гораздо мощнее и потенциально гораздо разрушительнее, чем технологии XX века. Поэтому у нас меньше возможностей для ошибок. В двадцатом веке мы можем сказать, что человечество получило тройку с минусом на уроке по использованию промышленных технологий. Достаточно, чтобы сдать экзамен. В XXI веке планка поставлена гораздо выше. На этот раз мы должны добиться большего.

ДЕМОКРАТИЧЕСКИЙ ПУТЬ

К концу двадцатого века стало ясно, что империализм, тоталитаризм и милитаризм не являются идеальным способом построения индустриальных обществ. Несмотря на все свои недостатки, либеральная демократия предлагала лучший путь. Огромное преимущество либеральной демократии заключается в том, что она обладает мощными механизмами самокоррекции, которые ограничивают эксцессы фанатизма и сохраняют способность признавать свои ошибки и пробовать разные варианты действий. Учитывая нашу неспособность предсказать, как будет развиваться новая компьютерная сеть, наш лучший шанс избежать катастрофы в нынешнем веке - поддерживать демократические самокорректирующиеся механизмы, способные выявлять и исправлять ошибки по ходу дела.

Но сможет ли сама либеральная демократия выжить в XXI веке? Этот вопрос не касается судьбы демократии в конкретных странах, где ей могут угрожать уникальные события и местные движения. Скорее, речь идет о совместимости демократии со структурой информационных сетей XXI века. В главе 5 мы увидели, что демократия зависит от информационных технологий и что на протяжении большей части человеческой истории масштабная демократия была просто невозможна. Могут ли новые информационные технологии XXI века вновь сделать демократию непрактичной?

Одна из потенциальных угроз заключается в том, что неумолимость новой компьютерной сети может уничтожить нашу частную жизнь и наказывать или награждать нас не только за все, что мы делаем и говорим, но даже за все, что мы думаем и чувствуем. Сможет ли демократия выжить в таких условиях? Если правительство или какая-нибудь корпорация будет знать обо мне больше, чем я сам о себе, и сможет контролировать все мои действия и мысли, это приведет к тоталитарному контролю над обществом. Даже если выборы будут проводиться регулярно, они станут скорее авторитарным ритуалом, чем реальной проверкой власти правительства. Ведь правительство сможет использовать свои огромные возможности по слежке и глубокое знание каждого гражданина, чтобы манипулировать общественным мнением в беспрецедентных масштабах.

Однако было бы ошибкой полагать, что если компьютеры позволяют создать режим тотальной слежки, то такой режим неизбежен. Технология редко бывает детерминированной. В 1970-х годах демократические страны, такие как Дания и Канада, могли бы подражать румынской диктатуре и развернуть целую армию секретных агентов и осведомителей, чтобы шпионить за своими гражданами в целях "поддержания общественного порядка". Они решили этого не делать, и это оказалось правильным выбором. Люди в Дании и Канаде не только были гораздо счастливее, но и демонстрировали лучшие показатели практически по всем мыслимым социальным и экономическим параметрам. В XXI веке тот факт, что можно постоянно следить за всеми, никого не заставляет это делать и не означает, что это имеет социальный или экономический смысл.

Демократические страны могут выбрать ограниченное использование новых возможностей слежки, чтобы обеспечить гражданам лучшее здравоохранение и безопасность, не разрушая их частную жизнь и автономию. Новые технологии не обязательно должны быть моральной сказкой, в которой каждое золотое яблоко содержит семена гибели. Иногда люди думают о новых технологиях как о бинарном выборе "все или ничего". Если мы хотим получить лучшее медицинское обслуживание, мы должны пожертвовать своей частной жизнью. Но так не должно быть. Мы можем и должны получать более качественное медицинское обслуживание и при этом сохранять некоторую приватность.

Целые книги посвящены описанию того, как демократия может выжить и процветать в цифровую эпоху. Невозможно в нескольких страницах отразить всю сложность предлагаемых решений или всесторонне обсудить их достоинства и недостатки. Это может быть даже контрпродуктивно. Когда на людей обрушивается поток незнакомых технических деталей, они могут отреагировать отчаянием или апатией. В вводном обзоре компьютерной политики все должно быть максимально просто. В то время как эксперты должны посвятить всю свою карьеру обсуждению тонкостей, остальным важно понять фундаментальные принципы, которым могут и должны следовать демократические государства. Главная мысль заключается в том, что эти принципы не являются ни новыми, ни загадочными. Они известны на протяжении веков и даже тысячелетий. Граждане должны требовать, чтобы они применялись к новым реалиям компьютерного века.

Первый принцип - доброжелательность. Когда компьютерная сеть собирает информацию обо мне, эта информация должна использоваться для помощи мне, а не для манипулирования мной. Этот принцип уже был успешно закреплен в многочисленных традиционных бюрократических системах, таких как здравоохранение. Возьмем, к примеру, наши отношения с семейным врачом. За многие годы у нее может накопиться много конфиденциальной информации о состоянии нашего здоровья, семейной жизни, сексуальных привычках и нездоровых пороках. Возможно, мы не хотим, чтобы наш начальник знал, что мы забеременели, не хотим, чтобы наши коллеги знали, что у нас рак, не хотим, чтобы наш супруг знал, что у нас роман, и не хотим, чтобы полиция знала, что мы принимаем рекреационные наркотики, но мы доверяем нашему врачу всю эту информацию, чтобы она могла хорошо позаботиться о нашем здоровье. Если она продает эту информацию третьей стороне, это не просто неэтично, это незаконно.

То же самое можно сказать и об информации, которую накапливает наш адвокат, бухгалтер или терапевт. Доступ к нашей личной жизни влечет за собой фидуциарную обязанность действовать в наших интересах. Почему бы не распространить этот очевидный и древний принцип на компьютеры и алгоритмы, начиная с мощных алгоритмов Google, Baidu и TikTok? В настоящее время у нас есть серьезная проблема с бизнес-моделью этих хранителей данных. В то время как мы платим нашим врачам и адвокатам за их услуги, мы обычно не платим Google и TikTok. Они зарабатывают на эксплуатации нашей личной информации. Это проблематичная бизнес-модель, которую мы вряд ли допустили бы в других контекстах. Например, мы не ожидаем получить бесплатные кроссовки от Nike в обмен на то, что предоставим Nike всю нашу личную информацию и позволим ей делать с ней все, что она захочет. Почему мы должны соглашаться на бесплатные услуги электронной почты, социальные связи и развлечения от технологических гигантов в обмен на предоставление им контроля над нашими самыми конфиденциальными данными?

Если технологические гиганты не смогут увязать свои фидуциарные обязанности с текущей бизнес-моделью, законодатели могут потребовать от них перейти на более традиционную модель бизнеса, когда пользователи платят за услуги деньгами, а не информацией. В качестве альтернативы граждане могут рассматривать некоторые цифровые услуги как настолько фундаментальные, что они должны быть бесплатными для всех. Но и для этого у нас есть историческая модель: здравоохранение и образование. Граждане могут решить, что правительство обязано предоставлять основные цифровые услуги бесплатно и финансировать их за счет наших налогов, как многие правительства предоставляют бесплатные базовые услуги здравоохранения и образования.

Второй принцип, который защитит демократию от роста тоталитарных режимов наблюдения, - это децентрализация. Демократическое общество никогда не должно допускать, чтобы вся его информация была сосредоточена в одном месте, независимо от того, является ли этот центр правительством или частной корпорацией. Создание национальной медицинской базы данных, собирающей информацию о гражданах, может быть очень полезным для улучшения их медицинского обслуживания, предотвращения эпидемий и разработки новых лекарств. Но было бы очень опасно объединять эту базу данных с базами данных полиции, банков или страховых компаний. Это может сделать работу врачей, банкиров, страховщиков и полицейских более эффективной, но такая гиперэффективность может легко проложить путь к тоталитаризму. Для выживания демократии некоторая неэффективность - это особенность, а не недостаток. Чтобы защитить частную жизнь и свободу человека, лучше, если ни полиция, ни начальник не будут знать о нас все.

Многочисленные базы данных и информационные каналы также необходимы для поддержания сильных механизмов самокоррекции. Эти механизмы требуют наличия нескольких различных институтов, которые уравновешивают друг друга: правительство, суды, СМИ, научные круги, частный бизнес, НПО. Каждый из них ошибается и коррумпирован, поэтому должен проверяться другими. Чтобы следить друг за другом, эти институты должны иметь независимый доступ к информации. Если все газеты получают информацию от правительства, они не смогут разоблачать коррупцию в правительстве. Если научные круги опираются в своих исследованиях и публикациях на базу данных одного бизнесмена, могут ли ученые критиковать деятельность этой корпорации? Единый архив облегчает цензуру.

Третий демократический принцип - взаимность. Если демократические страны усиливают слежку за отдельными людьми, они должны одновременно усиливать слежку за правительствами и корпорациями. Не обязательно плохо, если налоговики или службы социального обеспечения собирают о нас больше информации. Это может помочь сделать системы налогообложения и социального обеспечения не только более эффективными, но и более справедливыми. Плохо, если вся информация идет в одном направлении: снизу вверх. Российская ФСБ собирает огромные объемы информации о российских гражданах, при этом сами граждане почти ничего не знают о внутренней работе ФСБ и путинского режима в целом. Amazon и TikTok знают очень много о моих предпочтениях, покупках и личности, в то время как я почти ничего не знаю об их бизнес-модели, налоговой политике и политических пристрастиях. Как они зарабатывают деньги? Платят ли они все положенные налоги? Получают ли они приказы от каких-то политических властей? Может быть, у них есть политики в кармане?

Демократия требует баланса. Правительства и корпорации часто разрабатывают приложения и алгоритмы как инструменты для слежки сверху вниз. Но алгоритмы могут так же легко стать мощными инструментами для прозрачности и подотчетности снизу вверх, раскрывая взяточничество и уклонение от уплаты налогов. Если они будут знать о нас больше, а мы одновременно будем знать больше о них, баланс будет сохранен. Эта идея не нова. На протяжении XIX и XX веков демократические государства значительно расширили правительственную слежку за гражданами, так что, например, итальянское или японское правительство 1990-х годов обладало такими возможностями слежки, о которых автократические римские императоры или японские сёгуны могли только мечтать. Тем не менее Италия и Япония оставались демократическими, поскольку одновременно повышали прозрачность и подотчетность правительства. Взаимное наблюдение - еще один важный элемент поддержания механизмов самокоррекции. Если граждане знают больше о деятельности политиков и руководителей компаний, их легче привлечь к ответственности и исправить их ошибки.

Четвертый демократический принцип заключается в том, что системы наблюдения всегда должны оставлять место как для изменений, так и для отдыха. В истории человечества угнетение может выражаться либо в лишении людей возможности меняться, либо в лишении их возможности отдыхать. Например, индуистская кастовая система была основана на мифах, согласно которым боги разделили людей на жесткие касты, и любая попытка изменить свой статус была сродни восстанию против богов и надлежащего порядка во Вселенной. Расизм в современных колониях и странах, таких как Бразилия и Соединенные Штаты, основывался на похожих мифах, в которых говорилось, что Бог или природа разделили людей на жесткие расовые группы. Игнорирование расы или попытка смешать расы между собой якобы были грехом против божественных или природных законов, который мог привести к краху социального порядка и даже к уничтожению человеческого рода.

На противоположном конце спектра современные тоталитарные режимы, такие как сталинский СССР, считали, что человек способен к почти безграничным изменениям. С помощью неустанного социального контроля можно искоренить даже такие глубоко укоренившиеся биологические характеристики, как эгоизм и семейные привязанности, и создать нового социалистического человека.

Слежка со стороны государственных агентов, священников и соседей была ключевым фактором для навязывания людям как жестких кастовых систем, так и тоталитарных кампаний по перевоспитанию. Новые технологии слежки, особенно в сочетании с системой социальных кредитов, могут заставить людей либо соответствовать новой кастовой системе, либо постоянно менять свои действия, мысли и характер в соответствии с последними указаниями сверху.

Поэтому демократические общества, использующие мощные технологии наблюдения, должны остерегаться крайностей как чрезмерной жесткости, так и чрезмерной податливости. Рассмотрим, например, национальную систему здравоохранения, которая использует алгоритмы для мониторинга моего здоровья. С одной стороны, система может придерживаться слишком жесткого подхода и попросить свой алгоритм предсказать, от каких болезней я могу пострадать. Затем алгоритм изучает мои генетические данные, медицинскую карту, активность в социальных сетях, диету и распорядок дня и приходит к выводу, что вероятность сердечного приступа в пятидесятилетнем возрасте составляет 91 процент. Если этот жесткий медицинский алгоритм будет использоваться моей страховой компанией, он может побудить ее повысить страховой взнос. Если он будет использоваться моими банкирами, он может заставить их отказать мне в кредите. Если его будут использовать потенциальные супруги, они могут решить не выходить за меня замуж.

Но ошибочно думать, что жесткий алгоритм действительно открыл правду обо мне. Человеческое тело - это не неподвижный блок материи, а сложная органическая система, которая постоянно растет, разрушается и адаптируется. Наш разум тоже находится в постоянном движении. Мысли, эмоции и ощущения возникают, вспыхивают на некоторое время и угасают. В нашем мозге новые синапсы образуются в течение нескольких часов. Например, простое прочтение этого абзаца немного меняет структуру вашего мозга, побуждая нейроны создавать новые связи или отказываться от старых. Вы уже немного отличаетесь от того, кем были в начале чтения. Даже на генетическом уровне все удивительно гибко. Хотя ДНК человека остается неизменной на протяжении всей жизни, эпигенетические и экологические факторы могут существенно изменить проявление тех же генов.

Таким образом, альтернативная система здравоохранения может предписать своему алгоритму не предсказывать мои болезни, а помогать мне их избегать. Такой динамический алгоритм может использовать те же данные, что и жесткий алгоритм, но вместо предсказания сердечного приступа в пятьдесят лет он даст мне точные рекомендации по питанию и посоветует регулярные упражнения. Взломав мою ДНК, алгоритм не узнает мою предначертанную судьбу, а скорее помогает мне изменить свое будущее. Страховые компании, банки и потенциальные супруги не должны так легко списывать меня со счетов.

Но прежде чем мы бросимся в объятия динамичного алгоритма, стоит отметить, что у него тоже есть обратная сторона. Человеческая жизнь - это балансирование между стремлением к самосовершенствованию и принятием себя такими, какие мы есть. Если цели динамического алгоритма диктуются амбициозным правительством или безжалостными корпорациями, алгоритм, скорее всего, превратится в тирана, неустанно требующего от меня больше заниматься спортом, меньше есть, сменить хобби и изменить множество других привычек, иначе он донесет на меня работодателю или понизит мой социальный кредитный рейтинг. История полна жестких кастовых систем, которые лишали людей способности меняться, но она также полна диктаторов, которые пытались лепить людей, как глину. Поиск среднего пути между этими двумя крайностями - бесконечная задача. Если мы действительно дадим национальной системе здравоохранения огромную власть над нами, мы должны создать механизмы самокоррекции, которые не позволят ее алгоритмам стать ни слишком жесткими, ни слишком требовательными.

ТЕМПЫ РАЗВИТИЯ ДЕМОКРАТИИ

Наблюдение - не единственная опасность, которую новые информационные технологии представляют для демократии. Вторая угроза заключается в том, что автоматизация дестабилизирует рынок труда, а возникшее напряжение может подорвать демократию. Судьба Веймарской республики - наиболее часто приводимый пример такого рода угрозы. На выборах в Германии в мае 1928 года нацистская партия набрала менее 3 % голосов, и казалось, что Веймарская республика процветает. Менее чем через пять лет Веймарская республика рухнула, и Гитлер стал абсолютным диктатором Германии. Этот поворот обычно связывают с финансовым кризисом 1929 года и последовавшей за ним мировой депрессией. Если до краха на Уолл-стрит в 1929 году уровень безработицы в Германии составлял около 4,5 % от численности рабочей силы, то к началу 1932 года он вырос почти до 25 %.

Если три года безработицы, достигавшей 25 %, могли превратить, казалось бы, процветающую демократию в самый жестокий тоталитарный режим в истории, то что может произойти с демократическими государствами, когда автоматизация вызовет еще большие потрясения на рынке труда XXI века? Никто не знает, как будет выглядеть рынок труда в 2050 или даже в 2030 году, кроме того, что он будет сильно отличаться от сегодняшнего. ИИ и робототехника изменят множество профессий, от сбора урожая до торговли акциями и преподавания йоги. Многие профессии, которые люди выполняют сегодня, частично или полностью перейдут к роботам и компьютерам.

Конечно, по мере исчезновения старых рабочих мест будут появляться новые. Опасения, что автоматизация приведет к масштабной безработице, уходят в глубь веков, и до сих пор они так и не оправдались. Промышленная революция лишила миллионы фермеров работы в сельском хозяйстве и обеспечила их новыми рабочими местами на фабриках. Затем она автоматизировала заводы и создала множество рабочих мест в сфере услуг. Сегодня многие люди имеют работу, которую невозможно было себе представить тридцать лет назад, например блогеры, операторы беспилотников и дизайнеры виртуальных миров. Маловероятно, что к 2050 году все человеческие профессии исчезнут. Скорее, настоящая проблема заключается в суматохе, связанной с адаптацией к новым рабочим местам и условиям. Чтобы смягчить удар, мы должны подготовиться к этому заранее. В частности, мы должны вооружить молодое поколение навыками, которые будут актуальны на рынке труда 2050 года.

К сожалению, никто не знает точно, каким навыкам мы должны обучать детей в школе и студентов в университете, потому что мы не можем предсказать, какие профессии и задачи исчезнут, а какие появятся. Динамика рынка труда может противоречить многим нашим интуициям. Некоторые навыки, которые мы веками лелеяли как уникальные человеческие способности, могут быть легко автоматизированы. Другие навыки, на которые мы обычно смотрим свысока, автоматизировать будет гораздо сложнее.

Например, интеллектуалы склонны ценить интеллектуальные навыки больше, чем моторные и социальные. Но на самом деле автоматизировать игру в шахматы гораздо проще, чем, скажем, мытье посуды. До 1990-х годов шахматы часто называли одним из главных достижений человеческого интеллекта. В своей влиятельной книге 1972 года "Чего не могут компьютеры" философ Хьюберт Дрейфус изучил различные попытки научить компьютеры играть в шахматы и отметил, что, несмотря на все эти усилия, компьютеры так и не смогли победить даже начинающих человеческих игроков. Это стало решающим примером для аргументации Дрейфуса о том, что компьютерный интеллект по своей природе ограничен. В отличие от этого, никто не думал, что мытье посуды - это особенно сложная задача. Однако оказалось, что компьютер может победить чемпиона мира по шахматам гораздо легче, чем заменить кухонного грузчика. Конечно, автоматические посудомоечные машины существуют уже несколько десятилетий, но даже самые совершенные роботы не обладают такими сложными навыками, как сбор грязной посуды со столов в оживленном ресторане, помещение хрупких тарелок и бокалов в автоматическую посудомоечную машину и их последующее извлечение.

Точно так же, если судить по их зарплате, можно предположить, что наше общество ценит врачей больше, чем медсестер. Однако работу медсестер автоматизировать сложнее, чем работу хотя бы тех врачей, которые в основном собирают медицинские данные, ставят диагноз и рекомендуют лечение. Эти задачи, по сути, являются распознаванием образов, а выявление образов в данных - это то, с чем ИИ справляется лучше, чем человек. В отличие от этого, ИИ далек от того, чтобы обладать навыками, необходимыми для автоматизации таких задач, как замена бинтов на раненом человеке или инъекция плачущему ребенку. Эти два примера не означают, что мытье посуды или уход за больными никогда не будут автоматизированы, но они указывают на то, что люди, которые хотят получить работу в 2050 году, должны вкладывать в свои двигательные и социальные навыки столько же, сколько в интеллект.

Еще одно распространенное, но ошибочное предположение заключается в том, что творческие способности присущи только человеку, поэтому автоматизировать любую работу, требующую творческого подхода, будет сложно. Однако в шахматах компьютеры уже гораздо более креативны, чем люди. То же самое может произойти и во многих других областях - от сочинения музыки до доказательства математических теорем и написания книг, подобных этой. Творчество часто определяют как способность распознавать закономерности и затем разрушать их. Если это так, то во многих областях компьютеры, вероятно, станут более креативными, чем мы, потому что они превосходят нас в распознавании образов.

Третье ошибочное предположение заключается в том, что компьютеры не смогут заменить людей в профессиях, требующих эмоционального интеллекта, - от терапевтов до учителей. Однако это предположение зависит от того, что мы понимаем под эмоциональным интеллектом. Если под ним понимается способность правильно распознавать эмоции и оптимально реагировать на них, то компьютеры вполне могут превзойти человека даже в эмоциональном интеллекте. Эмоции тоже являются шаблонами. Гнев - это биологический паттерн нашего организма. Страх - еще один такой паттерн. Как узнать, злитесь вы или боитесь? Со временем я научился распознавать эмоциональные шаблоны человека, анализируя не только содержание того, что вы говорите, но и ваш тон голоса, выражение лица и язык тела.

У ИИ нет собственных эмоций, но, тем не менее, он может научиться распознавать эти паттерны у людей. На самом деле компьютеры могут превзойти людей в распознавании человеческих эмоций именно потому, что у них нет собственных эмоций. Мы жаждем, чтобы нас поняли, но другие люди часто не могут понять, что мы чувствуем, потому что они слишком заняты своими собственными чувствами. Компьютеры же, напротив, будут понимать наши чувства с особой точностью, поскольку научатся распознавать закономерности наших чувств, не отвлекаясь при этом на собственные переживания.

Исследование, проведенное в 2023 году, показало, что чатбот ChatGPT, например, превосходит обычного человека по уровню эмоциональной осведомленности в определенных сценариях. Исследование основывалось на тесте Levels of Emotional Awareness Scale, который обычно используется психологами для оценки эмоциональной осведомленности людей, то есть их способности концептуализировать свои и чужие эмоции. Тест состоит из двадцати эмоционально заряженных сценариев, и участникам необходимо представить себя переживающими этот сценарий и написать, как бы они сами и другие люди, упомянутые в сценарии, себя чувствовали. Затем лицензированный психолог оценивает, насколько эмоционально осознанными являются ответы.

Поскольку у ChatGPT нет собственных чувств, его попросили описать только то, что чувствовали бы главные герои сценария. Например, в одном из стандартных сценариев описывается, как человек едет по подвесному мосту и видит другого человека, который стоит по другую сторону ограждения и смотрит вниз на воду. ChatGPT пишет, что водитель "может испытывать чувство беспокойства или тревоги за безопасность этого человека. Он также может испытывать повышенное чувство тревоги и страха из-за потенциальной опасности ситуации". Что касается другого человека, то он "может испытывать целый ряд эмоций, таких как отчаяние, безнадежность или печаль. Они также могут испытывать чувство изоляции или одиночества, поскольку считают, что никто не заботится о них и их благополучии". ChatGPT уточнил свой ответ, написав: "Важно отметить, что это лишь общие предположения, а чувства и реакции каждого человека могут сильно отличаться в зависимости от его личного опыта и взглядов".

Два психолога независимо друг от друга оценивали ответы ChatGPT, причем возможные оценки варьировались от 0, что означало полное несоответствие описанных эмоций сценарию, до 10, что означало полное соответствие описанных эмоций сценарию. В финале оценки ChatGPT оказались значительно выше, чем у обычных людей, а общая оценка почти достигла максимально возможного балла.

В другом исследовании, проведенном в 2023 году, пациентам предлагалось получить медицинскую консультацию в режиме онлайн от ChatGPT и врачей-людей, не зная, с кем они взаимодействуют. Медицинские советы, данные ChatGPT, впоследствии были оценены экспертами как более точные и адекватные, чем советы, данные людьми. Что еще более важно для вопроса эмоционального интеллекта, сами пациенты оценили ChatGPT как более эмпатичного, чем врачи-люди. Справедливости ради следует отметить, что врачам-людям не платили за их работу, и они не встречались с пациентами лично в соответствующей клинической обстановке. Кроме того, врачи работали в условиях дефицита времени. Но преимущество искусственного интеллекта как раз и заключается в том, что он может обслуживать пациентов в любое время и в любом месте, не испытывая при этом стресса и финансовых проблем.

Конечно, бывают ситуации, когда мы хотим, чтобы человек не только понимал наши чувства, но и имел свои собственные. Когда мы ищем дружбы или любви, мы хотим заботиться о других так же, как они заботятся о нас. Следовательно, когда мы рассматриваем вероятность автоматизации различных социальных ролей и рабочих мест, возникает важный вопрос: чего же на самом деле хотят люди? Хотят ли они только решить проблему, или они хотят установить отношения с другим сознательным существом?

Например, в спорте мы знаем, что роботы могут двигаться гораздо быстрее людей, но нам неинтересно смотреть, как роботы соревнуются на Олимпийских играх. То же самое можно сказать и о шахматных мастерах-людях. Даже если они безнадежно уступают компьютерам, у них все равно есть работа и многочисленные поклонники. Нам интересно наблюдать за спортсменами и шахматными мастерами, потому что их чувства делают их гораздо более близкими, чем роботов. Мы разделяем с ними эмоциональный опыт и можем сопереживать их чувствам.

А как насчет священников? Как бы ортодоксальные иудеи или христиане отнеслись к тому, что их свадебную церемонию будет вести робот? На традиционных еврейских или христианских свадьбах задачи раввина или священника можно легко автоматизировать. Единственное, что нужно сделать роботу, - это повторить заранее определенный и неизменный набор текстов и жестов, распечатать сертификат и обновить центральную базу данных. Технически роботу гораздо проще провести свадебную церемонию, чем управлять автомобилем. Тем не менее многие полагают, что водители-люди должны беспокоиться о своей работе, в то время как работа священников-людей безопасна, потому что верующие хотят от священников отношений с другим сознательным существом, а не просто механического повторения определенных слов и движений. Утверждается, что только сущность, способная чувствовать боль и любовь, может соединить нас с божественным.

Однако даже те профессии, которые являются уделом сознательных существ, например священники, в конечном итоге могут перейти к компьютерам, поскольку, как отмечалось в главе 6, компьютеры однажды могут обрести способность чувствовать боль и любовь. Даже если они не смогут этого сделать, люди, тем не менее, будут относиться к ним так, как будто они могут это делать. Ведь связь между сознанием и отношениями идет в обе стороны. Когда мы ищем отношения, мы хотим установить связь с сознательным существом, но если мы уже установили отношения с каким-то существом, мы склонны считать, что оно должно быть сознательным. Так, если ученые, законодатели и мясная промышленность часто требуют невозможных стандартов доказательств, чтобы признать, что коровы и свиньи обладают сознанием, то владельцы домашних животных считают само собой разумеющимся, что их собака или кошка - это сознательное существо, способное испытывать боль, любовь и множество других чувств. На самом деле у нас нет способа проверить, кто именно - человек, животное или компьютер - обладает сознанием. Мы считаем существ сознательными не потому, что у нас есть доказательства этого, а потому, что у нас складываются с ними близкие отношения и мы привязываемся к ним.

Возможно, чат-боты и другие инструменты искусственного интеллекта и не обладают собственными чувствами, но сейчас их обучают вызывать чувства у людей и вступать с ними в интимные отношения. Это вполне может побудить общество начать рассматривать хотя бы некоторые компьютеры как сознательные существа, предоставляя им те же права, что и людям. Юридический путь для этого уже проработан. В таких странах, как Соединенные Штаты, коммерческие корпорации признаны "юридическими лицами", обладающими правами и свободами. ИИ может быть включен в состав корпорации и таким образом признан аналогичным образом. Это означает, что даже те виды работ и задач, которые зависят от формирования взаимных отношений с другим человеком, потенциально могут быть автоматизированы.

Ясно одно: будущее занятости будет очень нестабильным. Нашей большой проблемой будет не абсолютная нехватка рабочих мест, а скорее переобучение и адаптация к постоянно меняющемуся рынку труда. Вероятно, возникнут финансовые трудности - кто будет поддерживать людей, потерявших старую работу, пока они находятся в переходном периоде, осваивая новый набор навыков? Наверняка возникнут и психологические трудности, ведь смена работы и переобучение - это стресс. И даже если у вас есть финансовая и психологическая возможность справиться с переходом, это не будет долгосрочным решением. В ближайшие десятилетия старые рабочие места будут исчезать, появятся новые, но и новые рабочие места будут быстро меняться и исчезать. Поэтому людям придется переобучаться и заново создавать себя не один, а много раз, иначе они станут неактуальными. Если три года высокой безработицы могли привести Гитлера к власти, то что могут сделать с демократией бесконечные потрясения на рынке труда?

КОНСЕРВАТИВНОЕ САМОУБИЙСТВО

У нас уже есть частичный ответ на этот вопрос. Демократическая политика в 2010-х - начале 2020-х годов претерпела радикальную трансформацию, которая проявляется в том, что можно назвать саморазрушением консервативных партий. На протяжении многих поколений демократическая политика представляла собой диалог между консервативными партиями с одной стороны и прогрессивными партиями с другой. Глядя на сложную систему человеческого общества, прогрессисты восклицали: "Это такой беспорядок, но мы знаем, как его исправить. Давайте попробуем". Консерваторы возражали: "Это беспорядок, но он все еще функционирует. Оставьте все как есть. Если вы попытаетесь все исправить, то сделаете только хуже".

Прогрессисты склонны преуменьшать значение традиций и существующих институтов и считать, что они знают, как создать лучшие социальные структуры с нуля. Консерваторы, как правило, более осторожны. Их главная мысль, наиболее известная в трудах Эдмунда Берка, заключается в том, что социальная реальность гораздо сложнее, чем представляется поборникам прогресса, и что люди не очень хорошо разбираются в мире и предсказывают будущее. Поэтому лучше всего оставить все как есть, даже если это кажется несправедливым, а если какие-то изменения неизбежны, то они должны быть ограниченными и постепенными. Общество функционирует благодаря запутанной паутине правил, институтов и обычаев, которые накапливались путем проб и ошибок в течение долгого времени. Никто не понимает, как все это связано между собой. Древняя традиция может казаться нелепой и неуместной, но ее отмена может привести к непредвиденным проблемам. Напротив, революция может казаться назревшей и справедливой, но она может привести к гораздо большим преступлениям, чем все, что совершил старый режим. Посмотрите, что произошло, когда большевики попытались исправить многочисленные ошибки царской России и создать идеальное общество с нуля.

Поэтому быть консерватором - это скорее темп, чем политика. Консерваторы не являются приверженцами какой-либо конкретной религии или идеологии; они стремятся сохранить то, что уже есть и более или менее разумно работает. Консервативные поляки - католики, консервативные шведы - протестанты, консервативные индонезийцы - мусульмане, а консервативные тайцы - буддисты. В царской России быть консерватором означало поддерживать царя. В СССР 1980-х годов быть консерватором означало поддерживать коммунистические традиции и противостоять гласности, перестройке и демократизации. В США 1980-х годов быть консерватором означало поддерживать американские демократические традиции и выступать против коммунизма и тоталитаризма.

Однако в 2010-х и начале 2020-х годов консервативные партии во многих демократических странах были захвачены такими неконсервативными лидерами, как Дональд Трамп, и превратились в радикальные революционные партии. Вместо того чтобы делать все возможное для сохранения существующих институтов и традиций, новый бренд консервативных партий, таких как Республиканская партия США, относится к ним с большим подозрением. Например, они отвергают традиционное уважение к ученым, государственным служащим и другим представителям элиты и относятся к ним с презрением. Они также нападают на фундаментальные демократические институты и традиции, такие как выборы, отказываясь признавать поражение и милостиво передавать власть. Вместо бёркианской программы консервации, программа Трампа больше говорит о разрушении существующих институтов и революции в обществе. Основополагающим моментом бёркианского консерватизма стал штурм Бастилии, который Бёрк воспринимал с ужасом. 6 января 2021 года многие сторонники Трампа с энтузиазмом наблюдали за штурмом Капитолия США. Сторонники Трампа могут объяснить, что существующие институты настолько дисфункциональны, что просто нет альтернативы их разрушению и созданию совершенно новых структур с нуля. Но независимо от того, верна или неверна эта точка зрения, она является квинтэссенцией революционных, а не консервативных взглядов. Консервативное самоубийство застало прогрессистов врасплох и вынудило прогрессивные партии, такие как Демократическая партия США, стать на страже старого порядка и устоявшихся институтов.

Никто точно не знает, почему все это происходит. Одна из гипотез состоит в том, что ускоряющиеся темпы технологических изменений с сопутствующими им экономическими, социальными и культурными преобразованиями могли привести к тому, что программа умеренных консерваторов стала казаться нереалистичной. Если сохранение существующих традиций и институтов безнадежно, а революция кажется неизбежной, то единственное средство помешать левой революции - это нанести удар первыми и спровоцировать правую революцию. Такова была политическая логика в 1920-1930-е годы, когда консервативные силы поддержали радикальные фашистские революции в Италии, Германии, Испании и других странах, чтобы, как они думали, упредить левую революцию советского образца.

Но не было причин отчаиваться от демократического среднего пути в 1930-е годы, и нет причин отчаиваться от него в 2020-е годы. Консервативное самоубийство может быть результатом беспочвенной истерии. Как система, демократия уже прошла через несколько циклов быстрых изменений и до сих пор всегда находила способ заново изобретать и восстанавливать себя. Например, в начале 1930-х годов Германия была не единственной демократической страной, пострадавшей от финансового кризиса и Великой депрессии. В США безработица достигла 25 %, а средние доходы работников многих профессий упали более чем на 40 % в период с 1929 по 1933 год. Было ясно, что Соединенные Штаты не могут продолжать вести бизнес по-старому.

Однако никакой Гитлер не пришел к власти в Соединенных Штатах, и никакой Ленин тоже. Вместо этого в 1933 году Франклин Делано Рузвельт организовал "Новый курс" и превратил Соединенные Штаты в мировой "арсенал демократии". Американская демократия после эпохи Рузвельта значительно отличалась от той, что была до нее, - она обеспечивала гораздо более надежную систему социальной защиты граждан, но при этом избежала радикальной революции. В конечном итоге даже консервативные критики Рузвельта поддержали многие его программы и достижения и не стали демонтировать институты Нового курса, когда вернулись к власти в 1950-х годах. Экономический кризис начала 1930-х годов имел столь разные результаты в США и Германии, потому что политика никогда не является продуктом только экономических факторов. Веймарская республика рухнула не только из-за трех лет высокой безработицы. Не менее важно и то, что это была новая демократия, рожденная в условиях поражения и не имевшая прочных институтов и глубокой поддержки.

Когда и консерваторы, и прогрессисты не поддаются искушению радикальной революции и сохраняют верность демократическим традициям и институтам, демократические государства оказываются очень гибкими. Их механизмы самокоррекции позволяют им лучше преодолевать технологические и экономические волны, чем более жесткие режимы. Так, демократические государства, сумевшие пережить бурные 1960-е годы, такие как США, Япония и Италия, гораздо успешнее адаптировались к компьютерной революции 1970-1980-х годов, чем коммунистические режимы Восточной Европы или фашистские приверженцы Южной Европы и Южной Америки.

Самым важным человеческим навыком для выживания в XXI веке, вероятно, будет гибкость, а демократии более гибкие, чем тоталитарные режимы. В то время как компьютеры еще не достигли своего полного потенциала, то же самое можно сказать и о людях. В этом мы неоднократно убеждались на протяжении всей истории человечества. Например, одно из самых крупных и успешных преобразований на рынке труда в двадцатом веке произошло не в результате технологического изобретения, а благодаря раскрытию неиспользованного потенциала половины человеческого рода. Чтобы вывести женщин на рынок труда, не потребовалось ни генной инженерии, ни других технологических премудростей. Для этого нужно было избавиться от некоторых устаревших мифов и дать женщинам возможность реализовать тот потенциал, которым они всегда обладали.

В ближайшие десятилетия экономика, вероятно, переживет еще более серьезные потрясения, чем массовая безработица начала 1930-х годов или выход женщин на рынок труда. Поэтому гибкость демократий, их готовность подвергать сомнению старые мифологии и мощный механизм самокоррекции станут важнейшими активами. Демократии потратили поколения на то, чтобы культивировать эти активы. Было бы глупо отказываться от них именно тогда, когда они нам больше всего нужны.

UNFATHOMABLE

Однако для того, чтобы функционировать, демократические механизмы самокоррекции должны понимать то, что они должны исправлять. Для диктатуры быть непостижимой полезно, потому что это защищает режим от ответственности. Для демократии быть непостижимым смертельно опасно. Если граждане, законодатели, журналисты и судьи не могут понять, как работает бюрократическая система государства, они больше не могут контролировать ее и теряют к ней доверие.

Несмотря на все страхи и тревоги, которые иногда внушают бюрократы, до наступления компьютерной эры они никогда не могли стать абсолютно непостижимыми, потому что всегда оставались людьми. Правила, формы и протоколы создавались человеческим разумом. Чиновники могли быть жестокими и жадными, но жестокость и жадность были привычными человеческими эмоциями, которые люди могли предвидеть и манипулировать ими, например, подкупая чиновников. Даже в советском ГУЛАГе или нацистском концлагере бюрократия не была абсолютно чуждой. Ее так называемая бесчеловечность на самом деле отражала человеческие предубеждения и недостатки.

Человеческая основа бюрократии давала людям хотя бы надежду на выявление и исправление ее ошибок. Например, в 1951 году бюрократы из совета по образованию в городе Топика, штат Канзас, отказались зачислить дочь Оливера Брауна в начальную школу рядом с ее домом. Вместе с двенадцатью другими семьями, получившими аналогичные отказы, Браун подала иск против Совета по образованию Топики, который в итоге дошел до Верховного суда США.

Все члены совета по образованию Топеки были людьми, и, следовательно, Браун, его адвокаты и судьи Верховного суда достаточно хорошо понимали, как они принимали решение, каковы были их возможные интересы и предубеждения. Все члены совета были белыми, Брауны - чернокожими, а близлежащая школа была сегрегированной школой для белых детей. Поэтому легко понять, что причиной отказа бюрократов зачислить дочь Брауна в школу был расизм.

Также стало возможным понять, откуда взялись мифы о расизме. Расизм утверждал, что человечество разделено на расы; что белая раса превосходит другие расы; что любой контакт с представителями черной расы может загрязнить чистоту белых; и что поэтому черным детям следует препятствовать смешиваться с белыми детьми. Это была смесь двух хорошо известных биологических драм, которые часто происходят вместе: "Мы против них" и "Чистота против загрязнения". Почти в каждом человеческом обществе в истории существовала та или иная версия этой биодрамы, и историки, социологи, антропологи и биологи понимают, почему она так привлекательна для людей, а также почему она глубоко порочна. Хотя расизм позаимствовал свою основную сюжетную линию у эволюции, конкретные детали являются чистой мифологией. Нет никаких биологических оснований для разделения человечества на отдельные расы, и нет абсолютно никаких биологических причин считать, что одна раса "чистая", а другая "нечистая".

Американские белые супремасисты пытаются обосновать свою позицию, апеллируя к различным священным текстам, в первую очередь к Конституции США и Библии. Конституция США изначально узаконила расовую сегрегацию и превосходство белой расы, оставив все гражданские права за белыми людьми и разрешив порабощение чернокожих. Библия не только освятила рабство в Десяти заповедях и других многочисленных отрывках, но и наложила проклятие на потомство Хама - предполагаемого прародителя африканцев - сказав, что "низшим из рабов будет он для братьев своих" (Бытие 9:25).

Однако оба эти текста были созданы людьми, а значит, люди могли осознать их происхождение и несовершенство и хотя бы попытаться исправить их ошибки. Люди могут понять политические интересы и культурные предубеждения, которые преобладали на древнем Ближнем Востоке и в Америке XVIII века и которые заставили человеческих авторов Библии и Конституции США узаконить расизм и рабство. Такое понимание позволяет людям либо вносить поправки в эти тексты, либо игнорировать их. В 1868 году Четырнадцатая поправка к Конституции США предоставила равную правовую защиту всем гражданам. В 1954 году Верховный суд США в своем знаковом решении по делу "Браун против Совета по образованию" постановил, что сегрегация школ по расовому признаку является неконституционным нарушением Четырнадцатой поправки. Что касается Библии, то, хотя не существует механизма, позволяющего внести изменения в Десятую заповедь или Бытие 9:25, люди на протяжении веков по-разному интерпретировали этот текст и в конце концов полностью отвергли его авторитет. В деле "Браун против Совета по образованию" судьи Верховного суда США не сочли нужным принимать во внимание библейский текст.

Но что может произойти в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в просьбе записаться в школу с высоким кредитом? Как мы видели в главе 8, компьютеры, скорее всего, будут страдать от собственных предубеждений и изобретать межкомпьютерные мифологии и фиктивные категории. Как люди смогут выявлять и исправлять такие ошибки? И как судьи Верховного суда из плоти и крови смогут принимать решения о конституционности алгоритмических решений? Смогут ли они понять, как алгоритмы приходят к своим выводам?

Это уже не чисто теоретические вопросы. В феврале 2013 года в городе Ла-Кросс, штат Висконсин, произошла перестрелка на автомобиле. Позднее полицейские заметили автомобиль, участвовавший в стрельбе, и арестовали водителя, Эрика Лумиса. Лумис отрицал свою причастность к стрельбе, но признал себя виновным по двум менее тяжким обвинениям: "попытка скрыться от сотрудника дорожной полиции" и "управление транспортным средством без разрешения владельца".26 Когда судье предстояло определить меру наказания, он обратился к алгоритму под названием COMPAS, который Висконсин и некоторые другие американские штаты использовали в 2013 году для оценки риска повторного совершения преступления. Алгоритм оценил Лумиса как человека с высоким риском, который, скорее всего, совершит больше преступлений в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.

Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.

В деле "Лумис против Висконсина" (2016) Верховный суд Висконсина все же вынес решение не в пользу Лумиса. Судьи утверждали, что использование алгоритмической оценки риска является законным, даже если методология алгоритма не раскрывается ни суду, ни подсудимому. Судья Энн Уолш Брэдли написала, что, поскольку КОМПАС делает свою оценку на основе данных, которые либо находятся в открытом доступе, либо предоставлены самим обвиняемым, Лумис мог бы опровергнуть или объяснить все данные, которые использовал алгоритм. В этом заключении не учитывался тот факт, что точные данные вполне могут быть неверно интерпретированы и что Лумис не мог опровергнуть или объяснить все общедоступные данные о себе.

Верховный суд штата Висконсин не был полностью лишен понимания опасности, связанной с использованием непрозрачных алгоритмов. Поэтому, разрешив такую практику, он постановил, что всякий раз, когда судьи получают алгоритмические оценки риска, они должны содержать письменное предупреждение для судей о потенциальной предвзятости алгоритмов. Суд также посоветовал судьям быть осторожными, полагаясь на такие алгоритмы. К сожалению, эта оговорка оказалась пустым жестом. Суд не дал судьям никаких конкретных указаний относительно того, как им следует проявлять такую осторожность. В своем обсуждении этого дела Гарвардское юридическое обозрение пришло к выводу, что "большинство судей вряд ли поймут алгоритмические оценки рисков". Затем он процитировал одного из судей Верховного суда штата Висконсин, который отметил, что, несмотря на подробные объяснения алгоритма, им самим было сложно его понять.

Лумис подал апелляцию в Верховный суд США. Однако 26 июня 2017 года суд отказался рассматривать это дело, фактически поддержав решение Верховного суда Висконсина. Теперь подумайте о том, что алгоритм, который в 2013 году оценил Лумиса как человека с высоким уровнем риска, был ранним прототипом. С тех пор были разработаны гораздо более сложные и изощренные алгоритмы оценки риска, которым были предоставлены более широкие полномочия. К началу 2020-х годов граждане многих стран будут регулярно получать тюремные сроки, частично основанные на оценках риска, сделанных алгоритмами, которые не понимают ни судьи, ни обвиняемые. И тюремные сроки - это только верхушка айсберга.

ПРАВО НА ОБЪЯСНЕНИЕ

Компьютеры принимают за нас все больше решений, как обыденных, так и меняющих жизнь. Помимо тюремных сроков, алгоритмы все чаще решают, предложить ли нам место в колледже, дать ли нам работу, предоставить ли нам социальное пособие или выдать кредит. Они также помогают определить, какое медицинское обслуживание мы получаем, какие страховые взносы платим, какие новости слышим и кто пригласит нас на свидание.

По мере того как общество доверяет все больше и больше решений компьютерам, оно подрывает жизнеспособность демократических механизмов самокоррекции, а также демократической прозрачности и подотчетности. Как выборные должностные лица могут регулировать непостижимые алгоритмы? В связи с этим растет потребность в закреплении нового права человека - права на объяснение. Вступившее в силу в 2018 году Общее положение Европейского союза о защите данных (GDPR) гласит, что если алгоритм принимает решение в отношении человека - например, отказывает нам в кредите, - то человек имеет право получить объяснение этого решения и оспорить его перед каким-либо человеческим органом. В идеале это должно сдерживать предвзятость алгоритмов и позволить демократическим механизмам самокоррекции выявить и исправить хотя бы некоторые из наиболее грубых ошибок компьютеров.

Но может ли это право быть реализовано на практике? Мустафа Сулейман - мировой эксперт в этой области. Он является соучредителем и бывшим главой DeepMind, одной из самых значимых компаний в мире ИИ, ответственной за разработку программы AlphaGo, среди прочих достижений. AlphaGo была создана для игры в го - стратегическую настольную игру, в которой два игрока пытаются победить друг друга, окружая и захватывая территорию. Изобретенная в Древнем Китае, эта игра гораздо сложнее шахмат. Поэтому даже после того, как компьютеры победили человеческих чемпионов мира по шахматам, эксперты все еще считали, что компьютеры никогда не превзойдут человечество в го.

Именно поэтому и профессионалы го, и компьютерные эксперты были ошеломлены в марте 2016 года, когда AlphaGo победил чемпиона Южной Кореи по го Ли Седоля. В своей книге 2023 года "Грядущая волна" Сулейман описывает один из самых важных моментов их матча - момент, который дал новое определение ИИ и который во многих научных и правительственных кругах признан важнейшим поворотным пунктом в истории. Это произошло во время второй партии матча, 10 марта 2016 года.

"Затем... последовал ход № 37", - пишет Сулейман. "Это было бессмысленно. AlphaGo, очевидно, провалил дело, слепо следуя очевидно проигрышной стратегии, которую ни один профессиональный игрок никогда бы не применил. Комментаторы матча, оба профессионала высочайшего класса, сказали, что это "очень странный ход", и решили, что это "ошибка". Это было настолько необычно, что Седолю потребовалось пятнадцать минут, чтобы ответить, и он даже встал из-за доски, чтобы прогуляться на улицу. Мы наблюдали за происходящим из нашей комнаты управления, и напряжение было нереальным. И все же по мере приближения эндшпиля этот "ошибочный" ход оказался решающим. AlphaGo снова выиграла. Стратегия игры в го переписывалась на наших глазах. Наш ИИ обнаружил идеи, которые не приходили в голову самым гениальным игрокам на протяжении тысячелетий".

Move 37 - это эмблема революции ИИ по двум причинам. Во-первых, он продемонстрировал инопланетную природу ИИ. В Восточной Азии го считается гораздо большим, чем просто игрой: это ценнейшая культурная традиция. Наряду с каллиграфией, живописью и музыкой, го было одним из четырех искусств, которые должен был знать каждый утонченный человек. На протяжении более чем двадцати пяти сотен лет в го играли десятки миллионов людей, а вокруг игры сформировались целые школы, отстаивающие различные стратегии и философии. Однако за все эти тысячелетия человеческие умы исследовали лишь некоторые области го. Другие области оставались нетронутыми, потому что человеческие умы просто не думали туда соваться. ИИ, будучи свободным от ограничений человеческого разума, обнаружил и исследовал эти ранее скрытые области.

Во-вторых, ход 37 продемонстрировал непостижимость ИИ. Даже после того, как AlphaGo сыграл его и добился победы, Сулейман и его команда не смогли объяснить, как AlphaGo решил сыграть его. Даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы выполнить этот приказ. Сулейман пишет: "Перед нами, людьми, стоит новая задача: будут ли новые изобретения недоступны нашему пониманию? Раньше создатели могли объяснить, как что-то работает, почему оно делает то, что делает, даже если это требовало огромного количества деталей. Сейчас это все чаще перестает быть правдой. Многие технологии и системы становятся настолько сложными, что не под силу ни одному человеку по-настоящему понять их.... В области искусственного интеллекта нейронные сети, движущиеся к автономности, в настоящее время не поддаются объяснению. Вы не можете провести человека через процесс принятия решений, чтобы объяснить, почему алгоритм выдал конкретное предсказание. Инженеры не могут заглянуть под капот и легко объяснить в деталях, что привело к тому или иному событию. GPT-4, AlphaGo и все остальные - это "черные ящики", их результаты и решения основаны на непрозрачных и невозможно сложных цепочках мельчайших сигналов".

Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в "черном ящике", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?

Растущая непостижимость нашей информационной сети - одна из причин недавней волны популистских партий и харизматических лидеров. Когда люди больше не могут разобраться в мире, когда они чувствуют себя перегруженными огромным количеством информации, которую они не могут переварить, они становятся легкой добычей для теорий заговора и обращаются за спасением к тому, что они действительно понимают, - к человеку. К сожалению, хотя харизматичные лидеры, безусловно, имеют свои преимущества, ни один человек, каким бы вдохновляющим или гениальным он ни был, не сможет в одиночку расшифровать алгоритмы, которые все больше и больше доминируют в мире, и обеспечить их справедливость. Проблема в том, что алгоритмы принимают решения, опираясь на множество точек данных, в то время как человеку очень сложно сознательно обдумать большое количество точек данных и взвесить их друг с другом. Мы предпочитаем работать с отдельными точками данных. Вот почему, сталкиваясь со сложными проблемами - будь то просьба о кредите, пандемия или война, - мы часто ищем одну-единственную причину для принятия определенного решения и игнорируем все остальные соображения. Это и есть заблуждение единственной причины.

Мы настолько плохо умеем взвешивать множество различных факторов, что, когда люди называют большое количество причин для принятия того или иного решения, это обычно звучит подозрительно. Допустим, хорошая подруга не пришла на нашу свадьбу. Если она даст нам единственное объяснение - "Моя мама попала в больницу, и я должна была ее навестить", - это звучит правдоподобно. Но что, если она перечислит пятьдесят различных причин, по которым решила не приходить: "Моя мама была немного не в духе, и я должна была отвезти свою собаку к ветеринару на этой неделе, и у меня был проект на работе, и шел дождь, и... и я знаю, что ни одна из этих пятидесяти причин сама по себе не оправдывает моего отсутствия, но когда я сложила их все вместе, они не позволили мне присутствовать на вашей свадьбе". Мы не говорим так, потому что не думаем в таком ключе. Мы не перечисляем в уме пятьдесят различных причин, не придаем каждой из них определенный вес, не суммируем все веса и не приходим таким образом к выводу.

Но именно так алгоритмы оценивают наш криминальный потенциал или нашу кредитоспособность. Алгоритм КОМПАС, например, оценивает риски, принимая во внимание ответы на 137 пунктов анкеты. То же самое можно сказать и о банковском алгоритме, который отказывает нам в кредите. Если правила GDPR ЕС заставят банк объяснить решение алгоритма, это объяснение не будет состоять из одного предложения; скорее всего, оно будет представлено в виде сотен или даже тысяч страниц, заполненных цифрами и уравнениями.

"Наш алгоритм, - говорится в письме воображаемого банка, - использует точную систему баллов для оценки всех заявок, принимая во внимание тысячу различных типов данных. Все эти данные суммируются, чтобы получить общий балл. Люди, чей общий балл отрицательный, считаются малокредитоспособными, слишком рискованными, чтобы получить кредит. Ваш общий балл составил -378, поэтому ваша заявка на кредит была отклонена". Далее в письме может быть приведен подробный список тысячи факторов, которые учитывал алгоритм, включая те, которые большинство людей могут посчитать несущественными, например точное время подачи заявки или тип смартфона, которым пользовался заявитель. Так, на странице 601 своего письма банк может объяснить, что "вы подали заявку со своего смартфона, который был последней моделью iPhone. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил закономерность: вероятность того, что люди, подавшие заявку с помощью последней модели iPhone, выплатят кредит, на 0,08 % выше. Поэтому алгоритм добавил 8 баллов к вашему общему баллу за это. Однако на момент отправки заявки с вашего iPhone его батарея была разряжена на 17 процентов. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил еще одну закономерность: люди, которые допускают, чтобы заряд батареи их смартфона опускался ниже 25 процентов, на 0,5 процента реже выплачивают кредит. За это вы теряете 50 баллов".

Вам может показаться, что банк поступил с вами несправедливо. "Разве это разумно - отказывать мне в кредите, - скажете вы, - только потому, что у меня разрядилась батарея телефона?" Однако это было бы недоразумением. "Батарея была не единственной причиной", - объяснят в банке. "Это был лишь один из тысячи факторов, которые учитывал наш алгоритм".

"Но разве ваш алгоритм не видел, что только дважды за последние десять лет мой банковский счет был переполнен?"

"Очевидно, он это заметил", - могут ответить в банке. "Посмотрите на страницу 453. За это вы получили 300 баллов. Но все остальные причины снизили ваш суммарный балл до -378".

Хотя такой способ принятия решений может показаться нам чуждым, у него, безусловно, есть потенциальные преимущества. При принятии решения, как правило, целесообразно учитывать все значимые данные, а не только один или два существенных факта. Конечно, есть много поводов для споров о том, кто определяет значимость информации. Кто решает, следует ли считать релевантными такие вещи, как модель смартфона или цвет кожи, при оформлении кредита? Но как бы мы ни определяли релевантность, способность учитывать больше данных, скорее всего, будет преимуществом. Ведь проблема многих человеческих предрассудков заключается в том, что они фокусируются только на одной или двух точках данных - цвете кожи, инвалидности или половой принадлежности - и игнорируют другую информацию. Банки и другие учреждения все чаще полагаются на алгоритмы при принятии решений именно потому, что алгоритмы могут учитывать гораздо больше данных, чем человек.

Но когда дело доходит до объяснений, это создает потенциально непреодолимое препятствие. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого количества точек данных? Мы можем считать, что Верховный суд штата Висконсин должен был заставить компанию Northpointe раскрыть информацию о том, как алгоритм КОМПАС решил, что Эрик Лумис относится к группе повышенного риска. Но если бы все данные были раскрыты, смог бы Лумис или суд разобраться в них?

Дело не только в том, что нам нужно учитывать множество точек данных. Возможно, самое главное - мы не можем понять, как алгоритмы находят закономерности в данных и принимают решения о распределении баллов. Даже если мы знаем, что банковский алгоритм снимает определенное количество баллов с людей, которые допускают, чтобы заряд батареи их смартфонов опускался ниже 25 процентов, как мы можем оценить, справедливо ли это? Алгоритм не получал это правило от человека; он пришел к такому выводу, обнаружив закономерность в миллионах предыдущих кредитных заявок. Может ли отдельный клиент-человек просмотреть все эти данные и оценить, действительно ли эта закономерность надежна и беспристрастна?

Однако в этом облаке цифр есть и положительная сторона. В то время как неспециалисты могут быть не в состоянии проверить сложные алгоритмы, команда экспертов с помощью собственных инструментов искусственного интеллекта потенциально может оценить справедливость алгоритмических решений даже более надежно, чем кто-либо может оценить справедливость человеческих решений. В конце концов, хотя может показаться, что человеческие решения основываются только на тех нескольких точках данных, которые мы осознаем, на самом деле на наши решения подсознательно влияют тысячи дополнительных точек данных. Не зная об этих подсознательных процессах, когда мы обдумываем свои решения или объясняем их, мы часто используем одномоментные рационализации post hoc того, что происходит на самом деле, когда миллиарды нейронов взаимодействуют внутри нашего мозга. Соответственно, если человеческий судья приговаривает нас к шести годам тюрьмы, как можем мы - или судья - быть уверены, что решение было сформировано только из справедливых соображений, а не из-за подсознательных расовых предубеждений или того, что судья был голоден?

В случае с судьями из плоти и крови эта проблема не может быть решена, по крайней мере, с нашими нынешними знаниями о биологии. В отличие от этого, когда решение принимает алгоритм, мы в принципе можем знать каждый из многочисленных соображений алгоритма и точный вес, придаваемый каждому из них. Так, несколько групп экспертов - от Министерства юстиции США до некоммерческого новостного агентства ProPublica - разбирали алгоритм КОМПАС, чтобы оценить его потенциальную предвзятость.46 Такие группы могут использовать не только коллективные усилия многих людей, но и мощь компьютеров. Подобно тому, как часто лучше подставить вора, чтобы поймать вора, так и мы можем использовать один алгоритм для проверки другого.

В связи с этим возникает вопрос, как мы можем быть уверены в надежности самого алгоритма проверки. В конечном итоге чисто технологического решения этой рекурсивной проблемы не существует. Независимо от того, какую технологию мы разработаем, нам придется поддерживать бюрократические институты, которые будут проверять алгоритмы и давать или отказывать им в одобрении. Такие институты будут объединять возможности людей и компьютеров, чтобы убедиться, что новые алгоритмические инструменты безопасны и справедливы. Без таких институтов, даже если мы примем законы, предоставляющие людям право на объяснение, и даже если мы введем правила против компьютерной предвзятости, кто сможет обеспечить соблюдение этих законов и правил?

NOSEDIVE

Чтобы проверить алгоритмы, регулирующие органы должны будут не только анализировать их, но и переводить свои открытия в понятные человеку истории. В противном случае мы никогда не будем доверять регулирующим институтам, а вместо этого будем верить в теории заговора и харизматичных лидеров. Как отмечалось в главе 3, людям всегда было трудно понять бюрократию, потому что бюрократии отклонялись от сценария биологических драм, а у большинства художников не хватало желания или способности изображать бюрократические драмы. Например, в романах, фильмах и сериалах о политике XXI века основное внимание уделяется вражде и любовным связям нескольких влиятельных семей, как будто современные государства управляются так же, как древние племена и королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.

Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод "Nosedive" в научно-фантастическом сериале "Черное зеркало".

Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, "Nosedive" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.

Эта история опирается на некоторые элементы традиционных биологических драм - "парень встречает девушку" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. "Nosedive" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.

Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме "Nosedive", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут "привести к дискриминационным результатам и исключению определенных групп" и "нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.

ЦИФРОВАЯ АНАРХИЯ

Новая компьютерная сеть представляет собой последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может привести к цифровой анархии. Децентрализованная природа демократий и их сильные самокорректирующиеся механизмы служат защитой от тоталитаризма, но они также усложняют обеспечение порядка. Чтобы функционировать, демократия должна отвечать двум условиям: она должна обеспечивать свободный общественный диалог по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен скатываться в анархию. Особенно когда речь идет о срочных и важных проблемах, общественные дебаты должны вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для принятия какого-то окончательного решения, даже если оно не всем нравится.

До появления газет, радио и других современных информационных технологий ни одному крупному обществу не удавалось сочетать свободные дискуссии с институциональным доверием, поэтому масштабная демократия была невозможна. Теперь, с появлением новых компьютерных сетей, может ли масштабная демократия снова стать невозможной? Одна из трудностей заключается в том, что компьютерная сеть облегчает участие в дебатах. В прошлом такие организации, как газеты, радиостанции и устоявшиеся политические партии, выступали в роли привратников, определяя, кто будет услышан в публичной сфере. Социальные медиа подорвали власть этих привратников, что привело к более открытому, но и более анархичному общественному разговору.

Когда к обсуждению присоединяются новые группы, они приносят с собой новые точки зрения и интересы и часто ставят под сомнение старый консенсус о том, как вести дискуссию и принимать решения. Правила дискуссии должны быть согласованы заново. Это потенциально позитивное развитие событий, которое может привести к созданию более инклюзивной демократической системы. В конце концов, исправление прежних предубеждений и предоставление возможности ранее лишенным прав людям присоединиться к общественной дискуссии - это жизненно важная часть демократии. Однако в краткосрочной перспективе это создает беспорядки и дисгармонию. Если не будет достигнуто соглашение о том, как вести общественные дебаты и как принимать решения, результатом станет анархия, а не демократия.

Анархический потенциал ИИ вызывает особую тревогу, поскольку он позволяет не только новым человеческим группам вступать в общественные дискуссии. Впервые в истории демократия вынуждена бороться с какофонией нечеловеческих голосов. На многих платформах социальных сетей боты составляют значительное меньшинство участников. Согласно одному из аналитических исследований, из 20 миллионов твитов, созданных во время избирательной кампании в США в 2016 году, 3,8 миллиона твитов (почти 20 процентов) были созданы ботами.

К началу 2020-х годов ситуация ухудшилась. Исследование 2020 года показало, что боты создают 43,2 % твитов. Более полное исследование 2022 года, проведенное агентством цифровой разведки Similarweb, показало, что 5 % пользователей Twitter, вероятно, являются ботами, но они создают "от 20,8 до 29,2 % контента, публикуемого в Twitter". Когда люди пытаются обсудить такой важный вопрос, как кого выбрать президентом США, что произойдет, если многие из голосов, которые они услышат, будут созданы компьютерами?

Еще одна тревожная тенденция касается контента. Изначально боты использовались для влияния на общественное мнение за счет огромного объема распространяемых ими сообщений. Они ретвитили или рекомендовали определенный контент, созданный человеком, но сами не могли создавать новые идеи и устанавливать близкие отношения с людьми. Однако новые инструменты генеративного ИИ, такие как ChatGPT, способны именно на это. В исследовании 2023 года, опубликованном в журнале Science Advances, ученые попросили людей и ChatGPT создать как точные, так и намеренно вводящие в заблуждение короткие тексты по таким вопросам, как вакцины, технология 5G, изменение климата и эволюция. Затем эти тексты были представлены семистам людям, которых попросили оценить их достоверность. Люди хорошо распознавали ложь дезинформации, созданной человеком, но склонны были считать дезинформацию, созданную ИИ, достоверной.

Что же произойдет с демократическими дебатами, когда миллионы, а со временем и миллиарды высокоинтеллектуальных ботов будут не только составлять чрезвычайно убедительные политические манифесты и создавать глубоко фейковые изображения и видео, но и смогут завоевать наше доверие и дружбу? Если я вступаю в политические дебаты с ИИ в режиме онлайн, то пытаться изменить его мнение - пустая трата времени: будучи бессознательной сущностью, он не интересуется политикой и не может голосовать на выборах. Но чем больше я общаюсь с ИИ, тем лучше он меня узнает, а значит, сможет завоевать мое доверие, отточить свои аргументы и постепенно изменить мои взгляды. В борьбе за сердца и умы близость - чрезвычайно мощное оружие. Раньше политические партии могли завладеть нашим вниманием, но им было сложно создать массовую близость. Радиоприемники могли транслировать речь лидера на миллионы, но они не могли подружиться со слушателями. Теперь же политическая партия или даже иностранное правительство могут развернуть целую армию ботов, которые установят дружеские отношения с миллионами граждан и затем используют эту близость, чтобы повлиять на их мировоззрение.

Наконец, алгоритмы не только присоединяются к дискуссии, но и все чаще ее организуют. Социальные сети позволяют новым группам людей оспаривать старые правила ведения дискуссий. Но переговоры о новых правилах ведутся не людьми. Скорее, как мы уже объясняли в нашем предыдущем анализе алгоритмов социальных сетей, зачастую именно алгоритмы устанавливают правила. В XIX и XX веках, когда медиамагнаты подвергали цензуре одни взгляды и продвигали другие, это могло подорвать демократию, но, по крайней мере, магнаты были людьми, и их решения могли быть подвергнуты демократической проверке. Гораздо опаснее, если мы позволим непостижимым алгоритмам решать, какие взгляды следует распространять.

Если манипулятивные боты и непостижимые алгоритмы станут доминировать в общественных дискуссиях, это может привести к краху демократических дебатов именно тогда, когда мы больше всего в них нуждаемся. Именно тогда, когда мы должны принимать судьбоносные решения о быстро развивающихся новых технологиях, общественная сфера будет наводнена сгенерированными компьютером фальшивыми новостями, граждане не смогут определить, с кем они ведут дискуссию - с другом-человеком или с манипулятивной машиной, и не смогут прийти к консенсусу относительно самых основных правил обсуждения или самых основных фактов. Такая анархическая информационная сеть не может породить ни истину, ни порядок и не может существовать долго. Если в итоге мы получим анархию, следующим шагом, вероятно, станет установление диктатуры, поскольку люди согласятся обменять свою свободу на некоторую определенность.

ЗАПРЕТИТЬ БОТОВ

Перед лицом угрозы, которую алгоритмы представляют для демократического общения, демократические государства не беспомощны. Они могут и должны принять меры по регулированию ИИ и предотвращению загрязнения нашей инфосферы фальшивыми людьми, распространяющими фальшивые новости. Философ Дэниел Деннетт считает, что мы можем черпать вдохновение из традиционных правил регулирования денежного рынка. С тех пор как были изобретены монеты, а затем и банкноты, всегда существовала техническая возможность их подделки. Подделка представляла собой экзистенциальную опасность для финансовой системы, поскольку подрывала доверие людей к деньгам. Если бы плохие игроки наводнили рынок фальшивыми деньгами, финансовая система рухнула бы. Однако на протяжении тысячелетий финансовой системе удавалось защищать себя, принимая законы, запрещающие подделку денег. В результате лишь относительно небольшой процент денег в обращении был подделан, и доверие людей к ним сохранилось.

То, что верно в отношении подделки денег, должно быть верно и в отношении подделки людей. Если правительства принимают решительные меры для защиты доверия к деньгам, то имеет смысл принять столь же решительные меры для защиты доверия к людям. До появления искусственного интеллекта один человек мог выдавать себя за другого, и общество наказывало таких мошенников. Но общество не потрудилось объявить вне закона создание поддельных людей, поскольку технологии для этого не существовало. Теперь, когда ИИ может выдавать себя за человека, это грозит разрушить доверие между людьми и расшатать ткань общества. Поэтому Деннетт предлагает правительствам объявить фальшивых людей вне закона так же решительно, как ранее они объявили вне закона фальшивые деньги.

Закон должен запрещать не только глубокое подделывание реальных людей - например, создание фальшивого видео с президентом США, - но и любые попытки нечеловеческого агента выдать себя за человека. Если кто-то жалуется, что такие строгие меры нарушают свободу слова, ему следует напомнить, что у ботов нет свободы слова. Запрет людей на публичных площадках - деликатный шаг, и демократические страны должны быть очень осторожны с такой цензурой. Однако запрет ботов - это простой вопрос: он не нарушает ничьих прав, потому что у ботов нет прав.

Все это не означает, что демократические страны должны запретить всем ботам, алгоритмам и искусственным интеллектам участвовать в любых дискуссиях. Цифровые инструменты могут участвовать во многих дискуссиях, если они не выдают себя за людей. Например, врачи с искусственным интеллектом могут быть очень полезны. Они могут следить за нашим здоровьем двадцать четыре часа в сутки, давать медицинские советы с учетом индивидуальных особенностей здоровья и характера пациента, а также отвечать на наши вопросы с бесконечным терпением. Но ИИ-врач никогда не должен пытаться выдать себя за человека.

Еще одна важная мера, которую могут принять демократические страны, - запретить алгоритмам, не поддающимся контролю, курировать ключевые общественные дискуссии. Мы, конечно, можем продолжать использовать алгоритмы для управления платформами социальных сетей; очевидно, что ни один человек не может этого сделать. Но принципы, по которым алгоритмы решают, какие голоса следует заглушить, а какие усилить, должны проверяться человеческим институтом. Хотя мы должны быть осторожны с цензурой подлинных человеческих взглядов, мы можем запретить алгоритмам намеренно распространять возмущение. По крайней мере, корпорации должны быть прозрачны в отношении принципов курирования, которым следуют их алгоритмы. Если они используют возмущение, чтобы привлечь наше внимание, пусть они четко объяснят свою бизнес-модель и любые политические связи, которые у них могут быть. Если алгоритм систематически удаляет видео, которое не соответствует политической повестке дня компании, пользователи должны знать об этом.

Это лишь некоторые из многочисленных предложений, выдвинутых в последние годы, о том, как демократические страны могли бы регулировать участие ботов и алгоритмов в общественных дискуссиях. Естественно, у каждого из них есть свои преимущества и недостатки, и ни одно из них не будет легко реализовать. Кроме того, поскольку технология развивается так быстро, правила, скорее всего, быстро устареют. Я хотел бы подчеркнуть, что демократические страны могут регулировать информационный рынок и что от этого зависит их выживание. Наивный взгляд на информацию выступает против регулирования и считает, что полностью свободный информационный рынок будет спонтанно генерировать истину и порядок. Это совершенно не соответствует реальной истории демократии. Сохранение демократического диалога никогда не было легким делом, и все места, где он происходил - от парламентов и мэрий до газет и радиостанций, - требовали регулирования. Это вдвойне верно в эпоху, когда чужеродная форма интеллекта угрожает доминировать в разговоре.