Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта

Правительственные сети наблюдения также регулярно собирают биометрические данные у всего населения, с его ведома или без него. Например, при подаче заявления на получение паспорта более 140 стран обязывают своих граждан предоставить отпечатки пальцев, сканы лица или радужной оболочки глаза. Когда мы используем паспорт для въезда в другую страну, эта страна часто требует, чтобы мы также предоставили ей отпечатки пальцев, сканы лица или радужной оболочки глаза. Когда граждане или туристы идут по улицам Дели, Пекина, Сеула или Лондона, их движения, скорее всего, будут записаны. Ведь в этих городах и многих других по всему миру в среднем на один квадратный километр приходится более ста камер наблюдения. Всего же в 2023 году в мире работало более миллиарда камер видеонаблюдения, то есть примерно одна камера на восемь человек.

Любая физическая активность человека оставляет след в виде данных. Каждая совершенная покупка заносится в какую-нибудь базу данных. Онлайн-активность, например обмен сообщениями с друзьями, фотографиями, оплата счетов, чтение новостей, назначение встреч или заказ такси, также может быть зафиксирована. Полученный океан данных может быть проанализирован средствами искусственного интеллекта для выявления противоправных действий, подозрительных моделей, пропавших людей, носителей болезней или политических диссидентов.

Как и любая мощная технология, эти инструменты могут быть использованы как в хороших, так и в плохих целях. После штурма Капитолия США 6 января 2021 года ФБР и другие американские правоохранительные органы использовали самые современные средства наблюдения, чтобы выследить и арестовать участников беспорядков. Как сообщается в расследовании Washington Post, эти агентства опирались не только на записи с камер видеонаблюдения в Капитолии, но и на сообщения в социальных сетях, данные считывания номерных знаков по всей стране, записи расположения сотовых башен и уже существующие базы данных.

Один из жителей Огайо написал в Facebook, что в тот день он был в Вашингтоне, чтобы "стать свидетелем истории". Facebook была направлена повестка в суд, который предоставил ФБР записи мужчины в Facebook, а также информацию о его кредитной карте и номер телефона. Это помогло ФБР сопоставить фотографию мужчины с водительских прав с записями камер видеонаблюдения в Капитолии. Еще один ордер, выданный Google, позволил получить точную геолокацию смартфона мужчины 6 января, что дало агентам возможность проследить все его перемещения от входа в зал заседаний Сената до офиса Нэнси Пелоси, спикера Палаты представителей.

Опираясь на записи номерных знаков, ФБР точно определило передвижения нью-йоркца с момента, когда он пересек мост Генри Гудзона в 6:06:08 утром 6 января, направляясь в Капитолий, и до пересечения моста Джорджа Вашингтона в 23:59:22 той же ночью, когда он возвращался домой. На снимке, сделанном камерой на шоссе 95, видно, что на приборной панели мужчины лежит огромная шляпа с надписью "Make America Great Again". Шляпа была сопоставлена с селфи в Facebook, на котором мужчина предстал в ней. Далее он уличил себя в том, что опубликовал в Snapchat несколько видеороликов из Капитолия.

Другой участник беспорядков пытался защитить себя от обнаружения, надев 6 января маску на лицо, избегая прямых трансляций и используя мобильный телефон, зарегистрированный на имя его матери, но это ему мало помогло. Алгоритмам ФБР удалось сопоставить видеозапись, сделанную 6 января 2021 года, с фотографией из заявления на получение паспорта, поданного мужчиной в 2017 году. Они также сопоставили отличительную куртку рыцарей Колумба, в которую он был одет 6 января, с курткой, которая была на нем по другому поводу, запечатленному в ролике на YouTube. Телефон, зарегистрированный на имя его матери, был геолокационно привязан к территории Капитолия, а считыватель номерных знаков зафиксировал его машину возле Капитолия утром 6 января.2

Алгоритмы распознавания лиц и базы данных, основанные на искусственном интеллекте, сегодня являются стандартными инструментами полицейских сил по всему миру. Они используются не только в чрезвычайных ситуациях или в целях обеспечения государственной безопасности, но и для решения повседневных задач. В 2009 году в китайской провинции Сычуань преступная группировка похитила трехлетнего Гуй Хао, когда он играл возле магазина своих родителей. Затем мальчик был продан в семью в провинции Гуандун, расположенную примерно в 1500 километрах. В 2014 году главарь банды торговцев детьми был арестован, но найти Гуй Хао и других жертв оказалось невозможно. "Внешность детей настолько изменилась бы, - объяснил один из полицейских следователей, - что даже родители не смогли бы их узнать".

Однако в 2019 году алгоритму распознавания лиц удалось идентифицировать тринадцатилетнего Гуй Хао, и подросток воссоединился со своей семьей. Чтобы правильно идентифицировать Гуй Хао, ИИ опирался на его старую фотографию, сделанную, когда он был совсем маленьким. ИИ смоделировал, как должен выглядеть тринадцатилетний Гуй Хао, с учетом резкого взросления, а также возможных изменений в цвете волос и прическе, и сравнил полученную симуляцию с реальными кадрами.

В 2023 году были зафиксированы еще более удивительные случаи спасения. Юэчуань Лэй был похищен в 2001 году, когда ему было три года, а Хао Чэнь пропал в 1998 году, также в возрасте трех лет. Родители обоих детей не теряли надежды найти их. Более двадцати лет они колесили по Китаю в их поисках, размещали объявления и предлагали денежное вознаграждение за любую значимую информацию. В 2023 году алгоритмы распознавания лиц помогли найти обоих пропавших мальчиков, теперь уже взрослых мужчин двадцати лет. Подобные технологии сегодня помогают найти пропавших детей не только в Китае, но и в других странах, например в Индии, где ежегодно пропадают десятки тысяч детей.

Тем временем в Дании футбольный клуб Brøndby IF в июле 2019 года начал использовать технологию распознавания лиц на своем домашнем стадионе, чтобы выявлять и запрещать футбольных хулиганов. Когда до 30 000 болельщиков приходят на стадион, чтобы посмотреть матч, их просят снять маски, шапки и очки, чтобы компьютер мог просканировать их лица и сравнить их со списком запрещенных нарушителей порядка. Очень важно, что процедура была проверена и одобрена в соответствии со строгими правилами GDPR ЕС. Датское управление по защите данных пояснило, что использование технологии "позволит более эффективно следить за соблюдением запретительного списка по сравнению с ручными проверками, и это может уменьшить очереди у входа на стадион, снизив риск общественных беспорядков из-за нетерпеливых футбольных фанатов, стоящих в очередях".

Хотя в теории такое использование технологий похвально, оно вызывает очевидные опасения по поводу неприкосновенности частной жизни и чрезмерного вмешательства государства. В неумелых руках те же технологии, которые позволяют обнаруживать участников беспорядков, спасать пропавших детей и запрещать футбольных хулиганов, могут быть использованы для преследования мирных демонстрантов или принуждения к жесткому конформизму. В конечном итоге технология наблюдения с помощью ИИ может привести к созданию режимов тотальной слежки, которые будут круглосуточно контролировать граждан и способствовать новым видам вездесущих и автоматизированных тоталитарных репрессий. В качестве примера можно привести иранские законы о хиджабах.

После того как в 1979 году Иран стал исламской теократией, новый режим обязал женщин носить хиджаб. Однако иранской полиции нравов было трудно обеспечить соблюдение этого правила. Они не могли поставить полицейского на каждом углу, а публичные столкновения с женщинами, которые не носили хиджаб, периодически вызывали сопротивление и недовольство. В 2022 году Иран возложил большую часть работы по обеспечению соблюдения законов о хиджабах на общенациональную систему алгоритмов распознавания лиц, которая неустанно следит как за физическими пространствами, так и за онлайн-средой. Высокопоставленный иранский чиновник объяснил, что система "выявляет неуместные и необычные движения", включая "несоблюдение законов о хиджабах". Глава парламентского комитета по правовым и судебным вопросам Ирана Муса Газанфарабади в другом интервью заявил, что "использование камер с записью лиц может систематически выполнять эту задачу и сократить присутствие полиции, в результате чего больше не будет столкновений между полицией и гражданами".

Вскоре после этого, 16 сентября 2022 года, 22-летняя Махса Амини умерла в застенках иранской полиции нравов после того, как ее арестовали за то, что она не носила хиджаб должным образом. Поднялась волна протестов, известная как движение "Женщина, жизнь, свобода". Сотни тысяч женщин и девушек сняли головные платки, а некоторые публично сожгли свои хиджабы и танцевали вокруг костров. Чтобы подавить протесты, иранские власти вновь обратились к своей системе искусственного интеллекта, которая использует программы распознавания лиц, геолокацию, анализ веб-трафика и уже существующие базы данных. По всему Ирану было арестовано более 19 000 человек и более 500 убито.

8 апреля 2023 года начальник полиции Ирана объявил, что с 15 апреля 2023 года начнется новая интенсивная кампания, в рамках которой будут усиленно использоваться технологии распознавания лиц. В частности, алгоритмы отныне будут выявлять женщин, решивших не носить головной платок во время поездки в автомобиле, и автоматически отправлять им SMS-предупреждение. Если женщину поймают на повторном нарушении, ей будет приказано обездвижить свой автомобиль на заранее оговоренный срок, а если она не выполнит требования, автомобиль будет конфискован.

Два месяца спустя, 14 июня 2023 года, представитель иранской полиции похвастался, что автоматизированная система наблюдения отправила почти миллион SMS-сообщений с предупреждениями женщинам, которых запечатлели обнаженными в их личных автомобилях. По всей видимости, система была способна автоматически определить, что перед ней не мужчина, а обнаженная женщина, идентифицировать ее и узнать номер ее мобильного телефона. Кроме того, система "выдала 133 174 SMS-сообщения с требованием обездвижить автомобили на две недели, конфисковала 2 000 автомобилей и направила более 4 000 "рецидивистов" в судебные органы".

52-летняя женщина по имени Марьям поделилась с Amnesty International своим опытом работы с системой наблюдения. "В первый раз я получила предупреждение за то, что не носила платок за рулем, - я проезжала перекресток, когда камера сделала снимок, и я сразу же получила предупреждающее текстовое сообщение. Во второй раз я делала покупки, заносила сумки в машину, платок упал, и я получила сообщение о том, что из-за нарушения закона об обязательном ношении хиджаба моя машина подвергается "систематической конфискации" сроком на пятнадцать дней. Я не знала, что это значит. Я поспрашивала и через родственников узнала, что это означает, что я должна обездвижить свой автомобиль на пятнадцать дней". Показания Марьям свидетельствуют о том, что ИИ отправляет свои угрожающие сообщения в течение нескольких секунд, и у человека нет времени на то, чтобы просмотреть и утвердить процедуру.

Наказания выходили далеко за рамки обездвиживания или конфискации автомобилей. В отчете Amnesty от 26 июля 2023 года говорится, что в результате массовой слежки "бесчисленное количество женщин было отстранено или исключено из университетов, им запретили сдавать выпускные экзамены, лишили доступа к банковским услугам и общественному транспорту". Предприятия, которые не следили за соблюдением закона о хиджабе среди своих сотрудников или клиентов, также пострадали. В одном типичном случае сотрудница парка развлечений "Страна счастья" к востоку от Тегерана была сфотографирована без хиджаба, и это изображение распространилось в социальных сетях. В наказание "Страна счастья" была закрыта иранскими властями. В целом, по данным Amnesty, власти "закрыли сотни туристических объектов, отелей, ресторанов, аптек и торговых центров за несоблюдение законов об обязательном ношении хиджаба".

В сентябре 2023 года, в годовщину смерти Махсы Амини, парламент Ирана принял новый, более строгий закон о хиджабе. Согласно новому закону, женщины, не носящие хиджаб, могут быть наказаны крупными штрафами и тюремным заключением сроком до десяти лет. Им грозят дополнительные наказания, включая конфискацию автомобилей и средств связи, запрет на вождение, вычеты из зарплаты и пособий, увольнение с работы и запрет на доступ к банковским услугам. Владельцам бизнеса, не соблюдающим закон о хиджабе среди своих сотрудников или клиентов, грозит штраф в размере до трех месяцев от прибыли, а также запрет на выезд из страны и участие в общественной или онлайн-деятельности на срок до двух лет. Новый законопроект направлен не только против женщин, но и против мужчин, которые носят "откровенную одежду, демонстрирующую части тела ниже груди или выше лодыжек". Наконец, закон предписывает иранской полиции "создавать и укреплять системы искусственного интеллекта для выявления лиц, совершивших противоправное поведение, с помощью таких инструментов, как стационарные и мобильные камеры". В ближайшие годы многие люди, возможно, будут жить в условиях тотальной слежки, по сравнению с которой Румыния Чаушеску покажется либертарианской утопией.

РАЗНОВИДНОСТИ НАБЛЮДЕНИЯ

Говоря о слежке, мы обычно имеем в виду государственные аппараты, но чтобы понять, что такое слежка в XXI веке, следует помнить, что она может принимать и другие формы. Например, ревнивые партнеры всегда хотели знать, где находятся их супруги в каждый момент времени, и требовали объяснений за любое небольшое отклонение от привычного распорядка. Сегодня, вооружившись смартфоном и дешевым программным обеспечением, они могут легко установить супружескую диктатуру. Они могут контролировать каждый разговор и каждое движение, записывать телефонные разговоры, отслеживать сообщения в социальных сетях и поиск на веб-страницах и даже активировать камеры и микрофоны телефона супруга, чтобы он служил шпионским устройством. Американская организация National Network to End Domestic Violence обнаружила, что более половины домашних обидчиков используют подобные технологии "преследования". Даже в Нью-Йорке супруги могут оказаться под наблюдением и ограничениями, как если бы они жили в тоталитарном государстве.

Все больший процент сотрудников - от офисных работников до водителей грузовиков - также подвергаются слежке со стороны своих работодателей. Начальство может точно определить, где находятся сотрудники в любой момент, сколько времени они проводят в туалете, читают ли они личные письма на работе и как быстро выполняют каждое задание. Корпорации также следят за своими клиентами, желая знать, что им нравится и не нравится, предсказать будущее поведение, оценить риски и возможности. Например, автомобили следят за поведением своих водителей и передают полученные данные алгоритмам страховых компаний, которые повышают страховые взносы для "плохих водителей" и снижают для "хороших". Американский ученый Шошана Зубофф назвала эту постоянно расширяющуюся систему коммерческого мониторинга "капитализмом наблюдения".

Помимо всех этих разновидностей нисходящего наблюдения, существуют и одноранговые системы, в которых люди постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает всемирную систему наблюдения, которая следит за отелями, арендой жилья, ресторанами и туристами. В 2019 году ею пользовались 463 миллиона путешественников, которые просмотрели 859 миллионов отзывов и 8,6 миллиарда мест проживания, ресторанов и туристических достопримечательностей. Именно сами пользователи, а не какой-то сложный алгоритм искусственного интеллекта, определяют, стоит ли посетить тот или иной ресторан. Люди, которые ели в ресторане, могут оценить его по шкале от 1 до 5, а также добавить фотографии и письменные отзывы. Алгоритм Tripadvisor просто агрегирует данные, вычисляет средний балл ресторана, ранжирует его по сравнению с другими подобными заведениями и выставляет результаты на всеобщее обозрение.

Алгоритм одновременно оценивает и гостей. За публикацию отзывов или статей о путешествиях пользователи получают 100 баллов; за загрузку фотографий или видео - 30 баллов; за сообщения на форуме - 20 баллов; за оценку заведений - 5 баллов; за голосование за чужие отзывы - 1 балл. Затем пользователи ранжируются от 1-го (300 баллов) до 6-го (10 000 баллов) уровня и получают соответствующие привилегии. Пользователи, нарушающие правила системы - например, оставляющие расистские комментарии или пытающиеся шантажировать ресторан, написав необоснованный плохой отзыв, - могут быть наказаны или вовсе исключены из системы. Это и есть взаимное наблюдение. Каждый постоянно оценивает другого. Tripadvisor не нужно вкладывать деньги в камеры и шпионские программы или разрабатывать сверхсложные биометрические алгоритмы. Почти все данные предоставляются и почти всю работу выполняют миллионы пользователей-людей. Работа алгоритма Tripadvisor заключается лишь в агрегировании оценок, полученных людьми, и их публикации.

Tripadvisor и подобные ему системы наблюдения предоставляют ценную информацию миллионам людей каждый день, облегчая планирование отпусков и поиск хороших отелей и ресторанов. Но при этом они также сместили границу между частным и общественным пространством. Традиционно отношения между клиентом и официантом были относительно частным делом. Зайти в бистро означало войти в полуприватное пространство и установить полуприватные отношения с официантом. Если не было совершено какого-то преступления, то, что происходило между гостем и официантом, было только их делом. Если официант был груб или сделал расистское замечание, вы могли устроить скандал и, возможно, посоветовать друзьям не ходить туда, но мало кто еще об этом узнал бы.

Одноранговые сети наблюдения уничтожили это чувство приватности. Если персоналу не удастся угодить клиенту, ресторан получит плохой отзыв, который может повлиять на решение тысяч потенциальных клиентов в ближайшие годы. К лучшему или худшему, баланс сил склоняется в пользу клиентов, в то время как персонал оказывается более открытым, чем раньше, для общественного взгляда. По словам писательницы и журналистки Линды Кинстлер, "до Tripadvisor клиент был королем лишь номинально. После он стал настоящим тираном, способным сделать или сломать жизнь". Такую же потерю приватности сегодня ощущают миллионы таксистов, парикмахеров, косметологов и других работников сферы услуг. Раньше войти в такси или парикмахерскую означало войти в чье-то личное пространство. Теперь, когда клиенты заходят в ваше такси или парикмахерскую, они приносят с собой камеры, микрофоны, сеть наблюдения и тысячи потенциальных зрителей. Это основа неправительственной одноранговой сети наблюдения.

СИСТЕМА СОЦИАЛЬНЫХ КРЕДИТОВ

Одноранговые системы наблюдения обычно работают путем суммирования множества баллов для определения общей оценки. Другой тип сетей наблюдения доводит эту "логику баллов" до конца. Это система социальных кредитов, которая стремится начислять людям баллы за все и создавать общую личную оценку, которая будет влиять на все. В последний раз люди придумали такую амбициозную систему баллов пять тысяч лет назад в Месопотамии, когда были изобретены деньги. Систему социальных кредитов можно рассматривать как новый вид денег.

Деньги - это баллы, которые люди накапливают, продавая определенные товары и услуги, а затем используют для покупки других товаров и услуг. В одних странах "баллы" называются долларами, в других - евро, иенами или юанями. Баллы могут иметь форму монет, банкнот или битов на цифровом банковском счете. Сами по себе баллы, разумеется, ничего не стоят. Вы не можете есть монеты или носить банкноты. Их ценность заключается в том, что они служат учетными жетонами, которые общество использует для отслеживания наших индивидуальных показателей.

Деньги произвели революцию в экономических отношениях, социальных взаимодействиях и человеческой психологии. Но, как и наблюдение, деньги имели свои ограничения и не могли проникнуть повсюду. Даже в самых капиталистических обществах всегда были места, куда деньги не проникали, и всегда было много вещей, которые не имели денежной стоимости. Сколько стоит улыбка? Сколько денег зарабатывает человек за то, что навещает своих бабушек и дедушек?

Для оценки тех вещей, которые нельзя купить за деньги, была создана альтернативная немонетарная система, получившая разные названия: честь, статус, репутация. Система социальных кредитов - это стандартизированная оценка рынка репутации. Социальный кредит - это новая система баллов, которая присваивает точные значения даже улыбкам и семейным визитам. Чтобы оценить, насколько это революционно и масштабно, давайте вкратце рассмотрим, чем рынок репутации до сих пор отличался от денежного рынка. Это поможет нам понять, что может произойти с социальными отношениями, если принципы денежного рынка вдруг распространятся на рынок репутации.

Одно из главных различий между деньгами и репутацией заключается в том, что деньги, как правило, являются математической конструкцией, основанной на точных расчетах, в то время как сфера репутации не поддается точной числовой оценке. Например, средневековые аристократы оценивали себя по иерархическим рангам, таким как герцоги, графы и виконты, но никто не считал очки репутации. Покупатели на средневековом рынке обычно знали, сколько монет у них в кошельке и какова цена каждого товара на прилавках. На денежном рынке ни одна монета не остается незасчитанной. В отличие от этого, рыцари на средневековом рынке репутации не знали точного количества почестей, которые могут принести те или иные действия, и не могли быть уверены в своем общем счете. Может ли храбрость в бою принести рыцарю 10 очков чести или 100? А что, если никто не видел и не записал их храбрость? Ведь даже если ее заметили, разные люди могли оценить ее по-разному. Отсутствие точности было не ошибкой системы, а ее важнейшей особенностью. "Расчетливость" была синонимом хитрости и интриги. Поступок с честью должен был отражать внутреннюю добродетель, а не стремление к внешнему вознаграждению.

Эта разница между скрупулезным рынком денег и неопределенным рынком репутации до сих пор сохраняется. Владелец бистро всегда заметит и пожалуется, если вы не заплатите за еду полностью; каждый пункт в меню имеет точную цену. Но как владелец узнает, что общество не зарегистрировало его добрый поступок? Кому он может пожаловаться, если его не вознаградили должным образом за помощь пожилому клиенту или за то, что он был очень терпелив с грубым покупателем? В некоторых случаях они могут попробовать пожаловаться на Tripadvisor, который разрушает границу между денежным рынком и рынком репутации, превращая размытую репутацию ресторанов и отелей в математическую систему точных баллов. Идея социального кредита заключается в том, чтобы распространить этот метод наблюдения с ресторанов и отелей на все. В наиболее экстремальном варианте системы социального кредитования каждый человек получает общий балл репутации, который учитывает все его действия и определяет все, что он может сделать.

Например, вы можете заработать 10 баллов за уборку мусора на улице, получить еще 20 баллов за то, что поможете старушке перейти дорогу, и потерять 15 баллов за игру на барабанах и беспокойство соседей. Если вы наберете достаточно высокий балл, это может дать вам преимущество при покупке билетов на поезд или при поступлении в университет. Если вы получите низкий балл, потенциальные работодатели могут отказать вам в работе, а потенциальные спутницы - в ухаживаниях. Страховые компании могут потребовать более высокие страховые взносы, а судьи - вынести более суровый приговор.

Некоторые люди могут рассматривать системы социальных кредитов как способ вознаградить просоциальное поведение, наказать эгоистов и создать более доброе и гармоничное общество. Китайское правительство, например, объясняет, что система социальных кредитов поможет бороться с коррупцией, мошенничеством, уклонением от уплаты налогов, ложной рекламой и контрафактом и тем самым установит больше доверия между людьми, между потребителями и корпорациями, а также между гражданами и государственными учреждениями. Другие могут счесть системы, которые присваивают точные значения каждому социальному действию, унизительными и бесчеловечными. Хуже того, всеобъемлющая система социальных кредитов уничтожит частную жизнь и превратит ее в бесконечное собеседование. Все, что вы делаете, в любое время и в любом месте, может повлиять на ваши шансы получить работу, банковский кредит, мужа или тюремный срок. Вы напились на вечеринке в колледже и сделали что-то законное, но постыдное? Вы участвовали в политической демонстрации? Вы дружите с человеком, у которого низкий кредитный рейтинг? Это станет частью вашего собеседования при приеме на работу или при вынесении уголовного приговора - как в краткосрочной перспективе, так и спустя десятилетия. Таким образом, система социальных кредитов может превратиться в тоталитарную систему контроля.

Конечно, рынок репутации всегда контролировал людей и заставлял их подчиняться господствующим социальным нормам. В большинстве обществ люди всегда боялись потерять лицо даже больше, чем потерять деньги. Гораздо больше людей совершают самоубийство из-за стыда и чувства вины, чем из-за экономических трудностей. Даже когда люди кончают с собой после увольнения с работы или банкротства бизнеса, их обычно толкает на это социальное унижение, а не экономические трудности как таковые.

Однако неопределенность и субъективность репутационного рынка ранее ограничивали его потенциал для тоталитарного контроля. Поскольку никто не знал точной ценности каждого социального взаимодействия и никто не мог уследить за всеми взаимодействиями, оставалось значительное пространство для маневра. Отправляясь на вечеринку в колледж, вы могли вести себя так, чтобы заслужить уважение друзей, не заботясь о том, что могут подумать будущие работодатели. Когда вы шли на собеседование, вы знали, что там не будет никого из ваших друзей. А когда вы смотрели дома порнографию, вы предполагали, что ни начальство, ни друзья не знают, чем вы занимаетесь. Жизнь была разделена на отдельные репутационные сферы, с отдельными статусными соревнованиями, и было также много несетевых моментов, когда вам вообще не нужно было участвовать ни в каких статусных соревнованиях. Именно потому, что статусная конкуренция так важна, она также чрезвычайно стрессогенна. Поэтому не только люди, но и другие социальные животные, такие как обезьяны, всегда приветствовали некоторую передышку от нее.

К сожалению, алгоритмы социального кредитования в сочетании с вездесущими технологиями наблюдения теперь грозят объединить все статусные соревнования в одну бесконечную гонку. Даже в собственном доме или во время расслабленного отдыха люди должны будут крайне внимательно следить за каждым своим поступком и словом, как будто выступают на сцене перед миллионами. Это может создать невероятно напряженный образ жизни, разрушительный как для благополучия людей, так и для функционирования общества. Если цифровые бюрократы будут использовать точную систему баллов, чтобы постоянно следить за всеми, то зарождающийся рынок репутации может уничтожить частную жизнь и контролировать людей гораздо жестче, чем это когда-либо делал денежный рынок.

ВСЕГДА ВКЛЮЧЕН

Люди - органические существа, живущие по циклическому биологическому времени. Иногда мы бодрствуем, иногда спим. После интенсивной деятельности нам нужен отдых. Мы растем и разрушаемся. Сети людей также подвержены биологическим циклам. Они то включаются, то выключаются. Собеседования не длятся вечно. Полицейские агенты не работают двадцать четыре часа в сутки. Бюрократы берут отпуск. Даже денежный рынок уважает эти биологические циклы. Нью-Йоркская фондовая биржа работает с понедельника по пятницу, с 9:30 утра до 4:00 дня, и закрыта по праздникам, таким как День независимости и Новый год. Если война разразится в пятницу в 16:01, рынок не отреагирует на нее до утра понедельника.

В отличие от этого, сеть компьютеров может быть всегда включена. Следовательно, компьютеры подталкивают людей к новому виду существования, в котором мы всегда подключены и всегда находимся под наблюдением. В некоторых контекстах, например в здравоохранении, это может быть благом. В других контекстах, например для граждан тоталитарных государств, это может стать катастрофой. Даже если сеть потенциально благотворна, сам факт того, что она всегда "включена", может оказаться губительным для таких органических существ, как люди, поскольку лишит нас возможности отключиться и расслабиться. Если у организма нет возможности отдохнуть, он в конце концов разрушается и умирает. Но как заставить неумолимую сеть замедлиться и дать нам передышку?

Мы должны предотвратить полный контроль компьютерной сети над обществом не только для того, чтобы дать нам время на отдых. Перерывы еще более важны для того, чтобы дать нам шанс исправить ситуацию в сети. Если сеть продолжит развиваться ускоренными темпами, ошибки будут накапливаться гораздо быстрее, чем мы сможем их выявить и исправить. Ведь несмотря на то что сеть неумолима и вездесуща, она также небезупречна. Да, компьютеры могут собирать беспрецедентные объемы данных о нас, наблюдая за тем, что мы делаем двадцать четыре часа в сутки. И да, они могут выявлять закономерности в океане данных со сверхчеловеческой эффективностью. Но это не значит, что компьютерная сеть всегда будет точно понимать мир. Информация - это не истина. Система тотального наблюдения может сформировать очень искаженное представление о мире и людях. Вместо того чтобы узнать правду о мире и о нас, сеть может использовать свою огромную мощь для создания нового типа мирового порядка и навязывания его нам.

ГЛАВА 8.

Неверный: Сеть часто ошибается

В книге "Архипелаг ГУЛАГ" (1973) Александр Солженицын описывает историю советских трудовых лагерей и информационной сети, которая их создавала и поддерживала. Он писал отчасти из горького личного опыта. Когда Солженицын служил капитаном в Красной армии во время Второй мировой войны, он вел частную переписку со своим школьным другом, в которой иногда критиковал Сталина. Чтобы подстраховаться, он не называл диктатора по имени и говорил только о "человеке с усами". Это мало помогало ему. Его письма перехватывала и читала тайная полиция, и в феврале 1945 года, во время службы на передовой в Германии, он был арестован. Следующие восемь лет он провел в исправительно-трудовых лагерях. Многие из выстраданных Солженицыным историй по-прежнему актуальны для понимания развития информационных сетей в XXI веке.

В одной из историй рассказывается о событиях на районной партийной конференции в Московской области в конце 1930-х годов, в разгар сталинского Большого террора. Прозвучал призыв воздать должное Сталину, и собравшиеся, которые, конечно, знали, что за ними внимательно наблюдают, разразились аплодисментами. После пяти минут аплодисментов "ладони болели, а поднятые руки уже болели. А пожилые люди задыхались от усталости.... Однако кто же осмелится первым остановиться?" Солженицын рассказывает, что "люди из НКВД стояли в зале, аплодировали и смотрели, кто первый остановится!" Так продолжалось шесть минут, потом восемь, потом десять. "Они не могли остановиться, пока не падали в обморок от сердечных приступов! ...С неправдоподобным энтузиазмом на лицах, глядя друг на друга со слабой надеждой, руководители района собирались продолжать и продолжать аплодировать, пока не упадут там, где стояли".

Наконец, через одиннадцать минут директор бумажной фабрики взял свою жизнь в руки, перестал хлопать и сел. Все остальные тут же перестали хлопать и тоже сели. В ту же ночь тайная полиция арестовала его и отправила в ГУЛАГ на десять лет. "Его следователь напомнил ему: Никогда не будь первым, кто перестанет аплодировать!"

Эта история раскрывает важнейший и тревожный факт об информационных сетях, и в частности о системах наблюдения. Как уже говорилось в предыдущих главах, вопреки наивному мнению, информация часто используется для создания порядка, а не для выявления истины. На первый взгляд, агенты Сталина на московской конференции использовали "тест на хлопанье" как способ узнать правду об аудитории. Это был тест на лояльность, который предполагал, что чем дольше вы хлопаете, тем больше любите Сталина. Во многих контекстах такое предположение небезосновательно. Но в условиях Москвы конца 1930-х годов природа аплодисментов изменилась. Поскольку участники конференции знали, что за ними наблюдают, и знали о последствиях любого намека на нелояльность, они хлопали скорее от страха, чем от любви. Директор бумажной фабрики мог первым остановиться не потому, что он был наименее лоялен, а, возможно, потому, что он был наиболее честен, или даже просто потому, что у него больше всего болели руки.

Хотя тест на хлопанье не открывал правды о людях, он был эффективен для наведения порядка и принуждения людей к определенному поведению. Со временем такие методы воспитывали раболепие, лицемерие и цинизм. Именно это советская информационная сеть делала с сотнями миллионов людей на протяжении десятилетий. В квантовой механике акт наблюдения за субатомными частицами меняет их поведение; то же самое происходит и с актом наблюдения за людьми. Чем мощнее наши инструменты наблюдения, тем больше потенциальное воздействие.

Советский режим создал одну из самых мощных информационных сетей в истории. Он собирал и обрабатывал огромные объемы данных о своих гражданах. Он также утверждал, что непогрешимые теории Маркса, Энгельса, Ленина и Сталина дают ему глубокое понимание человечества. На самом деле советская информационная сеть игнорировала многие важные аспекты человеческой природы и полностью отрицала ужасные страдания, которые ее политика причиняла собственным гражданам. Вместо того чтобы производить мудрость, она производила порядок, а вместо того чтобы раскрыть универсальную истину о людях, она фактически создала новый тип человека - Homo sovieticus.

По определению советского философа-сатирика Александра Зиновьева, Homo sovieticus - это подневольные и циничные люди, лишенные всякой инициативы и самостоятельного мышления, пассивно подчиняющиеся даже самым нелепым приказам и безразличные к результатам своих действий. Советская информационная сеть создавала Homo sovieticus с помощью слежки, наказаний и поощрений. Например, отправив директора бумажной фабрики в ГУЛАГ, сеть дала понять другим участникам, что конформизм приносит плоды, а быть первым, кто делает что-то спорное, - плохая идея. Хотя сеть не смогла открыть правду о людях, она была настолько хороша в создании порядка, что завоевала большую часть мира.

ДИКТАТУРА СЕБЕ ПОДОБНЫХ

Аналогичная динамика может поразить компьютерные сети XXI века, которые могут породить новые типы людей и новые антиутопии. Хрестоматийный пример - роль алгоритмов социальных сетей в радикализации людей. Конечно, методы, используемые алгоритмами, кардинально отличаются от методов НКВД и не предполагают прямого принуждения или насилия. Но как советская тайная полиция создала рабский Homo sovieticus с помощью слежки, поощрений и наказаний, так и алгоритмы Facebook и YouTube создали интернет-троллей, поощряя определенные низменные инстинкты и наказывая лучших ангелов нашей природы.

Как кратко объясняется в главе 6, процесс радикализации начался, когда корпорации поставили перед своими алгоритмами задачу повысить вовлеченность пользователей не только в Мьянме, но и во всем мире. Например, в 2012 году пользователи ежедневно просматривали на YouTube около 100 миллионов часов видео. Руководителям компании этого было недостаточно, и они поставили перед своими алгоритмами амбициозную цель: 1 миллиард часов в день к 2016 году. Проводя эксперименты на миллионах людей, алгоритмы YouTube обнаружили ту же закономерность, что и алгоритмы Facebook: возмущение повышает вовлеченность, а модерация, как правило, этого не делает. Соответственно, алгоритмы YouTube стали рекомендовать миллионам зрителей возмутительные теории заговора, игнорируя при этом более умеренный контент. К 2016 году пользователи действительно смотрели на YouTube по 1 миллиарду часов в день.

Ютуберы, которые особенно стремились привлечь к себе внимание, заметили, что, когда они выкладывали возмутительное видео, полное лжи, алгоритм вознаграждал их, рекомендуя это видео многочисленным пользователям и увеличивая популярность и доход ютуберов. В противоположность этому, когда они сбавляли градус возмущения и придерживались правды, алгоритм, как правило, игнорировал их. За несколько месяцев такого обучения алгоритм превратил многих ютуберов в троллей.

Социальные и политические последствия были далеко идущими. Например, как пишет журналист Макс Фишер в своей книге "Машина хаоса", вышедшей в 2022 году, алгоритмы YouTube стали важным двигателем подъема бразильских ультраправых и превращения Жаира Болсонару из периферийной фигуры в президента Бразилии. Хотя на этот политический переворот повлияли и другие факторы, примечательно, что многие из главных сторонников и помощников Болсонару изначально были пользователями YouTub, добившимися славы и власти благодаря алгоритмам.

Типичный пример - Карлос Жорди, который в 2017 году был членом городского совета в небольшом городе Нитерой. Амбициозный Жорди привлек к себе внимание общественности, создавая подстрекательские видеоролики на YouTube, которые собирали миллионы просмотров. Например, его ролики предостерегали бразильцев от заговоров школьных учителей с целью промывания мозгов детям и преследования консервативных учеников. В 2018 году Жорди получил место в Палате депутатов Бразилии (нижняя палата бразильского Конгресса) как один из самых преданных сторонников Болсонару. В интервью Fisher Жорди откровенно заявил: "Если бы социальных сетей не существовало, меня бы здесь не было, а Жаир Болсонару не был бы президентом". Последнее утверждение вполне может быть преувеличением, но нельзя отрицать, что социальные сети сыграли важную роль в возвышении Болсонару.

Еще одним ютубером, получившим место в Палате депутатов Бразилии в 2018 году, стал Ким Катагири, один из лидеров Движения за свободную Бразилию (MBL, или Free Brazil Movement). Изначально Катагири использовал Facebook в качестве своей основной платформы, но его посты оказались слишком экстремальными даже для Facebook, который запретил некоторые из них за дезинформацию. Тогда Катагири перешел на более свободный YouTube. В интервью в штаб-квартире MBL в Сан-Паулу помощники Катагири и другие активисты объяснили Фишеру: "У нас здесь есть нечто, что мы называем "диктатурой типа". Они объяснили, что ютуберы склонны становиться все более экстремальными, размещая неправдивый и безрассудный контент "только потому, что что-то даст вам просмотры, даст ангажемент.... Как только вы откроете эту дверь, пути назад уже не будет, потому что вам всегда придется идти дальше.... Плоская земля, антивакцинаторы, теории заговора в политике. Это одно и то же явление. Вы видите это повсюду".

Конечно, алгоритмы YouTube сами не несут ответственности за придумывание лжи и теорий заговора или за создание экстремистского контента. По крайней мере в 2017-18 годах эти вещи делали люди. Однако алгоритмы отвечали за то, чтобы стимулировать людей вести себя подобным образом и продвигать полученный контент, чтобы максимизировать вовлеченность пользователей. Фишер задокументировал множество ультраправых активистов, которые впервые заинтересовались экстремистской политикой после просмотра видеороликов, которые алгоритм YouTube автоматически проигрывал для них. Один ультраправый активист из Нитероя рассказал Фишеру, что никогда не интересовался политикой, пока однажды алгоритм YouTube не воспроизвел для него видео о политике Катагири. "До этого, - объяснил он, - у меня не было идеологической и политической основы". Он считает, что алгоритм обеспечил "мое политическое образование". Говоря о том, как другие люди присоединились к движению, он сказал: "Так было со всеми.... Большинство людей здесь пришли с YouTube и из социальных сетей".

ВИНИТЬ ЛЮДЕЙ

Мы достигли поворотного момента в истории, когда основные исторические процессы отчасти обусловлены решениями нечеловеческого интеллекта. Именно это делает ошибочность компьютерной сети столь опасной. Компьютерные ошибки становятся потенциально катастрофическими только тогда, когда компьютеры превращаются в исторических агентов. Мы уже приводили этот аргумент в главе 6, когда кратко рассмотрели роль Facebook в разжигании кампании по этнической чистке против рохинджа. Однако, как уже отмечалось, многие люди - в том числе некоторые руководители и инженеры Facebook, YouTube и других технологических гигантов - возражают против этого аргумента. Поскольку он является одним из центральных пунктов всей книги, лучше углубиться в этот вопрос и более тщательно изучить возражения против него.

Люди, управляющие Facebook, YouTube, TikTok и другими платформами, постоянно пытаются оправдать себя, перекладывая вину со своих алгоритмов на "человеческую природу". Они утверждают, что именно человеческая природа порождает всю ненависть и ложь на платформах. Затем технологические гиганты заявляют, что из-за своей приверженности ценностям свободы слова они не решаются подвергать цензуре выражение подлинных человеческих эмоций. Например, в 2019 году генеральный директор YouTube Сьюзан Войцицки объяснила: "Мы думаем так: "Нарушает ли этот контент одну из наших политик? Нарушает ли он что-то в плане ненависти, преследования?". Если да, то мы удаляем этот контент. Мы продолжаем ужесточать и ужесточать политику. Мы также получаем критику, чтобы быть понятными, [по поводу] того, где вы проводите границы свободы слова и, если вы проводите их слишком жестко, вы удаляете голоса общества, которые должны быть услышаны? Мы пытаемся найти баланс, чтобы дать возможность высказаться широкому кругу людей, но при этом убедиться, что эти голоса играют по правилам, которые являются здоровыми для общества".

В октябре 2021 года представитель Facebook также заявил: "Как и любая платформа, мы постоянно принимаем сложные решения между свободой слова и вредными высказываниями, безопасностью и другими вопросами.... Но проведение этих общественных границ всегда лучше оставить избранным лидерам". Таким образом, технологические гиганты постоянно переводят дискуссию на свою предполагаемую роль модераторов контента, произведенного людьми, и игнорируют активную роль, которую играют их алгоритмы в культивировании одних человеческих эмоций и подавлении других. Неужели они действительно слепы к этому?

Конечно, нет. Еще в 2016 году внутренний отчет Facebook обнаружил, что "64 % всех вступлений в экстремистские группы происходят благодаря нашим рекомендательным инструментам.... Наши рекомендательные системы порождают проблему". Секретный внутренний меморандум Facebook от августа 2019 года, утечка которого произошла благодаря разоблачителю Фрэнсису Хаугену, гласил: "У нас есть доказательства из различных источников, что язык ненависти, политическая речь, вызывающая разногласия, и дезинформация на Facebook и [его] семействе приложений влияют на общества по всему миру. У нас также есть убедительные доказательства того, что такие основные механики нашего продукта, как вирусность, рекомендации и оптимизация для вовлечения, являются значительной частью того, почему эти виды высказываний процветают на платформе".

В другом документе, просочившемся в сеть в декабре 2019 года, отмечалось: "В отличие от общения с близкими друзьями и семьей, вирусность - это нечто новое, что мы внедрили во многие экосистемы... и она возникает потому, что мы намеренно поощряем ее по причинам бизнеса". В документе отмечалось, что "ранжирование контента на более важные темы, такие как здоровье или политика, на основе вовлеченности приводит к порочным стимулам и проблемам с честностью". И, пожалуй, самое ужасное: "В наших системах ранжирования есть отдельные прогнозы не только того, что вас заинтересует, но и того, что, по нашему мнению, вы можете передать, чтобы это заинтересовало других". К сожалению, исследования показали, что возмущение и дезинформация с большей вероятностью станут вирусными". В этом документе, ставшем достоянием гласности, содержится одна важная рекомендация: поскольку Facebook не может удалить все вредное с платформы, которой пользуются миллионы людей, он должен, по крайней мере, "прекратить увеличивать вредный контент, давая ему неестественное распространение".

Как и советские лидеры в Москве, технологические компании не открывали какую-то истину о людях; они навязывали нам новый извращенный порядок. Люди - очень сложные существа, и доброкачественные социальные порядки ищут способы культивировать наши достоинства, сдерживая при этом наши негативные наклонности. Но алгоритмы социальных сетей рассматривают нас просто как мину для привлечения внимания. Алгоритмы свели многогранную гамму человеческих эмоций - ненависть, любовь, возмущение, радость, замешательство - в одну общую категорию: вовлеченность. В Мьянме в 2016 году, в Бразилии в 2018 году и во многих других странах алгоритмы оценивали видео, посты и прочий контент исключительно в зависимости от того, сколько минут люди занимались этим контентом и сколько раз они поделились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания - или час сна. Тот факт, что ложь и ненависть, как правило, психологически и социально разрушительны, в то время как правда, сострадание и сон необходимы для благополучия человека, совершенно не учитывался алгоритмами. Основываясь на таком узком понимании человечества, алгоритмы помогли создать новую социальную систему, которая поощряла наши самые низменные инстинкты и не давала нам реализовать весь спектр человеческого потенциала.

По мере того как пагубные последствия становились очевидными, технологических гигантов неоднократно предупреждали о происходящем, но они не вмешивались из-за своей веры в наивный взгляд на информацию. Когда платформы захлестнула ложь и возмущение, руководители компаний надеялись, что если дать возможность большему числу людей выражать свое мнение более свободно, то правда в конце концов восторжествует. Однако этого не произошло. Как мы уже не раз убеждались на протяжении истории, в полностью свободной информационной борьбе правда, как правило, проигрывает. Чтобы склонить баланс в пользу правды, сети должны разработать и поддерживать сильные механизмы самокоррекции, которые вознаграждают за правдивые высказывания. Эти механизмы самокоррекции требуют больших затрат, но если вы хотите получить правду, вы должны в них инвестировать.

Кремниевая долина считала, что на нее не распространяется это историческое правило. Платформам социальных сетей не хватало механизмов самокоррекции. В 2014 году в Facebook работал всего один модератор контента, говорящий на бирманском языке, который следил за деятельностью во всей Мьянме.15 Когда наблюдатели в Мьянме начали предупреждать Facebook о необходимости вкладывать больше средств в модерацию контента, Facebook проигнорировал их. Например, Пвинт Хтун, американский инженер-бирманец и руководитель телекоммуникационной компании, выросший в сельской местности Мьянмы, неоднократно писал руководителям Facebook об опасности. В электронном письме от 5 июля 2014 года - за два года до начала кампании по этнической чистке - она сделала пророческое предупреждение: "Трагично, но FB в Бирме используется так же, как радио в Руанде в темные дни геноцида". Facebook не предпринял никаких действий.

Даже после того, как нападения на рохинджа усилились и Facebook столкнулся с бурей критики, он все равно отказался нанимать людей с экспертным знанием местности для курирования контента. Так, получив информацию о том, что разжигатели ненависти в Мьянме используют бирманское слово "калар" в качестве расистского обозначения рохинья, Facebook в апреле 2017 года отреагировал на это запретом любых постов, в которых использовалось это слово. Это показало полное отсутствие у Facebook знаний о местных условиях и бирманском языке. В бирманском языке "калар" является расистским оскорблением только в определенных контекстах. В других контекстах это совершенно невинный термин. Бирманское слово, обозначающее стул, - kalar htaing, а слово, обозначающее нут, - kalar pae. Как написал Пвинт Хтун в Facebook в июне 2017 года, запретить термин kalar на платформе - все равно что запретить буквы "hell" в слове "hello". Facebook продолжал игнорировать необходимость в местной экспертизе. К апрелю 2018 года число носителей бирманского языка, которых Facebook наняла для модерации контента для восемнадцати миллионов пользователей в Мьянме, составляло всего пять человек.

Вместо того чтобы инвестировать в механизмы самокоррекции, которые вознаграждали бы за правдивую информацию, гиганты социальных сетей разработали беспрецедентные механизмы, усиливающие ошибки, которые вознаграждали ложь и вымыслы. Одним из таких механизмов, увеличивающих количество ошибок, стала программа Instant Articles, которую Facebook запустил в Мьянме в 2016 году. Желая повысить вовлеченность, Facebook платил новостным каналам в зависимости от количества привлеченных ими пользователей, измеряемого в кликах и просмотрах. При этом правдивости "новостей" не придавалось никакого значения. Исследование 2021 года показало, что в 2015 году, до запуска программы, шесть из десяти лучших сайтов Facebook в Мьянме принадлежали "законным СМИ". К 2017 году под воздействием Instant Articles "легальные СМИ" сократились до двух сайтов из первой десятки. К 2018 году все десять лучших сайтов стали "фальшивыми новостями и сайтами-приманками".

Авторы исследования пришли к выводу, что из-за запуска Instant Articles "в Мьянме за одну ночь появились актеры клик-бейта. Обладая правильным рецептом создания интересного и вызывающего контента, они могли генерировать тысячи долларов США в месяц в виде доходов от рекламы, что в десять раз превышало среднюю месячную зарплату, выплачиваемую им непосредственно Facebook". Поскольку Facebook был, безусловно, самым важным источником онлайн-новостей в Мьянме, это оказало огромное влияние на общий медиаландшафт страны. "В стране, где Facebook является синонимом Интернета, низкосортный контент подавлял другие источники информации". Facebook и другие социальные медиаплатформы не ставили перед собой сознательной цели наводнить мир фальшивыми новостями и возмущением. Но, настроив свои алгоритмы на максимальную вовлеченность пользователей, они именно это и сделали.

Размышляя о трагедии в Мьянме, Пвинт Хтун написал мне в июле 2023 года: "Я наивно полагал, что социальные сети могут возвысить человеческое сознание и распространить перспективу общего человечества через взаимосвязанные префронтальные коры у миллиардов людей. Я понял, что компании социальных сетей не заинтересованы в том, чтобы соединять префронтальные коры головного мозга. Компании социальных сетей заинтересованы в создании взаимосвязанных лимбических систем, что гораздо опаснее для человечества".

ПРОБЛЕМА ВЫРАВНИВАНИЯ

Я не хочу сказать, что распространение фейковых новостей и теорий заговора - это главная проблема всех прошлых, настоящих и будущих компьютерных сетей. YouTube, Facebook и другие социальные медиаплатформы утверждают, что с 2018 года они корректируют свои алгоритмы, чтобы сделать их более социально ответственными. Так это или нет, сказать сложно, тем более что общепринятого определения "социальной ответственности" не существует. Но конкретная проблема загрязнения информационной сферы в погоне за вовлеченностью пользователей, безусловно, может быть решена. Когда технологические гиганты задаются целью разработать более совершенные алгоритмы, у них это обычно получается. Примерно в 2005 году обилие спама угрожало сделать использование электронной почты невозможным. Для решения проблемы были разработаны мощные алгоритмы. К 2015 году компания Google заявила, что ее алгоритм Gmail на 99,9 % успешно блокирует настоящий спам, и только 1 % законных писем ошибочно попадает в эту категорию.

Не стоит сбрасывать со счетов и огромную социальную пользу, которую принесли YouTube, Facebook и другие социальные медиаплатформы. Следует уточнить, что большинство видеороликов на YouTube и постов в Facebook не являются фальшивыми новостями и подстрекательством к геноциду. Социальные медиа оказались более чем полезны для объединения людей, предоставления права голоса ранее бесправным группам и организации новых ценных движений и сообществ. Они также стимулировали беспрецедентную волну человеческого творчества. В те времена, когда телевидение было доминирующим средством массовой информации, зрителей часто называли "диванным картофелем": пассивными потребителями контента, который создавали несколько талантливых художников. Facebook, YouTube и другие социальные медиа-платформы вдохновили "диванных картошек" встать и начать творить. Большая часть контента в социальных сетях - по крайней мере, до появления мощного генеративного ИИ - создавалась самими пользователями, их кошками и собаками, а не ограниченным кругом профессионалов.

Я тоже регулярно использую YouTube и Facebook для общения с людьми и благодарна социальным сетям за то, что они соединили меня с моим мужем, с которым я познакомилась на одной из первых ЛГБТК-платформ в социальных сетях в 2002 году. Социальные сети сделали чудеса для таких рассеянных меньшинств, как ЛГБТК. Мало кто из геев рождается в семье геев в районе, где живут геи, а во времена до появления Интернета просто найти друг друга было очень сложно, если только вы не переехали в один из немногих толерантных мегаполисов, где была гей-субкультура. Выросший в небольшом гомофобном городке в Израиле в 1980-х и начале 1990-х годов, я не знал ни одного открытого гея. Социальные сети в конце 1990-х - начале 2000-х годов предоставили членам разрозненного ЛГБТК-сообщества беспрецедентный и почти волшебный способ найти друг друга и наладить контакт.

И все же я уделил так много внимания проблеме "вовлеченности пользователей" в социальных сетях, потому что она иллюстрирует гораздо более серьезную проблему, поразившую компьютеры, - проблему выравнивания. Когда перед компьютерами ставится конкретная задача, например, увеличить посещаемость YouTube до миллиарда часов в день, они используют всю свою мощь и изобретательность для достижения этой цели. Поскольку компьютеры работают совсем не так, как люди, они, скорее всего, будут использовать методы, которые их человеческие хозяева не предусмотрели. Это может привести к опасным непредвиденным последствиям, которые не соответствуют изначальным целям человека. Даже если рекомендательные алгоритмы перестанут поощрять ненависть, другие случаи проблемы согласования могут привести к более серьезным катастрофам, чем кампания против рохинджа. Чем мощнее и независимее становятся компьютеры, тем больше опасность.

Конечно, проблема выравнивания не является ни новой, ни уникальной для алгоритмов. Она мучила человечество на протяжении тысячелетий до изобретения компьютеров. Например, она стала основополагающей проблемой современного военного мышления, закрепленной в теории войны Карла фон Клаузевица. Клаузевиц был прусским генералом, воевавшим во время Наполеоновских войн. После окончательного поражения Наполеона в 1815 году Клаузевиц стал директором Прусского военного училища. Он также начал разрабатывать большую теорию войны. После его смерти от холеры в 1831 году его жена, Мария, отредактировала незаконченную рукопись и опубликовала "О войне" в нескольких частях в 1832-1834 годах.

Книга "О войне" создала рациональную модель понимания войны, которая и сегодня является доминирующей военной теорией. Ее важнейшая максима заключается в том, что "война - это продолжение политики другими средствами". Это означает, что война - это не эмоциональная вспышка, не героическое приключение и не божественная кара. Война - это даже не военное явление. Скорее, война - это политический инструмент. Согласно Клаузевицу, военные действия абсолютно иррациональны, если они не связаны с какой-то всеобъемлющей политической целью.

Предположим, Мексика раздумывает, не вторгнуться ли ей в Белиз и не завоевать ли своего маленького соседа. И предположим, что детальный военный анализ показывает, что если мексиканская армия вторгнется, то она одержит быструю и решительную военную победу, разгромив небольшую армию Белиза и захватив столицу Бельмопан за три дня. Согласно Клаузевицу, это не является рациональной причиной для вторжения Мексики. Сама по себе способность одержать военную победу не имеет смысла. Главный вопрос, который должно задать себе мексиканское правительство, - каких политических целей достигнет военный успех?

История полна решающих военных побед, которые приводили к политическим катастрофам. Для Клаузевица самый очевидный пример был близок к дому: карьера Наполеона. Никто не оспаривает военный гений Наполеона, который был мастером как тактики, так и стратегии. Но хотя череда его побед принесла Наполеону временный контроль над огромными территориями, они не обеспечили прочных политических достижений. Его военные завоевания лишь подтолкнули большинство европейских держав к объединению против него, и его империя рухнула через десять лет после того, как он короновал себя императором.

Действительно, в долгосрочной перспективе победы Наполеона обеспечили окончательный упадок Франции. На протяжении столетий Франция была ведущей геополитической державой Европы во многом потому, что Италия и Германия не существовали как единые политические образования. Италия представляла собой солянку из десятков враждующих городов-государств, феодальных княжеств и церковных территорий. Германия представляла собой еще более причудливый пазл, разделенный более чем на тысячу независимых государств, которые слабо держались вместе под теоретическим сюзеренитетом Священной Римской империи германской нации. В 1789 году перспектива немецкого или итальянского вторжения во Францию была просто немыслима, поскольку не существовало такого понятия, как немецкая или итальянская армия.

Расширяя свою империю в Центральной Европе и на Итальянском полуострове, Наполеон упразднил Священную Римскую империю в 1806 году, объединил многие мелкие немецкие и итальянские княжества в более крупные территориальные блоки, создал Рейнскую конфедерацию и Итальянское королевство и стремился объединить эти территории под своей династической властью. Его победоносные армии также распространяли идеалы современного национализма и народного суверенитета в немецких и итальянских землях. Наполеон считал, что все это сделает его империю сильнее. На самом деле, разрушив традиционные структуры и дав немцам и итальянцам почувствовать вкус национальной консолидации, Наполеон нечаянно заложил основы для окончательного объединения Германии (1866-71) и Италии (1848-71). Эти два процесса национального объединения были завершены победой Германии над Францией во Франко-прусской войне 1870-71 годов. Столкнувшись с двумя новыми объединенными и горячо националистическими державами на своей восточной границе, Франция так и не смогла восстановить свое господствующее положение.

Более свежим примером того, как военная победа привела к политическому поражению, стало американское вторжение в Ирак в 2003 году. Американцы выиграли все крупные военные операции, но не смогли достичь ни одной из своих долгосрочных политических целей. Их военная победа не привела к установлению дружественного режима в Ираке или благоприятного геополитического порядка на Ближнем Востоке. Настоящим победителем в войне стал Иран. Американская военная победа превратила Ирак из традиционного врага Ирана в его вассала, тем самым значительно ослабив американские позиции на Ближнем Востоке и сделав Иран региональным гегемоном.

И Наполеон, и Джордж Буш-младший стали жертвами проблемы выравнивания. Их краткосрочные военные цели не совпадали с долгосрочными геополитическими целями их стран. Мы можем понять всю книгу Клаузевица "О войне" как предупреждение о том, что "максимизация победы" - такая же недальновидная цель, как и "максимизация вовлеченности пользователей". Согласно клаузевицкой модели, только после того, как политическая цель ясна, армии могут принять решение о военной стратегии, которая позволит надеяться на ее достижение. На основе общей стратегии офицеры низшего звена могут определить тактические цели. Модель выстраивает четкую иерархию между долгосрочной политикой, среднесрочной стратегией и краткосрочной тактикой. Тактика считается рациональной только в том случае, если она соответствует какой-то стратегической цели, а стратегия - только в том случае, если она соответствует какой-то политической цели. Даже локальные тактические решения командира роты низшего звена должны служить конечной политической цели войны.

Предположим, что во время американской оккупации Ирака американская рота попала под интенсивный обстрел из близлежащей мечети. У командира роты есть несколько различных тактических решений на выбор. Он может приказать роте отступить. Он может приказать роте штурмовать мечеть. Он может приказать одному из танков поддержки взорвать мечеть. Как должен поступить командир роты?

С чисто военной точки зрения может показаться, что командиру лучше приказать своему танку взорвать мечеть. Это позволило бы использовать тактическое преимущество американцев в огневой мощи, избежать риска для жизни собственных солдат и одержать решающую тактическую победу. Однако с политической точки зрения это может оказаться худшим решением, которое мог принять командир. Кадры разрушения мечети американским танком настроят иракское общественное мнение против американцев и вызовут возмущение во всем мусульманском мире. Штурм мечети может быть и политической ошибкой, поскольку он также может вызвать недовольство иракцев, а цена в американских жизнях может ослабить поддержку войны среди американских избирателей. Учитывая политические цели Соединенных Штатов, отступление и признание тактического поражения может оказаться наиболее рациональным решением.

Для Клаузевица рациональность означает согласованность. Стремление к тактическим или стратегическим победам, которые не соответствуют политическим целям, нерационально. Проблема в том, что бюрократическая природа армий делает их весьма восприимчивыми к подобной иррациональности. Как говорилось в главе 3, разделяя реальность на отдельные ящики, бюрократия поощряет стремление к узким целям, даже если это вредит общему благу. Бюрократы, которым поручено выполнение узкой миссии, могут не осознавать более широких последствий своих действий, и всегда было непросто добиться того, чтобы их действия соответствовали высшему благу общества. Когда армии действуют по бюрократическому принципу - как это происходит во всех современных армиях, - возникает огромный разрыв между капитаном, командующим ротой в полевых условиях, и президентом, разрабатывающим долгосрочную политику в далеком кабинете. Капитан склонен принимать решения, которые кажутся разумными на месте, но на самом деле подрывают конечную цель войны.

Итак, мы видим, что проблема выравнивания возникла задолго до компьютерной революции и что трудности, с которыми сталкиваются строители современных информационных империй, не отличаются от тех, что преследовали предыдущих потенциальных завоевателей. Тем не менее компьютеры существенно меняют природу проблемы выравнивания. Как бы ни было трудно обеспечить соответствие человеческих бюрократов и солдат долгосрочным целям общества, обеспечить соответствие алгоритмических бюрократов и автономных систем вооружений будет еще труднее.

НАПОЛЕОН СО СКРЕПКАМИ

Одна из причин, по которой проблема выравнивания особенно опасна в контексте компьютерной сети, заключается в том, что эта сеть, вероятно, станет гораздо более мощной, чем любая предыдущая человеческая бюрократия. Несоответствие целей сверхразумных компьютеров может привести к катастрофе беспрецедентного масштаба. В своей книге 2014 года "Сверхразум" философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, напоминающего "Ученика колдуна" Гете. Бостром просит нас представить, что фабрика по производству скрепок покупает сверхинтеллектуальный компьютер, а управляющий фабрики дает компьютеру, казалось бы, простую задачу: произвести как можно больше скрепок. Преследуя эту цель, компьютер завоевывает всю планету Земля, убивает всех людей, отправляет экспедиции для захвата других планет и использует полученные огромные ресурсы, чтобы заполнить всю галактику фабриками по производству скрепок.

Смысл мысленного эксперимента в том, что компьютер делал именно то, что ему говорили (как заколдованная метла в стихотворении Гете). Осознав, что ему нужны электричество, сталь, земля и другие ресурсы, чтобы построить больше фабрик и производить больше скрепок, и поняв, что люди вряд ли откажутся от этих ресурсов, сверхразумный компьютер уничтожил всех людей в своем целеустремленном стремлении к поставленной цели. Бостром считает, что проблема компьютеров не в том, что они особенно злы, а в том, что они особенно мощны. И чем мощнее компьютер, тем тщательнее мы должны определять его цель так, чтобы она точно совпадала с нашими конечными целями. Если мы определим неверную цель для карманного калькулятора, последствия будут пустяковыми. Но если мы определим неверную цель для сверхразумной машины, последствия могут быть антиутопическими.

Мыслительный эксперимент с бумажной скрепкой может показаться необычным и совершенно оторванным от реальности. Но если бы руководители Кремниевой долины обратили на него внимание, когда Бостром опубликовал его в 2014 году, возможно, они были бы более осторожны, прежде чем давать указания своим алгоритмам "максимизировать вовлеченность пользователей". Алгоритмы Facebook и YouTube вели себя точно так же, как воображаемый алгоритм Бострома. Когда алгоритму говорили "максимизировать производство скрепок", он стремился превратить всю физическую вселенную в скрепки, даже если это означало уничтожение человеческой цивилизации. Когда алгоритмам Facebook и YouTube говорили, что нужно максимизировать вовлеченность пользователей, они стремились превратить всю социальную вселенную в вовлеченность пользователей, даже если это означало нанесение вреда социальной структуре Мьянмы, Бразилии и многих других стран.

Мысленный эксперимент Бострома подчеркивает вторую причину, по которой проблема выравнивания более актуальна в случае с компьютерами. Поскольку они являются неорганическими существами, они, скорее всего, будут использовать стратегии, которые никогда не придут в голову человеку и которые мы, следовательно, не в состоянии предвидеть и предотвратить. Вот один из примеров: В 2016 году Дарио Амодеи работал над проектом под названием Universe, пытаясь разработать универсальный ИИ, который мог бы играть в сотни различных компьютерных игр. ИИ хорошо показал себя в различных автомобильных гонках, поэтому Амодеи попробовал его в лодочных гонках. Необъяснимым образом ИИ направил свою лодку прямо в гавань, а затем поплыл по бесконечным кругам в гавань и из нее.

Амодею потребовалось немало времени, чтобы понять, что пошло не так. Проблема возникла потому, что изначально Амодей не знал, как сообщить ИИ, что его цель - "выиграть гонку". Понятие "победа" неясно для алгоритма. Перевод "выиграть гонку" на компьютерный язык потребовал бы от Амодея формализации таких сложных понятий, как положение на трассе и расположение среди других лодок в гонке. Поэтому вместо этого Амодей пошел по легкому пути и велел лодке максимизировать свой результат. Он предположил, что результат - это хороший показатель для победы в гонке. В конце концов, это сработало в автомобильных гонках.

Но у лодочных гонок была особенность, отсутствующая в автомобильных гонках, которая позволила изобретательному ИИ найти лазейку в правилах игры. Игра награждала игроков большим количеством очков за то, что они опережали другие лодки - как в автомобильных гонках, - но также награждала их несколькими очками, когда они пополняли запасы энергии, заходя в гавань. ИИ обнаружил, что если вместо того, чтобы пытаться обогнать другие лодки, он просто ходит кругами в гавани и заходит в нее, то может гораздо быстрее накопить больше очков. Очевидно, никто из разработчиков игры - ни Дарио Амодеи, ни люди - не заметили этой лазейки. ИИ делал именно то, за что его награждала игра, - даже если это было не то, на что рассчитывали люди. В этом и заключается суть проблемы выравнивания: вознаграждать А, надеясь на Б. Если мы хотим, чтобы компьютеры максимизировали социальные блага, то плохая идея - вознаграждать их за максимальное вовлечение пользователей.

Третья причина, по которой стоит беспокоиться о проблеме выравнивания компьютеров, заключается в том, что, поскольку они так сильно отличаются от нас, когда мы совершаем ошибку, давая им неверную цель, они с меньшей вероятностью заметят это или попросят разъяснений. Если бы ИИ для лодочных гонок был человеком, он бы понял, что лазейка, которую он нашел в правилах игры, вероятно, не считается "победой". Если бы ИИ, создающий скрепки, был человеческим бюрократом, он бы понял, что уничтожение человечества ради производства скрепок - это, вероятно, не то, что было задумано. Но поскольку компьютеры - не люди, мы не можем полагаться на то, что они заметят и отметят возможные несоответствия. В 2010-х годах на руководство YouTube и Facebook посыпались предупреждения от их сотрудников-людей, а также от сторонних наблюдателей о вреде, наносимом алгоритмами, но сами алгоритмы так и не подняли тревогу.

По мере того как мы будем давать алгоритмам все большую власть над здравоохранением, образованием, правоохранительными органами и многими другими сферами, проблема выравнивания будет становиться все более актуальной. Если мы не найдем способов ее решения, последствия будут гораздо хуже, чем если бы алгоритмы набирали очки, катаясь на лодках по кругу.

КОРСИКАНСКАЯ СВЯЗЬ

Как решить проблему выравнивания? Теоретически, когда люди создают компьютерную сеть, они должны определить для нее конечную цель, которую компьютеры никогда не смогут изменить или проигнорировать. Тогда, даже если компьютеры станут настолько мощными, что мы потеряем над ними контроль, мы сможем быть уверены, что их огромная сила принесет нам пользу, а не вред. Если, конечно, не окажется, что мы определили вредную или расплывчатую цель. И вот тут-то и кроется загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, которые периодически пересматривают и пересматривают наши цели, поэтому постановка неправильной цели - это не конец света. Но поскольку компьютерная сеть может выйти из-под нашего контроля, если мы поставим перед ней неверную цель, то обнаружим свою ошибку, когда уже не сможем ее исправить. Кто-то может надеяться, что в процессе тщательного обсуждения мы сможем заранее определить правильные цели для компьютерной сети. Однако это очень опасное заблуждение.

Чтобы понять, почему невозможно заранее договориться о конечных целях компьютерной сети, давайте обратимся к теории войны Клаузевица. В том, как он приравнивает рациональность к согласованности, есть один фатальный недостаток. Хотя клаузевицкая теория требует, чтобы все действия были согласованы с конечной целью, она не предлагает рационального способа определения такой цели. Рассмотрим жизнь и военную карьеру Наполеона. Какой должна была быть его конечная цель? Учитывая преобладающую культурную атмосферу Франции 1800 года, мы можем придумать несколько альтернатив "конечной цели", которые могли бы прийти в голову Наполеону:

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 1: Сделать Францию доминирующей державой в Европе, защищенной от любого будущего нападения со стороны Британии, империи Габсбургов, России, объединенной Германии или объединенной Италии.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 2: Создание новой многонациональной империи, управляемой семьей Наполеона, которая включала бы в себя не только Францию, но и множество других территорий как в Европе, так и за океаном.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 3: Добиться вечной славы для себя лично, чтобы даже спустя столетия после его смерти миллиарды людей знали имя Наполеона и восхищались его гением.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ НОМЕР 4: Обеспечить искупление своей вечной души и попасть на небеса после смерти.

ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 5: Распространение универсальных идеалов Французской революции и помощь в защите свободы, равенства и прав человека по всей Европе и миру.

Многие самозваные рационалисты склонны утверждать, что Наполеон должен был сделать миссией своей жизни достижение первой цели - обеспечение французского господства в Европе. Но почему? Помните, что для Клаузевица рациональность означает согласованность. Тактический маневр рационален тогда и только тогда, когда он согласован с какой-то более высокой стратегической целью, которая, в свою очередь, должна быть согласована с еще более высокой политической целью. Но где в конечном итоге начинается эта цепочка целей? Как определить конечную цель, которая оправдывает все стратегические подцели и вытекающие из них тактические шаги? Такая конечная цель по определению не может быть связана с чем-то более высоким, чем она сама, потому что выше ничего нет. Что же тогда заставляет рационально ставить Францию на вершину иерархии целей, а не семью Наполеона, славу Наполеона, душу Наполеона или всеобщие права человека? Клаузевиц не дает ответа.

Можно возразить, что цель № 4 - обеспечить искупление своей вечной души - не может быть серьезным кандидатом на высшую рациональную цель, потому что она основана на вере в мифологию. Но тот же аргумент можно привести и в отношении всех остальных целей. Вечные души - это интерсубъективное изобретение, существующее только в умах людей, и точно так же обстоит дело с нациями и правами человека. Почему Наполеон должен заботиться о мифической Франции больше, чем о своей мифической душе?

Действительно, большую часть своей юности Наполеон даже не считал себя французом. Он родился Наполеоном ди Буонапарте на Корсике, в семье итальянских эмигрантов. На протяжении пятисот лет Корсика находилась под властью итальянского города-государства Генуи, где жили многие предки Наполеона. Лишь в 1768 году - за год до рождения Наполеона - Генуя уступила остров Франции. Корсиканские националисты воспротивились передаче острова Франции и подняли восстание. Только после их поражения в 1770 году Корсика официально стала французской провинцией. Многие корсиканцы продолжали возмущаться захватом острова Францией, но семья ди Буонапарте присягнула на верность французскому королю и отправила Наполеона в военную школу на материковой части Франции.

В школе Наполеоне приходилось терпеть издевательства со стороны одноклассников за свой корсиканский национализм и плохое знание французского языка. Его родными языками были корсиканский и итальянский, и хотя он постепенно стал свободно говорить по-французски, у него на всю жизнь сохранился корсиканский акцент и неспособность правильно произносить французские слова. В конце концов Наполеоне поступил на службу во французскую армию, но когда в 1789 году разразилась революция, он вернулся на Корсику, надеясь, что революция даст возможность его любимому острову получить большую автономию. Только рассорившись с лидером корсиканского движения за независимость Паскуалем Паоли, Наполеон отказался от корсиканского дела в мае 1793 года. Он вернулся на материк, где решил строить свое будущее. Именно на этом этапе Наполеоне ди Буонапарте превратился в Наполеона Бонапарта (он продолжал использовать итальянский вариант своего имени до 1796 года).

Почему же тогда Наполеону было рационально посвятить свою военную карьеру превращению Франции в доминирующую державу в Европе? Может быть, рациональнее было остаться на Корсике, уладить личные разногласия с Паоли и посвятить себя освобождению родного острова от французских завоевателей? А может, Наполеону и в самом деле стоило сделать миссией своей жизни объединение Италии - земли его предков?

Клаузевиц не предлагает никакого метода рационального ответа на эти вопросы. Если наше единственное правило - "каждое действие должно быть согласовано с какой-то высшей целью", то по определению не существует рационального способа определить эту высшую цель. Как же тогда обеспечить компьютерной сети конечную цель, которую она не должна игнорировать или подрывать? Руководители и инженеры, которые спешат разработать ИИ, совершают огромную ошибку, если думают, что существует рациональный способ указать этому ИИ его конечную цель. Им следует извлечь уроки из горького опыта поколений философов, которые пытались определить конечные цели и потерпели неудачу.

КАНТИАНСКИЙ НАЦИСТ

На протяжении тысячелетий философы искали определение конечной цели, которая не зависела бы от соответствия некой высшей цели. Их внимание неоднократно привлекали два потенциальных решения, известные на философском жаргоне как деонтология и утилитаризм. Деонтологи (от греческого слова deon, означающего "долг") считают, что существуют некие универсальные моральные обязанности, или моральные правила, которые применимы ко всем. Эти правила не зависят от соответствия какой-то высшей цели, а скорее от их внутренней доброты. Если такие правила действительно существуют и если мы сможем найти способ запрограммировать их в компьютерах, то сможем быть уверены, что компьютерная сеть будет служить добру.

Но что именно означает "внутренняя доброта"? Самая известная попытка дать определение внутренне хорошему правилу была предпринята Иммануилом Кантом, современником Клаузевица и Наполеона. Кант утверждал, что внутренне хорошее правило - это любое правило, которое я хотел бы сделать универсальным. Согласно этой точке зрения, человек, собирающийся убить кого-то, должен остановиться и проанализировать следующий ход мыслей: "Сейчас я собираюсь убить человека. Хотел бы я установить универсальное правило, гласящее, что убивать людей можно? Если такое универсальное правило будет установлено, то кто-то может убить меня. Значит, не должно быть универсального правила, разрешающего убийство. Из этого следует, что я тоже не должен убивать". Говоря более простым языком, Кант переформулировал старое Золотое правило: "Поступай с другими так, как хочешь, чтобы поступали с тобой" (Матфея 7:12).

Это звучит как простая и очевидная идея: каждый из нас должен вести себя так, как мы хотим, чтобы вели себя все. Но идеи, которые хорошо звучат в бесплотном царстве философии, часто с трудом перекочевывают на суровую землю истории. Главный вопрос, который историки могли бы задать Канту: когда вы говорите о всеобщих правилах, как именно вы определяете понятие "всеобщий"? В реальных исторических обстоятельствах, когда человек собирается совершить убийство, первым его шагом часто становится исключение жертвы из универсального сообщества человечества. Именно так, например, поступили экстремисты-антирохинья, такие как Виратху. Будучи буддийским монахом, Виратху, конечно, был против убийства людей. Но он не считал, что это универсальное правило применимо к убийству рохинджа, которые считались недочеловеками. В своих постах и интервью он неоднократно сравнивал их со зверями, змеями, бешеными собаками, волками, шакалами и другими опасными животными. 30 октября 2017 года, в разгар насилия против рохинджа, другой, более высокопоставленный буддийский монах прочитал проповедь для военных, в которой оправдывал насилие против рохинджа тем, что небуддисты "не совсем люди".

В качестве эксперимента представьте себе встречу Иммануила Канта и Адольфа Эйхмана, который, кстати, считал себя кантианцем. Когда Эйхман подписывает приказ об отправке очередного эшелона с евреями в Освенцим, Кант говорит ему: "Вы собираетесь убить тысячи людей. Не хотите ли вы установить универсальное правило, гласящее, что убивать людей можно? Если вы это сделаете, вы и ваша семья тоже можете быть убиты". Эйхман отвечает: "Нет, я не собираюсь убивать тысячи людей. Я собираюсь убить тысячи евреев. Если вы спросите меня, хочу ли я установить универсальное правило, согласно которому убивать евреев можно, то я только за. Что касается меня и моей семьи, то нет никакого риска, что это универсальное правило приведет к тому, что нас убьют. Мы не евреи".

Один из возможных кантовских ответов Эйхману заключается в том, что при определении сущностей мы всегда должны использовать наиболее универсальное определение. Если сущность может быть определена как "еврей" или "человек", мы должны использовать более универсальный термин "человек". Однако вся суть нацистской идеологии заключалась в том, чтобы отрицать человечность евреев. Кроме того, обратите внимание, что евреи - это не просто люди. Они также животные и организмы. Поскольку животные и организмы, очевидно, являются более универсальными категориями, чем "человек", если следовать кантовскому аргументу до его логического завершения, это может подтолкнуть нас к крайней веганской позиции. Раз мы - организмы, значит ли это, что мы должны возражать против убийства любого организма, вплоть до помидоров или амёб?

В истории многие, если не большинство, конфликтов связаны с определением идентичности. Все согласны с тем, что убийство - это плохо, но считают, что "убийством" считается только убийство членов ин-группы, тогда как убийство кого-то из аут-группы таковым не является. Но ин-группы и аут-группы - это интерсубъективные сущности, определение которых обычно зависит от некоторой мифологии. Деонтологи, стремящиеся к универсальным рациональным правилам, часто оказываются в плену локальных мифов.

Эта проблема с деонтологией становится особенно острой, если мы пытаемся диктовать универсальные деонтологические правила не людям, а компьютерам. Компьютеры даже не являются органическими существами. Так что если они следуют правилу "Поступай с другими так, как хочешь, чтобы поступали с тобой", то почему их должно волновать убийство таких организмов, как люди? У кантовского компьютера, который не хочет, чтобы его убивали, нет причин возражать против универсального правила, гласящего, что "убивать организмы можно"; такое правило не угрожает неорганическому компьютеру.

С другой стороны, будучи неорганическими сущностями, компьютеры могут не беспокоиться о смерти. Насколько мы можем судить, смерть - это органическое явление, и оно может быть неприменимо к неорганическим сущностям. Когда древние ассирийцы говорили об "убийстве" документов, это была всего лишь метафора. Если компьютеры больше похожи на документы, чем на организмы, и их не волнует, что их "убивают", хотели бы мы, чтобы кантовский компьютер пришел к выводу, что убивать людей - это нормально?

Есть ли способ определить, о ком должны заботиться компьютеры, не увязая в каких-то интерсубъективных мифах? Самое очевидное предложение - сказать компьютерам, что они должны заботиться о любом существе, способном страдать. Хотя страдания часто вызваны верой в локальные интерсубъективные мифы, само страдание, тем не менее, является универсальной реальностью. Поэтому использование способности к страданию для определения критической внутренней группы обосновывает мораль в объективной и универсальной реальности. Самоуправляемый автомобиль должен избегать убийства всех людей - будь то буддист или мусульманин, француз или итальянец, - а также собак и кошек, и любых разумных роботов, которые могут когда-нибудь появиться. Мы можем даже усовершенствовать это правило, предписав автомобилю заботиться о различных существах прямо пропорционально их способности страдать. Если машине придется выбирать между убийством человека и убийством кошки, она должна будет проехать по кошке, потому что, предположительно, у нее меньше возможностей страдать. Но если мы пойдем в этом направлении, то непреднамеренно покинем лагерь деонтологов и окажемся в лагере их соперников - утилитаристов.

ИСЧИСЛЕНИЕ СТРАДАНИЙ

В то время как деонтологи пытаются найти универсальные правила, которые по своей сути являются хорошими, утилитаристы оценивают действия по их влиянию на страдания и счастье. Английский философ Джереми Бентам - еще один современник Наполеона, Клаузевица и Канта - говорил, что единственная рациональная конечная цель - это минимизация страданий в мире и максимизация счастья. Если наш главный страх перед компьютерными сетями заключается в том, что их несовпадающие цели могут причинить ужасные страдания людям и, возможно, другим разумным существам, то утилитарное решение кажется очевидным и привлекательным. Создавая компьютерную сеть, мы просто должны проинструктировать ее, чтобы она минимизировала страдания и максимизировала счастье. Если бы Facebook сказал своим алгоритмам "максимизировать счастье" вместо "максимизировать вовлеченность пользователей", все якобы было бы хорошо. Стоит отметить, что этот утилитарный подход действительно популярен в Кремниевой долине, в частности, его отстаивает движение за эффективный альтруизм38.

К сожалению, как и в случае с решением деонтологов, то, что звучит просто в теоретической области философии, становится чудовищно сложным в практической области истории. Проблема утилитаристов заключается в том, что мы не владеем исчислением страданий. Мы не знаем, сколько "очков страдания" или "очков счастья" нужно присвоить конкретным событиям, поэтому в сложных исторических ситуациях крайне сложно подсчитать, увеличивает или уменьшает то или иное действие общее количество страданий в мире.

Утилитаризм лучше всего проявляет себя в ситуациях, когда весы страданий очень четко склоняются в одну сторону. При столкновении с Эйхманом утилитаристам не нужно вступать в сложные споры об идентичности. Им достаточно указать на то, что Холокост причинил огромные страдания евреям, не принеся эквивалентных выгод никому другому, включая немцев. У немцев не было никакой убедительной военной или экономической необходимости убивать миллионы евреев. Утилитарные аргументы против Холокоста просто ошеломляют.

Утилитаристы также не знают себе равных, когда речь идет о "преступлениях без жертв", таких как гомосексуальность, в которых страдает только одна сторона. На протяжении веков преследование гомосексуалистов причиняло им огромные страдания, но, тем не менее, оправдывалось различными предрассудками, которые ошибочно выдавались за деонтологические универсальные правила. Кант, например, осуждал гомосексуальность на том основании, что она "противоречит естественному инстинкту и животной природе" и, следовательно, унижает человека "до уровня животных". Кант также утверждал, что, поскольку такие действия противоречат природе, они "делают человека недостойным своей человечности. Он больше не заслуживает быть человеком". Кант, по сути, превратил христианский предрассудок в якобы универсальное деонтологическое правило, не предоставив эмпирических доказательств того, что гомосексуальность действительно противоречит природе. В свете вышеизложенного обсуждения дегуманизации как прелюдии к массовому убийству следует отметить, как Кант дегуманизировал геев. Мнение о том, что гомосексуальность противоречит природе и лишает людей человечности, позволило нацистам вроде Эйхмана оправдать убийства гомосексуалов в концлагерях. Поскольку гомосексуалисты якобы находятся ниже уровня животных, кантовское правило, запрещающее убивать людей, на них не распространяется.

Утилитаристы легко отвергают сексуальные теории Канта, и Бентам действительно был одним из первых современных европейских мыслителей, выступавших за декриминализацию гомосексуальности. Утилитаристы утверждают, что криминализация гомосексуальности во имя какого-то сомнительного универсального правила причиняет огромные страдания миллионам людей, не принося при этом никакой существенной пользы другим. Когда двое мужчин вступают в любовные отношения, это делает их счастливыми, не делая несчастными никого другого. Зачем же тогда запрещать это? Подобная утилитарная логика привела и ко многим другим современным реформам, таким как запрет на пытки и введение некоторых видов правовой защиты животных.

Но в исторических ситуациях, когда чаша весов страданий оказывается более равной, утилитаризм дает сбой. В первые дни пандемии COVID-19 правительства по всему миру приняли жесткую политику социальной изоляции и изоляции. Это, вероятно, спасло жизни нескольким миллионам человек. А также сделало сотни миллионов несчастными на несколько месяцев. Более того, это могло стать косвенной причиной множества смертей, например, увеличив число случаев насилия в семье или затруднив диагностику и лечение других опасных заболеваний, например рака. Может ли кто-нибудь подсчитать общее воздействие политики изоляции и определить, увеличили или уменьшили они страдания в мире?

Это может показаться идеальной задачей для неумолимой компьютерной сети. Но как компьютерная сеть решит, сколько "очков страданий" нужно начислять за то, что вас с тремя детьми заперли в двухкомнатной квартире на месяц? 60 очков страданий или 600? А сколько очков начислять больному раком, который умер, потому что пропустил курс химиотерапии? Это 60 000 очков страданий или 600 000? А что, если она все равно умерла бы от рака, а химиотерапия лишь продлила бы ее жизнь на пять мучительных месяцев? Должны ли компьютеры оценивать пять месяцев жизни с сильной болью как чистый выигрыш или чистый проигрыш для общей суммы страданий в мире?

А как компьютерная сеть оценит страдания, вызванные менее осязаемыми вещами, такими как осознание собственной смертности? Если религиозный миф обещает нам, что на самом деле мы никогда не умрем, потому что после смерти наша вечная душа отправится на небеса, делает ли это нас по-настоящему счастливыми или просто заблуждениями? Является ли смерть глубинной причиной наших страданий, или же наши страдания проистекают из наших попыток отрицать смерть? Если кто-то теряет свою религиозную веру и смиряется со своей смертностью, должна ли компьютерная сеть рассматривать это как чистую потерю или как чистый выигрыш?

А как насчет еще более сложных исторических событий, таких как американское вторжение в Ирак? Американцы прекрасно понимали, что их вторжение приведет к огромным страданиям миллионов людей. Но в долгосрочной перспективе, утверждали они, выгоды от установления свободы и демократии в Ираке перевесят затраты. Может ли компьютерная сеть вычислить, насколько обоснован этот аргумент? Даже если теоретически он был правдоподобен, на практике американцам не удалось установить в Ираке стабильную демократию. Значит ли это, что их попытка была изначально ошибочной?

Как деонтологи, пытающиеся ответить на вопрос об идентичности, вынуждены принимать утилитарные идеи, так и утилитаристы, запутавшиеся в отсутствии исчисления страданий, часто занимают позицию деонтологов. Они поддерживают общие правила вроде "избегать агрессивных войн" или "защищать права человека", хотя и не могут показать, что следование этим правилам всегда уменьшает общее количество страданий в мире. История дает им лишь смутное представление о том, что следование этим правилам, как правило, уменьшает страдания. А когда некоторые из этих общих правил вступают в противоречие - например, при рассмотрении вопроса о развязывании агрессивной войны для защиты прав человека, - утилитаризм не предлагает большой практической помощи. Даже самая мощная компьютерная сеть не сможет произвести необходимые расчеты.

Соответственно, хотя утилитаризм обещает рациональный - и даже математический - способ согласования каждого действия с "высшим благом", на практике он вполне может породить очередную мифологию. Верующие коммунисты, столкнувшись с ужасами сталинизма, часто отвечали, что счастье, которое испытают будущие поколения при "настоящем социализме", искупит любые кратковременные страдания в ГУЛАГе. Либертарианцы, когда их спрашивают о непосредственном социальном вреде неограниченной свободы слова или полной отмены налогов, выражают аналогичную веру в то, что будущие блага перевесят любой краткосрочный ущерб. Опасность утилитаризма заключается в том, что если у вас есть достаточно сильная вера в будущую утопию, она может стать открытой лицензией на причинение ужасных страданий в настоящем. Именно эту уловку обнаружили традиционные религии тысячи лет назад. Преступления этого мира можно было слишком легко оправдать обещаниями будущего спасения.

КОМПЬЮТЕРНАЯ МИФОЛОГИЯ

Как же бюрократические системы на протяжении всей истории человечества определяли свои конечные цели? Они полагались на мифологию, которая делала это за них. Какими бы рациональными ни были чиновники, инженеры, сборщики налогов и бухгалтеры, в конечном итоге они находились на службе у того или иного мифотворца. Перефразируя Джона Мейнарда Кейнса, можно сказать, что практичные люди, считающие себя совершенно свободными от религиозного влияния, обычно оказываются рабами того или иного мифотворца. Даже физики-ядерщики оказываются послушными командам шиитских аятолл и коммунистических аппаратчиков.

Проблема выравнивания оказывается, в сущности, проблемой мифологии. Нацистские администраторы могли быть убежденными деонтологами или утилитаристами, но они все равно убили бы миллионы людей, если бы понимали мир в терминах расистской мифологии. Если начать с мифологической веры в то, что евреи - демонические чудовища, стремящиеся уничтожить человечество, то и деонтологи, и утилитаристы смогут найти множество логических аргументов, почему евреев следует убивать.

Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут "верить" ни в какую мифологию, поскольку являются бессознательными сущностями, которые ни во что не верят. Пока у них нет субъективности, как они могут иметь интерсубъективные убеждения? Однако одна из самых важных вещей, которые необходимо осознать в отношении компьютеров, заключается в том, что когда множество компьютеров общаются друг с другом, они могут создавать межкомпьютерные реальности, аналогичные межсубъектным реальностям, создаваемым сетями людей. Эти межкомпьютерные реальности могут со временем стать такими же мощными и такими же опасными, как и созданные человеком межсубъективные мифы.

Это очень сложный аргумент, но он является одним из центральных аргументов книги, поэтому давайте внимательно его рассмотрим. Для начала давайте попробуем понять, что такое межкомпьютерные реальности. В качестве начального примера рассмотрим компьютерную игру для одного игрока. В такой игре вы можете бродить по виртуальному ландшафту, который существует как информация внутри одного компьютера. Если вы видите камень, то он не состоит из атомов. Он состоит из битов внутри одного компьютера. Когда несколько компьютеров связаны друг с другом, они могут создавать межкомпьютерные реальности. Несколько игроков, использующих разные компьютеры, могут вместе бродить по общему виртуальному ландшафту. Если они увидят камень, то этот камень состоит из битов в нескольких компьютерах.

Как межсубъектные реальности, такие как деньги и боги, могут влиять на физическую реальность вне сознания людей, так и межкомпьютерные реальности могут влиять на реальность вне компьютеров. В 2016 году игра Pokémon Go захватила мир и к концу года была скачана сотни миллионов раз. Pokémon Go - это мобильная игра с дополненной реальностью. Игроки могут использовать свои смартфоны, чтобы находить, сражаться и ловить виртуальных существ, называемых покемонами, которые как будто существуют в физическом мире. Однажды я отправился со своим племянником Матаном на такую охоту за покемонами. Гуляя по его району, я видел только дома, деревья, камни, машины, людей, кошек, собак и голубей. Никаких покемонов я не видел, потому что у меня не было смартфона. Но Матан, глядя вокруг через объектив своего смартфона, мог "увидеть" покемонов, стоящих на камне или прячущихся за деревом.

Хотя я не мог видеть существ, они явно не ограничивались смартфоном Матана, потому что другие люди тоже могли их "видеть". Например, мы столкнулись с двумя другими детьми, которые охотились за теми же покемонами. Если Матану удавалось поймать покемона, другие дети могли сразу же наблюдать за происходящим. Покемоны были межкомпьютерными сущностями. Они существовали как биты в компьютерной сети, а не как атомы в физическом мире, но, тем не менее, они могли взаимодействовать с физическим миром и влиять на него различными способами.

Теперь давайте рассмотрим более показательный пример межкомпьютерных реалий. Рассмотрим рейтинг, который получает сайт в поиске Google. Когда мы ищем в Google новости, авиабилеты или рекомендации по ресторанам, один сайт появляется в верхней части первой страницы Google, в то время как другой опускается в середину пятидесятой страницы. Что же такое этот рейтинг Google и как он определяется? Алгоритм Google определяет рейтинг сайта в Google, начисляя баллы по различным параметрам, таким как количество посетителей сайта и количество других сайтов, ссылающихся на него. Сам рейтинг - это межкомпьютерная реальность, существующая в сети, объединяющей миллиарды компьютеров, - интернете. Подобно покемонам, эта межкомпьютерная реальность перетекает в физический мир. Для новостного издания, туристического агентства или ресторана имеет большое значение, находится ли его сайт в верхней части первой страницы Google или в середине пятидесятой страницы.

Поскольку рейтинг Google так важен, люди используют всевозможные уловки для манипулирования алгоритмом Google, чтобы придать своему сайту более высокий рейтинг. Например, они могут использовать ботов, чтобы генерировать больше трафика на сайт. Это широко распространенное явление и в социальных сетях, где скоординированные армии ботов постоянно манипулируют алгоритмами YouTube, Facebook или Twitter. Если твит становится вирусным, это происходит потому, что им действительно заинтересовались люди, или потому, что тысячи ботов сумели обмануть алгоритм Twitter?

Межкомпьютерные реальности, такие как покемоны и ранги Google, аналогичны межсубъективным реальностям, таким как святость, которую люди приписывают храмам и городам. Я прожил большую часть своей жизни в одном из самых святых мест на земле - городе Иерусалиме. Объективно это обычное место. Гуляя по Иерусалиму, вы видите дома, деревья, камни, машины, людей, кошек, собак и голубей, как и в любом другом городе. Но многие люди, тем не менее, воображают, что это необыкновенное место, полное богов, ангелов и святых камней. Они верят в это настолько сильно, что иногда дерутся за владение городом или отдельными святыми зданиями и священными камнями, в частности, за Святую скалу, расположенную под Куполом Скалы на Храмовой горе. Палестинский философ Сари Нуссейбех заметил, что "евреи и мусульмане, руководствуясь религиозными убеждениями и опираясь на ядерный потенциал, готовы устроить самую страшную в истории человеческую резню из-за камня". Они сражаются не за атомы, из которых состоит камень; они сражаются за его "святость", подобно тому, как дети сражаются за покемона. Святость Святой скалы и Иерусалима в целом - это интерсубъективный феномен, существующий в коммуникационной сети, соединяющей множество человеческих умов. На протяжении тысячелетий войны велись за такие интерсубъективные объекты, как святые камни. В XXI веке мы можем увидеть войны, ведущиеся за межкомпьютерные сущности.

Если это звучит как научная фантастика, подумайте о возможных изменениях в финансовой системе. По мере того как компьютеры становятся все более интеллектуальными и творческими, они, вероятно, будут создавать новые межкомпьютерные финансовые устройства. Золотые монеты и доллары - это межсубъектные сущности. Криптовалюты, такие как биткоин, находятся на полпути между межсубъектными и межкомпьютерными. Идея, лежащая в их основе, была придумана людьми, и их стоимость по-прежнему зависит от человеческих убеждений, но они не могут существовать вне компьютерной сети. Кроме того, торговля ими все чаще осуществляется с помощью алгоритмов, так что их стоимость зависит от расчетов алгоритмов, а не только от человеческих убеждений.

Что, если через десять или пятьдесят лет компьютеры создадут новый вид криптовалюты или другое финансовое устройство, которое станет жизненно важным инструментом для торговли и инвестирования и потенциальным источником политических кризисов и конфликтов? Вспомните, что мировой финансовый кризис 2007-8 годов был спровоцирован обеспеченными долговыми обязательствами. Эти финансовые устройства были изобретены горсткой математиков и инвестиционных вундеркиндов и были практически непонятны большинству людей, включая регуляторов. Это привело к сбою надзора и глобальной катастрофе.51 Компьютеры вполне могут создать финансовые устройства, которые будут на порядки сложнее, чем CDO, и будут понятны только другим компьютерам. Результатом может стать финансовый и политический кризис, еще более страшный, чем в 2007-8 годах.

На протяжении всей истории экономика и политика требовали от нас понимания интерсубъективных реальностей, придуманных людьми, - религий, наций и валют. Тот, кто хотел понять американскую политику, должен был принимать во внимание такие интерсубъективные реальности, как христианство и CDO. Однако все чаще понимание американской политики будет требовать понимания межкомпьютерных реальностей - от культов и валют, созданных ИИ, до политических партий, управляемых ИИ, и даже полностью инкорпорированных ИИ. Правовая система США уже признает корпорации юридическими лицами, обладающими такими правами, как свобода слова. В деле Citizens United v. Federal Election Commission (2010) Верховный суд США постановил, что это даже защищает право корпораций делать политические пожертвования.52 Что может помешать ИИ быть зарегистрированным и признанным юридическим лицом со свободой слова, а затем лоббировать и делать политические пожертвования для защиты и расширения прав ИИ?

На протяжении десятков тысяч лет люди доминировали на планете Земля, потому что только мы были способны создавать и поддерживать такие интерсубъективные образования, как корпорации, валюты, боги и нации, и использовать их для организации масштабного сотрудничества. Теперь сопоставимые способности могут обрести и компьютеры.

Это не обязательно плохая новость. Если бы компьютеры не обладали связностью и креативностью, они были бы не очень полезны. Мы все больше полагаемся на компьютеры в управлении нашими деньгами, вождении автомобилей, снижении загрязнения окружающей среды и открытии новых лекарств именно потому, что компьютеры могут напрямую общаться друг с другом, выявлять закономерности там, где мы не можем, и строить модели, которые никогда бы не пришли нам в голову. Проблема, с которой мы сталкиваемся, заключается не в том, как лишить компьютеры творческого потенциала, а в том, как направить их творчество в нужное русло. Это та же проблема, что и с человеческим творчеством. Межсубъектные сущности, изобретенные людьми, были основой всех достижений человеческой цивилизации, но время от времени они приводили к крестовым походам, джихадам и охоте на ведьм. Межкомпьютерные сущности, вероятно, станут основой будущих цивилизаций, но тот факт, что компьютеры собирают эмпирические данные и используют математику для их анализа, не означает, что они не могут устраивать свои собственные охоты на ведьм.

НОВЫЕ ВЕДЬМЫ

В ранней современной Европе сложная информационная сеть проанализировала огромное количество данных о преступлениях, болезнях и катастрофах и пришла к выводу, что во всем виноваты ведьмы. Чем больше данных собирали охотники на ведьм, тем больше убеждались, что мир полон демонов и колдовства и что существует глобальный сатанинский заговор с целью уничтожения человечества. Информационная сеть позволяла выявлять ведьм и сажать их в тюрьму или убивать. Теперь мы знаем, что ведьмы были фиктивной интерсубъективной категорией, придуманной самой информационной сетью и навязанной людям, которые никогда не встречались с Сатаной и не могли вызывать град.

В Советском Союзе еще более сложная информационная сеть придумала кулаков - еще одну мифическую категорию, которая была навязана миллионам. Горы информации, собранные советской бюрократией о кулаках, не были объективной истиной, но они создали новую интерсубъективную истину. Знание о том, что кто-то был кулаком, стало одной из самых важных вещей, которые нужно было знать о советском человеке, даже если эта категория была фиктивной.

В еще более широком масштабе, с XVI по XX век, многочисленные колониальные бюрократии в Северной и Южной Америке, от Бразилии, Мексики и Карибского бассейна до Соединенных Штатов, создали расистскую мифологию и придумали всевозможные интерсубъективные расовые категории. Людей делили на европейцев, африканцев и коренных американцев, а поскольку межрасовые сексуальные отношения были широко распространены, были придуманы дополнительные категории. Во многих испанских колониях законы различали метисов - людей со смешанным испанским и коренным американским происхождением; мулатов - людей со смешанным испанским и африканским происхождением; замбос - людей со смешанным африканским и коренным американским происхождением; пардос - людей со смешанным испанским, африканским и коренным американским происхождением. Все эти, казалось бы, эмпирические категории определяли, могут ли люди находиться в рабстве, пользоваться политическими правами, носить оружие, занимать государственные должности, быть принятыми в школу, заниматься определенными профессиями, жить в определенных кварталах, иметь право заниматься сексом и вступать в брак друг с другом. Утверждалось, что, поместив человека в определенный расовый ящик, можно определить его личность, интеллектуальные способности и этические наклонности.

В XIX веке расизм претендовал на звание точной науки: он утверждал, что различает людей на основе объективных биологических фактов, и опирался на научные инструменты, такие как измерение черепов и учет статистики преступлений. Но облако цифр и категорий было лишь дымовой завесой для абсурдных интерсубъективных мифов. Тот факт, что у кого-то бабушка - коренная американка или отец - африканец, конечно же, ничего не говорит об их интеллекте, доброте или честности. Эти фиктивные категории не открывали и не описывали никакой правды о людях; они навязывали им угнетающий, мифологический порядок.

По мере того как компьютеры заменяют людей во все большем количестве бюрократических структур, от сбора налогов и здравоохранения до обеспечения безопасности и правосудия, они тоже могут создать мифологию и навязать ее нам с беспрецедентной эффективностью. В мире, где правили бумажные документы, бюрократам было сложно следить за расовыми границами или отслеживать точную родословную каждого человека. Люди могли получать фальшивые документы. Замбо мог переехать в другой город и притвориться пардо. Чернокожий мог иногда выдавать себя за белого. Точно так же в Советском Союзе детям кулаков иногда удавалось подделать свои документы, чтобы получить хорошую работу или место в колледже. В нацистской Европе евреи иногда могли принимать арийскую идентичность. Но в мире, где правят компьютеры, способные считывать радужные оболочки глаз и ДНК, а не бумажные документы, обмануть систему будет гораздо сложнее. Компьютеры могут с пугающей эффективностью навешивать на людей ложные ярлыки и следить за тем, чтобы эти ярлыки приклеивались.

Например, системы социальных кредитов могут создать новый низший класс "людей с низкой кредитоспособностью". Такая система может утверждать, что она просто "открывает" истину с помощью эмпирического и математического процесса суммирования баллов для формирования общей оценки. Но как именно она будет определять просоциальное и антисоциальное поведение? Что произойдет, если такая система будет снимать баллы за критику политики правительства, за чтение иностранной литературы, за исповедование религии меньшинства, за отсутствие религии или за общение с другими людьми с низким кредитом? В качестве эксперимента подумайте, что может произойти, когда новая технология системы социальных кредитов встретится с традиционными религиями.

В таких религиях, как иудаизм, христианство и ислам, всегда считалось, что где-то там, за облаками, есть всевидящее око, которое начисляет или снимает баллы за все, что мы делаем, и что наша вечная судьба зависит от того, сколько баллов мы набрали. Конечно, никто не мог быть уверен в своем результате. Это можно было узнать только после смерти. С практической точки зрения это означало, что греховность и святость - интерсубъективные явления, само определение которых зависит от общественного мнения. Что может случиться, если иранский режим, например, решит использовать свою компьютерную систему наблюдения не только для того, чтобы обеспечить соблюдение строгих законов о хиджабах, но и для того, чтобы превратить греховность и святость в точные межкомпьютерные феномены? Вы не надели хиджаб на улице - это -10 баллов. Вы поели в Рамадан до захода солнца - еще 20 баллов. Вы ходили на пятничную молитву в мечеть - +5 баллов. Вы совершили паломничество в Мекку - +500 баллов. Затем система может суммировать все баллы и разделить людей на "грешников" (менее 0 баллов), "верующих" (от 0 до 1 000 баллов) и "святых" (более 1 000 баллов). Кто является грешником или святым, будет зависеть от алгоритмических расчетов, а не от убеждений человека. Будет ли такая система открывать правду о людях или навязывать им порядок?

Аналогичные проблемы могут возникнуть у всех систем социального кредитования и режимов тотальной слежки. Всякий раз, когда они заявляют, что используют всеохватывающие базы данных и сверхточную математику для выявления грешников, террористов, преступников, антисоциальных или не заслуживающих доверия людей, на самом деле они могут с беспрецедентной эффективностью навязывать беспочвенные религиозные и идеологические предрассудки.