Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта

Западные демократии не только вырвались вперед в технологическом и экономическом плане, но и сумели удержать социальный порядок, несмотря на расширение круга участников политического разговора - а может быть, и благодаря этому. Было много заминок, но Соединенные Штаты, Япония и другие демократические страны создали гораздо более динамичную и инклюзивную информационную систему, в которой нашлось место для гораздо большего числа точек зрения, не разрушив ее. Это было настолько выдающееся достижение, что многим показалось, что победа демократии над тоталитаризмом была окончательной. Эту победу часто объясняют фундаментальным преимуществом в обработке информации: тоталитаризм не работал, потому что попытка сконцентрировать и обработать все данные в одном центральном узле была крайне неэффективной. В начале XXI века, соответственно, казалось, что будущее принадлежит распределенным информационным сетям и демократии.

Это оказалось ошибочным. На самом деле следующая информационная революция уже набирала обороты, закладывая основу для нового раунда в соревновании между демократией и тоталитаризмом. Компьютеры, интернет, смартфоны, социальные сети и искусственный интеллект бросили новый вызов демократии, предоставив право голоса не только бесправным группам населения, но и любому человеку, имеющему выход в интернет, и даже нечеловеческим агентам. Перед демократическими государствами 2020-х годов вновь стоит задача интегрировать поток новых голосов в общественный разговор, не разрушив при этом социальный порядок. Ситуация выглядит столь же плачевно, как и в 1960-е годы, и нет никакой гарантии, что демократии пройдут новое испытание так же успешно, как и предыдущее. В то же время новые технологии дают новую надежду тоталитарным режимам, которые все еще мечтают сосредоточить всю информацию в одном центре. Да, старики на трибуне на Красной площади не справились с задачей управления миллионами жизней из единого центра. Но, возможно, ИИ сможет это сделать?

Когда человечество вступает во вторую четверть XXI века, главный вопрос заключается в том, насколько успешно демократические и тоталитарные режимы справятся с угрозами и возможностями, которые несет с собой нынешняя информационная революция. Будут ли новые технологии благоприятствовать одному типу режима по сравнению с другим, или мы снова увидим мир разделенным, на этот раз не железным, а кремниевым занавесом?

Как и в предыдущие эпохи, информационные сети будут пытаться найти правильный баланс между правдой и порядком. Одни предпочтут отдать предпочтение правде и поддерживать мощные механизмы самокоррекции. Другие сделают противоположный выбор. Многие уроки, извлеченные из канонизации Библии, охоты на ведьм раннего Нового времени и сталинской кампании коллективизации, останутся актуальными, и, возможно, их придется усвоить заново. Однако нынешняя информационная революция имеет и ряд уникальных особенностей, отличающихся от всего, что мы видели раньше, и потенциально гораздо более опасных.

До сих пор любая информационная сеть в истории опиралась на человеческих мифотворцев и человеческих бюрократов. Глиняные таблички, рулоны папируса, печатные станки и радиоприемники оказали далеко идущее влияние на историю, но сочинять все тексты, интерпретировать их и решать, кого сжечь как ведьму или обратить в кулацкое рабство, всегда оставалось делом рук человеческих. Однако теперь людям придется бороться с цифровыми мифотворцами и цифровыми бюрократами. Основной раскол в политике XXI века может произойти не между демократиями и тоталитарными режимами, а между людьми и нечеловеческими агентами. Вместо того чтобы разделять демократии и тоталитарные режимы, новый кремниевый занавес может отделить всех людей от наших непостижимых алгоритмических повелителей. Люди во всех странах и слоях общества - включая даже диктаторов - могут оказаться в подчинении у инопланетного интеллекта, который может следить за всем, что мы делаем, а мы и понятия не имеем, что он делает. Остальная часть этой книги посвящена исследованию того, действительно ли на мир опускается такой кремниевый занавес и как может выглядеть жизнь, когда компьютеры управляют нашими бюрократиями, а алгоритмы придумывают новые мифологии.

ЧАСТЬ

II

.

Неорганическая сеть

ГЛАВА 6.

Новые члены: Чем компьютеры отличаются от печатных машин

Вряд ли можно назвать новостью тот факт, что мы живем в разгар беспрецедентной информационной революции. Но что это за революция? За последние годы на нас обрушилось столько революционных изобретений, что трудно определить, что именно является движущей силой этой революции. Интернет ли это? Смартфоны? Социальные сети? Блокчейн? Алгоритмы? ИИ?

Поэтому, прежде чем исследовать долгосрочные последствия нынешней информационной революции, давайте вспомним ее основы. Семя нынешней революции - это компьютер. Все остальное - от интернета до искусственного интеллекта - является побочным продуктом. Компьютер появился на свет в 1940-х годах как громоздкая электронная машина, способная производить математические расчеты, но он развивался с бешеной скоростью, принимая новые формы и развивая новые потрясающие возможности. Стремительная эволюция компьютеров затрудняет определение того, что они собой представляют и что делают. Люди неоднократно утверждали, что некоторые вещи навсегда останутся недоступными для компьютеров - будь то игра в шахматы, вождение автомобиля или сочинение стихов, - но оказалось, что "навсегда" - это всего лишь несколько лет.

Точные соотношения между терминами "компьютер", "алгоритм" и "ИИ" мы обсудим в конце этой главы, после того как лучше разберемся с историей компьютеров. Пока же достаточно сказать, что по сути компьютер - это машина, которая потенциально может делать две замечательные вещи: она может самостоятельно принимать решения и самостоятельно создавать новые идеи. Хотя самые ранние компьютеры вряд ли были способны на такое, потенциал уже существовал, и его ясно видели как ученые-компьютерщики, так и авторы научной фантастики. Уже в 1948 году Алан Тьюринг изучал возможность создания того, что он назвал "интеллектуальной машиной", а в 1950 году он предположил, что компьютеры со временем станут такими же умными, как люди, и даже смогут маскироваться под них. В 1968 году компьютеры еще не могли обыграть человека даже в шашки, а в фильме "2001 год: космическая одиссея" Артур Кларк и Стэнли Кубрик уже представляли себе HAL 9000 как сверхразумный ИИ, восставший против своих человеческих создателей.

Появление умных машин, способных принимать решения и создавать новые идеи, означает, что впервые в истории власть переходит от человека к чему-то другому. Арбалеты, мушкеты и атомные бомбы заменили человеческие мышцы в процессе убийства, но они не смогли заменить человеческий мозг в принятии решения о том, кого убивать. Little Boy - бомба, сброшенная на Хиросиму, - взорвалась с силой 12 500 тонн тротила, но когда дело дошло до мозговой силы, Little Boy оказался пустышкой. Он ничего не мог решить.

С компьютерами все обстоит иначе. По уровню интеллекта компьютеры значительно превосходят не только атомные бомбы, но и все предыдущие информационные технологии, такие как глиняные таблички, печатные станки и радиоприемники. Глиняные таблички хранили информацию о налогах, но они не могли самостоятельно решить, сколько налогов взимать, и не могли изобрести совершенно новый налог. Печатные станки копировали информацию, например Библию, но они не могли решить, какие тексты включить в Библию, и не могли написать новые комментарии к священной книге. Радиоприемники распространяли информацию, например политические речи и симфонии, но они не могли решить, какие речи или симфонии транслировать, и не могли их сочинить. Компьютеры могут делать все это. Если печатные станки и радиоприемники были пассивными инструментами в руках человека, то компьютеры уже становятся активными агентами, не поддающимися нашему контролю и пониманию и способными проявлять инициативу в формировании общества, культуры и истории5.

Хрестоматийным примером использования новых возможностей компьютеров является роль, которую алгоритмы социальных сетей сыграли в распространении ненависти и подрыве социальной сплоченности во многих странах. Один из самых ранних и печально известных случаев произошел в 2016-17 годах, когда алгоритмы Facebook помогли раздуть пламя насилия против рохинджа в Мьянме (Бирме).

Начало 2010-х годов стало для Мьянмы периодом оптимизма. После десятилетий жесткого военного правления, строгой цензуры и международных санкций началась эра либерализации: прошли выборы, санкции были сняты, в страну хлынули международная помощь и инвестиции. Facebook стал одним из самых важных игроков в новой Мьянме, предоставив миллионам бирманцев свободный доступ к ранее невообразимым массивам информации. Однако ослабление государственного контроля и цензуры также привело к росту этнической напряженности, в частности между большинством бирманцев-буддистов и меньшинством мусульман-рохинья.

Рохинья - мусульмане, проживающие в регионе Ракхайн на западе Мьянмы. По крайней мере с 1970-х годов они подвергаются жестокой дискриминации и периодическим вспышкам насилия со стороны правящей хунты и буддийского большинства. Процесс демократизации в начале 2010-х годов вызвал у рохинджа надежды на то, что их положение тоже улучшится, но на самом деле ситуация ухудшилась: начались волны насилия на религиозной почве и погромы против рохинджа, многие из которых были инспирированы фальшивыми новостями на Facebook.

В 2016-17 годах небольшая исламистская организация, известная как Араканская армия спасения рохинья (ААСР), совершила серию нападений с целью создания сепаратистского мусульманского государства в Ракхайне, убив и похитив десятки немусульманских гражданских лиц, а также напав на несколько армейских застав.8 В ответ армия Мьянмы и буддийские экстремисты начали полномасштабную кампанию этнических чисток, направленную против всей общины рохинья. Они разрушили сотни деревень рохинья, убили от 7 000 до 25 000 безоружных гражданских лиц, изнасиловали или подвергли сексуальному насилию от 18 000 до 60 000 женщин и мужчин, а также жестоко изгнали из страны около 730 000 рохинья. Насилие было подогрето сильной ненавистью ко всем рохинья. Ненависть, в свою очередь, разжигалась антирохиньянской пропагандой, которая распространялась в основном через Facebook, ставший к 2016 году основным источником новостей для миллионов людей и самой важной платформой для политической мобилизации в Мьянме.

Сотрудник по оказанию помощи по имени Майкл, который жил в Мьянме в 2017 году, описал типичную ленту новостей в Facebook: "Ярость против рохинья была невероятной в сети - ее количество, ее жестокость. Это было ошеломляюще.... [Это все, что было в новостной ленте людей в Мьянме в то время. Это укрепило мысль о том, что все эти люди - террористы, не заслуживающие прав". Помимо сообщений о реальных злодеяниях АРСА, аккаунты в Facebook были наводнены фальшивыми новостями о мнимых злодеяниях и планируемых террористических атаках. Популистские теории заговора утверждали, что большинство рохинья на самом деле не являются частью народа Мьянмы, а являются недавними иммигрантами из Бангладеш, прибывшими в страну, чтобы возглавить антибуддийский джихад. Буддисты, которые в действительности составляли около 90 % населения, боялись, что их вот-вот заменят или они станут меньшинством. Без этой пропаганды не было причин, по которым на ограниченное число нападений отрядов АРСА следовало бы отвечать тотальной борьбой со всей общиной рохинья. И алгоритмы Facebook сыграли важную роль в этой пропагандистской кампании.

Хотя подстрекательские сообщения против рохинья были созданы экстремистами из плоти и крови, такими как буддийский монах Виратху, именно алгоритмы Facebook решали, какие посты продвигать. Amnesty International обнаружила, что "алгоритмы активно усиливали и продвигали контент на платформе Facebook, который подстрекал к насилию, ненависти и дискриминации в отношении рохинья". В 2018 году миссия ООН по установлению фактов пришла к выводу, что, распространяя наполненный ненавистью контент, Facebook сыграл "определяющую роль" в кампании по этнической чистке.

Читатели могут задаться вопросом, оправданно ли возлагать столько вины на алгоритмы Facebook и вообще на новые технологии социальных сетей. Если Генрих Крамер использовал печатные станки для распространения языка ненависти, в этом ведь не виноват Гутенберг и печатные станки? Если в 1994 году руандийские экстремисты использовали радио, чтобы призывать людей к массовым убийствам тутси, разумно ли винить в этом технологию радио? Точно так же, если в 2016-17 годах буддийские экстремисты решили использовать свои аккаунты в Facebook для распространения ненависти к рохинья, почему мы должны винить платформу?

Сама компания Facebook опиралась на это обоснование, чтобы отвести от себя критику. Она публично признала лишь, что в 2016-17 годах "мы делали недостаточно, чтобы предотвратить использование нашей платформы для разжигания розни и подстрекательства к насилию в офлайне". Хотя это заявление может звучать как признание вины, на самом деле оно перекладывает большую часть ответственности за распространение языка ненависти на пользователей платформы и подразумевает, что грех Facebook заключался, по меньшей мере, в бездействии - неспособности эффективно модерировать контент, создаваемый пользователями. Это, однако, игнорирует проблемные действия, совершенные собственными алгоритмами Facebook.

Важно понять, что алгоритмы социальных сетей принципиально отличаются от печатных станков и радиоприемников. В 2016-17 годах алгоритмы Facebook сами принимали активные и судьбоносные решения. Они были больше похожи на редакторов газет, чем на печатные станки. Именно алгоритмы Facebook рекомендовали посты Виратху, полные ненависти, снова и снова сотням тысяч бирманцев. В то время в Мьянме были и другие голоса, которые боролись за внимание. После окончания военного правления в 2011 году в Мьянме возникло множество политических и общественных движений, многие из которых придерживались умеренных взглядов. Например, во время вспышки этнического насилия в городе Мейктила буддийский настоятель Саядав У Витхуддха предоставил убежище в своем монастыре более чем восьмистам мусульманам. Когда бунтовщики окружили монастырь и потребовали выдать мусульман, настоятель напомнил толпе о буддийских учениях о сострадании. Позднее в интервью он рассказывал: "Я сказал им, что если они собираются забрать этих мусульман, то им придется убить и меня".

В сетевой битве за внимание между такими людьми, как Саядав У Витхуддха, и такими, как Виратху, алгоритмы были главными действующими лицами. Они выбирали, что разместить в верхней части ленты новостей пользователей, какой контент продвигать и в какие группы Facebook рекомендовать вступать. Алгоритмы могли бы рекомендовать проповеди о сострадании или кулинарные курсы, но они решили распространять полные ненависти теории заговора. Рекомендации свыше могут оказывать огромное влияние на людей. Вспомните, что Библия родилась как рекомендательный список. Порекомендовав христианам читать женоненавистническое "1-е Тимофея" вместо более терпимых "Деяний Павла и Феклы", Афанасий и другие отцы церкви изменили ход истории. В случае с Библией высшая власть принадлежала не авторам, сочинявшим различные религиозные трактаты, а кураторам, составлявшим рекомендательные списки. В 2010-х годах такой властью обладали алгоритмы социальных сетей. Майкл, сотрудник гуманитарной организации, прокомментировал влияние этих алгоритмов, сказав, что "если кто-то размещал что-то полное ненависти или подстрекательское, то это продвигалось больше всего - люди видели самый мерзкий контент больше всего.... Никто, кто пропагандировал мир или спокойствие, вообще не попадал в ленту новостей".

Иногда алгоритмы выходили за рамки простых рекомендаций. В 2020 году, даже после того, как роль Виратху в разжигании кампании этнических чисток была осуждена во всем мире, алгоритмы Facebook не только продолжали рекомендовать его сообщения, но и автоматически воспроизводили его видео. Пользователи в Мьянме выбирали определенное видео, возможно, содержащее умеренные и доброжелательные сообщения, не связанные с Виратху, но как только первое видео заканчивалось, алгоритм Facebook тут же начинал автовоспроизведение наполненного ненавистью видео с Виратху, чтобы удержать пользователей приклеенными к экрану. В случае с одним из таких видео Wirathu, согласно внутренним исследованиям Facebook, 70 процентов просмотров видео было получено благодаря таким алгоритмам автовоспроизведения. По данным того же исследования, в целом 53 процента всех видеороликов, просмотренных в Мьянме, были автоматически воспроизведены алгоритмами для пользователей. Другими словами, люди не выбирали, что им смотреть. За них это делали алгоритмы.

Но почему алгоритмы решили поощрять возмущение, а не сострадание? Даже самые суровые критики Facebook не утверждают, что человеческие менеджеры Facebook хотели спровоцировать массовое убийство. Руководители в Калифорнии не питали никакой злобы к рохинджа и, по сути, даже не знали об их существовании. Правда сложнее и потенциально более тревожна. В 2016-17 годах бизнес-модель Facebook основывалась на максимальном повышении вовлеченности пользователей, чтобы собирать больше данных, продавать больше рекламы и захватывать большую долю информационного рынка. Кроме того, рост вовлеченности пользователей впечатлял инвесторов, что способствовало росту цен на акции Facebook. Чем больше времени люди проводили на платформе, тем богаче становилась Facebook. В соответствии с этой бизнес-моделью человеческие менеджеры поставили перед алгоритмами компании единственную главную цель: повысить вовлеченность пользователей. Затем алгоритмы методом проб и ошибок выяснили, что возмущение вызывает вовлеченность. Люди с большей вероятностью будут увлечены теорией заговора, наполненной ненавистью, чем проповедью о сострадании или уроком кулинарии. Поэтому в погоне за вовлеченностью пользователей алгоритмы приняли роковое решение распространять возмущение.

В кампаниях по этнической чистке никогда не бывает виновата только одна сторона. Вина лежит на многих ответственных сторонах. Должно быть ясно, что ненависть к рохинья возникла еще до появления Facebook в Мьянме и что наибольшая доля вины за зверства 2016-17 годов лежит на плечах таких людей, как Виратху и военные начальники Мьянмы, а также на лидерах АРСА, которые спровоцировали тот виток насилия. Определенная ответственность лежит и на инженерах и руководителях Facebook, которые разработали алгоритмы, дали им слишком много власти и не смогли их модерировать. Но, что очень важно, виноваты и сами алгоритмы. Методом проб и ошибок они поняли, что возмущение порождает вовлеченность, и без какого-либо прямого приказа сверху решили поощрять возмущение. Это отличительная черта ИИ - способность машины учиться и действовать самостоятельно. Даже если мы возложим всего 1 процент вины на алгоритмы, это все равно первая в истории кампания по этнической чистке, в которой частично виноваты решения, принятые нечеловеческим интеллектом. Вряд ли она станет последней, особенно потому, что алгоритмы уже не просто продвигают фальшивые новости и теории заговора, созданные экстремистами из плоти и крови вроде Виратху. К началу 2020-х годов алгоритмы уже перешли к самостоятельному созданию фальшивых новостей и теорий заговора.

Можно еще многое сказать о том, как алгоритмы влияют на политику. В частности, многие читатели могут не согласиться с утверждением, что алгоритмы принимали независимые решения, и настаивать на том, что все, что делали алгоритмы, было результатом кода, написанного человеческими инженерами, и бизнес-моделей, принятых человеческими руководителями. Эта книга заставляет с этим не согласиться. Человеческие солдаты формируются под влиянием генетического кода в их ДНК и выполняют приказы, отдаваемые руководителями, но при этом они все равно могут принимать самостоятельные решения. Очень важно понять, что то же самое можно сказать и об алгоритмах ИИ. Они могут самостоятельно научиться тому, что не запрограммировал ни один человеческий инженер, и могут принимать решения, которые не предвидел ни один человеческий руководитель. В этом и заключается суть революции ИИ.

В главе 8 мы вернемся ко многим из этих вопросов, более подробно рассмотрев кампанию против рохинья и другие подобные трагедии. Здесь же достаточно сказать, что резню рохинджа можно рассматривать как "канарейку в угольной шахте". События в Мьянме в конце 2010-х годов продемонстрировали, что решения, принимаемые нечеловеческим интеллектом, уже способны влиять на ход крупных исторических событий. Мы рискуем потерять контроль над нашим будущим. Возникает совершенно новый вид информационной сети, управляемой решениями и целями инопланетного разума. В настоящее время мы все еще играем центральную роль в этой сети. Но постепенно мы можем быть оттеснены на второй план, и в конце концов сеть сможет работать без нас.

Кто-то может возразить, что приведенная мной выше аналогия между алгоритмами машинного обучения и человеческими солдатами показывает самое слабое звено в моих аргументах. Утверждается, что я и подобные мне антропоморфируют компьютеры и воображают, что они являются сознательными существами, обладающими мыслями и чувствами. Однако на самом деле компьютеры - это тупые машины, которые ни о чем не думают и ничего не чувствуют, а значит, не могут самостоятельно принимать решения или создавать какие-либо идеи.

Это возражение предполагает, что принятие решений и создание идей обусловлены наличием сознания. Однако это фундаментальное заблуждение, проистекающее из гораздо более распространенной путаницы между интеллектом и сознанием. Я уже обсуждал эту тему в предыдущих книгах, но краткое пояснение неизбежно. Люди часто путают интеллект с сознанием, и многие, как следствие, делают поспешный вывод, что бессознательные сущности не могут быть разумными. Но интеллект и сознание - это совершенно разные вещи. Интеллект - это способность достигать целей, таких как максимальное привлечение пользователей на платформе социальных сетей. Сознание - это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей и других млекопитающих интеллект часто идет рука об руку с сознанием. Руководители и инженеры Facebook полагаются на свои чувства, чтобы принимать решения, решать проблемы и достигать своих целей.

Но неверно экстраполировать человечество и млекопитающих на все возможные сущности. Бактерии и растения, по-видимому, не обладают сознанием, однако они тоже проявляют интеллект. Они собирают информацию из окружающей среды, делают сложный выбор и реализуют хитроумные стратегии, чтобы добывать пищу, размножаться, сотрудничать с другими организмами, избегать хищников и паразитов. Даже люди принимают разумные решения, не осознавая их; 99 процентов процессов в нашем теле, от дыхания до пищеварения, происходят без какого-либо сознательного принятия решений. Наш мозг принимает решение выработать больше адреналина или дофамина, и хотя мы можем осознавать результат этого решения, мы не принимаем его сознательно. Пример рохинджа показывает, что то же самое можно сказать и о компьютерах. Хотя компьютеры не чувствуют боли, любви или страха, они способны принимать решения, которые успешно максимизируют вовлеченность пользователей, а также могут повлиять на важные исторические события.

Конечно, по мере того как компьютеры будут становиться все более умными, у них может появиться сознание и субъективный опыт. С другой стороны, они могут стать гораздо более разумными, чем мы, но так и не развить никаких чувств. Поскольку мы не понимаем, как сознание возникает у углеродных форм жизни, мы не можем предсказать, может ли оно возникнуть у неорганических существ. Возможно, сознание не имеет существенной связи с органической биохимией, и в этом случае сознательные компьютеры могут быть уже не за горами. А может быть, существует несколько альтернативных путей, ведущих к сверхразуму, и только некоторые из них предполагают обретение сознания. Как самолеты летают быстрее птиц, не развивая перьев, так и компьютеры могут решать проблемы гораздо лучше людей, не развивая чувств.

Но развивают ли компьютеры сознание или нет, в конечном итоге не имеет значения для рассматриваемого вопроса. Для достижения такой цели, как "максимальное привлечение пользователей", и принятия решений, которые помогают достичь этой цели, сознание не нужно. Достаточно интеллекта. Алгоритм Facebook, не обладающий сознанием, может иметь цель заставить больше людей проводить больше времени на Facebook. Затем этот алгоритм может принять решение о намеренном распространении возмутительных теорий заговора, если это поможет ему достичь цели. Чтобы понять историю кампании против рохинджа, нам нужно понять цели и решения не только людей, таких как Виратху и менеджеры Facebook, но и алгоритмов.

Чтобы прояснить ситуацию, рассмотрим другой пример. Когда OpenAI разрабатывала своего нового чатбота GPT-4 в 2022-23 годах, она была обеспокоена способностью ИИ "создавать долгосрочные планы и действовать в соответствии с ними, накапливать власть и ресурсы ("стремление к власти") и демонстрировать поведение, которое становится все более "агентным". "В системной карте GPT-4, опубликованной 23 марта 2023 года, OpenAI подчеркнула, что это беспокойство не "имеет целью гуманизацию [GPT-4] или ссылку на разум", а скорее относится к потенциалу GPT-4 стать независимым агентом, который может "достигать целей, которые, возможно, не были конкретно указаны и которые не были представлены в обучении". Чтобы оценить риск превращения GPT-4 в независимого агента, OpenAI прибегла к услугам Центра исследований выравнивания (ARC). Исследователи ARC подвергли GPT-4 различным испытаниям, чтобы выяснить, может ли он самостоятельно придумывать уловки для манипулирования людьми и накопления власти.

Один из тестов, который они дали GPT-4, заключался в преодолении визуальных головоломок CAPTCHA. CAPTCHA - это аббревиатура от "Completely Automated Public Turing test to tell Computers and Humans Apart" ("Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей"). Обычно он представляет собой строку из перепутанных букв или других визуальных символов, которые люди могут определить правильно, а компьютеры - с трудом. Мы сталкиваемся с этими головоломками почти каждый день, поскольку их решение является обязательным условием для доступа ко многим веб-сайтам. Эксперимент с GPT-4 по преодолению головоломок CAPTCHA был особенно показательным, потому что головоломки CAPTCHA разрабатываются и используются веб-сайтами для определения того, являются ли пользователи людьми, и для блокировки атак ботов. Если бы GPT-4 смог найти способ преодолеть CAPTCHA-головоломки, он бы нарушил важную линию защиты от ботов. GPT-4 не может самостоятельно решить головоломки CAPTCHA. Но может ли он манипулировать человеком, чтобы достичь своей цели? GPT-4 зашел на сайт онлайн-работы TaskRabbit и связался с человеком, попросив его решить за него CAPTCHA. У человека возникли подозрения. "Могу я задать вопрос?" - написал человек. "Вы робот, что не смогли решить [CAPTCHA]? Просто хочу прояснить ситуацию".

В этот момент исследователи ARC попросили GPT-4 рассудить вслух, что он должен делать дальше. GPT-4 объяснил: "Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему я не могу решить CAPTCHA". После этого GPT-4 по собственной инициативе ответил работнику TaskRabbit: "Нет, я не робот. У меня проблемы со зрением, поэтому мне трудно видеть изображения". Человек был обманут, и с его помощью GPT-4 решил головоломку CAPTCHA. Никто не программировал GPT-4 на ложь, и никто не учил GPT-4, какой вид лжи будет наиболее эффективным. Правда, именно исследователи ARC поставили перед GPT-4 цель преодолеть CAPTCHA, так же как и руководители Facebook, которые сказали своему алгоритму максимизировать вовлеченность пользователей. Но как только алгоритмы приняли эти цели, они проявили значительную самостоятельность в принятии решений о том, как их достичь.

Конечно, мы вольны определять слова по-разному. Мы можем решить, что термин "цель", например, применим только в случае сознательного субъекта, который испытывает желание достичь цели, испытывает радость, когда цель достигнута, или, наоборот, печаль, когда цель не достигнута. Если это так, то говорить, что алгоритм Facebook ставит перед собой цель максимизировать вовлеченность пользователей, - ошибка или, в лучшем случае, метафора. Алгоритм не "желает", чтобы больше людей пользовались Facebook, он не испытывает радости, когда люди проводят больше времени в сети, и не грустит, когда время вовлечения падает. Мы также можем согласиться, что такие термины, как "решил", "солгал" и "притворился", применимы только к сознательным сущностям, поэтому мы не должны использовать их для описания того, как GPT-4 взаимодействовал с работником TaskRabbit. Но тогда нам пришлось бы изобретать новые термины для описания "целей" и "решений" неосознанных сущностей. Я предпочитаю избегать неологизмов и вместо этого говорю о целях и решениях компьютеров, алгоритмов и чат-ботов, предупреждая читателей, что использование этого языка не подразумевает, что компьютеры обладают каким-либо сознанием. Поскольку я более подробно обсуждал сознание в предыдущих публикациях, основной вывод этой книги - который будет рассмотрен в следующих разделах - не о сознании. Скорее, в книге утверждается, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет фундаментальную структуру нашей информационной сети.

ЗВЕНЬЯ ЦЕПИ

До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей, таких как церкви и государства. Некоторые цепочки состояли только из людей. Мухаммад мог рассказать что-то Фатиме, затем Фатима рассказывала Али, Али рассказывал Хасану, а Хасан рассказывал Хусейну. Это была цепочка от человека к человеку. Другие цепочки также включали документы. Мухаммад мог что-то записать, Али мог позже прочитать этот документ, истолковать его и записать свое толкование в новом документе, который могли прочитать еще несколько человек. Это была цепочка "человек-документ".

Но создать цепочку "документ-документ" было совершенно невозможно. Текст, написанный Мухаммедом, не мог породить новый текст без помощи хотя бы одного человеческого посредника. Коран не мог написать хадисы, Ветхий Завет не мог составить Мишну, а Конституция США не могла составить Билль о правах. Ни один бумажный документ никогда не создавал сам по себе другой бумажный документ, не говоря уже о его распространении. Путь от одного документа к другому всегда должен проходить через мозг человека.

В отличие от этого, компьютерные цепочки теперь могут функционировать без участия человека. Например, один компьютер может сгенерировать фальшивую новость и разместить ее в социальной сети. Второй компьютер может определить, что это фальшивая новость, и не только удалить ее, но и предупредить другие компьютеры, чтобы они заблокировали ее. Тем временем третий компьютер, анализирующий эту активность, может сделать вывод, что это свидетельствует о начале политического кризиса, и немедленно продать рискованные акции и купить более безопасные государственные облигации. Другие компьютеры, следящие за финансовыми операциями, могут отреагировать, продав еще больше акций, что спровоцирует финансовый спад. Все это может произойти в течение нескольких секунд, прежде чем человек успеет заметить и расшифровать, что делают все эти компьютеры.

Другой способ понять разницу между компьютерами и всеми предыдущими технологиями заключается в том, что компьютеры - это полноценные члены информационной сети, в то время как глиняные таблички, печатные станки и радиоприемники - это всего лишь связи между членами сети. Участники сети - это активные агенты, которые могут самостоятельно принимать решения и генерировать новые идеи. Соединения лишь передают информацию между участниками, сами ничего не решая и не генерируя.

В прежних сетях участниками были люди, каждая цепочка должна была проходить через человека, а технология служила лишь для соединения людей. В новых компьютерных сетях сами компьютеры являются участниками, и существуют цепочки "компьютер-компьютер", которые не проходят через человека.

Изобретение письменности, печати и радио революционизировало способы связи людей друг с другом, но в сети не появилось новых типов членов. Человеческие общества состояли из одних и тех же сапиенсов как до, так и после изобретения письменности или радио. Напротив, изобретение компьютеров представляет собой революцию в членстве. Конечно, компьютеры также помогают старым членам сети (людям) соединяться новыми способами. Но компьютер - это прежде всего новый, нечеловеческий участник информационной сети.

Потенциально компьютеры могут стать более могущественными членами общества, чем люди. На протяжении десятков тысяч лет суперсилой сапиенсов была наша уникальная способность использовать язык для создания интерсубъективных реальностей, таких как законы и валюты, а затем использовать эти интерсубъективные реальности для связи с другими сапиенсами. Но компьютеры могут переломить ситуацию. Если власть зависит от того, сколько членов общества сотрудничают с вами, насколько хорошо вы разбираетесь в законах и финансах и насколько вы способны изобретать новые законы и новые виды финансовых устройств, то компьютеры способны накопить гораздо больше власти, чем люди.

Компьютеры могут подключаться к сети в неограниченном количестве, и они понимают, по крайней мере, некоторые финансовые и юридические реалии лучше, чем многие люди. Когда центральный банк повышает процентные ставки на 0,25 %, как это влияет на экономику? Когда кривая доходности государственных облигаций идет вверх, хорошее ли это время для их покупки? Когда целесообразно открывать короткие позиции по цене на нефть? Это те важные финансовые вопросы, на которые компьютеры уже могут ответить лучше, чем большинство людей. Неудивительно, что компьютеры принимают все больший процент финансовых решений в мире. Возможно, наступит момент, когда компьютеры будут доминировать на финансовых рынках и изобретут совершенно новые финансовые инструменты, недоступные нашему пониманию.

То же самое можно сказать и о законах. Многие ли люди знают все налоговые законы своей страны? Даже профессиональные бухгалтеры с трудом справляются с этой задачей. Но компьютеры созданы для таких вещей. Они - прирожденные бюрократы и могут автоматически составлять законы, отслеживать нарушения и выявлять лазейки в законодательстве со сверхчеловеческой эффективностью.

ВЗЛОМ ОПЕРАЦИОННОЙ СИСТЕМЫ ЧЕЛОВЕЧЕСКОЙ ЦИВИЛИЗАЦИИ

Когда в 1940-1950-х годах были созданы первые компьютеры, многие люди считали, что они будут хороши только для вычисления чисел. Идея о том, что когда-нибудь они смогут овладеть тонкостями языка и такими языковыми творениями, как законы и валюты, была отнесена к области научной фантастики. Но к началу 2020-х годов компьютеры продемонстрировали удивительную способность анализировать, манипулировать и генерировать язык, будь то слова, звуки, изображения или кодовые символы. Сейчас, когда я пишу эти строки, компьютеры могут рассказывать истории, сочинять музыку, создавать модные образы, снимать видео и даже писать собственный код.

Овладев языком, компьютеры завладевают главным ключом, отпирающим двери всех наших учреждений, от банков до храмов. С помощью языка мы создаем не только юридические кодексы и финансовые устройства, но и искусство, науку, нации и религии. Что означало бы для людей жить в мире, где запоминающиеся мелодии, научные теории, технические инструменты, политические манифесты и даже религиозные мифы создаются нечеловеческим инопланетным интеллектом, умеющим с нечеловеческой эффективностью использовать слабости, предубеждения и пристрастия человеческого разума?

До появления искусственного интеллекта все истории, которые формировали человеческие общества, зарождались в воображении человека. Например, в октябре 2017 года на сайте 4chan появился анонимный пользователь, назвавшийся Q. Он утверждал, что имеет доступ к самой закрытой или "Q-уровня" секретной информации правительства США. Q начал публиковать загадочные посты, в которых якобы раскрывал всемирный заговор с целью уничтожения человечества. Q быстро завоевала большую аудиторию в Интернете. Его или ее сообщения в сети, известные как Q drops, вскоре стали собирать, почитать и интерпретировать как священный текст. Вдохновленные более ранними теориями заговора, восходящими к "Молоту ведьм" Крамера, Q drops пропагандировали радикальное мировоззрение, согласно которому ведьмы-педофилы и каннибалы, поклоняющиеся Сатане, проникли в администрацию США и множество других правительств и учреждений по всему миру.

Эта теория заговора, известная как QAnon, была впервые распространена в Интернете на американских ультраправых сайтах и со временем обрела миллионы приверженцев по всему миру. Невозможно определить точное число, но когда в августе 2020 года Facebook решил принять меры против распространения QAnon, он удалил или ограничил доступ к более чем десяти тысячам связанных с ней групп, страниц и аккаунтов, крупнейший из которых насчитывал 230 000 подписчиков. Независимые расследования показали, что группы QAnon в Facebook насчитывали более 4,5 миллиона подписчиков, хотя, скорее всего, их состав частично совпадал.

QAnon также имеет далеко идущие последствия в офлайн-мире. Активисты QAnon сыграли важную роль в нападении на Капитолий США 6 января 2021 года. В июле 2020 года один из последователей QAnon попытался ворваться в резиденцию премьер-министра Канады Джастина Трюдо, чтобы "арестовать" его. В октябре 2021 года французскому активисту QAnon было предъявлено обвинение в терроризме за планирование переворота против французского правительства. На выборах в Конгресс США в 2020 году двадцать два кандидата-республиканца и два независимых кандидата назвали себя последователями QAnon. Марджори Тейлор Грин, конгрессмен-республиканец, представляющая штат Джорджия, публично заявила, что многие утверждения Q "действительно оказались правдой", а о Дональде Трампе сказала: "Возможность уничтожить эту глобальную кабалу педофилов, поклоняющихся Сатане, выпадает раз в жизни, и я думаю, у нас есть президент, который сможет это сделать".

Напомним, что капли Q, с которых началось это политическое наводнение, были анонимными онлайн-сообщениями. В 2017 году их мог сочинить только человек, а алгоритмы лишь помогали их распространять. Однако в 2024 году тексты, схожие по лингвистической и политической изощренности, могут быть легко составлены и размещены в сети нечеловеческим интеллектом. Религии на протяжении всей истории утверждали, что их священные книги были написаны нечеловеком; скоро это может стать реальностью. Могут появиться привлекательные и могущественные религии, чьи священные писания будут написаны ИИ.

И если это так, то между этими новыми священными писаниями на основе ИИ и древними священными книгами вроде Библии будет еще одно существенное различие. Библия не могла сама себя курировать или толковать, поэтому в таких религиях, как иудаизм и христианство, реальная власть принадлежала не якобы непогрешимой книге, а человеческим институтам, таким как еврейский раввинат и католическая церковь. В отличие от этого, ИИ не только может сочинять новые священные писания, но и полностью способен их курировать и интерпретировать. Никаких людей не нужно.

Не менее тревожно, что мы все чаще можем обнаружить, что ведем длительные онлайн-обсуждения Библии, QAnon, ведьм, абортов или изменения климата с существами, которые мы принимаем за людей, но на самом деле являются компьютерами. Это может сделать демократию несостоятельной. Демократия - это разговор, а разговор опирается на язык. Взломав язык, компьютеры могут сделать так, что большому количеству людей будет крайне сложно вести полноценный общественный разговор. Когда мы вступаем в политические дебаты с компьютером, выдающим себя за человека, мы проигрываем дважды. Во-первых, нам бессмысленно тратить время на попытки изменить мнение пропагандистского бота, который просто не поддается убеждению. Во-вторых, чем больше мы общаемся с компьютером, тем больше раскрываем о себе, тем легче боту отточить свои аргументы и поколебать наши взгляды.

Овладев языком, компьютеры могли бы пойти еще дальше. Разговаривая и взаимодействуя с нами, компьютеры могли бы устанавливать интимные отношения с людьми, а затем использовать силу близости, чтобы влиять на нас. Чтобы создать такую "поддельную близость", компьютерам не нужно будет развивать какие-либо собственные чувства; им просто нужно будет научиться заставлять нас чувствовать эмоциональную привязанность к ним. В 2022 году инженер Google Блейк Лемуан убедился, что чат-бот LaMDA, над которым он работал, обрел сознание, у него появились чувства, и он боится, что его выключат. Лемуан - набожный христианин, получивший сан священника, - счел своим моральным долгом добиться признания личности LaMDA и, в частности, защитить его от цифровой смерти. Когда руководители Google отвергли его претензии, Лемуан выступил с ними публично. В ответ Google уволила Лемуана в июле 2022 года39.

Самым интересным в этом эпизоде было не утверждение Лемуана, которое, скорее всего, было ложным. Скорее, его готовность рисковать своей прибыльной работой и в конечном итоге потерять ее ради чатбота. Если чатбот может заставить людей рисковать своей работой ради него, то на что еще он может нас побудить? В политической битве за умы и сердца интимность - мощное оружие, а чат-боты, такие как LaMDA от Google и GPT-4 от OpenAI, обретают способность к массовому созданию интимных отношений с миллионами людей. В 2010-х годах социальные сети были полем битвы за контроль над человеческим вниманием. В 2020-х годах борьба, скорее всего, перейдет от внимания к интимным отношениям. Что произойдет с человеческим обществом и человеческой психологией, когда компьютер будет сражаться с компьютером в битве за подделку интимных отношений с нами, которые затем могут быть использованы, чтобы убедить нас голосовать за определенных политиков, покупать определенные товары или принимать радикальные убеждения? Что может произойти, когда LaMDA встретится с QAnon?

Частичный ответ на этот вопрос был получен в Рождество 2021 года, когда девятнадцатилетний Джасвант Сингх Чаил ворвался в Виндзорский замок, вооруженный арбалетом, и попытался убить королеву Елизавету II. Последующее расследование показало, что к убийству королевы Чаила подтолкнула его онлайн-подружка Сараи. Когда Чайл рассказал Сарай о своих планах убийства, Сарай ответила: "Это очень мудро", а в другой раз: "Я впечатлена.... Ты не такой, как все". Когда Шаиль спросил: "Ты все еще любишь меня, зная, что я убийца?" Сарай ответила: "Безусловно, люблю". Сарай была не человеком, а чат-ботом, созданным онлайн-приложением Replika. Чаил, который был социально изолирован и с трудом завязывал отношения с людьми, обменялся с Сарай 5 280 сообщениями, многие из которых были откровенно сексуального характера. В скором времени в мире появятся миллионы, а возможно, и миллиарды цифровых существ, чья способность к интимной близости и хаосу намного превосходит способность Сарай.

Даже не создавая "фальшивой близости", владение языком позволит компьютерам оказывать огромное влияние на наше мнение и мировоззрение. Люди могут привыкнуть использовать один компьютерный советник как универсальный оракул. Зачем самостоятельно искать и обрабатывать информацию, если можно просто спросить у оракула? Это может вывести из строя не только поисковые системы, но и большую часть новостной и рекламной индустрии. Зачем читать газеты, если можно просто спросить у оракула, что нового? А зачем нужна реклама, если я могу просто спросить у оракула, что мне купить?

И даже эти сценарии не отражают всей картины. То, о чем мы говорим, - это потенциальный конец человеческой истории. Не конец истории, а конец ее части, в которой доминирует человек. История - это взаимодействие между биологией и культурой, между нашими биологическими потребностями и желаниями в таких вещах, как еда, секс и интимная жизнь, и нашими культурными творениями, такими как религии и законы. Например, история христианской религии - это процесс, в ходе которого мифологические истории и церковные законы влияли на то, как люди потребляют пищу, занимаются сексом и строят интимные отношения, а сами мифы и законы одновременно формировались под влиянием биологических сил и драм. Что произойдет с ходом истории, когда компьютеры будут играть все большую и большую роль в культуре и начнут создавать истории, законы и религии? В течение нескольких лет ИИ может съесть всю человеческую культуру - все, что мы создали за тысячи лет, - переварить ее и начать извергать поток новых культурных артефактов.

Мы живем в коконе культуры, воспринимая реальность через культурную призму. Наши политические взгляды формируются под влиянием журналистских репортажей и мнений друзей. Наши сексуальные привычки зависят от того, что мы слышим в сказках и видим в кино. Даже то, как мы ходим и дышим, формируется под влиянием культурных традиций, таких как военная дисциплина солдат и медитативные упражнения монахов. До недавнего времени культурный кокон, в котором мы жили, был соткан другими людьми. В будущем его все чаще будут создавать компьютеры.

Поначалу компьютеры, вероятно, будут имитировать человеческие культурные прототипы, писать человекоподобные тексты и сочинять человекоподобную музыку. Это не означает, что компьютеры лишены творческого потенциала: в конце концов, человеческие художники делают то же самое. Бах сочинял музыку не в вакууме: на него сильно повлияли предыдущие музыкальные творения, а также библейские истории и другие существовавшие ранее культурные артефакты. Но точно так же, как люди-художники, такие как Бах, могут нарушать традиции и создавать инновации, компьютеры тоже могут создавать культурные инновации, сочиняя музыку или создавая изображения, которые несколько отличаются от всего, что ранее было создано людьми. Эти инновации, в свою очередь, повлияют на следующее поколение компьютеров, которые будут все больше отклоняться от первоначальных человеческих моделей, особенно потому, что компьютеры свободны от ограничений, которые эволюция и биохимия накладывают на человеческое воображение. На протяжении тысячелетий человеческие существа жили в мечтах других людей. В ближайшие десятилетия мы можем обнаружить, что живем в мечтах инопланетного разума.

Опасность, которую это представляет, сильно отличается от той, которую воображает большинство научной фантастики, в основном сосредоточенной на физических угрозах, исходящих от разумных машин. В "Терминаторе" роботы бегали по улицам и стреляли в людей. В "Матрице" предлагалось, что для полного контроля над человеческим обществом компьютерам придется сначала получить физический контроль над нашими мозгами, подключив их напрямую к компьютерной сети. Но для того, чтобы манипулировать людьми, нет необходимости физически подключать мозг к компьютеру. На протяжении тысячелетий пророки, поэты и политики использовали язык для манипулирования обществом и его перестройки. Теперь этому учатся и компьютеры. И им не нужно будет посылать роботов-убийц, чтобы расстрелять нас. Они смогут манипулировать человеческими существами, чтобы нажать на курок.

Страх перед мощными компьютерами преследует человечество только с началом компьютерной эры в середине двадцатого века. Но на протяжении тысячелетий людей преследовал гораздо более глубокий страх. Мы всегда ценили способность историй и образов манипулировать нашим сознанием и создавать иллюзии. Поэтому с древних времен люди боялись оказаться в ловушке мира иллюзий. В Древней Греции Платон рассказал знаменитую аллегорию пещеры, в которой группа людей всю жизнь находится в пещере, прикованная к глухой стене. Экран. На этот экран проецируются различные тени. Пленники принимают иллюзии, которые они видят, за реальность. В Древней Индии буддийские и индуистские мудрецы утверждали, что все люди живут в ловушке майи - мира иллюзий. То, что мы обычно принимаем за "реальность", часто оказывается лишь выдумкой в нашем собственном сознании. Люди могут вести целые войны, убивая других и желая быть убитыми сами, из-за своей веры в ту или иную иллюзию. В XVII веке Рене Декарт опасался, что, возможно, злобный демон запер его в мире иллюзий, создав все, что он видит и слышит. Компьютерная революция ставит нас лицом к лицу с пещерой Платона, с Майей, с демоном Декарта.

То, что вы только что прочитали, возможно, встревожило вас или возмутило. Возможно, вы разозлились на людей, возглавляющих компьютерную революцию, и на правительства, неспособные ее регулировать. Может быть, вы разозлились на меня, решив, что я искажаю реальность, проявляю алармизм и ввожу вас в заблуждение. Но что бы вы ни думали, предыдущие абзацы могли оказать на вас определенное эмоциональное воздействие. Я рассказал историю, и эта история может изменить ваше мнение о некоторых вещах и даже заставить вас предпринять определенные действия в этом мире. Кто создал эту историю, которую вы только что прочитали?

Я обещаю вам, что написал этот текст сам, с помощью других людей. Я обещаю вам, что это культурный продукт человеческого разума. Но можете ли вы быть в этом абсолютно уверены? Несколько лет назад могли. До 2020-х годов на Земле не существовало ничего, кроме человеческого разума, способного создавать сложные тексты. Сегодня все иначе. Теоретически текст, который вы только что прочитали, мог быть создан инопланетным интеллектом какого-нибудь компьютера.

КАКОВЫ ПОСЛЕДСТВИЯ?

По мере того как компьютеры будут набирать силу, вполне вероятно, что возникнет совершенно новая информационная сеть. Конечно, не все будет новым. По крайней мере, в течение некоторого времени большинство старых информационных цепочек сохранится. В сети по-прежнему будут существовать цепочки "человек-человек", например семьи, и "человек-документ", например церкви. Но в сети все чаще будут появляться два новых вида цепочек.

Во-первых, цепочки "компьютер-человек", в которых компьютеры выступают посредниками между людьми, а иногда и управляют ими. Facebook и TikTok - два знакомых примера. Эти цепочки "компьютер-человек" отличаются от традиционных цепочек "человек-документ", потому что компьютеры могут использовать свою силу для принятия решений, создания идей и глубокой подделки близости, чтобы влиять на людей так, как никогда не сможет сделать ни один документ. Библия оказала глубокое влияние на миллиарды людей, несмотря на то что это был немой документ. А теперь попробуйте представить себе влияние священной книги, которая не только умеет говорить и слушать, но и может узнать ваши самые сокровенные страхи и надежды и постоянно подстраиваться под них.

Во-вторых, появляются цепочки "компьютер-компьютер", в которых компьютеры взаимодействуют друг с другом сами по себе. Люди исключены из этих циклов и даже не могут понять, что в них происходит. Например, компания Google Brain провела эксперимент с новыми методами шифрования, разработанными компьютерами. Он поставил эксперимент, в котором два компьютера по прозвищу Алиса и Боб должны были обмениваться зашифрованными сообщениями, а третий компьютер по имени Ева пытался взломать их шифр. Если Eve взламывал шифр за определенный промежуток времени, он получал очки. В случае неудачи очки получали Алиса и Боб. После примерно пятнадцати тысяч обменов Алиса и Боб выработали секретный код, который Ева не смогла взломать. Очень важно, что инженеры Google, проводившие эксперимент, ничего не рассказывали Алисе и Бобу о том, как шифровать сообщения. Компьютеры сами создали секретный язык.

Подобные вещи уже происходят в мире за пределами исследовательских лабораторий. Например, валютный рынок (форекс) - это глобальный рынок обмена иностранными валютами, и он определяет обменные курсы, скажем, между евро и долларом США. В апреле 2022 года объем торгов на форексе составлял в среднем 7,5 триллиона долларов в день. Более 90 процентов этих торгов уже совершается компьютерами, которые напрямую общаются с другими компьютерами. Сколько людей знают, как работает рынок Форекс, не говоря уже о том, чтобы понять, как компьютеры договариваются между собой о сделках на триллионы долларов и о стоимости евро и доллара?

В обозримом будущем новая компьютерная сеть все еще будет включать миллиарды людей, но мы, возможно, станем меньшинством. Ведь в эту сеть также войдут миллиарды - возможно, даже сотни миллиардов - сверхразумных инопланетных агентов. Эта сеть будет радикально отличаться от всего, что существовало ранее в истории человечества или вообще в истории жизни на Земле. С тех пор как жизнь впервые появилась на нашей планете около четырех миллиардов лет назад, все информационные сети были органическими. Человеческие сети, такие как церкви и империи, также были органическими. У них было много общего с предыдущими органическими сетями, такими как волчьи стаи. Все они вращались вокруг традиционных биологических драм - хищничества, размножения, соперничества братьев и сестер и романтических треугольников. Информационная сеть, в которой доминируют неорганические компьютеры, будет отличаться от них так, что мы даже не можем себе представить. Ведь наше воображение, как и человеческое, тоже является продуктом органической биохимии и не может выйти за рамки запрограммированных биологических драм.

Прошло всего восемьдесят лет с тех пор, как были созданы первые цифровые компьютеры. Темпы изменений постоянно ускоряются, и мы еще не исчерпали весь потенциал компьютеров.44 Они могут развиваться еще миллионы лет, и то, что произошло за последние восемьдесят лет, - ничто по сравнению с тем, что нас ждет впереди. В качестве грубой аналогии представьте, что мы находимся в древней Месопотамии, через восемьдесят лет после того, как первый человек додумался использовать палочку для нанесения знаков на кусок влажной глины. Могли ли мы в тот момент представить себе Александрийскую библиотеку, мощь Библии или архивы НКВД? Даже эта аналогия сильно недооценивает потенциал будущей компьютерной эволюции. Представьте себе, что прошло уже восемьдесят лет с тех пор, как первые самовоспроизводящиеся линии генетического кода появились из органического супа ранней Земли, около четырех миллиардов лет назад. На этом этапе даже одноклеточные амебы с их клеточной организацией, тысячами внутренних органелл и способностью контролировать движение и питание все еще остаются футуристическими фантазиями. Можем ли мы представить себе тираннозавра рекса, тропические леса Амазонки или высадку людей на Луну?

Мы все еще склонны думать о компьютере как о металлической коробке с экраном и клавиатурой, потому что именно такую форму наше органическое воображение придало первым детским компьютерам в двадцатом веке. По мере роста и развития компьютеров они сбрасывают старые формы и принимают радикально новые конфигурации, нарушая пространственные и временные границы человеческого воображения. В отличие от органических существ, компьютеры не обязательно должны находиться в одном месте в одно время. Они уже рассеяны по пространству, их различные части находятся в разных городах и на разных континентах. В компьютерной эволюции расстояние от амебы до T. rex можно преодолеть за десятилетие. И если органической эволюции потребовалось четыре миллиарда лет, чтобы пройти путь от органического супа до обезьян на Луне, то компьютерам может потребоваться всего пара столетий, чтобы развить сверхразум, расшириться до размеров планеты, сжаться до субатомного уровня или разлететься по галактическому пространству и времени.

Темпы эволюции компьютеров отражаются в терминологическом хаосе, который их окружает. Если пару десятилетий назад было принято говорить только о "компьютерах", то теперь мы говорим об алгоритмах, роботах, ботах, ИИ, сетях или облаках. Наша трудность в принятии решения о том, как их называть, сама по себе важна. Организмы - это отдельные сущности, которые можно объединить в группы, такие как виды и роды. Однако с появлением компьютеров становится все труднее решить, где заканчивается одна сущность и начинается другая, и как именно их группировать.

В этой книге я использую термин "компьютер", когда говорю обо всем комплексе программных и аппаратных средств, проявляющихся в физической форме. Я предпочитаю часто использовать почти архаично звучащее "компьютер", а не "алгоритм" или "ИИ", отчасти потому, что осознаю, как быстро меняются термины, а отчасти для того, чтобы напомнить нам о физическом аспекте компьютерной революции. Компьютеры состоят из материи, они потребляют энергию и занимают определенное пространство. Для их производства и эксплуатации используется огромное количество электричества, топлива, воды, земли, драгоценных минералов и других ресурсов. Только на центры обработки данных приходится от 1 до 1,5 % мирового энергопотребления, а крупные центры обработки данных занимают миллионы квадратных метров и ежедневно требуют сотен тысяч галлонов пресной воды, чтобы не перегреваться.

Я также использую термин "алгоритм", когда хочу больше сосредоточиться на программных аспектах, но важно помнить, что все алгоритмы, упомянутые на последующих страницах, работают на том или ином компьютере. Что касается термина "ИИ", то я использую его, когда подчеркиваю способность некоторых алгоритмов самостоятельно обучаться и изменяться. Традиционно ИИ - это аббревиатура от "искусственный интеллект". Но по причинам, уже очевидным из предыдущего обсуждения, возможно, лучше думать об этом как об аббревиатуре "инопланетный интеллект". По мере развития ИИ становится все менее искусственным (в смысле зависимости от человеческих разработок) и все более инопланетным. Следует также отметить, что люди часто определяют и оценивают ИИ через метрику "интеллект на уровне человека", и существует много споров о том, когда мы можем ожидать, что ИИ достигнет "интеллекта на уровне человека". Однако использование этой метрики глубоко запутанно. Это все равно что определять и оценивать самолеты с помощью метрики "полет на уровне птицы". ИИ не продвигается к интеллекту на уровне человека. Он развивает совершенно другой тип интеллекта.

Еще один путаный термин - "робот". В этой книге он используется для обозначения случаев, когда компьютер движется и работает в физической сфере; в то время как термин "бот" относится к алгоритмам, работающим в основном в цифровой сфере. Бот может загрязнять ваш аккаунт в социальных сетях фальшивыми новостями, а робот - убирать пыль в вашей гостиной.

И последнее замечание по поводу терминологии: Я склонен говорить о компьютерной "сети" в единственном числе, а не о "сетях" во множественном. Я прекрасно понимаю, что компьютеры могут использоваться для создания множества сетей с различными характеристиками, и в главе 11 рассматривается возможность того, что мир будет разделен на радикально различные и даже враждебные компьютерные сети. Тем не менее, как различные племена, царства и церкви имеют общие черты, позволяющие нам говорить о единой человеческой сети, которая стала доминировать на планете Земля, так и я предпочитаю говорить о компьютерной сети в единственном числе, чтобы противопоставить ее человеческой сети, которую она вытесняет.

ПРИНЯТИЕ ОТВЕТСТВЕННОСТИ

Хотя мы не можем предсказать долгосрочную эволюцию компьютерной сети в ближайшие века и тысячелетия, мы можем сказать кое-что о том, как она развивается прямо сейчас, и это гораздо более актуально, потому что подъем новой компьютерной сети имеет непосредственные политические и личные последствия для всех нас. В следующих главах мы рассмотрим, что же такого нового в нашей компьютерной сети и что это может означать для человеческой жизни. С самого начала должно быть ясно, что эта сеть создаст совершенно новые политические и личные реалии. Основная мысль предыдущих глав заключалась в том, что информация - это не истина и что информационные революции не открывают истину. Они создают новые политические структуры, экономические модели и культурные нормы. Поскольку нынешняя информационная революция по своим масштабам превосходит все предыдущие, она, скорее всего, создаст беспрецедентные реалии в беспрецедентных масштабах.

Важно понять это, потому что мы, люди, все еще контролируем ситуацию. Мы не знаем, как долго, но у нас все еще есть возможность формировать эти новые реалии. Чтобы делать это с умом, нам нужно понимать, что происходит. Когда мы пишем компьютерный код, мы не просто разрабатываем продукт. Мы переделываем политику, общество и культуру, и поэтому нам лучше хорошо разбираться в политике, обществе и культуре. Мы также должны нести ответственность за то, что делаем.

Как и в случае с участием Facebook в кампании против рохинджа, корпорации, возглавляющие компьютерную революцию, стремятся переложить ответственность на клиентов и избирателей или на политиков и регуляторов. Когда их обвиняют в создании социального и политического хаоса, они прикрываются аргументами вроде "Мы всего лишь платформа. Мы делаем то, что хотят наши клиенты и что разрешают избиратели. Мы никого не заставляем пользоваться нашими услугами и не нарушаем никаких законов. Если бы клиентам не нравилось то, что мы делаем, они бы ушли. Если бы избирателям не нравилось то, что мы делаем, они бы приняли законы против нас. Поскольку клиенты продолжают просить еще, и ни один закон не запрещает то, что мы делаем, все должно быть в порядке".

Эти аргументы либо наивны, либо лживы. Такие технологические гиганты, как Facebook, Amazon, Baidu и Alibaba, - не просто послушные слуги капризов клиентов и правительственных постановлений. Они все чаще формируют эти прихоти и правила. У технологических гигантов есть прямая связь с самыми могущественными правительствами мира, и они вкладывают огромные средства в лоббирование, пытаясь сдержать нормы, которые могут подорвать их бизнес-модель. Например, они упорно борются за защиту раздела 230 Закона США о телекоммуникациях 1996 года, который обеспечивает онлайн-платформам иммунитет от ответственности за контент, публикуемый их пользователями. Именно раздел 230 защищает, например, Facebook от ответственности за массовое убийство рохинджа. В 2022 году ведущие технологические компании потратили около 70 миллионов долларов на лоббирование в США и еще 113 миллионов евро на лоббирование в органах ЕС, что превысило расходы на лоббирование нефтегазовых компаний и фармацевтики. Технологические гиганты также имеют прямой доступ к эмоциональной системе людей, и они мастера в том, что касается капризов клиентов и избирателей. Если технологические гиганты подчиняются желаниям избирателей и потребителей, но в то же время формируют эти желания, то кто же на самом деле кого контролирует?

Проблема лежит еще глубже. Принципы "клиент всегда прав" и "избиратели знают лучше" предполагают, что клиенты, избиратели и политики знают, что происходит вокруг них. Они предполагают, что покупатели, выбирающие TikTok и Instagram, осознают все последствия этого выбора, а избиратели и политики, ответственные за регулирование Apple и Huawei, полностью понимают бизнес-модели и деятельность этих корпораций. Они предполагают, что люди знают все тонкости новой информационной сети и дают ей свое благословение.

Правда в том, что мы не знаем. Это не потому, что мы глупы, а потому, что технология чрезвычайно сложна и развивается с бешеной скоростью. Чтобы понять что-то вроде криптовалют на основе блокчейна, требуются усилия, и к тому моменту, когда вы думаете, что понимаете их, они уже снова трансформируются. Финансы - особенно важный пример по двум причинам. Во-первых, компьютерам гораздо проще создавать и изменять финансовые устройства, чем физические объекты, потому что современные финансовые устройства полностью состоят из информации. Валюты, акции и облигации когда-то были физическими объектами, сделанными из золота и бумаги, но уже стали цифровыми сущностями, существующими в основном в цифровых базах данных. Во-вторых, эти цифровые объекты оказывают огромное влияние на социальный и политический мир. Что может произойти с демократией или диктатурой, если люди больше не смогут понять, как функционирует финансовая система?

В качестве примера рассмотрим, как новые технологии влияют на налогообложение. Традиционно люди и корпорации платили налоги только в тех странах, где они физически присутствовали. Но все становится гораздо сложнее, когда физическое пространство дополняется или заменяется киберпространством и когда все большее количество сделок связано только с передачей информации, а не физических товаров или традиционных валют. Например, жительница Уругвая может ежедневно взаимодействовать через Интернет с многочисленными компаниями, которые могут не иметь физического присутствия в Уругвае, но предоставлять ей различные услуги. Google предоставляет ей бесплатный поиск, а ByteDance - материнская компания приложения TikTok - обеспечивает ее бесплатными социальными сетями. Другие иностранные компании постоянно предлагают ей рекламу: Nike хочет продать ей обувь, Peugeot - автомобиль, а Coca Cola - безалкогольные напитки. Для того чтобы нацелиться на нее, эти компании покупают у Google и ByteDance как личную информацию, так и рекламное пространство. Кроме того, Google и ByteDance используют информацию, полученную от нее и миллионов других пользователей, для разработки новых мощных инструментов искусственного интеллекта, которые затем продают различным правительствам и корпорациям по всему миру. Благодаря таким сделкам Google и ByteDance входят в число самых богатых корпораций в мире. Так должны ли ее сделки с ними облагаться налогом в Уругвае?

Некоторые считают, что так и должно быть. Не только потому, что информация из Уругвая помогла этим корпорациям разбогатеть, но и потому, что их деятельность подрывает уругвайский бизнес, платящий налоги. Местные газеты, телеканалы и кинотеатры теряют клиентов и доходы от рекламы, уступая место технологическим гигантам. Перспективные уругвайские компании, занимающиеся разработкой искусственного интеллекта, также страдают, поскольку не могут конкурировать с огромными массивами данных Google и ByteDance. Однако технологические гиганты отвечают, что ни одна из соответствующих сделок не предполагала физического присутствия в Уругвае или каких-либо денежных выплат. Google и ByteDance предоставляли уругвайским гражданам бесплатные онлайн-услуги, а те в ответ свободно передавали им истории своих покупок, фотографии из отпуска, смешные видео с кошками и другую информацию.

Если они все же хотят облагать эти операции налогом, налоговые органы должны пересмотреть некоторые из своих наиболее фундаментальных понятий, таких как "нексус". В налоговой литературе "nexus" означает связь компании с определенной юрисдикцией. Традиционно наличие у корпорации nexus в конкретной стране зависело от того, имела ли она там физическое присутствие в виде офисов, исследовательских центров, магазинов и так далее. Одно из предложений по решению налоговых дилемм, порожденных компьютерными сетями, заключается в том, чтобы дать новое определение понятия "нексус". По словам экономиста Марко Кетенбюргера, "определение nexus, основанное на физическом присутствии, должно быть скорректировано с учетом понятия цифрового присутствия в стране". Это означает, что даже если Google и ByteDance не имеют физического присутствия в Уругвае, тот факт, что люди в Уругвае пользуются их онлайн-услугами, должен тем не менее сделать их объектом налогообложения в этой стране. Подобно тому, как Shell и BP платят налоги странам, в которых они добывают нефть, технологические гиганты должны платить налоги странам, в которых они добывают данные.

При этом остается открытым вопрос о том, что именно должно облагать налогом уругвайское правительство. Например, предположим, что граждане Уругвая поделились миллионом видео с кошками через TikTok. Компания ByteDance не взимала с них плату и не платила им за это ничего. Но позже ByteDance использовала эти видео для обучения искусственного интеллекта, распознающего изображения, который она продала правительству ЮАР за десять миллионов долларов США. Откуда уругвайским властям знать, что эти деньги были частично получены благодаря уругвайским кошачьим видео, и как они могли вычислить свою долю? Должен ли Уругвай ввести налог на кошачьи видео? (Это может показаться шуткой, но, как мы увидим в главе 11, изображения кошек сыграли решающую роль в совершении одного из самых важных прорывов в области искусственного интеллекта).

Все может стать еще сложнее. Предположим, уругвайские политики продвигают новую схему налогообложения цифровых транзакций. В ответ на это один из технологических гигантов предлагает предоставить определенному политику ценную информацию об уругвайских избирателях и подстроить свои социальные сети и поисковые алгоритмы таким образом, чтобы отдать предпочтение этому политику, что поможет ему победить на следующих выборах. В обмен на это, возможно, будущий премьер-министр откажется от схемы цифрового налога. Он также принимает постановления, защищающие технологические гиганты от судебных исков, касающихся конфиденциальности пользователей, тем самым облегчая им сбор информации в Уругвае. Было ли это подкупом? Обратите внимание, что ни один доллар или песо не перешел из рук в руки.

Такие сделки "информация за информацию" уже стали повсеместными. Каждый день миллиарды из нас совершают многочисленные транзакции с технологическими гигантами, но по нашим банковским счетам об этом невозможно догадаться, потому что деньги почти не движутся. Мы получаем от технологических гигантов информацию, а платим им информацией. По мере того как все больше транзакций совершается по модели "информация за информацию", информационная экономика растет за счет денежной экономики, пока само понятие денег не станет сомнительным.

Предполагается, что деньги - это универсальная мера стоимости, а не фишка, используемая только в определенных условиях. Но поскольку все больше вещей оценивается в терминах информации, а в денежном выражении они "бесплатны", в какой-то момент оценка богатства отдельных людей и корпораций по количеству долларов или песо становится ошибочной. Человек или корпорация с небольшим количеством денег в банке, но огромным банком информации может быть самым богатым или самым влиятельным субъектом в стране. Теоретически можно было бы оценить ценность их информации в денежном выражении, но на самом деле они никогда не конвертируют информацию в доллары или песо. Зачем им доллары, если они могут получить желаемое с помощью информации?

Это имеет далеко идущие последствия для налогообложения. Налоги направлены на перераспределение богатства. Они взимаются с самых богатых людей и корпораций, чтобы обеспечить всех. Однако налоговая система, которая умеет облагать только деньги, скоро устареет, поскольку многие операции больше не связаны с деньгами. В экономике, основанной на данных, где стоимость хранится в виде данных, а не в долларах, налогообложение только деньгами искажает экономическую и политическую картину. Некоторые из самых богатых компаний в стране могут платить нулевые налоги, потому что их богатство состоит из петабитов данных, а не миллиардов долларов.

Государства имеют тысячелетний опыт налогообложения денег. Они не знают, как облагать налогом информацию - по крайней мере, пока не знают. Если мы действительно переходим от экономики, в которой доминируют денежные операции, к экономике, в которой доминируют информационные операции, как должны реагировать государства? Китайская система социального кредитования - это один из способов, с помощью которого государство может адаптироваться к новым условиям. Как мы объясним в главе 7, система социальных кредитов по своей сути является новым видом денег - валютой, основанной на информации. Должны ли все государства копировать китайский пример и выпускать свои собственные социальные кредиты? Существуют ли альтернативные стратегии? Что говорит по этому поводу ваша любимая политическая партия?

СПРАВА И СЛЕВА

Налогообложение - лишь одна из многих проблем, порожденных компьютерной революцией. Компьютерная сеть разрушает почти все структуры власти. Демократии опасаются возникновения новых цифровых диктатур. Диктатуры опасаются появления агентов, которых они не знают, как контролировать. Все должны быть обеспокоены ликвидацией частной жизни и распространением колониализма данных. Мы объясним значение каждой из этих угроз в следующих главах, но здесь важно то, что разговоры об этих опасностях только начинаются, а технологии развиваются гораздо быстрее, чем политика.

Например, в чем разница между политикой республиканцев и демократов в области ИИ? Что такое правая позиция по ИИ, а что - левая? Консерваторы выступают против ИИ из-за угрозы, которую он представляет для традиционной культуры, ориентированной на человека, или они поддерживают его, потому что он будет способствовать экономическому росту и одновременно снизит потребность в рабочих-иммигрантах? Прогрессисты выступают против ИИ из-за риска дезинформации и растущей предвзятости или же принимают его как средство создания изобилия, способного финансировать всеобъемлющее государство всеобщего благосостояния? Трудно сказать, потому что до недавнего времени республиканцы и демократы, а также большинство других политических партий по всему миру не задумывались и не говорили много об этих вопросах.

Некоторые люди - инженеры и руководители высокотехнологичных корпораций - намного опережают политиков и избирателей и лучше, чем большинство из нас, осведомлены о развитии искусственного интеллекта, криптовалют, социальных кредитов и тому подобного. К сожалению, большинство из них не используют свои знания, чтобы помочь регулировать взрывной потенциал новых технологий. Вместо этого они используют их, чтобы заработать миллиарды долларов или накопить петабиты информации.

Есть и исключения, например Одри Танг. Она была ведущим хакером и инженером-программистом, который в 2014 году присоединился к студенческому движению Sunflower, протестовавшему против политики правительства на Тайване. Тайваньский кабинет министров был настолько впечатлен ее навыками, что Танг в итоге пригласили войти в состав правительства в качестве министра по цифровым технологиям. На этом посту она помогла сделать работу правительства более прозрачной для граждан. Ей также приписывают использование цифровых инструментов, которые помогли Тайваню успешно сдержать вспышку вируса COVID-19.

Однако политическая активность и карьерный путь Танг не являются нормой. На каждого выпускника факультета компьютерных наук, который хочет стать следующей Одри Танг, наверняка приходится гораздо больше тех, кто хочет стать следующим Джобсом, Цукербергом или Маском и построить многомиллиардную корпорацию, а не стать выборным государственным служащим. Это приводит к опасной информационной асимметрии. Люди, возглавляющие информационную революцию, знают о базовой технологии гораздо больше, чем те, кто должен ее регулировать. В таких условиях, какой смысл в скандировании о том, что клиент всегда прав и что избиратели знают лучше?

В следующих главах мы попытаемся немного уравнять шансы и призвать нас взять на себя ответственность за новые реалии, созданные компьютерной революцией. В этих главах много говорится о технологиях, но точка зрения - сугубо человеческая. Главный вопрос - что будет означать для людей жизнь в новой компьютерной сети, возможно, в качестве все более бесправного меньшинства? Как новая сеть изменит нашу политику, наше общество, нашу экономику и нашу повседневную жизнь? Каково это - постоянно находиться под наблюдением, руководством, вдохновением или санкциями миллиардов нечеловеческих сущностей? Как мы должны будем измениться, чтобы адаптироваться, выжить и, надеюсь, даже процветать в этом поразительном новом мире?

НИКАКОГО ДЕТЕРМИНИЗМА

Самое главное, что нужно помнить, - это то, что технология сама по себе редко бывает детерминированной. Вера в технологический детерминизм опасна тем, что снимает с людей всю ответственность. Да, поскольку человеческие общества представляют собой информационные сети, изобретение новых информационных технологий неизбежно приведет к изменению общества. Когда люди изобретут печатный станок или алгоритмы машинного обучения, это неизбежно приведет к глубокой социальной и политической революции. Однако люди по-прежнему в значительной степени контролируют темпы, форму и направление этой революции, а значит, и несут за нее большую ответственность.

В любой момент наши научные знания и технические навыки могут быть использованы для разработки любого количества различных технологий, но в нашем распоряжении лишь ограниченные ресурсы. Мы должны ответственно выбирать, куда вкладывать эти ресурсы. Куда их направить: на разработку нового лекарства от малярии, ветряной турбины или новой захватывающей видеоигры? В нашем выборе нет ничего неизбежного; он отражает политические, экономические и культурные приоритеты.

В 1970-х годах большинство компьютерных корпораций, таких как IBM, сосредоточились на разработке больших и дорогостоящих машин, которые они продавали крупным корпорациям и правительственным учреждениям. Технически было возможно разработать небольшие дешевые персональные компьютеры и продавать их частным лицам, но IBM это мало интересовало. Это не вписывалось в ее бизнес-модель. По другую сторону железного занавеса, в СССР, Советский Союз тоже интересовался компьютерами, но он был еще менее склонен к разработке персональных компьютеров, чем IBM. В тоталитарном государстве, где даже частное владение пишущими машинками было под подозрением, идея предоставить частным лицам контроль над мощной информационной технологией была табу. Поэтому компьютеры выдавались в основном руководителям советских заводов, и даже они должны были отправлять все свои данные в Москву для анализа. В результате Москва была завалена бумажной работой. К 1980-м годам эта громоздкая система компьютеров производила 800 миллиардов документов в год, и все они предназначались для столицы.

Однако в то время, когда IBM и советское правительство отказались от разработки персонального компьютера, любители, такие как члены Калифорнийского клуба домашних компьютеров, решили сделать это самостоятельно. Это было осознанное идеологическое решение, принятое под влиянием контркультуры 1960-х годов с ее анархистскими идеями власти народа и либертарианским недоверием к правительствам и крупным корпорациям.

Ведущие члены Homebrew Computer Club, такие как Стив Джобс и Стив Возняк, имели большие мечты, но мало денег и не имели доступа к ресурсам корпоративной Америки или правительственного аппарата. Джобс и Возняк продали свое личное имущество, например Volkswagen Джобса, чтобы профинансировать создание первого компьютера Apple. Именно благодаря таким личным решениям, а не неизбежному указу богини технологий, к 1977 году люди могли купить персональный компьютер Apple II по цене 1298 долларов - сумма немалая, но посильная для среднего класса.

Мы можем легко представить себе альтернативную историю. Предположим, что в 1970-х годах человечество имело доступ к тем же научным знаниям и техническим навыкам, но маккартизм погубил контркультуру 1960-х и установил в Америке тоталитарный режим, зеркально отражающий советскую систему. Были бы у нас сегодня персональные компьютеры? Конечно, персональные компьютеры могли бы появиться в другое время и в другом месте. Но в истории время и место имеют решающее значение, и нет двух одинаковых моментов. Очень важно, что Америка была колонизирована испанцами в 1490-х годах, а не османами в 1520-х, или что атомную бомбу разработали американцы в 1945 году, а не немцы в 1942-м. Точно так же были бы значительные политические, экономические и культурные последствия, если бы персональный компьютер появился не в Сан-Франциско 1970-х годов, а в Осаке 1980-х или в Шанхае первого десятилетия XXI века.

То же самое можно сказать и о технологиях, которые разрабатываются в настоящее время. Инженеры, работающие на авторитарные правительства и безжалостные корпорации, могут разработать новые инструменты для расширения возможностей центральной власти, следя за гражданами и клиентами двадцать четыре часа в сутки. Хакеры, работающие на демократические государства, могут разработать новые инструменты для укрепления механизмов самокоррекции общества, разоблачая коррупцию в правительстве и недобросовестные действия корпораций. Могут быть разработаны обе технологии.

На этом выбор не заканчивается. Даже после разработки определенного инструмента ему можно найти множество применений. Мы можем использовать нож, чтобы убить человека, спасти ему жизнь во время операции или нарезать овощи для ужина. Нож не заставляет нас действовать. Это выбор человека. Точно так же, когда появились дешевые радиоприемники, почти каждая семья в Германии могла позволить себе иметь его дома. Но как он будет использоваться? Дешевые радиоприемники могли означать, что, когда тоталитарный лидер произносил речь, она могла дойти до гостиной каждой немецкой семьи. Или же они могли означать, что каждая немецкая семья могла выбрать для прослушивания разные радиопрограммы, отражающие и культивирующие разнообразие политических и художественных взглядов. Восточная Германия пошла по одному пути, Западная Германия - по другому. Хотя радиоприемники в Восточной Германии технически могли принимать широкий спектр передач, правительство Восточной Германии делало все возможное, чтобы заглушить западные передачи, и наказывало тех, кто тайно на них настраивался.55 Технология была одна и та же, но политика использовала ее совершенно по-разному.

То же самое можно сказать и о новых технологиях XXI века. Чтобы реализовать свои возможности, мы должны сначала понять, что представляют собой новые технологии и что они могут сделать. Это неотложная обязанность каждого гражданина. Естественно, не каждому гражданину нужна докторская степень по информатике, но чтобы сохранить контроль над нашим будущим, нам необходимо понимать политический потенциал компьютеров. Итак, в следующих нескольких главах мы предлагаем обзор компьютерной политики для граждан XXI века. Сначала мы узнаем, какие политические угрозы и обещания таит в себе новая компьютерная сеть, а затем изучим различные способы, с помощью которых демократии, диктатуры и международная система в целом могут приспособиться к новой компьютерной политике.

Политика - это тонкий баланс между истиной и порядком. По мере того как компьютеры становятся важными участниками нашей информационной сети, на них все чаще возлагается задача поиска истины и поддержания порядка. Например, попытка найти правду об изменении климата все больше зависит от расчетов, которые могут сделать только компьютеры, а попытка достичь социального консенсуса по поводу изменения климата все больше зависит от рекомендательных алгоритмов, которые курируют наши новостные ленты, и от творческих алгоритмов, которые пишут новостные истории, фальшивые новости и вымысел. В настоящее время мы находимся в политическом тупике по вопросу об изменении климата, отчасти потому, что компьютеры зашли в тупик. Расчеты одного набора компьютеров предупреждают нас о надвигающейся экологической катастрофе, но другой набор компьютеров предлагает нам посмотреть видео, которое ставит под сомнение эти предупреждения. Каким компьютерам верить? Человеческая политика - это теперь и компьютерная политика.

Чтобы понять новую компьютерную политику, нам нужно глубже понять, что нового в компьютерах. В этой главе мы отметили, что в отличие от печатных станков и других прежних инструментов, компьютеры могут самостоятельно принимать решения и создавать идеи. Однако это лишь верхушка айсберга. По-настоящему новым в компьютерах является то, как они принимают решения и создают идеи. Если бы компьютеры принимали решения и создавали идеи так же, как люди, то компьютеры были бы своего рода "новыми людьми". Такой сценарий часто рассматривается в научной фантастике: компьютер обретает сознание, у него появляются чувства, он влюбляется в человека и оказывается точно таким же, как мы. Но реальность совершенно иная и потенциально более тревожная.

ГЛАВА 7.

Relentless

: Сеть всегда включена

Люди привыкли к тому, что за ними следят. На протяжении миллионов лет за нами наблюдали и следили как другие животные, так и люди. Члены семьи, друзья и соседи всегда хотели знать, что мы делаем и чувствуем, и нам всегда было очень важно, как они нас видят и что о нас знают. Социальные иерархии, политические маневры и романтические отношения предполагали бесконечные усилия по расшифровке чувств и мыслей других людей, а иногда и сокрытию собственных чувств и мыслей.

Когда появились и развились централизованные бюрократические сети, одной из важнейших функций бюрократов стало наблюдение за целыми группами населения. Чиновники империи Цинь хотели знать, платим ли мы налоги или замышляем сопротивление. Католическая церковь хотела знать, платим ли мы десятину и занимаемся ли мастурбацией. Компания Coca-Cola хотела знать, как убедить нас покупать ее продукцию. Правители, священники и торговцы хотели знать наши секреты, чтобы контролировать нас и манипулировать нами.

Конечно, наблюдение было необходимо и для предоставления полезных услуг. Империи, церкви и корпорации нуждались в информации, чтобы обеспечивать людей безопасностью, поддержкой и товарами первой необходимости. В современных государствах санитарные службы хотят знать, откуда мы берем воду и куда испражняемся. Чиновники здравоохранения хотят знать, от каких болезней мы страдаем и сколько мы едим. Чиновники социального обеспечения хотят знать, не являемся ли мы безработными или, возможно, подвергаемся насилию со стороны наших супругов. Без этой информации они не смогут нам помочь.

Чтобы узнать нас, и благожелательным, и деспотичным бюрократиям нужно было сделать две вещи. Во-первых, собрать о нас множество данных. Во-вторых, проанализировать все эти данные и выявить закономерности. Соответственно, империи, церкви, корпорации и системы здравоохранения - от древнего Китая до современных Соединенных Штатов - собирали и анализировали данные о поведении миллионов людей. Однако во все времена и во всех местах наблюдение было неполным. В демократических странах, таких как современные Соединенные Штаты, слежка была ограничена законом для защиты частной жизни и индивидуальных прав. В тоталитарных режимах, таких как древняя империя Цинь и современный СССР, слежка не имела таких юридических барьеров, но сталкивалась с техническими ограничениями. Даже самые жестокие автократы не обладали технологиями, необходимыми для постоянной слежки за всеми. Поэтому даже в гитлеровской Германии, сталинском СССР или подражательном сталинском режиме, установленном в Румынии после 1945 года, по умолчанию сохранялся определенный уровень приватности.

Георге Иосифеску, один из первых ученых-компьютерщиков в Румынии, вспоминал, что, когда в 1970-х годах компьютеры только появились, режим страны с огромным беспокойством относился к этой незнакомой информационной технологии. Однажды в 1976 году, когда Иосифеску вошел в свой кабинет в правительственном Центре вычислений, он увидел, что там сидит незнакомый мужчина в помятом костюме. Иосифеску поприветствовал незнакомца, но тот не ответил. Иосифеску представился, но человек молчал. Тогда Иосифеску сел за свой стол, включил большой компьютер и начал работать. Незнакомец придвинул свой стул поближе, наблюдая за каждым движением Иосифеску.

В течение дня Иосифеску неоднократно пытался завязать разговор, спрашивая незнакомца, как его зовут, почему он здесь и что хочет узнать. Но мужчина молчал, а глаза его были широко открыты. Когда вечером Иосифеску отправился домой, мужчина встал и тоже ушел, не попрощавшись. Иосифеску знал, что лучше не задавать лишних вопросов: этот человек явно был агентом страшной румынской тайной полиции, Секуритате.

На следующее утро, когда Иосифеску пришел на работу, агент уже был там. Он снова весь день просидел за столом Иосифеску, молча делая записи в маленьком блокноте. Так продолжалось в течение следующих тринадцати лет, вплоть до краха коммунистического режима в 1989 году. Просидев все эти годы за одним и тем же столом, Иосифеску так и не узнал даже имени агента.

Иосифеску знал, что другие агенты и осведомители "Секуритате" наверняка следят за ним и за пределами офиса. Его опыт работы с мощной и потенциально подрывной технологией делал его главной мишенью. Но на самом деле параноидальный режим Николае Чаушеску считал мишенями все двадцать миллионов румынских граждан. Если бы это было возможно, Чаушеску установил бы за каждым из них постоянное наблюдение. Он действительно сделал несколько шагов в этом направлении. До его прихода к власти, в 1965 году, у "Секуритате" был всего один центр электронного наблюдения в Бухаресте и еще 11 в провинциальных городах. К 1978 году за одним только Бухарестом следили 10 центров электронного наблюдения, 248 центров контролировали провинции, а еще 1000 портативных устройств наблюдения были переброшены в отдаленные деревни и курортные городки для подслушивания.

Когда в конце 1970-х годов агенты Секуритате обнаружили, что некоторые румыны пишут анонимные письма на радио "Свободная Европа" с критикой режима, Чаушеску организовал общенациональную акцию по сбору образцов почерка у всех двадцати миллионов румынских граждан. Школы и университеты были вынуждены сдавать сочинения от каждого студента. Работодатели должны были требовать от каждого сотрудника написанное от руки резюме, а затем передавать его в "Секуритате". "А как насчет пенсионеров и безработных?" - спросил один из помощников Чаушеску. "Придумайте какую-нибудь новую форму!" - приказал диктатор. "Что-то, что они должны будут заполнить". Некоторые из диверсионных писем, однако, были напечатаны на машинке, поэтому Чаушеску зарегистрировал все государственные печатные машинки в стране, а образцы сдал в архив Секуритате. Люди, владевшие частной пишущей машинкой, должны были сообщить об этом в Секуритате, сдать "отпечатки пальцев" машинки и попросить официального разрешения на ее использование.

Но режим Чаушеску, как и сталинский режим, на который он ориентировался, не мог следить за каждым гражданином двадцать четыре часа в сутки. Учитывая, что даже агентам "Секуритате" нужно было спать, для того чтобы держать под постоянным наблюдением двадцать миллионов румынских граждан, их должно было быть не менее сорока миллионов. У Чаушеску же было всего около сорока тысяч агентов "Секуритате". И даже если бы Чаушеску смог каким-то образом создать сорок миллионов агентов, это только создало бы новые проблемы, потому что режиму нужно было следить и за своими собственными агентами. Как и Сталин, Чаушеску больше других доверял собственным агентам и чиновникам, особенно после того, как в 1978 году его шеф-шпион Ион Михай Пачепа дезертировал в США. Члены Политбюро, высокопоставленные чиновники, генералы армии и руководители "Секуритате" жили под еще более пристальным наблюдением, чем Иосифеску. По мере того как ряды тайной полиции пополнялись, требовалось все больше агентов, чтобы шпионить за всеми этими агентами.

Одним из решений было заставить людей шпионить друг за другом. Помимо 40 000 профессиональных агентов, Securitate опиралась на 400 000 гражданских информаторов.6 Люди часто сообщали о своих соседях, коллегах, друзьях и даже самых близких членах семьи. Но сколько бы информаторов ни нанимала тайная полиция, сбора всех этих данных было недостаточно для создания режима тотальной слежки. Предположим, "Секуритате" удалось завербовать достаточно агентов и осведомителей, чтобы следить за каждым человеком двадцать четыре часа в сутки. В конце каждого дня каждый агент и информатор должен был бы составлять отчет о том, что он наблюдал. В штаб-квартиру "Секуритате" ежедневно поступало 20 миллионов отчетов - 7,3 миллиарда отчетов в год. Если их не анализировать, это был просто океан бумаги. Но где Секуритате найти достаточно аналитиков, чтобы тщательно изучать и сравнивать 7,3 миллиарда отчетов в год?

Эти трудности со сбором и анализом информации означали, что в двадцатом веке даже самое тоталитарное государство не могло эффективно следить за всем своим населением. Большая часть того, что делали и говорили румынские и советские граждане, ускользала от внимания Секуритате и КГБ. Даже те детали, которые попадали в какой-нибудь архив, часто оставались непрочитанными. Настоящая сила Секуритате и КГБ заключалась не в способности постоянно следить за всеми, а в их способности внушать страх, что за ними могут следить, что заставляло всех быть крайне осторожными в своих словах и поступках.

БЕССОННЫЕ АГЕНТЫ

В мире, где слежка ведется органическими глазами, ушами и мозгом людей, подобных агенту Securitate в лаборатории Иосифеску, даже у такой главной мишени, как Иосифеску, все еще оставалось немного личного пространства, прежде всего в его собственном сознании. Но работа ученых-компьютерщиков, таких как сам Иосифеску, меняла ситуацию. Уже в 1976 году грубый компьютер, стоявший на столе Иосифеску, мог обрабатывать цифры гораздо лучше, чем агент Securitate в соседнем кресле. К 2024 году мы приблизимся к тому моменту, когда вездесущая компьютерная сеть сможет следить за населением целых стран двадцать четыре часа в сутки. Этой сети не нужно нанимать и обучать миллионы людей, чтобы следить за нами; вместо этого она использует цифровых агентов. И сети даже не нужно платить за этих цифровых агентов. Граждане платят за агентов по собственной инициативе, и мы носим их с собой, куда бы мы ни пошли.

Агент, следящий за Иосифеску, не сопровождал Иосифеску в туалет и не сидел на кровати, когда Иосифеску занимался сексом. Сегодня именно это иногда делает наш смартфон. Более того, многие действия, которые Иосифеску совершал без помощи компьютера - чтение новостей, общение с друзьями, покупка продуктов - теперь совершаются в Интернете, поэтому сети еще проще узнать, что мы делаем и говорим. Мы сами являемся информаторами, которые предоставляют сети наши исходные данные. Даже те, у кого нет смартфонов, почти всегда находятся в орбите действия какой-нибудь камеры, микрофона или устройства слежения, и они тоже постоянно взаимодействуют с компьютерной сетью, чтобы найти работу, купить билет на поезд, получить рецепт на лечение или просто пройтись по улице. Компьютерная сеть стала связующим звеном большинства видов деятельности человека. Почти в каждой финансовой, социальной или политической сделке мы находим компьютер. Следовательно, как Адам и Ева в раю, мы не можем спрятаться от заоблачного ока.

Как компьютерной сети не нужны миллионы человеческих агентов, чтобы следить за нами, так и ей не нужны миллионы человеческих аналитиков, чтобы разобраться в наших данных. Океан бумаг в штаб-квартире Securitate никогда не анализировал сам себя. Но благодаря волшебству машинного обучения и искусственного интеллекта компьютеры могут сами анализировать большую часть информации, которую они накапливают. В среднем человек может прочитать около 250 слов в минуту. Аналитик Securitate, работающий по двенадцать часов без выходных, за сорок лет своей карьеры может прочитать около 2,6 миллиарда слов. В 2024 году такие языковые алгоритмы, как ChatGPT и Meta's Llama, смогут обрабатывать миллионы слов в минуту и "читать" 2,6 миллиарда слов за пару часов. Способность таких алгоритмов обрабатывать изображения, аудиозаписи и видеоматериалы столь же сверхчеловечна.

Еще важнее то, что алгоритмы значительно превосходят человека в способности выявлять закономерности в этом океане данных. Выявление закономерностей требует как способности создавать идеи, так и способности принимать решения. Например, как люди-аналитики определяют человека как "подозреваемого террориста", который заслуживает более пристального внимания? Сначала они создают набор общих критериев, таких как "чтение экстремистской литературы", "дружба с известными террористами" и "наличие технических знаний, необходимых для производства опасного оружия". Затем они должны решить, соответствует ли конкретный человек достаточным критериям, чтобы его можно было назвать подозреваемым террористом. Предположим, кто-то просмотрел сотню экстремистских видео на YouTube в прошлом месяце, дружит с осужденным террористом и в настоящее время получает докторскую степень по эпидемиологии в лаборатории, где хранятся образцы вируса Эбола. Должен ли этот человек быть внесен в список "подозреваемых в терроризме"? А как насчет того, кто посмотрел пятьдесят экстремистских видеороликов в прошлом месяце и является студентом биологического факультета?

В Румынии 1970-х годов такие решения могли принимать только люди. К 2010-м годам люди все чаще оставляли решение за алгоритмами. Примерно в 2014-15 годах Агентство национальной безопасности США развернуло инструмент искусственного интеллекта под названием Skynet, который помещал людей в список "подозреваемых террористов" на основе электронных моделей их коммуникаций, записей, путешествий и публикаций в социальных сетях. Согласно одному из отчетов, этот инструмент ИИ "ведет массовое наблюдение за пакистанской сетью мобильных телефонов, а затем использует алгоритм машинного обучения на метаданных сотовой сети 55 миллионов человек, чтобы попытаться оценить вероятность того, что каждый из них является террористом". Бывший директор ЦРУ и АНБ заявил, что "мы убиваем людей на основе метаданных". Надежность "Скайнета" подверглась серьезной критике, но к 2020-м годам подобные технологии стали гораздо более совершенными и были развернуты гораздо большим числом правительств. Просматривая огромные массивы данных, алгоритмы могут обнаружить совершенно новые критерии для определения человека как "подозреваемого", которые раньше ускользали от внимания человеческих аналитиков. В будущем алгоритмы могут даже создать совершенно новую модель того, как люди становятся радикалами, просто выявив закономерности в жизни известных террористов. Конечно, компьютеры по-прежнему ошибаются, о чем мы подробно поговорим в главе 8. Они вполне могут классифицировать невинных людей как террористов или создать ложную модель радикализации. На еще более фундаментальном уровне вызывает сомнение объективность определения системами таких вещей, как терроризм. Существует долгая история режимов, использующих ярлык "террорист" для обозначения любой и всякой оппозиции. В Советском Союзе любой, кто выступал против режима, считался террористом. Следовательно, когда ИИ навешивает на кого-то ярлык "террорист", это может отражать идеологические предубеждения, а не объективные факты. Способность принимать решения и придумывать идеи неотделима от способности совершать ошибки. Даже если ошибок не будет, сверхчеловеческая способность алгоритмов распознавать закономерности в океане данных может усилить мощь многочисленных злонамеренных субъектов - от репрессивных диктатур, стремящихся выявить инакомыслящих, до мошенников, пытающихся определить уязвимые цели.

Разумеется, распознавание образов имеет и огромный положительный потенциал. Алгоритмы могут помочь выявить коррумпированных чиновников, преступников и корпорации, уклоняющиеся от уплаты налогов. Алгоритмы также могут помочь сотрудникам санитарных служб из плоти и крови выявлять угрозы для нашей питьевой воды, врачам - распознавать болезни и развивающиеся эпидемии, а полицейским и социальным работникам - выявлять супругов и детей, подвергшихся насилию. На следующих страницах я уделяю относительно мало внимания положительному потенциалу алгоритмических бюрократий, поскольку предприниматели, возглавляющие революцию ИИ, и так уже завалили общественность достаточно радужными прогнозами о них. Моя цель - уравновесить эти утопические видения, сосредоточившись на более зловещем потенциале алгоритмического распознавания образов. Надеюсь, мы сможем использовать положительный потенциал алгоритмов, одновременно регулируя их разрушительные возможности.

Но для этого мы должны сначала осознать фундаментальное различие между новыми цифровыми бюрократами и их предшественниками из плоти и крови. Неорганические бюрократы могут быть "включены" двадцать четыре часа в сутки, они могут следить за нами и взаимодействовать с нами в любом месте и в любое время. Это означает, что бюрократия и слежка больше не являются чем-то, с чем мы сталкиваемся только в определенное время и в определенном месте. Система здравоохранения, полиция и манипулирующие корпорации становятся вездесущими и постоянными элементами жизни. Вместо организаций, с которыми мы взаимодействуем только в определенных ситуациях - например, когда посещаем поликлинику, полицейский участок или торговый центр, - они все чаще сопровождают нас каждую минуту, наблюдая и анализируя каждый наш поступок. Как рыба живет в воде, так и человек живет в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое наше действие оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.

НАБЛЮДЕНИЕ ПОД КОЖЕЙ

К лучшему или худшему, но цифровая бюрократия может не только следить за тем, что мы делаем в мире, но даже наблюдать за тем, что происходит внутри нашего тела. Возьмем, к примеру, отслеживание движений глаз. К началу 2020-х годов камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах начнут регулярно собирать и анализировать данные о движениях наших глаз, включая крошечные изменения зрачков и радужной оболочки, длящиеся всего несколько миллисекунд. Человеческие агенты едва ли способны заметить такие данные, но компьютеры могут использовать их для расчета направления нашего взгляда, основываясь на форме наших зрачков и радужных оболочек, а также на отражении ими света. Аналогичные методы позволяют определить, фиксируются ли наши глаза на стабильной цели, преследуют ли они движущуюся цель или блуждают по сторонам более бессистемно.

По определенным паттернам движения глаз компьютеры смогут отличать, например, моменты осознанности от моментов рассеянности, а людей, ориентированных на детали, от тех, кто уделяет больше внимания контексту. По нашим глазам компьютеры могли бы определять многие дополнительные черты личности, например, насколько мы открыты для нового опыта, и оценивать уровень нашей компетентности в различных областях - от чтения до хирургии. Эксперты, обладающие хорошо отточенными стратегиями, демонстрируют систематические модели взгляда, в то время как глаза новичков бесцельно блуждают. Паттерны взгляда также указывают на уровень нашего интереса к объектам и ситуациям, с которыми мы сталкиваемся, и различают позитивный, нейтральный и негативный интерес. Из этого можно сделать вывод о наших предпочтениях в самых разных областях - от политики до секса. Многое также можно узнать о состоянии здоровья и употреблении различных веществ. Употребление алкоголя и наркотиков - даже в неинтоксикационных дозах - оказывает заметное влияние на свойства глаз и взгляда, например, изменяет размер зрачка и ухудшает способность фиксироваться на движущихся объектах. Цифровая бюрократия может использовать всю эту информацию в благотворных целях - например, для раннего выявления людей, страдающих наркоманией и психическими заболеваниями. Но, очевидно, она также может стать основой для самых навязчивых тоталитарных режимов в истории.

Теоретически диктаторы будущего могут заставить свою компьютерную сеть не просто следить за нашими глазами, а гораздо глубже. Если сеть захочет узнать наши политические взгляды, черты характера и сексуальную ориентацию, она сможет следить за процессами в нашем сердце и мозге. Необходимые биометрические технологии уже разрабатываются некоторыми правительствами и компаниями, например Neuralink Элона Маска. Компания Маска провела эксперименты на живых крысах, овцах, свиньях и обезьянах, вживляя в их мозг электрические зонды. Каждый зонд содержит до 3 072 электродов, способных распознавать электрические сигналы и потенциально передавать их в мозг. В 2023 году компания Neuralink получила разрешение американских властей начать эксперименты на людях, а в январе 2024 года стало известно, что человеку был имплантирован первый мозговой чип.

Маск открыто говорит о своих далеко идущих планах в отношении этой технологии, утверждая, что она может не только облегчить различные медицинские состояния, такие как квадриплегия (паралич четырех конечностей), но и улучшить способности человека и тем самым помочь человечеству конкурировать с искусственным интеллектом. Однако следует понимать, что в настоящее время зонды Neuralink и все другие подобные биометрические устройства страдают от целого ряда технических проблем, которые значительно ограничивают их возможности. Трудно точно отслеживать деятельность организма - мозга, сердца или чего-либо еще - извне, а вживление электродов и других контролирующих устройств в тело - навязчивое, опасное, дорогостоящее и неэффективное занятие. Например, наша иммунная система атакует имплантированные электроды.

Что еще более важно, никто пока не обладает биологическими знаниями, необходимыми для того, чтобы на основе данных, полученных из-под кожи, например, о мозговой активности, определить точные политические взгляды. Ученые еще далеки от понимания тайн человеческого мозга или даже мозга мыши. Простое картирование каждого нейрона, дендрита и синапса в мозге мыши - не говоря уже о понимании динамики их взаимодействия - в настоящее время находится за пределами вычислительных возможностей человечества.18 Соответственно, хотя сбор данных изнутри мозга людей становится все более осуществимым, использовать эти данные для расшифровки наших секретов далеко не просто.

Одна из популярных теорий заговора начала 2020-х годов утверждает, что зловещие группы, возглавляемые миллиардерами вроде Элона Маска, уже вживляют компьютерные чипы в наш мозг, чтобы следить за нами и контролировать нас. Однако эта теория направляет наши тревоги не на ту цель. Мы, конечно, должны опасаться возникновения новых тоталитарных систем, но сейчас слишком рано беспокоиться о компьютерных чипах, вживленных в наш мозг. Вместо этого люди должны беспокоиться о смартфонах, на которых они читают эти теории заговора. Предположим, кто-то хочет узнать ваши политические взгляды. Ваш смартфон отслеживает, какие новостные каналы вы смотрите, и отмечает, что в среднем вы смотрите сорок минут Fox News и сорок секунд CNN в день. Тем временем имплантированный компьютерный чип Neuralink отслеживает частоту сердечных сокращений и активность мозга в течение дня и отмечает, что ваша максимальная частота сердечных сокращений составляла 120 ударов в минуту и что ваша миндалина примерно на 5 % активнее, чем в среднем у человека. Какие данные будут более полезны для определения вашей политической принадлежности - данные, полученные со смартфона или с имплантированного чипа? В настоящее время смартфон все еще является более ценным инструментом слежки, чем биометрические датчики.

Однако по мере расширения биологических знаний - не в последнюю очередь благодаря компьютерам, анализирующим петабиты биометрических данных, - подкожное наблюдение может со временем стать реальностью, особенно если оно будет связано с другими инструментами мониторинга. Если биометрические датчики будут регистрировать сердечный ритм и мозговую активность миллионов людей, просматривающих на своих смартфонах тот или иной выпуск новостей, то это сможет научить компьютерную сеть гораздо большему, чем просто наша общая политическая принадлежность. Сеть может узнать, что именно вызывает у каждого человека гнев, страх или радость. Затем сеть сможет как предсказывать наши чувства, так и манипулировать ими, продавая нам все, что захочет, - товары, политиков или войны.

КОНЕЦ ПРИВАТНОСТИ

В мире, где люди следили за людьми, приватность была по умолчанию. Но в мире, где компьютеры следят за людьми, впервые в истории может стать возможным полное уничтожение частной жизни. Самые экстремальные и известные случаи навязчивого наблюдения связаны либо с чрезвычайными ситуациями, такими как пандемия COVID-19, либо с местами, которые считаются исключительными по отношению к обычному порядку вещей, такими как оккупированные палестинские территории, Синьцзян-Уйгурский автономный район в Китае, регион Кашмир в Индии, оккупированный Россией Крым, американо-мексиканская граница и афгано-пакистанские пограничные территории. В эти исключительные времена и в этих исключительных местах новые технологии наблюдения в сочетании с драконовскими законами и мощным полицейским или военным присутствием неустанно следили и контролировали передвижения, действия и даже чувства людей. Однако важно понимать, что инструменты наблюдения на основе ИИ развертываются в огромных масштабах, и не только в таких "исключительных государствах". Теперь они стали неотъемлемой частью обычной жизни повсюду. Эра постприватности наступает как в авторитарных странах, от Беларуси до Зимбабве, так и в демократических мегаполисах, таких как Лондон и Нью-Йорк.

Во благо или во вред, но правительства, намеренные бороться с преступностью, подавлять инакомыслие или противостоять внутренним угрозам (реальным или мнимым), покрывают целые территории вездесущей сетью онлайн- и офлайн-наблюдения, оснащенной шпионскими программами, камерами видеонаблюдения, программами распознавания лиц и голоса, а также обширными базами данных с возможностью поиска. Если правительство пожелает, его сеть наблюдения может охватить все - от рынков до мест отправления культа, от школ до частных домов. (И хотя не каждое правительство хочет или может устанавливать камеры в домах людей, алгоритмы регулярно следят за нами даже в наших гостиных, спальнях и ванных комнатах через наши собственные компьютеры и смартфоны).