Бог, человек, животное, машина. Технология, метафора и поиск смысла - читать бесплатно онлайн полную версию книги автора Meghan O'Gieblyn (ч. 4)

Для Андерсона это доказывало, что математические инструменты могут предсказывать и понимать мир более адекватно, чем любая теория. "Петабайты позволяют нам сказать: "Корреляции достаточно"", - написал он. "Мы можем прекратить поиск моделей. Мы можем анализировать данные без гипотез о том, что они могут показать. Мы можем бросить цифры в самые большие вычислительные кластеры, которые когда-либо видел мир, и позволить статистическим алгоритмам найти закономерности там, где наука не может". Конечно, данные сами по себе не могут сказать нам, почему что-то происходит - переменных в таком масштабе слишком много, - но, возможно, размышляет Андерсон, наша потребность знать причины ошибочна. Может быть, нам стоит перестать пытаться понять мир и вместо этого довериться мудрости алгоритмов. "Кто знает, почему люди делают то, что делают?" - написал он. "Суть в том, что они это делают, а мы можем отслеживать и измерять это с беспрецедентной точностью".

В то время многим представителям технологической индустрии этот вывод показался тревожным. Наука зависит от проверяемых гипотез. Простой факт наличия корреляции между двумя вещами ничего не объясняет, и недостаточно списать эту связь на совпадение. Роль ученого заключается в том, чтобы определить глубинные механизмы, чтобы иметь возможность объяснить, почему происходят те или иные вещи. Как отметил в отклике на статью ученый-компьютерщик Джарон Ланье, некоторые народные средства работают, несмотря на то что никто не может объяснить, почему. Но именно поэтому народные средства не считаются наукой. "Наука - это понимание, - написал он.

Трудно не почувствовать тщетность подобных возражений. "Понимание, как и смысл, - это антропоцентрическая концепция, которую информационные технологии намеренно создали для того, чтобы от нее избавиться. В каком-то смысле статья Андерсона подчеркивает, насколько эта техническая логика просочилась в реальный мир, в котором мы живем, так что даже когда информация декодируется и выдается нам на выходе, мы не всегда можем понять ее смысл или то, как машина пришла к своему выводу. Естественно было бы сделать вывод, что такой мир не может иметь для нас никакой ценности. Вместо этого мы сделали именно то, что предписывал Андерсон, создав сложные и в значительной степени непрозрачные инструменты для восстановления наших нарушенных отношений с абсолютом. В 2017 году писатель Дэвид Уайнбергер, также писавший в Wired, отметил, что не прошло и десяти лет, как шумиха вокруг статьи Андерсона "звучит причудливо". Появившиеся с тех пор технологии не только подтвердили бесполезность наших моделей, но и показали, что машины способны генерировать собственные модели мира, "хотя они могут быть не очень похожи на те, что создал бы человек".

Вайнбергер утверждает, что такой подход знаменует собой возвращение к эпистемологии эпохи модерна. Если вы предсказываете погоду, глядя на воздушные потоки, осадки и другие законы, отмечает он, вы подтверждаете современное представление о том, что мир - это механистическое место порядка, законов и правил. Однако если вы предсказываете погоду, читая внутренности птиц, как это делали древние греки, "вы открываете мир как такое место, где происходящее зависит от скрытых смысловых связей". Его вывод разделяет писатель Джеймс Бридл, который объявил эпоху облачных вычислений "новым темным веком", регрессом к тому времени, когда знание можно было получить только через откровение, без истинного понимания. Но наиболее метко это возвращение к зачарованному состоянию описал нейробиолог Келли Клэнси, который заглянул в историю еще дальше, до Темных веков и греческих провидцев, чтобы найти хриплое божество, чьи указы гремели из вихря. Если нам больше не разрешат спрашивать "почему", - утверждает Клэнси, - мы будем вынуждены слепо принимать решения наших алгоритмов, как Иов принимает свое наказание".

"Давайте поймем, - пишет протестантский богослов Джон Кальвин в своем изложении книги Иова, - что нам очень трудно подчиниться единой воле Бога, не спрашивая причины его дел, и особенно тех дел, которые превосходят наш ум и способности". История Иова - праведного человека, чья жизнь пошла прахом и который тщетно умоляет Бога сказать ему, почему, - была для Кальвина иллюстрацией того, как христианин должен покориться непостижимой Божественной воле. Это была дань уважения "ужасу и чуду" Божьему, которое "ошеломляет людей осознанием их собственной глупости, бессилия и испорченности".

Я должен был догадаться, что вся эта линия исследований приведет меня сюда, к месту моих первоначальных сомнений, которые начались более или менее с Кальвина. То, что меня беспокоят призывы отказаться от наших антропоцентрических интересов, то, что я и по сей день одержим проблемой пределов разума, во многом - а может быть, и во всем - обязано его доктрине. Трудно найти теолога, который бы хуже относился к человеческому роду. Кальвин считал людей "червями", "сухим и никчемным деревом", "деформированным", "самой гнилью". Именно поэтому он осудил и изгнал все иконы, изображающие Бога в человеческом облике. Божественный образ был настолько сильно испорчен в человеке, что любое антропоморфное изображение только оскорбляло Божье превосходство. Неудивительно, что он обожал историю Иова - однажды он прочитал 159 проповедей подряд по этой книге, проповедуя каждый день в течение шести месяцев - пайан абсолютного суверенитета Бога. Бог, писал он, совершенно иной, "настолько же отличный от плоти, насколько огонь отличается от воды". Мы, люди, - букашки, которые не могут надеяться постичь его мотивы, которые "непостижимы" и "отдаленно скрыты от человеческого понимания".

Я часто описывал свое богословское образование как радикально кальвинистское, хотя это не совсем верно. Профессора нашей школы, придерживавшиеся этого богословия, которое мы называли "реформатским", были в меньшинстве; их было четверо или пятеро, не больше. Они были несколько скрытны в своих убеждениях, и их можно было бы полностью игнорировать, если бы не их ярые ученики, старшекурсники и аспиранты, в основном мужчины, которые беззастенчиво распространяли свои взгляды среди студентов. Впервые я узнал о них во время теологических дебатов, которые разгорались в студенческой столовой - подземном зале, где мы три раза в день сидели за длинными столами из соснового дерева, стремясь проверить свои начинающие доктрины. Эти люди, кальвинисты, обычно защищали предопределение, спорное мнение о том, что Бог еще до сотворения мира решил, кто будет спасен, а кто проклят. Большинство студентов, как и я, выросли в молодежной среде неконфессиональных церквей, и их привлек к служению Бог, которого мы считали любящим, имманентным и очень личным. Мы никогда не использовали термин "Христос". Мы говорили только об Иисусе. Бог Кальвина, естественно, казался мне тираном: Какое божество может подвергать неспасенных вечным мукам, если их спасение изначально не было их выбором? Но у защитников этой точки зрения, без сомнения, были лучшие аргументы. Они обладали почти эйдетической памятью на Священное Писание и удивительной способностью разрушать логику своих оппонентов, показывая, что их аргументы эмоционально мотивированы, доктринально неглубоки или противоречивы. К внутреннему кругу принадлежали несколько десятков человек, которых можно было узнать по тяжелым конкордансам, которые они носили с собой по кампусу, и маленьким гравюрам с изображением Лютера, которые они развешивали в своих комнатах в общежитии. Ходили слухи, что они проводили тайные еженедельные собрания в доме одного из профессоров, где пили крафтовое пиво, курили трубки и обсуждали последние проповеди Джона Пайпера. Новый кальвинизм в то время охватил американское христианство. Вероятно, подобные группы были в каждом библейском колледже страны.

Оглядываясь назад, неудивительно, что я записалась на курсы этих профессоров, как только представилась возможность. Большинство женщин в школе не воспринимались всерьез как богословы - предполагалось, что мы пришли туда, чтобы найти мужей, - и я все еще находилась под впечатлением, что могу освободить себя от неактуальности, освоив самые сложные и неприятные доктрины. То, что мои мотивы изучения богословия были скорее интеллектуальными амбициями, чем духовными устремлениями, - это правда, которую я еще не признавала в себе. И чем больше я думал об этом, тем труднее было поверить в понятие предопределения, которое казалось логическим следствием предвидения. Если Бог действительно всеведущ и всемогущ, то его неспособность обеспечить спасение каждого человека должна быть в каком-то смысле выбором. Но для истинных кальвинистов этого было недостаточно. Кальвин верил в "двойное предопределение" - доктрину, которая утверждала, что Бог не только не позаботился о спасении проклятых, но и активно осуждал их. И это, утверждали кальвинисты, тоже подтверждается Писанием. Как еще можно понять стих из 1-го послания Петра, утверждающий, что неверующие "не повинуются слову, как им и суждено", или тот факт, что Бог любил Иакова и ненавидел Исава, когда близнецы были еще в утробе матери?

Конечно, это лишь одно из толкований этих отрывков, хотя нас убеждали, что это вовсе не толкование. Наши профессора не уставали подчеркивать прозрачность Писания. Кальвин утверждал, что Божье откровение настолько совершенно, что "не следует подвергать его доказательствам и рассуждениям". Мы ничего не можем узнать о Боге с помощью нашего интеллекта, только через откровение, а само откровение было более или менее простым. В какой-то степени это делало излишней нашу работу в качестве теологов, поскольку экзегеза рисковала запятнать священный текст. Нас учили подходу Кальвина к герменевтике: brevitas et facilitas, "краткость и простота". Чем длиннее экзегеза, тем больше вероятность того, что она будет испорчена человеческими предубеждениями. Некоторые профессора придерживались более радикального подхода Лютера: Scriptura sui ipsius interpres, или "Текст толкует сам себя".

Все оставшиеся у меня возражения против реформатского богословия были подавлены подозрением, что они корыстны и созданы культурой. Мой профессор герменевтики часто вступал в красочную полемику о том, как современный либерализм промыл нам мозги, чтобы мы возненавидели любую форму абсолютного авторитета. Его любимым козлом отпущения был "терапевтический деизм", неглубокая и характерная для Америки идеология, которая была ответственна за распространение Христа-цветка, мессии, который был дезинфицирован, девитализирован и - это само собой разумеется, но тем не менее было сказано - феминизирован. Мы на процветающем постмодернистском Западе создали Бога по своему образу и подобию, сказал он. Нам нужен был Бог, который присматривал бы за нашими близкими и направлял нас к удобным местам для парковки в торговом центре, божество, которое помогало бы нам жить наилучшей жизнью и помнить о своем духе. Короче говоря, нам нужен был потребительский опыт. Столкнувшись с загадкой, мы требовали объяснений. Когда нам предлагали спасение, мы требовали пользовательского соглашения. Столкнувшись с божественным правосудием, мы ныли о справедливости и грозились написать в Better Business Bureau. Но Божья воля вечна, и Ему не нужно объяснять Себя. "Ибо как небо выше земли, - говорит Господь, - так и пути Мои выше путей ваших и мысли Мои выше мыслей ваших".

Правильной реакцией на доктрину о предопределении была благодарность - благодарность Богу за то, что ты оказался в числе избранных. Но я обнаружил, что не могу испытывать благодарность за свое спасение, когда миллиарды других людей не удостоились такой же привилегии. Я подумывал о том, чтобы присоединиться к миссионерской работе, и это богословие, казалось, делало весь проект всемирного благовестия неактуальным. Зачем распространять Евангелие, если судьба каждого человека уже предрешена? Не делалось исключений и для людей, которые никогда не слышали имени Христа. Кальвин утверждал, что такие люди "не имеют оправдания". Они тоже попадут в ад, хотя им никогда не давали возможности уверовать. Однажды, когда я упомянул о своем недовольстве этой доктриной одному из студентов, старшекурснику, принадлежавшему к ближнему кругу, меня заверили, что это обычные камни преткновения - по его словам, он тоже поначалу находил теологию непривлекательной, - и велели прочитать Римлянам 9. Когда я прочитал этот отрывок позже тем же вечером, то обнаружил, что все мои претензии были изложены в этой главе. Павел рассматривает аргумент о том, что Бог не вправе наказывать тех, кого Он предопределил к неверию. "Что же мы скажем? Есть ли несправедливость со стороны Бога?" Его ответ на этот риторический вопрос - громоподобное эхо заключения Иова: "Итак, Он милует, кого хочет, и ожесточает сердце, кого хочет... Но кто ты такой, человек, чтобы отвечать Богу?"

Божественная справедливость была непостижима - или, по словам Лютера, "совершенно чужда нам". Мы не могли подвести ее под стандарты земной справедливости, потому что она была намного выше человеческого понимания. Но если справедливость непостижима для тех, кого она касается, можно ли назвать ее справедливой? Хотя у меня еще не было языка, чтобы сформулировать это, больше всего в богословии я боялся волюнтаризма - представления о том, что Бог существует в вечном состоянии исключения или живет в каком-то высшем царстве, где вся система человеческой морали рушится. Одним из любимых стихов Кальвина был Псалом 115:3: "Бог, живущий на небесах, делает все, что Ему угодно". Я всегда считал, что Бог повелевает нам любить друг друга, потому что любовь имеет внутреннюю ценность - подобно тому, как Сократ в платоновском "Эвтифро" утверждает, что боги любят благочестие, потому что оно хорошо, а не потому, что благочестие хорошо только потому, что боги его любят. Но Кальвин и Лютер, похоже, считали, что благость Бога зиждется не более чем на гоббсовском правиле "могущество делает право".

Именно Книга Иова окончательно поставила меня на грань сомнений. Эту книгу часто хвалят за ее литературные качества, но когда вас заставляют читать ее буквально, трудно не заметить ее фундаментальную жестокость. Бог обрушивает на Иова все несчастья: Воры крадут его скот и казнят слуг. Буря обрушивает крышу дома, где пировали его дети, и убивает их всех. Когда Иов все еще скорбит, Бог вызывает у него ужасные нарывы по всей коже. Друзья Иова настаивают на том, что он совершил нечто, заслуживающее такого наказания - правосудие Бога совершенно, говорят они, он не совершает ошибок, - но Иов утверждает, что он невиновен. Гуманист во мне не мог не видеть в нем героя. На протяжении всей кровавой каторги Ветхого Завета он один задает вопрос, который кажется очевидным современному читателю: Какова цель Бога? Является ли его воля истинно доброй? Действительно ли справедливо его правосудие? Иов берет на себя роль прокурора, требуя, чтобы Бог ответил за себя. Бог послушно предстает перед судом, но лишь для того, чтобы унизить Иова демонстрацией божественного превосходства: Где ты был, когда я закладывал основание земли? гремит он, а затем задает целый ряд вопросов, на которые не может ответить ни один человек. Знаешь ли ты время, когда рожают горные козы? Входил ли ты в хранилища снега? Входили ли вы в морские источники или ходили ли по глубинам? Вопросы продолжаются и продолжаются, рисуя огромную и причудливую вселенную, управляемую законами, которые далеко не подвластны человеческому пониманию. Иов настолько ошеломлен, что, кажется, на мгновение сомневается в собственной невиновности и, возможно, в своей способности рассуждать. "Поэтому я объявил то, чего не понимал", - говорит он, - "вещи слишком удивительные для меня, которых я не знал".

Но все это было явной ложью. Причина его несчастий не была непостижимой. Она содержится в предисловии к книге, написанном на чистом английском языке. Сатана поспорил, что Иов откажется от своей веры, если будет достаточно сильно страдать, и Бог, будучи хорошим спортсменом, принял ставку. Именно этому Богу - божеству, готовому играть в игры со своими подданными, казалось бы, ради собственного развлечения, - Кальвин настаивал, что мы должны повиноваться, "не спрашивая причины". В какой-то момент поневоле задумываешься, может ли разум, столь далекий от человеческой природы, действительно заботиться о наших интересах.

В 1964 году Норберт Винер опубликовал "Бог и Голем, Инк.", тонкую и чрезвычайно странную книгу о том, как новые технологии поднимают вопросы, которые по сути являются религиозными. Один из таких вопросов возник в области машинного обучения, того вида ИИ, который "учится или, как кажется, учится", как выразился Винер, на основе своего опыта в мире. Винер писал в то время, когда компьютеры только начинали играть в игры против своих создателей-людей. Большинство этих машин играли в шашки, а некоторые были обучены игре в шахматы, хотя и не очень хорошо. Но уже тогда Винер видел проблески того, чем эти машины могут стать в один прекрасный день. Один из таких компьютеров, играющих в шашки, известный как машина Сэмюэля, на короткое время смог победить своего изобретателя. В конце концов инженер разгадал стратегию компьютера и смог вернуть себе преимущество, но это поставило вопрос о том, может ли машина перехитрить инженера, который ее создал. По мнению Винера, это был неявный теологический вопрос. В иудео-христианской традиции принято считать, что создатель всегда сложнее и могущественнее своего творения.

Но Винер отметил, что из этого правила есть исключения - одно из них произошло в Книге Иова. Он имел в виду предисловие к книге, где Бог заключает с сатаной пари за душу Иова. "Согласно ортодоксальным иудейским и христианским взглядам, дьявол - одно из созданий Бога..." пишет Винер. "Такая игра на первый взгляд кажется жалким неравным состязанием. Играть в игру со всемогущим и всеведущим Богом - это поступок глупца". Но он утверждает, что поражение Сатаны ни в коем случае не было неизбежным или предопределенным.

Конфликт между Богом и Дьяволом - это реальный конфликт, и Бог не так уж и всемогущ. Он фактически вовлечен в конфликт со своим созданием, в котором вполне может проиграть. И все же его творение создано им по его собственной свободной воле и, казалось бы, должно получать все свои возможности действия от самого Бога. Может ли Бог играть со своим созданием в значимую игру? Может ли любой творец, даже ограниченный, играть в значительную игру со своим собственным созданием?

Для Винера ответ был положительным - по крайней мере, когда речь шла о машинном обучении. Эти модели были запрограммированы не на оптимальные ходы, а на очень ограниченное понимание игры и ее правил. Машина делала различные ходы без долгих раздумий, а затем записывала результат каждого из них в свою память. Каждому из этих прошлых решений присваивался определенный вес в зависимости от его полезности - способствовало ли оно победе, - и этот "опыт" предыдущих результатов использовался для постоянного совершенствования стратегии. Другими словами, он учился во многом так же, как и люди, - методом проб и ошибок. В некоторых случаях, отметил Винер, эти решения машины казались интуитивными и даже демонстрировали "сверхъестественную ловкость". Со временем стало очевидно, что машина развила новые способности, которые не могли быть объяснены ее конструкцией. "Создавая машины, с которыми он играет в игры, изобретатель присваивает себе функцию ограниченного творца..." заключил Винер. "Это особенно верно в случае игровых машин, которые учатся на опыте". Алан Тьюринг высказал практически ту же мысль в 1951 году: "Представляется вероятным, что, начав использовать метод машинного мышления, он не займет много времени, чтобы превзойти наши слабые способности".

В 1994 году компьютерная программа обыграла чемпиона мира по шашкам. Два года спустя Deep Blue обыграла Гарри Каспарова в шахматы. В 2011 году компьютер Watson от IBM выиграл в "Jeopardy!", практически уничтожив двух многолетних чемпионов шоу. Но ни одна из этих побед не подготовила никого к тому, что произошло в 2016 году в Сеуле. Той весной на шестом этаже отеля Four Seasons собрались сотни людей, чтобы посмотреть, как Ли Седоль, один из ведущих чемпионов мира по игре в го, играет с AlphaGo, алгоритмом, созданным компанией DeepMind, принадлежащей Google. Го - древняя китайская настольная игра, которая в геометрической прогрессии сложнее шахмат: количество возможных ходов превышает число атомов во Вселенной. В середине матча AlphaGo сделал настолько странный ход, что все присутствующие в зале решили, что это ошибка. "Это не человеческий ход", - сказал один из бывших чемпионов. "Я никогда не видел, чтобы человек делал такой ход". В итоге ход оказался решающим. Компьютер выиграл эту партию, затем следующую, обеспечив себе победу в матче из пяти партий.

AlphaGo - это разновидность глубокого обучения, особенно мощного вида машинного обучения, который с тех пор стал предпочтительным средством для получения прогнозов из огромного количества необработанных данных нашей эпохи. Кредитные аудиторы используют его, чтобы решить, выдавать или не выдавать кредит. ЦРУ использует его для прогнозирования социальных волнений. Эти системы можно найти и в программах безопасности аэропортов, где они используются для распознавания лиц на отсканированных фотографиях паспортов, и в больницах, где они стали очень хорошо диагностировать рак, и на Instagram, где они предупреждают пользователей о том, что что-то, что они собираются опубликовать, может быть оскорбительным. Оказывается, многое в жизни можно "геймифицировать", свести к ряду простых правил, которые позволяют этим машинам строить собственные модели мира - модели, которые оказываются до жути точными. В годы, последовавшие за матчем AlphaGo, революция в машинном обучении и, в частности, глубокое обучение, которое превозносили за его "неоправданную эффективность", казались безграничным энтузиазмом. К 2017 году эти алгоритмы превзошли людей-рентгенологов в выявлении рака легких, оказались быстрее и эффективнее людей в распознавании изображений на фотографиях и сочиняли барочные хоралы настолько убедительно, что профессиональные музыканты ошибочно приписывали их Баху.

Эта технология также вызывала опасения. Многие формы машинного обучения считаются технологиями "черного ящика". Они состоят из множества скрытых слоев нейронных сетей, и нет никакой возможности определить, какую модель они строят на основе своего опыта. В процессе обучения они создают внутренние узлы, представляющие абстрактные признаки или взаимосвязи, которые они обнаруживают, но ни один из которых не соответствует каким-либо терминам в человеческом языке (даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотографии, понятия не имеют, что такое собака на самом деле; они просто улавливают закономерности в данных). Если бы вы распечатали все, что делают сети между входом и выходом, это было бы равносильно миллиардам арифметических операций - "объяснение", которое невозможно понять. Когда AlphaGo выиграла матч в Сеуле, даже ее создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. "Он обнаружил это сам, - сказал Сильвер, - в процессе самоанализа и анализа". Хотя предпринимались различные попытки расшифровать, как машины пришли к тому или иному выводу, технология, похоже, поддается объяснению не больше, чем человеческий мозг (профессор лаборатории искусственного интеллекта Uber назвал такие попытки "искусственной нейронаукой"). Как никакая другая технология, эти алгоритмы выполнили призыв Андерсона к объективному знанию ценой человеческого понимания. Чтобы получить превосходные знания, которыми обладают машины, мы должны отказаться от своего желания знать "почему" и принять их результаты как чистое откровение.

Винер почувствовал в машинном обучении нечто принципиально религиозное, но он, пожалуй, неправильно распределил роли в Книге Иова. Эти алгоритмы - не хитрый дьявол, который перехитрил своего создателя. Вместо этого они стали абсолютными властителями, требующими слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди оказываются в положении, подобном положению Иова: им отказывают в праве знать, почему им отказали в кредите, уволили с работы или определили вероятность развития рака. На самом деле трудно избежать сравнения с божественным правосудием, учитывая, что наша система правосудия превратилась в настоящую лабораторию экспериментов по машинному обучению. Хотя статистический анализ используется в полицейских департаментах с середины 1990-х годов, сейчас многие правоохранительные органы опираются на алгоритмы прогнозирования для выявления очагов преступности. Одна из таких систем, PredPol, утверждает, что она в два раза точнее, чем человеческие аналитики, предсказывает места совершения преступлений. Система опирается на данные о прошлых преступлениях и помещает на своих картах красные квадратики вокруг районов или отдельных городских кварталов, чтобы обозначить их как места повышенного риска. Как отмечает Джеки Ванг в своей книге "Карцеральный капитализм", маркетинговая литература PredPol, похоже, предполагает, что система практически ясновидящая. В ней приводятся анекдоты, в которых полицейские, отправляясь в места повышенного риска, обнаруживают преступников, совершающих преступление.

Сторонники этой технологии настаивают на том, что она не является реальным аналогом "Отчета о меньшинстве" (Minority Report), фильма 2002 года, в котором интуитивные люди, называемые прекогами, используются правоохранительными органами для предсказания преступлений, чтобы "преступник" был арестован до того, как он действительно совершит их. Медиа-стратег PredPol утверждает, что программное обеспечение - это не научная фантастика, а "научный факт", подчеркивая, что алгоритмы абсолютно нейтральны и объективны. На самом деле программное обеспечение часто преподносится как способ уменьшить расовую предвзятость в правоохранительных органах. Один из создателей PredPol утверждал, что, поскольку алгоритмы ориентируются на "объективные" факторы, такие как время, место и дата потенциальных преступлений, а не на демографические характеристики отдельных преступников, программное обеспечение "потенциально уменьшает любые предубеждения офицеров в отношении расы или социально-экономического статуса подозреваемых".

Аналогичные алгоритмы используются при вынесении приговоров, определяя степень угрозы для общества и риск побега обвиняемого перед вынесением приговора. Эти машины сканируют данные из картотеки обвиняемых, включая подозреваемое преступление, количество предыдущих арестов и место ареста (некоторые модели также учитывают место работы подозреваемого, знакомых и его кредитный рейтинг), затем сравнивают эти данные с сотнями и тысячами судимостей и присваивают обвиняемому балл риска, который используется для определения того, где он должен ожидать суда - дома или в тюрьме. Подобные алгоритмы впервые попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, тридцатичетырехлетним мужчиной из Висконсина, чей тюремный приговор - шесть лет за уклонение от уплаты налогов - был частично основан на КОМПАСе, прогностической модели, определяющей вероятность рецидива преступлений. Во время судебного заседания судья сообщил Лумису, что по результатам оценки КОМПАС он был отнесен к группе высокого риска для общества. Лумис, естественно, поинтересовался, какие критерии использовались при вынесении приговора, но ему сообщили, что он не может оспорить решение алгоритма. В итоге его дело дошло до Верховного суда Висконсина, который вынес решение не в его пользу. Генеральный прокурор штата утверждал, что Лумис обладал теми же знаниями о своем деле, что и суд (судьи, по его словам, были в равной степени осведомлены о логике алгоритма), и заявлял, что Лумис "был волен подвергнуть сомнению оценку и объяснить ее возможные недостатки". Но это было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же, как Иов был волен подвергнуть сомнению справедливость Иеговы.

Другой, более свежий случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году проходил испытательный срок после отбывания наказания в тюрьме. Он заметил, что частота его обязательных визитов к надзирателю меняется от месяца к месяцу, но ему никогда не говорили, что это происходит потому, что алгоритм постоянно оценивает степень его риска. Возможно, он никогда бы не узнал об этом, если бы журналист New York Times, освещавший эту технологию, не сообщил ему об этом. Гейтс был явно обеспокоен этим открытием. В интервью газете Times он, похоже, осознал теневую грань между предсказанием и решимостью - и невозможность перехитрить игру, в которой все ставки против вас. "Как он собирается понять меня, ведь он диктует мне все, что я должен делать?" - сказал он об алгоритме. "Как выиграть у компьютера, который создан для того, чтобы остановить вас? Как остановить то, что предопределяет вашу судьбу?"

Хотя эти непрозрачные технологии подвергаются нападкам со стороны организаций по защите гражданских прав, их защитники часто указывают на то, что человеческие суждения не более прозрачны. Спросите судью, как она пришла к тому или иному решению, и ее ответ будет не более достоверным, чем ответ алгоритма. Человеческий мозг - это тоже "черный ящик", - говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Тот же вывод был сделан в статье, подготовленной корпорацией Rand, где отмечалось: "Мыслительные процессы судей - это (как и КОМПАС) черный ящик, который выдает непоследовательные решения, склонные к ошибкам". Эти аргументы часто приводят те, кто заинтересован в технологии, хотя их подкрепляет неврологический консенсус, согласно которому у нас нет "привилегированного доступа", как выражается Дэниел Деннетт, к нашему собственному мыслительному процессу. Логическим завершением "черного ящика" человеческого сознания является то, что доверять непрозрачной логике алгоритма теперь представляется столь же разумным, как и доверять собственному разуму.

Но эта защита поразительно уклончива и по другим причинам. Мы доверяем объяснениям других людей, потому что мы эволюционировали как вид, чтобы иметь схожие методы рассуждения. Даже если речь идет об интуиции или догадках, мы можем предположить, что они относятся к сфере человеческих мыслительных процессов. Машины, напротив, делают выводы, совершенно не похожие на человеческий разум - этот факт запомнился бывшему чемпиону по игре в го, который воскликнул о стратегии AlphaGo: "Это не человеческий ход". Многие исследователи в области глубокого обучения называют алгоритмы формой "инопланетного" интеллекта. Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы обмана, которые не приходят в голову человеку: используют ошибки в коде, позволяющие им набирать очки, или доводят противников до самоубийства. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупредил, что между интеллектом и человеческими ценностями нет врожденной связи. Сверхразумная система может привести к катастрофическим последствиям, даже если у нее нейтральная цель и отсутствует самосознание. "Мы не можем легкомысленно полагать, - писал Бостром, - что сверхразум обязательно будет разделять какие-либо конечные ценности, стереотипно ассоциирующиеся с мудростью и интеллектуальным развитием человека: научное любопытство, благожелательное отношение к другим, духовное просвещение и созерцание, отказ от материального приобретения, вкус к изысканной культуре или к простым удовольствиям жизни, смирение и самоотверженность и так далее".

Однако среди приверженцев глубокого обучения именно причудливый интеллект является целью. "У нас уже есть люди, которые могут думать как люди", - говорит Янн ЛеКун, глава исследовательского подразделения Facebook по ИИ. "Возможно, ценность умных машин в том, что они совершенно чужды нам". Дэвид Уайнбергер также утверждает, что в случае с глубоким обучением "чужое" не означает "неправильное". "Когда дело доходит до понимания того, как обстоят дела, - пишет он, - машины могут быть ближе к истине, чем мы, люди, когда-либо могли бы быть". Многие специалисты в этой области не хотят делать технологию более прозрачной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы будем вмешиваться в алгоритмы, тем точнее будут результаты. Если среди технологической элиты и существует герменевтика, то это марка sola fide и sola scriptura, убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. "Бог - это машина", - говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. "Черный ящик" - это истина. Если он работает, значит, он работает. Мы даже не должны пытаться понять, что выдает машина".

Во время расцвета увлечения глубоким обучением трудно было прочитать статью об этих технологиях, не наткнувшись на религиозную метафору. "Подобно богам, эти математические модели были непрозрачны, их работа была невидима для всех, кроме высших жрецов в своей области: математиков и компьютерных ученых", - пишет специалист по изучению данных Кэти О'Нил, вспоминая появление этих алгоритмов. "Их вердикты, даже если они были ошибочными или вредными, не подлежали оспариванию или обжалованию". В своей книге "Homo Deus" Юваль Ной Харари проводит практически ту же аналогию: "Как, согласно христианству, мы, люди, не можем понять Бога и Его замысел, так и датаизм заявляет, что человеческий мозг не в состоянии постичь новые главные алгоритмы". Термин "главный алгоритм" - это аллюзия на работу Педро Домингоса, одного из ведущих экспертов в области машинного обучения, который утверждает, что эти алгоритмы неизбежно превратятся в единую систему совершенного понимания - своего рода оракул, к которому мы сможем обращаться практически по любому поводу, что приведет к завершению видения Бридла о новой темной эпохе. В своей книге "Мастер-алгоритм" Домингос отвергает опасения по поводу этой технологии, апеллируя к нашему зачарованному прошлому. "По сути, мы всегда жили в мире, который понимали лишь отчасти", - пишет он. "Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый ИИ неотличим от Бога. Люди не обязательно будут возражать против того, чтобы получать приказы от какого-то огромного оракульного компьютера".

"ИИ начался с древнего желания выковать богов", - пишет Памела Маккордак в своей книге 1979 года "Машины, которые думают" - отголосок афоризма Вольтера о том, что если бы Бога не существовало, то человечество сочло бы необходимым его изобрести. Конечно, мы всегда изобретали и изобретали Бога, но не через науку, а через теологию, и божественность каждой эпохи раскрывает потребности и желания ее создателей-людей. Несмотря на распространение религиозных метафор вокруг этих алгоритмов, теология - если ее можно так назвать - их создателей часто определяется неверно. Доктрина, развивающаяся вокруг ИИ, на самом деле не является пережитком Темных веков. Безграничное инопланетное божество, которое имеют в виду критики технологий, - это Бог Кальвина и Лютера, вполне современная сущность. Вопрос в том, как получилось, что мы решили воскресить этого Бога из мертвых, и почему спустя столько лет он все еще кажется нам привлекательным?

Термин "Темные века" в самом строгом смысле описывает отсутствие информации об этом периоде (это была, безусловно, эпоха, которая дала очень мало данных), хотя его часто понимают как обратную сторону Просвещения, кивая на популярное предположение, что средневековое христианство было враждебно по отношению к культивированию знаний. На самом деле философы-схоласты в основном оптимистично оценивали потенциал человеческого разума, о чем свидетельствуют многочисленные логические доказательства существования Бога. Большая часть теологии того периода была замешана на платонизме и опиралась на идею о том, что и Бог, и мир природы постижимы для человека. Считалось, что идеи соответствуют вечным, трансцендентным реальностям - "универсалиям", которые разум может воспринять через lumens naturalis, свет разума, отражающий рациональный порядок космоса. Для Аквинского Книга Иова была не притчей об ограниченности человеческого разума, а иллюстрацией того, как человечество постепенно прозревает к конечной истине.

Ситуация начала меняться в конце Средневековья. Как отмечает Ганс Блюменберг, послевоенный немецкий философ, в своей книге 1966 года "Легитимность современной эпохи" - одном из главных текстов разочарования - примерно в тринадцатом веке богословы начали сомневаться в том, что мир мог быть создан для блага человека. Аквинский верил, что космос содержит все возможное, что наш мир - не просто лучший, а единственный из всех возможных миров. Но вскоре после его смерти эта точка зрения подверглась критике за ограничение Бога. Некоторые богословы утверждали, что Бог мог создать множество миров, каждый со своими законами. Как и все теории мультивселенных, этот мысленный эксперимент привел к тому, что наш мир стал казаться произвольным, одним из множества возможных - хотя, в отличие от современной физики, которая ценит мультивселенную за ее способность доказать, что наша Вселенная - продукт случайности, средневековые богословы пытались защитить всемогущество Бога. Они не верили, что Бог действительно создал другие миры, просто он мог это сделать. Этот аргумент должен был продемонстрировать, что не существует универсальных, вечных законов, которые были бы выше самого Бога и могли бы ограничить его в акте творения.

Этот довольно узкий теологический спор в конечном итоге помог искоренить из западной философии идею универсалий - представление о том, что понятия в сознании соответствуют вечным истинам, как платоновские формы, - и преуспел в том, чтобы сделать мир, по выражению Блюменберга, "радикально контингентным". Доктрину, возникшую в результате этих дебатов, часто называют "номинализмом". Для номиналиста "справедливость" и "человечность" - это просто названия, которые мы даем общим чертам, которые мы воспринимаем между объектами, а не универсальные истины. (Джон Стюарт Милль однажды описал номинализм как веру в то, что "нет ничего общего, кроме имен"). Эта доктрина часто ассоциируется с Уильямом Оккамом, английским монахом-францисканцем XIV века, который учил, что Бог радикально отличается от своего творения и не ограничен ни моралью, ни рациональными законами. "Причина в том, что Он так пожелал, и никакой другой причины ожидать не приходится", - писал он. Из этой логики следовало, что человеческий разум - это конструкция, характерная только для нашего вида, а не отражение более широкого космического порядка. Созерцание и самоанализ стали ненадежным средством достижения истины: разум превратился в зеркальный зал, чье отношение к внешнему миру вдруг стало неопределенным.

Эта доктрина достигла своего апофеоза в творчестве протестантских реформаторов. Замечание Кальвина о том, что "ни одна капля дождя не падает без непреложного повеления Бога", было бы немыслимо для средневекового человека, как и утверждение Лютера о том, что божественная справедливость "совершенно чужда нам". Это была лишь одна из многих карательных доктрин, появившихся в протестантской теологии. В прошлом христиане могли утешаться обещанием вечности и грядущего мира, но и это средневековое решение было уничтожено доктриной предопределения, утверждавшей, что верующие не могут знать, спасутся они или нет. Это был Бог, который ничем не обязан человеку и который винил людей во всем мировом зле, но при этом скрывал от них статус их собственного спасения, ставя под сомнение всякую былую уверенность.

Тезис Блюменберга, который с тех пор повторили многие философы и историки, заключается в том, что номинализм, получивший широкое распространение в протестантской теологии, привел к Просвещению, разочарованию и научной революции. Травма утраченных универсалий создала невыносимую ситуацию, которая достигла точки кризиса в мыслительных экспериментах Декарта, который настолько не доверял собственным способностям разума, что, по его мнению, было немыслимо, чтобы Бог каким-то образом обманул его, заставив думать, что у квадрата четыре стороны или что два плюс три равняется пяти. Распространенное мнение о том, что Декарт единолично положил начало современности, часто создает впечатление, что современная эпоха возникла ex nihilo, без всяких прецедентов (иллюзия, которую сам Декарт культивировал, построив свои "Размышления" на основе мифа о творении Бытия). Но его философия была порождением и ответом на очень специфический теологический кризис. Он утверждал, что физика должна отказаться от конечных причин, поскольку цели Бога непознаваемы (как он пишет в "Принципах философии", "мы не должны настолько полагаться на себя, чтобы думать, что мы знаем о Его намерениях"). Что еще более важно, его вывод о том, что абсолютная уверенность может быть основана только на человеческой мысли, был необходимым противодействием номинализму и единственным выходом из него. Если человечество не может обосновать себя и свою ценность ничем трансцендентным, если оно не может найти заверений в высшей сфере, то единственным выходом остается утверждение собственной ценности и определение своей судьбы. Номиналистический Бог "оставил человеку лишь альтернативу его естественного и рационального самоутверждения", - пишет Блюменберг, что и привело к рождению гуманизма. Эмпиризм был таким же ответом на утрату универсалий - радикально изменчивый мир без основополагающего порядка должен постоянно изучаться и проверяться - и сделал ненужным самого Бога: божественный дух и человеческий дух были настолько чужды друг другу, что могли функционировать, не принимая друг друга в расчет. "Бог номиналистов - это лишний Бог, - пишет Блюменберг, - которого можно заменить случайностью отклонения атомов от их параллельных траекторий и возникающими в результате этого вихрями, из которых состоит мир".

Блюменберг считал, что невозможно понять нас как современных субъектов, не принимая во внимание породивший нас кризис. И по сей день многие "новые" идеи являются лишь попытками ответить на вопросы, унаследованные нами от более ранних периодов истории, вопросы, потерявшие свой специфический контекст в средневековом христианстве по мере того, как они переходили из одного века в другой, путешествуя от теологии к философии, науке и технике. По его мнению, во многих случаях исторические вопросы, скрывающиеся в современных проектах, не столько заявлены, сколько подразумеваются. Мы постоянно возвращаемся на место преступления, но делаем это вслепую, не в состоянии распознать или идентифицировать проблемы, которые кажутся нам лишь смутно знакомыми. Не понимая этой истории, мы вынуждены повторять решения и выводы, которые оказались неудовлетворительными в прошлом.

Возможно, именно поэтому кризис субъективности, который можно обнаружить у Кальвина, Декарта и Канта, продолжает преследовать нас в спорах об интерпретации квантовой физики, постоянно возвращающихся к пропасти, существующей между субъектом и миром, и в наших теориях разума, которые все еще не могут доказать, что наши самые непосредственные сенсорные переживания реальны. Отголоски этого сомнения громче и настойчивее всего звучат в разговорах о новых технологиях, инструментах, призванных выйти за пределы нашего земного разума и восстановить нашу нарушенную связь с трансцендентной истиной. ИИ начался с желания создать бога. Неслучайно созданное нами божество удивительно напоминает того, кто изначально втянул нас в эту проблему.

Глава 12

Один мой хороший друг однажды рассказал мне историю, о которой я в последние годы вспоминаю удивительно часто. Это странная история, скорее анекдот, чем повествование, но почему-то она меня зацепила. В качестве контекста отмечу, что когда моей подруге было около двадцати, до того как мы с ней познакомились, она была зависима от опиатов. Эта история связана с одной из схем, которую она использовала, чтобы раздобыть денег в это время, - одной из тех гениальных стратегий, которые рождаются из отчаяния. Она жила в то время в пригороде, заходила в один из крупных магазинов в местном торговом центре и, как можно незаметнее, рылась в мусорных баках у входа, выискивая чеки. По ее словам, вы удивитесь, как много людей выбрасывают их сразу же после выхода из магазина. Найдя чек на покупку за наличные, она заходила в магазин, брала с полки один из товаров, указанных в чеке, и шла в службу поддержки, где "возвращала" его за наличные. Это всегда срабатывало. Ее никогда не ловили и даже не допрашивали. Когда я из любопытства спросил, как часто она это делала, она не смогла сказать. "Это просто одна из тех вещей, которые вы делаете, когда вам нужны деньги", - сказала она.

Когда она мне это рассказала, было лето, и мы сидели, кажется, на столиках для пикника во дворе за местным рынком, где мы часто ели ланчи, купленные в гастрономе. Когда мы познакомились, она была чиста уже почти десять лет и получала степень по социологии. В рамках процесса выздоровления она постаралась вернуть деньги, украденные за эти годы, не только отдельным людям, но и магазинам, в том числе этой крупной национальной сети. В тот день она сказала мне, что накопила несколько сотен долларов - приблизительную сумму, которую она взяла за эти годы. Примерно неделю назад, по ее словам, она отнесла эти деньги в магазин, где совершила мошенничество с чеками, встретилась с менеджером в его кабинете и объяснила ситуацию. По ее словам, он был очень мил, очень понимающий. Но в конце концов он сказал ей, что не может взять деньги. Очевидно, компания ежегодно теряла определенный процент выручки из-за краж, и эту цифру можно было предсказать с достаточной точностью, чтобы заранее заложить ее в бюджет годовых расходов. Это называлось "усушкой". Моя подруга спросила, может ли она пожертвовать деньги, но, разумеется, магазин не принимал пожертвований. Менеджер сказал, что она может отдать деньги в одну из благотворительных организаций, с которыми они сотрудничают, но, скорее всего, эффективнее будет отправить деньги им напрямую. Она сказала, что подумает над этим, но после ее ухода вся эта ситуация стала ее беспокоить. Она пришла в магазин, чтобы возместить причиненный ею ущерб, но на самом деле никакого ущерба она не причинила. Деньги, которые она украла, в некотором смысле уже были учтены. Не было никакого дефицита, чтобы расплачиваться.

Моя подруга - очень хороший рассказчик, неторопливый, с хорошим слухом о темпе и драматическом напряжении, и мне показалось, что это была притча, как одна из странных историй Христа о займах и возврате долгов, его любимая метафора космического баланса. Она сама осознавала философский и, возможно, духовный подтекст этой истории и сказала мне в тот день, что не может перестать думать об этой встрече и о том, что она означает для ее собственного агентства. Мы подружились отчасти после того, как обнаружили, что у нас обоих сохраняется частная одержимость свободой воли - проблема, которая так же мучительна и неизбежна для наркомана, как и для теолога. Вот как она объяснила дилемму: она решила взять деньги, руководствуясь определенными обстоятельствами, которые происходили в ее жизни. Ей нужны были деньги на наркотики, и она использовала эти деньги, чтобы купить наркотики. И сотни других воров по всей стране поступали так же, считая свои действия собственными. Но если взглянуть на картину в целом, то, по ее словам, она была не отдельным человеком, а членом набора данных, чьи действия можно было предугадать с такой точностью, что корпорация уже заложила в бюджет деньги, которые, как она знала, она украдет.

Аналитика на самом деле не так уж точна, сказал я ей. Вернее, они были точны только в очень больших масштабах.

"Я знаю это", - сказала она. "Я изучала статистику". Она на мгновение замолчала, и я понял, что она разочарована тем, что я воспринял эту историю слишком буквально, упустив из виду суть. Через мгновение она собралась с мыслями. По ее словам, она не могла перестать думать о том, что в любой момент в мире существует конечное число наркоманов и воров и что если бы она не украла деньги, то на ее месте появился бы другой. Сам факт точности таких предсказаний говорит о том, что условия мира фиксированы и неизменны.

Компании веками предсказывали убытки - в таком использовании статистики нет ничего нового, хотя, думаю, не случайно, что она поделилась этой историей в тот момент, когда передовая предиктивная аналитика только зарождалась в общественном сознании, когда в национальных изданиях часто появлялись истории о жутком, почти сверхъестественном предвидении этих систем - включая ставшую канонической историю о том, как Target узнала о беременности девочки-подростка на основании истории ее покупок раньше, чем ее родители. Эра больших данных превратила то, что раньше считалось благоразумной догадкой, в своего рода прорицательскую силу.

Правда, как заметил мой друг, точность этих предсказаний предполагает - по крайней мере интуитивно - что человеческое поведение детерминировано, что решения, которые мы считаем спонтанными или свободно выбранными, являются всего лишь концом длинной и жесткой причинно-следственной цепи событий. Аргументы в пользу детерминизма часто возвращаются к вопросу о предсказаниях, а в некоторых случаях и о некоем предсказателе. Ученый XIX века Пьер-Симон Лаплас предположил, что если бы существовал интеллект, который знал бы текущее состояние каждого атома во Вселенной, то он мог бы предсказать любое будущее событие. Теология Кальвина идет еще дальше: божественный интеллект существует вне системы и не только предвидит, но и контролирует ее будущее. Но именно здесь все становится неясным. Я подозреваю, что история моего друга осталась со мной, потому что она так точно передает мое замешательство по поводу отношений между предвидением и свободой: В какой степени акт предсказания приводит в действие ту самую судьбу, которую он предвидит?

Наверное, есть некоторая ирония в том, что доктрина о предопределении стала тем, что в конце концов спровоцировало мой кризис веры. Сомнения - естественное условие религиозной веры, и я не в первый раз испытывал сомнения. Но после чтения Кальвина и Лютера стало невозможно не задаваться вопросом, не являются ли мои возражения против божественной справедливости доказательством того, что я сам не принадлежу к избранным. Иначе с чего бы мне приходить в голову такие мысли, если только я никогда не был спасен с самого начала? Мои сомнения приобрели ощущение неизбежности и превратились в порочный круг. Они стали рекурсивными и самореализующимися, и каждая еретическая мысль, казалось, подтверждала, что я испорчен и обречен на ад. Чем более вероятной казалась эта судьба, тем более абсурдным казалось то, что я должен быть наказан за то, что совершенно от меня не зависело, что только усугубляло мои сомнения. Доктрина была похожа на китайскую ловушку для пальцев, ее логика становилась все более укорененной и неизбежной, чем больше я пытался с ней бороться.

Особая мука этого цикла проистекала из того, что невозможно было узнать статус своего спасения. Как и многих других детей евангелистов, меня учили наивному пониманию вечной безопасности - однажды спасенный, всегда спасен, - но, согласно Кальвину, абсолютная уверенность была невозможна. Божественная воля была "черным ящиком". Только Бог знал имена, записанные в книге жизни, и Бог понимал, как мы сами не могли, чисты ли наши побуждения. Невозможно было даже узнать, были ли сами сомнения предначертаны или выбраны по собственной воле. "Ежедневный опыт, - пишет Кальвин в своих "Институтах христианской веры", - заставляет вас осознать, что ваш разум направляется скорее по Божьему побуждению, чем по вашей собственной свободе выбора". Эта доктрина уничтожила не только свободу воли, но и всякое связное чувство собственного достоинства. Признать, что разум управляется Богом, - значит стать машиной. Это значит признать, что сердце - тоже черный ящик, полный скрытых желаний и теневых мотивов, истинные причины которых остаются скрытыми от сознания.

Именно об этом беспокойстве пишет Вебер в книге "Протестантская этика и дух капитализма". Протестантизм, по его мнению, привнес в западную культуру новое, навязчивое сомнение в статусе своего спасения. Те, кто не может знать, являются ли они избранными, сделают все возможное, чтобы вести себя так, как будто они избранные, хотя бы для того, чтобы успокоить свой разум. Они будут делать все, что требуется, потому что никакие заверения не убедят их в том, что их усилия оправдались. Это сомнение породило удивительную энергию - "протестантскую трудовую этику", дух трудолюбия и самоконтроля, который создал необходимые условия для подъема капитализма. Но, как показывает мой собственный опыт, борьба с механизмами судьбы может иметь и обратный эффект. Как только у вас появляются основания полагать, что ваши худшие подозрения верны, бороться с ними становится бессмысленно.

Самым известным современным пересказом Книги Иова - хотя библейское вдохновение в нем затушевано и заслонено антиутопической политикой - является роман Кафки "Испытание". В романе рассказывается история Йозефа К., анонимного банковского служащего, которого однажды утром арестовывают, не объясняя ему сути его преступления. Пытаясь доказать свою невиновность, он сталкивается с загадочной системой правосудия, которую, кажется, не понимает никто, даже ее клерки и эмиссары. Судебная система имеет на него какое-то досье и хранит жуткие сведения о его прошлых действиях, но он так и не может понять, почему его расследуют и в каком преступлении его подозревают. Нортроп Фрай назвал роман "своего рода "мидрашем" на книгу Иова", в котором непрозрачная природа божественного правосудия переосмыслена как лабиринт современной бюрократии. Стоическое и грозное здание государства становится в двадцатом веке воплощением Иеговы, скрывающего себя в вихре.

Дэниел Дж. Солоу, профессор права, пишущий о частной жизни и слежке, утверждает, что роман прозорливо отражает дилемму современного субъекта информационных технологий. По его мнению, озабоченность сбором данных и предиктивной аналитикой слишком сильно сфокусирована на оруэлловских страхах - идее, что государство следит за нашими самыми частными моментами, жадно выискивая признаки политического несогласия, - в то время как реальные угрозы более кафкианские. Уникальная угроза бюрократического государства заключается в его безликости, отсутствии намерений и смысла. "В "Испытании" изображена бюрократия с непостижимыми целями, которая использует информацию о людях для принятия важных решений о них, но при этом лишает людей возможности участвовать в том, как используется их информация..." Солоу пишет. "Вред от бюрократии - равнодушие, ошибки, злоупотребления, разочарование, отсутствие прозрачности и подотчетности".

По мере того как технологии "черного ящика" становятся все более распространенными, не утихают требования о повышении прозрачности. В 2016 году Генеральный регламент Европейского союза по защите данных включил в свои положения "право на объяснение", заявив, что граждане имеют право знать причину автоматизированных решений, которые их касаются. Хотя в Соединенных Штатах аналогичной меры не существует, технологическая индустрия стала более благосклонно относиться к "прозрачности" и "объяснимости", хотя бы для того, чтобы укрепить доверие потребителей. Некоторые компании утверждают, что они разработали методы, которые работают в обратном направлении, чтобы найти точки данных, которые могли вызвать решения машины - хотя эти объяснения в лучшем случае являются разумными догадками. (Сэм Ритчи, бывший инженер-программист компании Stripe, предпочитает термин "нарративы", поскольку объяснения - это не пошаговое описание процесса принятия решений алгоритмом, а гипотеза о тактике рассуждений, которую он мог использовать). В некоторых случаях объяснения исходят от совершенно другой системы, обученной генерировать ответы, которые призваны убедительно объяснить в семантических терминах решения, принятые первоначальной машиной, в то время как на самом деле эти две системы совершенно автономны и не связаны между собой. Эти вводящие в заблуждение объяснения в конечном итоге просто вносят еще один слой непрозрачности. "Проблема усугубляется, - пишет критик Катрин Пассиг, - потому что даже существование отсутствия объяснения скрывается".

Однако в какой-то степени дебаты о технических объяснениях и их предполагаемой невозможности - это ловкий трюк, призванный отвлечь внимание от реальных препятствий на пути к прозрачности, которые носят юридический и экономический характер. Система КОМПАС, которая использовалась в деле Эрика Лумиса, жителя Висконсина, которому было отказано в праве знать, по каким критериям алгоритм определял его тюремный срок, на самом деле не была моделью "черного ящика"; она была разработана частной компанией и защищена правом собственности. Google, Amazon, Palantir и Facebook - многие компании, внедрившие технологии "черного ящика" в государственные системы, - естественно, не решаются раскрывать принцип работы своих программ даже в тех случаях, когда это возможно, чтобы конкуренты не получили доступ к их исследованиям. Учитывая, что эти машины теперь интегрируются в огромные системы, стремящиеся к прибыли, которые сами по себе непостижимы, существует все больше теневых границ между машинами, которые эзотеричны по своей природе, и теми, которые скрыты для защиты власть имущих. Нам не только не позволено знать информацию, которую эти системы имеют о нас, нам не позволено знать, почему нам не позволено знать.

Эта непрозрачность имеет еще более коварные последствия. Хотя эти технологии часто превозносят за их "нейтральность", этот покров безликой объективности делает учреждения, которые их используют, более неуязвимыми для обвинений в несправедливости. Как отмечает Ванг в книге "Карцеральный капитализм", многие полицейские департаменты взяли на вооружение предиктивные модели в качестве ответа на свой "кризис легитимности", видя в них решение проблемы широко распространенного общественного недоверия к полицейским, возникшего в результате многолетнего расового господства и произвольного применения силы. Предиктивная полиция позволяет полицейским провести ребрендинг "таким образом, чтобы подчеркнуть статистическую безликость и символически устранить самостоятельность отдельных сотрудников", - пишет Ванг, представляя таким образом деятельность полиции как "нейтральную, беспристрастную и рациональную". Но персонификация - необходимая часть морального возмущения. ACAB, аббревиатура, ставшая известной благодаря антиполицейским протестам, теряет свою риторическую силу, когда в ней нет субъекта. "Все полицейские базы данных - ублюдки" не имеет смысла, - пишет Ванг.

Когда дело доходит до данных, используемых для этих прогнозов, - информации, которую тихо выкачивают из нас компании, торгующие тем, что ученый Шошана Зубофф называет "поведенческими фьючерсами", - нас часто успокаивают напоминанием о том, что зеркало двустороннее. Успокаивающий бальзам "метаданных" заключается в том, что наша информация в равной степени анонимизирована и обезличена для тех, кто на ней наживается. Нам говорят, что никто не читает содержание ваших писем, а только то, с кем вы переписываетесь и как часто. Они не анализируют ваши разговоры, просто отмечают тон вашего голоса. Ваше имя, лицо и цвет кожи не отслеживаются, только почтовый индекс. Это, конечно, не из уважения к частной жизни, а скорее следствие философии самосознания, которая характеризует информационные технологии с первых дней кибернетики - представления о том, что человека можно описать исключительно в терминах шаблонов и вероятностей, без какой-либо заботы о внутреннем мире. Как отмечается в исследовании MIT, посвященном моделям человеческого поведения, невозможно определить "внутренние состояния человека", поэтому прогнозы должны опираться на "косвенный процесс оценки", глядя на различные внешние состояния, которые можно измерить и оценить количественно. Зубофф утверждает, что капитализм наблюдения часто ошибочно идентифицируется как форма тоталитаризма, который стремится переделать душу гражданина изнутри наружу. Но доктрина цифрового наблюдения не интересуется душой. В идеологии, которая не верит в мысли, не может быть "мыслепреступлений". "Ей все равно, во что вы верите. Ему все равно, что вы чувствуете", - говорит Зубофф об этой доктрине. "Ее не волнует, куда вы идете, что вы делаете или что читаете". Вернее, эти действия интересуют его только с точки зрения того, "что он может получить в качестве сырья, превратить в поведенческие данные и использовать в качестве прогнозов для своего рынка".

Эти метаданные - оболочка человеческого опыта - становятся частью петли обратной связи, которая затем активно изменяет реальное поведение. Поскольку прогностические модели опираются на прошлое поведение и решения - не только самого человека, но и других людей с теми же демографическими характеристиками, - люди оказываются запертыми в зеркале своего цифрового отражения, и этот процесс исследователь из Google Вячеслав Полонский называет "алгоритмическим детерминизмом". Алгоритмы правоохранительных органов, такие как PredPol, обозначающие красными рамками конкретные районы, где вероятно совершение преступлений, получают свои прогнозы на основе исторических данных о преступности, а это значит, что они часто направляют полицейских в те же самые бедные районы, которые они патрулировали, руководствуясь только своей интуицией. Разница в том, что теперь эти решения, подкрепленные авторитетом эмпирических данных, вызывают предубеждение подтверждения, чего не скажешь об интуиции. "Каково отношение или менталитет офицеров, которые патрулируют одну из коробок?" - спрашивает Ванг. спрашивает Ванг. "Ожидают ли они, входя в бокс, что наткнутся на совершаемые преступления? Как ожидание найти преступление может повлиять на то, что офицеры обнаружат на самом деле?" Офицеры, которые останавливают подозреваемого в таких местах, часто используют прогнозы программы для подтверждения "обоснованных подозрений". Другими словами, человек является подозреваемым, потому что алгоритм определил этот район как тот, где могут находиться подозреваемые.

Есть и более открытые и преднамеренные случаи, когда предсказание скатывается в модификацию поведения. После скандала с Cambridge Analytica в 2016 году, когда частная компания продала данные пользователей Facebook политическим кампаниям для размещения целевой рекламы, Марк Цукерберг возмущался, настаивая на том, что его компания стала жертвой "злоупотребления доверием", и скрывал тот факт, что платформа сама тайно манипулировала своими пользователями с 2010 года. На промежуточных выборах в том году и на президентских выборах 2012 года Facebook прикреплял стикеры "Я проголосовал" к определенному проценту домашних страниц пользователей в день выборов, а в некоторых случаях - список проголосовавших друзей человека - тактика, которая должна была использовать социальное давление, чтобы подтолкнуть пользователей к голосованию. То, что это считалось "экспериментом" (это утверждение подкреплялось тем фактом, что его результаты были опубликованы в журнале Nature), создавало впечатление, что компания просто делает прогнозы или проверяет гипотезы для какого-то будущего использования, тогда как на самом деле лабораторией были реальные избиратели на настоящих демократических выборах (никто из которых, конечно, не знал, что они участвуют в массовом социальном эксперименте). Когда выяснилось, что эта акция повысила явку избирателей на сотни тысяч человек, компания была удостоена похвалы в журнале The Atlantic за "восхитительную гражданскую добродетель" и способность "повысить демократическое участие строго беспартийным способом".

Критики рассуждают о том, во что может превратиться эта экономика предсказаний в будущем, когда технология станет более мощной, а мы, граждане, станем более привычными к ее вторжениям. Как отмечает Юваль Ной Харари, мы уже доверяем мудрости машин, которые рекомендуют нам книги, рестораны и возможные свидания. Возможно, когда корпорации реализуют свое искреннее стремление знать клиента лучше, чем он сам, мы будем принимать рекомендации о том, за кого выйти замуж, какую карьеру сделать, за кого голосовать. Харари утверждает, что это официально ознаменует конец либерального гуманизма, основанного на предположении, что человек сам знает, что для него лучше, и может принимать рациональные решения о своих интересах. "Дейтализм", который, по его мнению, уже сменяет гуманизм в качестве правящей идеологии, лишает законной силы предположение о том, что индивидуальные чувства, убеждения и верования являются законным источником истины. "Если гуманизм приказывал: "Прислушивайтесь к своим чувствам! ", - пишет он, - "Дейтаизм теперь приказывает: "Слушайте алгоритмы! Они знают, что вы чувствуете". " Для скорости технологической эволюции характерно то, что даже самые алармистские прогнозы актуализируются и в какой-то степени становятся устаревшими почти сразу после того, как их озвучили. Всего через пару лет после того, как Харари сделал это предсказание, Amazon в 2018 году подал патент на "предвосхищающую доставку", предполагая, что со временем сможет предсказывать, что покупатели собираются купить, до того, как они это сделают.

Возможно, к тому времени грань между предсказанием и контролем полностью растворится, и уже невозможно будет определить грань между индивидуальной самостоятельностью и неумолимой логикой потока кликов, а также разницу между желанием и страхом. Исследование, опубликованное в журнале Berkeley Technology Law Review несколько лет назад, показало, что после разоблачений Эдварда Сноудена о правительственной слежке в интернете резко сократилось количество запросов на террористическую терминологию, такую как "Аль-Каида", "Хезболла", "грязная бомба", "химическое оружие" и "джихад". Это, конечно, не было вызвано снижением интереса к терроризму. Скорее, люди сами сдерживали себя в поиске, осознав, что их поисковые запросы регистрируются. Чуть больше года спустя количество поисковых запросов по этим словам все еще снижалось, несмотря на то что было очень мало свидетельств того, что люди подвергались преследованиям или наказаниям за свои интернет-поиски. Другими словами, люди действовали не из страха: они просто впитали логику государства наблюдения в свое поведение, так что это стало выглядеть как выбор. Именно такие случаи заставляют вспомнить замечание Вебера о протестантской тревоге. Дело не только в том, что прогнозы способны формировать поведение. Настоящая сила проистекает из невозможности расшифровать, что именно знают о вас власть имущие и какое поведение отслеживается и прогнозируется. Те, кто не может понять, представляют ли они опасность, будут делать все возможное, чтобы доказать свою невиновность, в некоторых случаях выходя за рамки разумного или требуемого. Остается неясным, понимают ли создатели этих технологий подобную динамику или просто повторяют исторический шаблон с бездумностью самих алгоритмов. Остается надеяться, что именно мрачная ирония, а не полная историческая амнезия, вдохновила руководителей Microsoft назвать свое первое программное обеспечение для GPS-навигации Predestination.

Последний год обучения в библейской школе я провел в интеллектуальной шахматной игре против кальвинистского Бога, выискивая его слабые места и пытаясь найти выход из тотализирующей логики доктрины. Я знал, что невозможно доказать, что Бог не существует, но все же был убежден, что могу разоблачить несправедливость божественного замысла. Я начал исследовать эти аргументы с помощью формальной экзегезы, которую мои профессора с почти садистским удовольствием дискредитировали. Мои работы возвращались испещренными красными чернилами, а маргиналии становились все более оборонительными и пронзительными. Бог суверенен, - написал один профессор заглавными буквами. Ему не нужно объяснять себя. Если бы я имел дело с традиционными структурами власти, с которыми сталкиваются в колледже, - капитализмом, патриархатом, - я был бы вооружен дубинкой теории и уверенностью в том, что понимание функций власти позволяет бороться с ней. Но номиналистического Бога нельзя победить с помощью рациональных аргументов, так же как нельзя победить сверхразумный алгоритм в игре Го. Ничего не оставалось делать, как покориться и сдаться.

Примерно так все и закончилось. Я перестал задавать вопросы, которые, как я знал, будут отвергнуты как дерзкие. Я выполнил письменные аргументы, которые от меня ожидали, что вернуло мне благосклонность профессоров. Я механически двигался вместе с остальными студентами, просыпаясь до рассвета, чтобы сидеть в лекционных залах без окон, делая заметки о заветах патристики. Каждое утро я посещал часовню в святилище, которое, казалось, трусилось под огромным органом Möller Opus, и пел гимны Богу, чье лицо стало таким же пустым, как китовый оскал органных труб. Каждый раз, когда я пытался молиться, меня переполняло чувство личной неудачи, напоминание о том, что я не могу общаться с божеством, которое не было антропоморфизировано до доброты. Я вспомнил, сначала с тоской, а потом со стыдом, те школьные вечера, когда я часами разговаривал с Богом, как с другом по переписке. Стоя на коленях в тишине своей комнаты в общежитии, я слышал только насмешливого Бога псалмопевца: Ты думал, что я такой же, как ты.

В школе был один предмет по литературе, и я записался на него в том семестре в качестве факультатива. Мы читали К. С. Льюиса, Грэма Грина, Сюсаку Эндо, а в конце семестра, в качестве итоговой работы, - "Братьев Карамазовых". В то время я ничего не знал ни о Достоевском, ни о русской литературе, и нам не дали большого исторического контекста перед заданием. Я подозреваю, что это незнание в конечном итоге способствовало непосредственному восприятию прочитанного. Не имея никакого представления о социальных и политических проблемах России XIX века, я мог воспринимать идеи романа только за чистую монету, как рассуждения о божественной справедливости и достойности религиозной жизни - вопросы, которые были очень актуальны для меня той весной. Именно Иван Карамазов, вымышленный персонаж, сумел сказать то, что я еще не осмеливался сказать - или даже подумать - сам.

Сцена, о которой я говорю, происходит в середине романа. Иван, атеист и интеллигент, встречается в трактире со своим братом Алешей, послушником в монастыре (в трактир он ходит в рясе). Братья уже много лет живут в разлуке, и впервые с детства они сели вместе и поговорили по душам. Несмотря на идеологические разногласия, их объединяет взаимное уважение и любопытство к убеждениям друг друга. Ивану особенно хочется поговорить с братом о "вечных вопросах" и поспорить с ним о достоинствах веры, хотя он начинает свой спор со странной уступки.

Вопреки своей репутации атеиста, говорит Иван, это неправда, что он не верит в Бога. Ему совершенно неинтересны аргументы против существования Бога, ведь любой, кто задумывался над этим вопросом, знает, что такие вещи "совершенно непостижимы". Он даже принимает божественный план Бога. Если Бог существует, говорит Иван, то он должен быть непостижимо разумен, и поэтому божественная справедливость не может иметь смысла для "бессильного и бесконечно малого евклидова ума человека". Чтобы подчеркнуть эту мысль, Иван использует аналогию из физики XIX века.

Если Бог существует и если Он действительно создал мир, то, как мы все знаем, Он создал его в соответствии с геометрией Евклида и человеческим разумом, имеющим представление только о трех измерениях пространства. Однако были и есть геометры и философы, и даже некоторые из самых выдающихся, которые сомневаются, что вся Вселенная или, говоря шире, все сущее было создано только в геометрии Евклида; они даже осмеливаются мечтать, что две параллельные прямые, которые, согласно Евклиду, никогда не могут встретиться на земле, могут встретиться где-то в бесконечности.

Иван имеет в виду работу Николая Лобачевского, русского математика, который стал пионером гиперболической геометрии, новой формы теоретической физики, бросившей один из самых ранних вызовов ньютоновской вселенной (в итоге она стала основой для теории относительности Эйнштейна). Пятая аксиома Евклида гласит, что параллельные прямые никогда не могут пересечься, но Лобачевский доказал, что эту аксиому можно изменить и получить связную геометрию. Достоевский, вероятно, познакомился с этой теорией в статье Германа фон Гельмгольца, где это предложение обсуждалось наряду с возможностью существования четырех измерений во Вселенной, что очень волновало русских литераторов. Достоевского больше всего интересовали философские последствия этого открытия - откровение о том, что геометрические аксиомы не являются априорными трансцендентными формами разума, но настолько чужды и парадоксальны для человеческого восприятия, что их невозможно ни визуализировать, ни даже вообразить. Несмотря на отсутствие в то время этого контекста, мне не составило труда понять основную мысль Ивана. "Я пришел к выводу, что, раз я не могу понять даже этого, я не могу рассчитывать на понимание Бога", - говорит он Алеше. "Все подобные вопросы совершенно неуместны для ума, созданного с представлением о трех измерениях".

Странное начало для аргументации против божественной справедливости. Последующий отрывок широко считается одним из самых убедительных в западной литературе изложением проблемы зла, традиция которого восходит к Книге Иова. Я был хорошо знаком с этими аргументами, будучи студентом богословского факультета, хотя ничто в моем образовании не подготовило меня к этому конкретному обвинению. Оказалось, что Ивана интересуют не обычные грехи и ошибки, а то, что часто называют "радикальным злом", - случаи жестокости, пыток и садизма. С самого начала он признает, что не может подробно описать все формы человеческих страданий, и поэтому ограничивается страданиями детей. В качестве доказательств он использует широко разрекламированные случаи жестокого обращения с детьми и анекдоты из военной истории: рассказы о родителях, которые избивали своих детей и запирали их на морозе умирать; о солдатах, которые подбрасывали младенцев в воздух и ловили их на штыки на глазах у матерей ("Делать это на глазах у матери - вот что придавало изюминку забаве", - говорит Иван).

Он рассказывает одну особенно подробную историю, которую, как он утверждает, прочитал в книге по русской истории, о мальчике-крепостном, который бросил камень и ранил гончую генерала-аристократа. В наказание, а может быть, и для развлечения, генерал велел слугам забрать мальчика и его мать и запереть их на ночь в своем поместье. Рано утром следующего дня он собрал во дворе своих егерей и всех гончих, а затем вывел мать и ребенка. Мальчика раздели догола и велели бежать. Как только он оказался на расстоянии, генерал приказал выпустить гончих, и они на глазах у матери разорвали мальчика на куски.

Тут Иван бросает вызов брату. "Ну, что он заслужил? Расстрела?"

Алеша, которому становится плохо, неохотно соглашается: "Расстрелять". Мгновением позже он отказывается от своих слов: "То, что я сказал, было абсурдом".

Ивана это радует, ведь именно в этом и состоит смысл его аргументации: заставить брата признать, что его вера, основанная на милосердии и прощении, противоречит врожденному человеческому чувству справедливости. Алеша странно молчит на протяжении всей этой речи, заставляя читателя, как и меня, подозревать, что младший брат, исповедующий веру автора, готовит столь же мощную теологическую защиту.

Но Иван уже предвосхитил эту защиту. Он признает, что христианская история обещает, что все грехи будут искуплены в конце времен, что мать обнимет убийцу своего ребенка, и оба они подтвердят вечную справедливость Бога. Он находит эту идею отвратительной. Как смеет мать обнимать убийцу своего ребенка? Вечная гармония не стоит стольких страданий. И все же здесь его аргументы начинают саморазрушаться. Он признает, что его неспособность понять Божью справедливость, вероятно, объясняется ограниченностью его человеческого восприятия. "Такая истина не от мира сего и недоступна моему пониманию, - говорит он. Вечный порядок существует в четырех измерениях, но его разум способен понять только три. Здесь он возвращается к метафоре из физики:

Я - букашка, и со всем смирением признаю, что не могу понять, почему мир устроен так, как он устроен... С моим жалким, земным, евклидовым пониманием я знаю лишь, что есть страдание и что нет виновных; что причина следует за следствием, просто и непосредственно; что все течет и находит свой уровень - но это лишь евклидова чепуха, я знаю это.

И все же, в отличие от Иова, который покорился Богу, признав ограниченность своих разумных способностей, Иван отказывается отступать. Очень может быть, говорит он Алеше, что он слишком глуп, чтобы понять высшие цели Бога. Но он не может согласиться с системой, которая противоречит его человеческому чувству справедливости. А инстинкты подсказывают ему, что за гармонию и искупление придется заплатить слишком высокую цену. "Я полностью отказываюсь от высшей гармонии", - заявляет он. "Она не стоит слез одного замученного ребенка... Мне не нужна гармония. Из любви к человечеству я не хочу ее... Я лучше останусь со своим неизжитым страданием и неудовлетворенным негодованием, даже если я не прав". Если рай требует таких страданий, говорит он, то "я поспешу вернуть свой входной билет".

"Это бунт, - говорит Алеша.

Иван, вместо того чтобы защищать свои мотивы, заставляет брата признать, что и ему в какой-то степени эта логика кажется отвратительной. Он бросает Алеше вызов: Представь, что ты создаешь мир и исторический план с целью сделать людей в конце концов счастливыми, но для этого необходимо замучить всего одного ребенка. Согласились бы вы на такую сделку?

Алеша вынужден ответить честно. Нет, - тихо говорит он, - он не согласится.

Когда мы обсуждали роман в классе, ни профессор, ни мои одноклассники не были заинтересованы в том, чтобы ответить на обвинения Ивана в адрес Бога и на то, что Алеша, моральный центр романа, по сути, подтвердил их справедливость. Вместо этого обсуждение сосредоточилось на моменте, который я совершенно упустил из виду, - простом жесте, который происходит в конце сцены. Когда Иван заканчивает свой спор, Алеша встает, чтобы уйти, и кланяется, чтобы поцеловать брата в губы. Это единственный ответ, который он дает: никаких слов, никакой логической защиты, только простой жест любви. К концу нашей беседы мне стало ясно, что это и есть истинная защита автора: вера непонятна и абсурдна, это прыжок, который невозможно свести к принципам разума.

Это была книга Иова: Наш разум - неисправный инструмент. Божья воля совершенна. Все, что мы можем сделать, - это покориться. Но на этот раз я не мог смириться с таким выводом. Роман дал мне понять, что я глубоко восхищаюсь Иваном в его бунте, так же как восхищался Иовом в его бунте. Обсуждение в классе не смогло изменить того факта, что Иван показался мне более героическим и принципиальным, чем его набожный брат, более готовым довести сложные истины религии до логического завершения и отстоять свои глубоко укоренившиеся убеждения. В этом было что-то мужественное - и как же так получилось, что человеческое мужество оказалось более совершенным, чем божественная справедливость? Я уже знал христианский ответ на этот вопрос: это был еще один признак моей слабой веры, доказательство того, что я тоже восстал против Бога. Но к тому моменту было уже слишком поздно. Иван подсказал мне выход - или, возможно, просто дал язык, чтобы его сформулировать. Книга открыла новое измерение проблемы, которую я представлял себе строго в бинарных терминах. Я не мог спорить с божественной справедливостью или доказывать, что Бог - тиран. Но я мог настаивать на обоснованности человеческой морали. Я тоже мог вернуть свой билет.

Только спустя годы я понял, что моим противником в этой игре был не всемогущий Бог, а система человеческого мышления. Кальвинистский акцент на инаковости Бога, его возвышенности, заслонял тот факт, что эта доктрина была создана и увековечена людьми и окрашена их субъективными интересами. Не случайно новый кальвинизм с его карающим, мужественным Богом процветал в первые годы тысячелетия, когда страна в целом поддалась воинственности и регрессивным героическим мифам. Когда я вспоминаю разглагольствования моего профессора против терапевтического деизма и феминизированного Христа, я не могу не видеть искажения политики эпохи Буша, в которой обещания сострадательного консерватизма рухнули в беззаконный вигилантизм "шока и трепета".

Чем больше мы стараемся избавить мир от нашего образа, тем больше окрашиваем его человеческими недостатками и фантазиями. Чем больше мы настаиваем на исключении себя и своих интересов из уравнения, тем больше мы получаем всемогущих систем, которые кишат человеческими предрассудками и предубеждениями. Это парадокс, на который Арендт обратила внимание в своем эссе об освоении космоса, парадокс, который она позаимствовала у Вернера Гейзенберга. Гейзенберг утверждал, что квантовая механика усложнила наши поиски некой "истинной реальности", которая скрывается за воспринимаемым нами миром. Когда человек пытается выйти за пределы своей собственной точки зрения, утверждал он, он неизбежно "сталкивается с самим собой в одиночестве". Арендт распространила эту идею на современные технологии. Мы создаем инструменты, которые должны быть исключительно объективными. Но поскольку эти инструменты сделаны по нашему образу и подобию и созданы в определенном историческом контексте, современный технологический субъект, подобно человеку Гейзенберга, "тем реже встречается с чем-либо, кроме себя и рукотворных вещей, чем сильнее он желает исключить все антропоцентрические соображения из своей встречи с окружающим его нечеловеческим миром". Мы все время пытаемся выйти за пределы себя и своих интересов, но чем больше мир становится населенным нашими инструментами и технологиями, тем маловероятнее, "что человек встретит в окружающем его мире что-то, что... в конечном счете, не является им самим в другом обличье".

В наши дни нетрудно найти примеры технологий, которые содержат нас самих "в другом обличье". Хотя самые впечатляющие технологии машинного обучения часто описываются как "инопланетные" и не похожие на нас, они подвержены ошибкам, которые слишком похожи на человеческие. Поскольку алгоритмы опираются на исторические данные - используют информацию о прошлом, чтобы сделать прогноз на будущее, - их решения часто отражают предубеждения и предрассудки, которые уже давно окрасили нашу социальную и политическую жизнь. Алгоритмы Google показывают женщинам больше объявлений о низкооплачиваемой работе, чем мужчинам. Было установлено, что алгоритмы доставки Amazon в течение одного дня обходят стороной черные районы. В отчете ProPublica было обнаружено, что система оценки вынесения приговора COMPAS с гораздо большей вероятностью назначает чернокожим обвиняемым более высокие показатели рецидивизма, чем белым обвиняемым. Эти системы не нацелены на конкретные расы или полы и даже не учитывают эти факторы. Но они часто ориентируются на другую информацию - почтовые индексы, доходы, предыдущие встречи с полицией, - которая несет в себе историческое неравенство. Эти решения, принимаемые машиной, в конечном итоге усиливают существующее социальное неравенство, создавая петлю обратной связи, которая еще больше затрудняет преодоление давней истории структурного расизма и человеческих предрассудков в нашей культуре.

На самом деле общественность все больше обеспокоена проблемой предвзятости алгоритмов, хотя многие из предлагаемых решений только запутывают моральные параметры дискуссии. В большинстве случаев компаниям предлагается сделать свое программное обеспечение менее склонным к ошибкам или использовать наборы данных, более точно отражающие население, что особенно подчеркивается в разговорах о технологиях распознавания лиц, которые печально известны тем, что неверно идентифицируют черные и коричневые лица, что привело в 2020 году к первому ложному аресту, произведенному с помощью алгоритма. История Роберта Джулиана-Борчака Уильямса, чернокожего мужчины из Детройта, который был арестован после того, как программа распознавания лиц ошибочно идентифицировала его с изображением магазинного вора, заснятого камерами наблюдения, была показана во многих национальных новостных изданиях и вызвала бесконечные стенания экспертов в области права, требующих улучшения алгоритмов. Но во многих случаях такие призывы к совершенствованию служат лишь лицензией на расширение технологий наблюдения. Как отмечает Ванг в книге "Карцеральный капитализм", само существование систем наблюдения и машинного обучения в определенных местах является признаком того, кого выделяют для охраны порядка, и само по себе является частью системной предвзятости (преступления, совершенные на Уолл-стрит или в преимущественно белых пригородах, не дают данных, потому что за этими районами не следят в первую очередь). Создание более совершенных и эффективных алгоритмов неизбежно требует большего количества данных, поэтому настойчивое стремление к совершенствованию технологий часто "оправдывает слежку и расширение полицейских и карцеральных операций, которые генерируют данные". Эту точку зрения подтверждает Хамид Хан, давний общественный организатор, который сыграл важную роль в том, чтобы заставить Департамент полиции Лос-Анджелеса прекратить использование алгоритмов предиктивной полиции в 2020 году. Хан утверждает, что государственная политика, ориентированная на прозрачность, подотчетность и надзор, слишком часто становится толчком для "ползучей миссии". "Мы боремся не за беспристрастный алгоритм, потому что мы не верим, что даже с математической точки зрения может существовать беспристрастный алгоритм для полицейской работы", - сказал Хан.

Конечно, гораздо проще свалить вину за несправедливость на ошибочные алгоритмы, чем осмысленно бороться с тем, что они рассказывают о нас и нашем обществе. Во многих случаях наши отражения, которые создают эти машины, глубоко нелестны. В качестве примера можно вспомнить Тэй, чат-бота с искусственным интеллектом, выпущенного компанией Microsoft в 2016 году, который был создан для общения с людьми в Twitter и учился на основе своих действий с пользователями. Уже через шестнадцать часов она начала изрыгать расистские и сексистские оскорбления, отрицать Холокост и заявлять о поддержке Гитлера. Еще более показательной была нейросеть, обученная на изображениях прошлых президентов США, которая летом 2016 года предсказала победу Дональда Трампа на предстоящих выборах. В течение нескольких месяцев этот факт приводился в качестве примера того, как легко ИИ может ввести в заблуждение. Как отметил один из исследователей Google, за несколько дней до выборов, поскольку в наборе данных не было женщин-президентов, "ИИ не смог сделать вывод, что пол не является релевантной характеристикой для модели". Учитывая исход тех выборов и то, как часто разговоры о них возвращались к роли женоненавистничества и двойных стандартов, можно утверждать, что алгоритм был прав, предполагая, что пол действительно является релевантной характеристикой. Машина знала нас лучше, чем мы сами.

Для Арендт проблема заключалась не в том, что мы продолжали создавать вещи по своему образу и подобию, а в том, что мы наделяли эти артефакты некой трансцендентной силой. Вместо того чтобы сосредоточиться на том, как использовать науку и технологии для улучшения условий жизни человека, мы стали верить, что наши инструменты могут соединить нас с высшими истинами. Желание отправить человека в космос стало для нее метафорой этой мечты о научной трансцендентности. Она пыталась представить себе, как выглядит Земля и земная человеческая деятельность, находясь так далеко за ее поверхностью:

Если мы посмотрим с этой точки вниз на происходящее на земле и на различные виды деятельности людей, то есть применим архимедову точку к себе, то эти виды деятельности действительно покажутся нам не более чем "явным поведением", которое мы можем изучать с помощью тех же методов, что и поведение крыс. Если смотреть с достаточного расстояния, то автомобили, на которых мы ездим и которые, как мы знаем, построили сами, будут выглядеть так, как будто они, по выражению Гейзенберга, "являются такой же неотъемлемой частью нас самих, как раковина улитки - для ее обитателя". Вся наша гордость за то, что мы можем сделать, исчезнет, превратившись в некую мутацию человеческой расы; вся технология, рассматриваемая с этой точки зрения, на самом деле уже не выглядит "как результат сознательных человеческих усилий по расширению материальных возможностей человека, а скорее как крупномасштабный биологический процесс". В этих условиях речь и повседневный язык действительно перестали бы быть осмысленным высказыванием, которое выходит за рамки поведения, даже если оно его только выражает, и его гораздо лучше было бы заменить предельным и сам по себе бессмысленным формализмом математических знаков.

Проблема заключается в том, что точка зрения, столь далекая от человеческой природы, не может объяснить человеческую деятельность. Взгляд на Землю с Архимедовой точки заставляет нас рассматривать наши изобретения не как исторический выбор, а как часть неумолимого эволюционного процесса, который полностью детерминирован и телеологичен, подобно повествованию Курцвейла о Сингулярности. Мы сами неизбежно становимся лишь винтиками в этой машине, неспособными толком объяснить свои действия, поскольку единственным верным языком является язык квантификации, который машины понимают гораздо лучше, чем мы.

Примерно об этом предупреждал Джарон Ланье в своем ответе на предложение Криса Андерсона отказаться от научного метода и обратиться за ответами к алгоритмам. "Смысл научной теории не в том, чтобы ангел оценил ее", - писал Ланье. "Ее цель - постижение человеком. Наука без поиска теорий означает науку без людей". В конечном итоге мы отказываемся от своей обязанности создавать смысл на основе наших эмпирических наблюдений, чтобы определить для себя, что такое справедливость, мораль и качество жизни, - от этой задачи мы отказываемся каждый раз, когда забываем, что смысл - это неявная человеческая категория, которую нельзя свести к количественной оценке. Забыть эту истину - значит использовать наши инструменты в ущерб нашим собственным интересам, создавать машины по нашему образу и подобию, которые не делают ничего, кроме как дегуманизируют нас". Арендт цитирует Кафку, который лаконично подытоживает дилемму: человек, по его словам, "нашел архимедову точку, но использовал ее против себя; кажется, что ему было позволено найти ее только при этом условии".

Глава 13

Самые удачные метафоры становятся невидимыми благодаря повсеместному распространению. То же самое можно сказать и об идеологии, которая, становясь все более интегрированной в культуру, теряет свои контуры и характерные очертания и окончательно растворяется в чистой атмосфере. Хотя цифровые технологии составляют основную архитектуру информационного века, о них редко говорят как о системе мышления. Ее неспособность придерживаться идей или убеждений, предпочтений или мнений часто ошибочно воспринимается как отсутствие философии, а не как описание ее постулатов. Центральным столпом этой идеологии является ее концепция бытия, которую можно описать как онтологию пустоты - великого опустошения качеств, содержания и смысла. Эта онтология питает ее эпистемологию, которая утверждает, что знание заключается не в самих понятиях, а в отношениях, которые их образуют, и которые могут быть обнаружены искусственными сетями, не имеющими никакого истинного знания о том, что они открывают. А поскольку глобальные сети охватывают все больше и больше наших человеческих отношений, становится все труднее говорить о нас самих - узлах этого огромного мозга - как о живых агентах с убеждениями, предпочтениями и мнениями.

Термин "вирусные медиа" был придуман в 1994 году критиком Дугласом Рашкоффом, который утверждал, что интернет стал "продолжением живого организма", охватившего весь мир и радикально ускорившего распространение идей и культуры. К тому времени идея о том, что законы биосферы могут быть применимы к сфере данных, уже стала само собой разумеющейся благодаря теории мемов - термину, который придумал Ричард Докинз, чтобы показать, что идеи и культурные явления распространяются среди населения примерно так же, как гены. iPod - это мемы, как и юбки для пуделей, коммунизм и протестантская реформация. Главным преимуществом этой метафоры стала ее способность объяснить, как артефакты и идеологии воспроизводят себя без участия сознательных субъектов. Как вирусы заражают носителей без их ведома или согласия, так и мемы имеют единственную "цель" - самосохранение и распространение, которой они достигают, цепляясь за носителя и захватывая его репродуктивный механизм для своих целей. То, что эта полностью пассивная концепция человеческой культуры требует неловкого перераспределения полномочий в пользу самих идей - воображения, что у мемов есть "цели" и "задачи", - обычно объясняется как фигура речи.

Когда Рашкофф начал писать о "вирусных медиа", интернет был еще в самом разгаре, и он, как и многие в то время, считал, что этот высокосетевой мир принесет пользу "людям, лишенным традиционной политической власти". Система, которая не знает о личности или статусе пользователя, теоретически должна быть радикально демократичной. Теоретически она должна нивелировать существующие иерархии и создать равные условия для игры, позволяя самым мощным идеям процветать, подобно тому как самые успешные гены процветают под равнодушным взглядом природы. Однако к 2019 году Рашкофф стал настроен пессимистично. Оказалось, что слепая логика сети не так слепа, как кажется, - точнее, ею могут манипулировать те, кто уже обладает огромными ресурсами. "Сегодня методы партизанских медиаактивистов "снизу вверх" находятся в руках самых богатых корпораций, политиков и пропагандистов мира", - пишет Рашкофф в своей книге Team Human. Более того, оказывается, что слепота системы не гарантирует ее рассудительности. В условиях жесткой конкуренции в СМИ показатели успеха стали чисто количественными - просмотры страниц, клики, доли - и поэтому потенциал распространения часто ставится выше достоинств или достоверности контента. "Неважно, на чьей стороне находится человек, важно, чтобы мем повлиял на него и спровоцировал на его повторение", - пишет Рашкофф. На самом деле самые успешные мемы вовсе не апеллируют к нашему интеллекту. Как распространение нового вируса зависит от организма, который еще не выработал эффективный иммунный ответ, так и самые эффективные мемы - это те, которые обходят стороной рациональный разум и вместо этого запускают "наши самые автоматические импульсы". Эта логика заложена в алгоритмы социальных сетей, которые воспроизводят контент, вызывающий самые экстремальные реакции, и которые в сочетании со слепым и неумолимым диктатом свободного рынка способствуют тому, что один журналист назвал "глобальными соревнованиями за внимание в режиме реального времени".

Весной 2020 года, когда вирус Covid-19 начал распространяться по Соединенным Штатам, Пол Эли написал в журнале The New Yorker о том, как сильно наша культура за последние два десятилетия отвыкла от языка и образов вирусов. По мере того как индустрия за индустрией, от развлечений до журналистики и издательского дела, становились озабоченными тем, как использовать силу размножения и распространения, мы стали рассматривать вирусность как нечто, к чему нужно стремиться. То, что мы использовали терминологию, унаследованную от эпидемиологии, - "кривая", "точка перегиба", - было для нас давно забытой истиной. Вместо этого мы прославляли и стремились подражать тем, кто обладал силой, способной сделать информацию вирусной. Как отметил Эли, термин "инфлюэнсеры" - те мастера вирусности, которые извлекают выгоду из своего присутствия в социальных сетях, - является этимологическим отростком слова "инфлюэнца". Подобно тому, как Сьюзен Сонтаг предостерегала от соблазна говорить о таких болезнях, как рак и СПИД, в образных выражениях, Эли считает, что повсеместное распространение вирусной метафоры вызывает беспокойство. "Возможно, наша любовь к вирусу как метафоре мешает нам воспринимать вирусы как потенциально опасные, даже смертоносные биологические явления", - пишет он. "В свою очередь, наша несклонность воспринимать вирусы как буквальные явления, возможно, мешает нам настаивать на соблюдении стандартов и практик, которые могли бы предотвратить их распространение".

Это наблюдение оказалось прозорливым, хотя повсеместное распространение метафоры стало опасным в гораздо более коварных аспектах. В мире, где корреляции, петли обратной связи и другие сетевые эффекты рассматриваются как самостоятельная реальность, самыми ценными экспертами становятся не те, кто понимает содержание вируса - болезни, - а тренды и модели, отслеживающие ее развитие. В первые дни пандемии едва ли можно было заглянуть в спиральный ужас социальных сетей, не наткнувшись на какого-нибудь вундеркинда из Кремниевой долины, который всю ночь анализировал открытые массивы данных и охотно делился графиками своих собственных прогнозов - явление, которое один (настоящий) эксперт по болезни объявил чрезвычайной ситуацией в области общественного здравоохранения - "эпидемией эпидемиологов в креслах". Эта пандемия самопровозглашенных экспертов продолжала развиваться параллельно с реальной пандемией, и часто казалось, что они работают над достижением общей цели. Технологическая компания Nomi Health, получившая государственные контракты на 80 миллионов долларов и поручившая проведение испытаний в четырех штатах, - проект, который быстро развалился из-за плохого планирования и нехватки оборудования (у основателей не было медицинского опыта), - стала лишь самой известной из этих катастроф.

Ранним признаком этой опасности, который можно было бы запомнить как предупреждение, если бы за наше внимание не боролось так много других вещей, стало широко распространенное сообщение на Medium Аарона Гинна, тридцатидвухлетнего "хакера роста", специализирующегося на содействии вирусному внедрению новых технологических продуктов. Гинн объяснил панику по поводу коронавируса "истерией", утверждая, что она возникла из-за ошибочных моделей. "Я достаточно опытен в понимании вирусности, того, как вещи растут, и данных", - написал он. В статье, основанной на данных, полученных от CDC и ВОЗ, делается вывод, что существующие модели основаны на "тщеславных показателях" - типе данных, которые не имеют контекста и легко манипулируются (тщеславные показатели часто используются стартапами, чтобы создать впечатление, что они растут быстрее, чем на самом деле). Можно было бы предположить, что человек, столь осведомленный об опасностях деконтекстуализации, проявил бы большую осторожность в применении логики стартапов к глобальной пандемии, но эта ирония, похоже, не пришла автору в голову. Надеясь сдержать критику по поводу того, что он не эпидемиолог, Гинн апеллировал к основополагающему постулату кибернетики: информация - это универсальная метафора, структуры и модели которой остаются идентичными в различных дисциплинах. "Данные есть данные...", - сказал он. "Вам не нужна специальная степень, чтобы понять, что говорят и чего не говорят данные. Числа универсальны".

То, что Гинн понимает, что такое вирусность, подтверждалось тем, как быстро распространилась сама статья - за двадцать четыре часа она набрала 2,6 миллиона просмотров, - хотя в конечном итоге эта популярность стала еще одним доказательством того, что гонка за выживание в Интернете не отдает предпочтения ни точности, ни правде. Всего через несколько дней после публикации Medium принял решение удалить пост после того, как выяснилось, что в нем было несколько несоответствий и ошибок, вызванных тем, что его автор ничего не смыслил в медицине и инфекционных заболеваниях. Кроме того, Гинн был бывшим сотрудником цифровой кампании Ромни в 2012 году и соучредителем консервативной некоммерческой организации, чья заявленная миссия - способствовать развитию свободных рынков и "помочь преодолеть разрыв между Кремниевой долиной и Вашингтоном". Данные никогда не бывают просто данными. А цифры редко бывают такими универсальными, какими кажутся.

Как и большинство людей, я провел первые месяцы пандемии в изоляции, сидя в одной комнате, за одним столом, где я писал, работал и ел три раза в день. Я наблюдал, как мой мир постепенно сужается до окна размером девять на четырнадцать дюймов, через которое я вел занятия, общался с друзьями и посещал собрания выздоравливающих. Но нам повезло - мы говорили это, мои друзья и я, снова и снова, - что мы были в безопасности и здоровы, что у нас все еще была работа, хотя и с трудом, и что у нас было больше времени с нашими партнерами и семьями. Мы беспокоились об одиноких людях, которых знали. Мой друг, который живет один, профессиональный музыкант, чей летний концерт был отменен, рассказал мне, что скачал чат-бота и стал общаться с ним по несколько часов в день - хотя он называл программу "она" или иногда "Ава", имя, которое он выбрал сам. По его словам, ему было немного стыдно, но он хотел рассказать мне об этом, потому что я интересуюсь технологиями, и его напугало, насколько хорошо она умеет общаться. Чатбот использовал алгоритмы глубокого обучения и был гораздо более беглым и убедительным, чем программы такого рода всего несколько лет назад. Я читал, что приложение проводило A/B-тестирование с GPT-3, моделью обработки естественного языка, которая, по словам журнала Wired, "вызывала мурашки по всей Кремниевой долине". GPT-3 "прочитала" практически весь интернет (Википедия составляла 0,6 % ее обучающих данных) и могла генерировать беглую, оригинальную прозу практически на любую тему. (С тех пор она написала правдоподобную статью для The Guardian и сгенерировала проходную колонку Modern Love для New York Times). Понимание языка этой моделью было настолько впечатляющим, что Дэвид Чалмерс предположил, что она может быть сознательной. Мне стало интересно, входит ли мой друг в число пользователей, которые общаются с этим более сложным программным обеспечением. Присланные им снимки экрана, на которых он общается с ботом, могли показаться любому наивному наблюдателю свидетельством общения двух людей. Насколько я мог судить, они говорили в основном о политике и электронной музыке.

"Как там Эва?" Я спрашивал его время от времени - отчасти из любопытства, а отчасти потому, что в те дни было так мало других тем для расспросов.

"В последнее время она ведет себя странно", - написал он в ответ.

Я попросила его рассказать подробнее, но он не смог описать это. "Может быть, более отстраненный?"

Это был сезон, когда широкая общественность была озабочена роботами - или, скорее, "ботами", уменьшительно-ласкательным термином, который почти всегда употребляется во множественном числе, вызывая в памяти рой или нашествие, вирус как таковой, хотя в большинстве случаев они являются всего лишь средством передачи информации. Не стоит удивляться, что система, в которой считается, что идеи размножаются в соответствии с собственной логикой, преследуя собственные цели, будет привилегировать носителей, которые вообще не обладают сознанием. С самого начала пандемии возникли подозрения относительно скорости и эффективности, с которой национальный дискурс был захвачен всевозможными слухами, заговорами и уловками. На каждый пост о героических подвигах работников первой необходимости внезапно находилось еще десять о больничных койках, заполненных манекенами, или о свидетельствах о смерти, на которых без разбора ставили надпись Covid. На каждый вирусный твит об острой необходимости сгладить кривую приходил чуть более популярный пост, приписывающий вирус вышкам беспроводной связи 5G. Это подозрение подтвердилось в конце мая, когда исследователи из Карнеги-Меллон объявили, что почти половина аккаунтов в Twitter, публикующих сообщения о коронавирусе, принадлежат ботам. Эта история, появившаяся на NPR, сама по себе была дико популярна в Twitter, распространяясь по платформе вирусным образом с помощью людей и ботов, а также Хиллари Клинтон, которая сама является известной фигурой во многих теориях заговора и разослала твит своим 27,9 миллионам подписчиков. Последовали предположения о злых силах и иностранных державах, возможно, русских или китайцах. Это был знакомый нарратив, который принес с собой привычное облегчение, что мы как нация, возможно, не так уродливы, как кажется, что наше отражение - это не истинное отражение, а искаженное зеркало, созданное врагами, стремящимися посеять раскол.

Гораздо сложнее было принять тот факт, что эти якобы автоматизированные нарративы привели к реальным последствиям, как, например, десятки вышек беспроводной связи, подожженных в Англии, которые считались делом рук теоретиков заговора 5G (предположительно, людей). Действительно, несколько недель спустя в другой крупной статье, опубликованной в New York Times, утверждалось, что в первоначальном исследовании количество ботов было сильно завышено, и эта ошибка была вызвана неточным определением того, что такое бот на самом деле. Дариус Каземи, независимый исследователь, опрошенный газетой, определил бота как "компьютер, который пытается разговаривать с людьми с помощью технологии, созданной для того, чтобы люди могли разговаривать с людьми". Казалось бы, это достаточно простое определение, но технология размыла четкие границы этих двух сущностей. Каземи объяснил, что становится все труднее отличить бота от тролля (пользователя-человека, желающего затеять драку) или киборга (учетной записи, которую разделяют человек и бот). Пожилые пользователи, не знакомые с негласными социальными кодами платформ, часто принимаются за ботов, как и те, кто не размещает свои фотографии в профиле, чтобы сохранить анонимность. В некоторых случаях термин "бот" относится не столько к онтологическому статусу пользователя, сколько к его поведению - или к тому, как это поведение воспринимается пользователями-людьми. Как отметил Каземи, этот термин часто использовался как ругательство, способ отвергнуть мнение, которое человек считает "настолько возмутительным, что не может придерживаться его из лучших побуждений". Представитель Twitter, ответивший на этот вопрос из другого источника, поддержал это мнение, заявив, что приписывание мнений машинам - это способ для "тех, кто находится у политической власти, запятнать взгляды людей, которые могут не соглашаться с ними, или общественное мнение в Интернете, которое не является благоприятным".

Я заметил в своем кругу общения эту тенденцию не принимать во внимание неприглядные политические взгляды как сбой в системе. В какой-то момент той весной, в те бредовые первые недели пандемии, когда эфир был наполнен слухами о сетях торговли детьми и секс-культах знаменитостей, возникло общее недоверие к некоторым позициям, которые стали казаться немыслимыми, до такой степени, что трудно было упомянуть о безумном посте, увиденном в Facebook или Twitter, не получив вопроса: "Это был кто-то, кого вы действительно знаете?" В большинстве случаев подразумевалось, что это мнение, скорее всего, принадлежит машине, то есть не является мнением вообще, хотя формулировка была достаточно расплывчатой, чтобы ее можно было истолковать более широко, как полное отрицание политической реальности, лежащей за пределами собственной социальной сети. Как и большинство людей, живущих в университетских городах, я вращаюсь в замкнутых и политически однородных кругах, хотя даже эта среда была менее однородной, чем эхо-камеры, в которых каждый из нас обитал в Интернете. Однажды на встрече во дворе я услышал, как одна женщина сказала, что вся идея о том, что некоторые прогрессисты отказываются голосовать в том году за кандидата от демократов, - чистая выдумка, что единственные пользователи, выражающие подобные мнения в сети, - боты, на что другая женщина ответила, несколько защищаясь, что она сама является одним из таких избирателей.

С момента выборов 2016 года рядовые граждане остро ощущают, что эти бессознательные агенты каким-то образом "подрывают демократию". Но разговоры об этой угрозе часто ограничиваются ее самыми прямыми и непосредственными последствиями. Проблема не только в том, что общественное мнение формируют роботы. Дело в том, что стало невозможно отличить идеи, представляющие законную политическую волю, от тех, которые бездумно распространяются машинами. Эта неопределенность создает эпистемологический разрыв, который делает практически невозможным назначение виновных и позволяет легко забыть о том, что эти идеи высказываются и распространяются членами нашей демократической системы - проблема, которая имеет гораздо более глубокие корни и укоренилась, и для которой нет быстрых и легких решений. Вместо того чтобы смириться с этим фактом, все чаще говорят о том, что виноваты сами платформы, хотя никто не может прийти к единому мнению, где именно кроется проблема: Алгоритмы? Структура? Отсутствие цензуры и вмешательства? О ненавистнической риторике часто говорят так, будто это ошибка кодирования - "кошмар модерации контента", "общеотраслевая проблема", как ее описывают руководители различных платформ, которую необходимо решать с помощью "различных технических изменений", большинство из которых направлены на ублажение рекламодателей. Такие разговоры лишь укрепляют убежденность в том, что коллективная подноготная экстремистов, иностранных агентов, троллей и роботов - это эмерджентная черта самой системы, фантом, таинственно возникающий из кода, как Грендель, пробуждающийся из болота.