Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов

Создание вариаций классификаторов, которые надежно работали бы во всем мире, может показаться непосильной задачей, пока вы не вспомните, что точность и запоминание классификаторов часто оказываются незначительными даже в американском английском. Тогда проблема начинала казаться невыполнимой.

ИИ был краеугольным камнем стратегии Facebook по управлению своей платформой, но эта стратегия не могла работать за пределами нескольких основных языков на основных рынках. Только в Индии насчитывается более двадцати официальных языков. Уже в 2021 году сотрудники говорили о классификаторах выборов на двух ведущих языках, хинди и бенгали, как о "недоразвитых", "устаревших" и "не очень уловимых". Даже элементарных классификаторов не существовало для большинства остальных индийских языков, на которых в мире говорит больше людей, чем на английском. И Facebook не планировал их создавать.

Отсутствие адаптированного ИИ не только лишило людей, говорящих на этих языках, тех улучшений, которые могла бы дать автоматизированная система модерации контента. Это означало, что версия платформы, с которой они сталкивались, становилась только хуже.

К 2020 году компромисс между ростом и честной работой был хорошо принят внутри Facebook. Компания могла с точностью отрицать, что лента новостей способствует росту ненависти и лжи, но не могла сказать, что стимулирование роста в ленте новостей не приводит к росту ненависти и лжи как побочному эффекту. Эта реальность привела к постоянным переговорам между командами, ориентированными на рост и честность. Если компания изменяла ленту новостей таким образом, что сенсации росли во всем мире, она могла снизить уровень сенсаций в США или Германии, чтобы компенсировать это. Но для многих рынков, объединенных в категорию "Остальной мир", такая реакция была невозможна.

В силу сложившихся обстоятельств команда At Risk Country оказалась в несколько стесненных обстоятельствах. Чем больше платформа инвестировала в языковой ИИ для смягчения социальных проблем, тем больше увеличивался разрыв между рынками, где такие классификаторы существовали, и теми, где их не было. " Большинство наших систем контроля честности менее эффективны за пределами США", - писал Тони Лич, глава команды ARC, в конце 2020 года, подводя итоги своей работы. "Классификаторов либо не существует, либо они работают хуже", - писал он, - и "нам не хватает человеческой поддержки".

Команда Лича стремилась когда-нибудь создать классификаторы и вмешательства американского качества для стран, подверженных риску насилия в обществе, но компания не собиралась делать это в ближайшее время. В таких странах, как Мьянма и Йемен, Facebook все еще не хватало даже элементарных классификаторов для выявления подстрекательства к насилию и восхваления ненавистных деятелей, не говоря уже о возможности целенаправленного вмешательства в кризисную ситуацию.

Во время этнорегиональной гражданской войны в Эфиопии у Facebook не было классификатора языка ненависти ни для одного из основных языков страны. Количество проверок фактов на одного пользователя там было на 3 % меньше, чем в США, и даже не позволяло людям сообщать о нарушении содержания на языке оромо, языке самого густонаселенного региона Эфиопии.

"Мы в значительной степени слепы к проблемам на нашем сайте", - говорится в презентации Лича, посвященной Эфиопии.

Сотрудники Facebook выпустили множество внутренних работ, подобных этой: заявления о том, что компания запуталась в себе и не в состоянии обеспечить даже элементарное устранение потенциально ужасных проблем. События на платформе вполне могли привести к гибели людей и почти наверняка привели, утверждают правозащитные группы, ведущие мониторинг в Эфиопии. Меарег Амаре, преподаватель университета в Аддис-Абебе, был убит возле своего дома через месяц после того, как вирусным стал пост, набравший 35 000 лайков, в котором был указан его домашний адрес и содержался призыв к нападению на него. Facebook не удалил его. Теперь его семья судится с компанией.

Как это часто бывает, компания предпочла рост качеству. Усилия по расширению сервиса в более бедных и изолированных местах не заставили себя ждать, пока защита пользователей догонит их, и даже в странах с "ужасным" риском массовых злодеяний команде "Страны риска" требовалось разрешение на действия, которые вредили взаимодействию.

Обещание компании "бороться за свободу слова во всем мире", как выразился Цукерберг в своей речи в Джорджтауне, также имело свои пределы. В начале 2020 года, пытаясь заставить Facebook выполнить приказ о цензуре "антигосударственных" постов, правительство Вьетнама заблокировало локальные серверы компании в стране. Это не привело к отключению сервисов Facebook, а лишь сделало их работу медленной и прерывистой.

Facebook держался семь недель. Затем она подчинилась требованиям правительства и удалила аккаунты активистов, которые в итоге были приговорены к длительным тюремным срокам.

Компания Facebook заявила агентству Reuters, которое рассказало о капитуляции компании, что по-прежнему считает свободу слова одним из основных прав. Как и пользование Facebook. "Мы приняли эти меры, чтобы гарантировать, что наши сервисы останутся доступными и удобными для миллионов людей во Вьетнаме, которые полагаются на них каждый день", - говорится в заявлении компании.

-

Несмотря на ограничения, даже желчно настроенные сотрудники смогли увидеть ценность своей работы, когда были закрыты сети ненависти, пересмотрены политики и внесены изменения в рейтинги. Масштаб компании усиливал их достижения. Один день, проведенный за обновлением внутреннего списка арабоязычных анти-ЛГБТК-ругательств Facebook, оказал большее влияние на общественный дискурс, чем могла мечтать местная некоммерческая организация.

Но выполнение этой работы требовало принятия ограничений, связанных с бизнесом. Возможно, наибольший диссонанс между стремлениями и реальностью испытывали сотрудники, работавшие в Индии, которая одновременно представляла собой "первый уровень" риска насилия в обществе, а также имела правительство, которого Facebook опасалась.

Документы и стенограммы внутренних встреч американских сотрудников компании показывают, как сотрудники пытаются объяснить, почему Facebook не следует своему обычному плану действий при борьбе с разжиганием ненависти, координацией насилия и правительственными манипуляциями в Индии. Сотрудники в Менло-Парке обсуждали продвижение BJP лжи о "Любовном джихаде". Они встречались с представителями правозащитных организаций, которые документировали насилие, совершаемое мстителями, защищающими коров. Они отслеживали усилия индийского правительства и его союзников по манипулированию платформой через сети аккаунтов. Однако ничего не изменилось.

"У нас много бизнеса в Индии, да. И у нас есть связи с правительством, я полагаю, поэтому есть некоторые нюансы, связанные со смягчением последствий в Индии", - рассказал один сотрудник другому о том, как компания долгое время не реагировала на оскорбительные действия со стороны индийской разведки.

На другой встрече группа, занимавшаяся проблемой "политизированной ненависти", сообщила коллегам, что BJP и ее союзники координируют клевету "Любовный джихад" и другой хэштег, #CoronaJihad, основанный на идее, что мусульмане заражают индусов вирусом COVID через халяльную еду.

Раштрия Сваямсевак Сангх, или РСС - зонтичное индуистское националистическое движение, политической ветвью которого является BJP, - распространяло эту клевету через 6000 или 7000 различных организаций на платформе с целью представить индийских мусульман недочеловеками, пояснил ведущий. В некоторых сообщениях говорилось, что Коран призывает мусульманских мужчин насиловать членов своей семьи женского пола.

"То, что они делают, действительно пронизывает индийское общество", - отметил ведущий, назвав это частью "большой войны".

Коллега на встрече задал очевидный вопрос. Учитывая, что компании было достоверно известно о скоординированной кампании ненависти, почему посты или аккаунты не были удалены?

"Последние полтора года я получал ответ, что удалять RSS-контент как ненавистный слишком политически чувствительно", - сказал ведущий.

Ничего не нужно было говорить в ответ.

"Я вижу ваше лицо", - сказал ведущий. "И я полностью согласен".

-

Если американским сотрудникам в Менло-Парк было трудно смириться с согласованной геноцидной риторикой, то Кирану это было гораздо труднее.

Как сотрудника Facebook, их будущее в Индии было блестящим. Однако как человеку, приверженному светской демократии, им было страшно. И в итоге второе перевесило первое.

Особенно запомнился один случай, связанный с местным политическим кандидатом. Как вспоминает Киран, парень был мелкой рыбешкой, активистом индуистского национализма, который не достиг шестизначного числа последователей Раджи Сингха на , но все равно был провокатором. По-настоящему отвратительное поведение этого человека неоднократно отмечалось модераторами низшего звена, но компания почему-то всегда оставляла его без внимания.

В этот раз все было иначе. Активист выложил в сеть видео, на котором он и его сообщники похитили человека, который, как они сообщили в камеру, убил корову. Они отвели пленника на строительную площадку и напали на него, а пользователи Facebook радостно приветствовали его в разделе комментариев.

По словам Киран, видео было удалено, а аккаунт активиста помечен на удаление. Но от мрачных мыслей о том, что человека пытают за участие в социальных сетях, было трудно избавиться. Помимо мерзости содержания, видео отражало опасения Кирана, что Facebook меняет поведение индийских пользователей в реальном мире.

За неполное десятилетие методы общения людей в Facebook способствовали нормализации высказываний, по сравнению с которыми некогда строгие законы Индии, запрещающие "разжигание вражды" между представителями разных рас, религий и каст, казались просто причудливыми. Риторика "коровьих мстителей" в Facebook все еще способна шокировать, но это, возможно, временно.

Через несколько недель Киран обнаружил, что аккаунт защитника коров был восстановлен. Они так и не узнали, почему.

"Это было время, когда наша команда испытывала острую нехватку кадров", - говорят они. "Вы не могли потратить день на то, чтобы разобраться с одним делом, потому что у вас было пятьдесят других дел, которые нужно было сделать приоритетными".

-

Как репортер, я рад работать с надежными источниками, независимо от их мотивов. Информация, полученная от человека, которого упрекнули в продвижении по службе, может быть не менее ценной, чем информация, полученная от осведомителя, руководствующегося совестью, и, вероятно, первых больше, чем вторых.

Идеалистов, таких как Киран, защитить сложнее. Человек, считающий, что начальник плохо с ним обращается, обычно не совершает поступков, которые еще больше вредят его личным интересам. Тот, кто пришел к выводу, что его работодатель ускоряет продвижение страны к мажоритарному насилию, гораздо более склонен к риску.

На тот момент, когда я разговаривал с Киран, я не понимал, как Facebook отслеживает активность сотрудников на Workplace, чтобы оценить их личные возможности. Они оказались невероятным источником, объясняющим как политику индийского подразделения Facebook, так и динамику развития ее продуктов за рубежом. Полученная от них информация составила основную часть двух материалов на первой полосе. Одна из них касалась внутренней работы Facebook, связанной с Баджранг Дал, молодежной группой, связанной с RSS. Члены этой организации, в которую входят тысячи местных клубов по всей Индии, заслужили репутацию сторонников насилия - от ежегодного нападения на светские пары, празднующие День святого Валентина, до убийств мусульман и христиан.

Правительство США считало Баджранг Дал боевой организацией, и Facebook тоже. Только привычка членов Баджранг Дал вести прямые трансляции актов насилия позволила легко определить эту группу как "опасную организацию".

Но Facebook бездействовал. Одна из причин заключалась в том, что, как и RSS, эта организация имела тесные отношения с BJP. Другая причина заключалась в том, что "Баджранг Дал" и ее союзники были настолько агрессивны, что служба безопасности Facebook в письменном виде заявила, что опасается их физического нападения на индийские офисы компании. Эта история иллюстрирует укоренение мажоритарного насилия в Facebook и неприкасаемость сил, стоящих за ним. Баджранг Дал нельзя было назвать "опасной организацией", потому что она была слишком опасна.

Киран также была основным источником информации для последующей статьи об Анхи Дас. Facebook всегда заявлял о своей приверженности сохранению абсолютного нейтралитета платформы в вопросах политики. Роль компании заключалась в предоставлении форума для конкуренции - как выразился Ник Клегг, бывший заместитель премьер-министра Великобритании, ныне занимающий пост вице-президента по глобальным вопросам, - а не в том, чтобы "взять ракетку и начать играть".

Коллеги не знали Даса как созерцателя. Тем не менее анонимных обвинений в фаворитизме внутри Facebook было недостаточно, чтобы написать об этом в новостях. Киран, однако, знал, где можно найти явные доказательства предвзятости: На рабочем месте.

Платформа с ее функциями, похожими на Facebook, убаюкивала людей, заставляя их говорить непринужденно. На протяжении многих лет Дас хвасталась своим доступом к высшему руководству BJP, оскорбляла конкурирующие партии и ругала своих сотрудников за то, что они не выражают должного энтузиазма по поводу правительства Моди.

"Потребовалось тридцать лет работы на низовом уровне, чтобы избавить Индию от государственного социализма", - написала она после его первого избрания на пост премьер-министра, восхваляя его "силовые" наклонности. Она даже утверждала коллегам, что в избрании Моди виновата помощь Facebook в проведении его кампании в социальных сетях.

Посты были весьма убедительными, но им было несколько лет. Это был материал, к которому в 2020 году никто не будет иметь доступа, разве что копатели. Такие раскопки были сопряжены с большим риском. Это был тот самый случай, когда Facebook может вернуться и поискать, если подобное утверждение будет опубликовано в журнале. В зависимости от того, кто еще получил доступ к этим сообщениям, Киран могла быть в безопасности - или же они могли выдать себя корпоративной службе безопасности. Оценить риск было невозможно.

Киран все равно дал мне добро на размещение постов. 21 августа 2020 года "Джорнал" опубликовал статью о том, что глава компании по вопросам государственной политики в Индии был на стороне BJP.

Дас, которая уже извинилась перед коллегами за свои высказывания о мусульманах, провела некоторое время вне офиса. Через шесть недель она официально покинула Facebook, "чтобы заняться общественной деятельностью", как сообщила компания.

По соображениям собственной безопасности история Кирана должна закончиться и на этом.

Глава 13

Время, когда Facebook может предпринять значимые действия в преддверии президентских выборов 2020 года, сужалось с каждым днем.

В Civic знали, что если и нужно расставить приоритеты, так это взять группы под контроль. Конечно, группы могут быть прекрасными, особенно если они связаны с реальными сообществами или узкими интересами (вспомните деревообработчиков или супругов людей с болезнью Альцгеймера). Но они могут быть и очень, очень плохими, особенно если речь идет о здоровье и политике. Существовали группы "естественного лечения" с шестизначным числом членов, которые убеждали людей с раком груди отказаться от медицинского лечения и вместо него применять убивающую плоть мазь под названием "черная мазь". В массовых политических группах доминировали небольшие группы пользователей, продвигающих переработанные мемы, граничащие с ненавистью высказывания и коммерческий спам.

Группы стали такими ужасными благодаря сочетанию крайней запущенности и стероидного роста. Одна из самых больших уязвимостей продукта заключалась в том, что он позволял преданным пользователям практически в одиночку провоцировать вирусное развитие. Одинокий пользователь мог - и сделал это - отправить 400 000 приглашений в группы QAnon в течение шести месяцев. В сочетании со слабыми критериями Facebook для "вступления" в группу - все, что нужно было сделать пользователю, это взаимодействовать с одним из его постов в ленте новостей любым способом - это был готовящийся кошмар, особенно в преддверии выборов, уже утонувших в теориях заговора.

Еще в 2017 году сотрудники Integrity зафиксировали, как умеренно проблемные "шлюзовые" группы служили площадкой для вербовки злобных групп, которые организовывали кампании по преследованию неугодных им пользователей. Такие группы проверяли пользователей на предмет возможных стукачей, иногда требуя от пользователей использовать язык ненависти в качестве критерия для вступления. (Это было в меру эффективно: не раз меня не пускали в группу, требуя, чтобы я использовал слово на букву "Н").

Два года спустя команда Integrity, занимающаяся группами, попыталась обуздать продукт, подстегнутая существованием группы ненависти в Шри-Ланке, численность которой за три дня превысила 300 000 человек, и успехом активистов, выступающих против вакцинации, возмущенных попыткой остановить вспышку кори в то время. Назвав свою инициативу "Охота на китов приглашений", сотрудники отделов целостности групп и стран риска предложили компании резко сократить существующий лимит на приглашения в группы, который на тот момент составлял одну тысячу на аккаунт в час.

Завязался знакомый танец. Вкратце: у команды Groups Product были цели по росту, которые нужно было достичь, и предложение было отклонено.

По несчастливому совпадению, внимание к тому, как можно злоупотреблять инструментами вирусного роста групп, появилось как раз в тот момент, когда Цукерберг публично переориентировал платформу Facebook на более приватные формы общения и особенно на группы.

Продукт будет "сердцем приложения", - сказал мне Цукерберг в интервью, данном в апреле 2019 года, чтобы объявить об изменениях. Недавно вступив в группу, насчитывающую 96 000 членов и утверждающую, что больные раком должны отказаться от стандартных медицинских рекомендаций в пользу "естественных методов лечения", я спросил Цукерберга о безопасности. Генеральный директор обнадежил. "Если люди действительно ищут это сами, то хорошо, - сказал он. Но Facebook, конечно, не будет способствовать росту таких конспирологических сообществ. По словам Цукерберга, его решение о создании групп было отложено на шесть месяцев, поскольку Facebook "отдал приоритет многим из этих вопросов безопасности".

Несмотря на заверения Цукерберга, проблемы с группами оставались очевидными и хроническими. Электронные письма, позже переданные следователям Палаты представителей в рамках расследования Комитета от 6 января, показывают, что Самидх Чакрабарти, Гай Розен и Том Элисон, тогдашний вице-президент по инженерным вопросам, получили оценку того, что состояние групп в преддверии следующих президентских выборов было катастрофическим.

"Вредные гражданские группы растут быстрее, чем наши системы обеспечения целостности могут с ними справиться", - говорится в электронном письме, направленном мужчинам. "Мы все еще подвержены риску во время выборов в США 2020 года, поскольку эти группы разрастаются и ускользают от обнаружения".

Когда до выборов оставались считанные месяцы, Integrity сформировала "Целевую группу групп", чтобы заставить руководство компании пересмотреть свой подход. Трамп отказывался говорить, признает ли он результаты выборов, если проиграет Джо Байдену. Опасения по поводу беспорядков и даже насилия росли.

У целевой группы было две основные функции. Первая была посвящена теме "Рост злоупотребляющих групп" и предлагала меры по замедлению роста групп, по крайней мере, достаточно долго, чтобы дать команде время для устранения нарушений. Какова бы ни была нормальная терпимость Facebook к быстрому росту ужасных групп, ее следует снизить, по крайней мере, на данный момент, утверждали сотрудники. В презентации для руководства исследователи написали, что примерно "70 % из 100 самых активных гражданских групп США считаются нерекомендованными из-за таких проблем, как ненависть, дезинформация, запугивание и преследование".

"Нам нужно что-то сделать, чтобы остановить эти разговоры и не дать им развиваться так быстро, как они развиваются", - пишут они.

Этот аргумент приводился и раньше, и его игнорировали, но широкие круги руководства Facebook были взбудоражены приближающимися выборами. В электронном письме своему коллеге из отдела политики Facebook Розен заявил, что Facebook необходимо "немного притормозить" в работе с группами. "Некоторым из крупнейших гражданских групп буквально пару недель от роду - представьте, как быстро они вырастут в октябре или ноябре, прежде чем мы успеем их охватить", - предупредил Розен.

В знак молчаливого признания того, что существующий надзор Facebook за группами не функционирует, Сагник Гош и другие инженеры Civic были призваны создать инструменты, которые могли бы надежно выводить проблемный контент групп на человеческий обзор или назначать автоматические удары администраторам. Все это не было чем-то революционным, но в последние месяцы выборов Розен уделял приоритетное внимание работе с группами, получившими широкую известность. Того же нельзя было сказать о генеральном директоре компании.

По иронии судьбы, как раз в тот момент, когда топ-менеджеры Facebook осознали токсичность групп, платформа удалила одну из них, в которой состоял Цукерберг. Группа была быстро восстановлена, но не раньше, чем Цукерберг начал внутреннюю кампанию против чрезмерного влияния социальных медиа. Приказав создать команду, которая будет заниматься предотвращением неправомерных удалений контента, Цукерберг потребовал от старших сотрудников регулярных брифингов о ходе работы. Он также предложил, чтобы вместо жесткого соблюдения правил платформы в отношении контента в группах, Facebook больше полагался на чувства пользователей в них. В ответ на это один из сотрудников предложил полностью освободить частные группы от за "низкоуровневый язык ненависти".

Вряд ли это была благоприятная обстановка для исправления того, что даже топ-менеджеры Facebook признавали вопиющей проблемой. Когда один из инженеров предложил Facebook снизить количество ударов, необходимых для удаления группы, с пяти до трех, глава отдела ленты новостей Джон Хегеман ответил, что, по его мнению, идея здравая, но настолько проигрышная, что ее даже не стоит предлагать. По его словам, руководство уже отклоняло подобные предложения, и "маловероятно", что они захотят снова обсуждать этот вопрос.

Несмотря на несговорчивость генерального директора, к сентябрю компания внесла несколько основных изменений, одобренных Цукербергом. Компания прекратила активное продвижение нерекомендованных групп в ленте новостей и, наконец, установила некоторые ограничения на "массовые приглашения". Она согласилась временно прекратить рекомендовать все группы, посвященные гражданскому обществу и здравоохранению, и ввела трехнедельный период ожидания, прежде чем вновь созданные группы по любой тематике смогут быть рекомендованы пользователям Facebook.

Наконец, команда внесла свой вклад в арсенал вмешательств Civic Integrity "Разбей стекло". Если бы в день выборов все пошло наперекосяк, компания могла бы включить рубильник и заставить администраторов групп с историей нарушения правил Facebook вручную утверждать все посты участников. Такое изменение одновременно замедлит работу групп в целом и заставит администраторов нести ответственность за одобренный ими контент.

Вторая часть работы группы Groups Task Force была направлена на то, чтобы наконец разобраться с некоторыми из худших групп на сайте. Чтобы получить разрешение на их удаление, руководитель группы начал ежедневно отправлять Розену и другим топ-менеджерам анализ активности в группах вместе с образцами их худшего контента.

Все это вызывало сильный ужас - люди призывали к линчеванию и гражданской войне. Одна группа была наполнена "восторженными призывами к насилию каждый день". Другая группа утверждала, что ее создали патриоты, поддерживающие Трампа, но на самом деле ею управляли "финансово мотивированные албанцы", ежедневно направлявшие миллион просмотров на фальшивые новости и другой провокационный контент.

Комментарии часто были хуже самих постов, и даже это было сделано специально. Содержание постов было зажигательным, но не достигало границ, установленных Facebook для удаления. Однако оно было достаточно плохим, чтобы вызвать гнев пользователей - классическая "приманка для ненависти". Администраторы были профессионалами, и они понимали слабые места платформы не хуже, чем Сивик. В ленте новостей гнев поднимался, как воздушный шар, и такие комментарии могли вывести группу в лидеры.

Ранее Public Policy отказывалась принимать меры в отношении приманки для разжигания ненависти. Как можно было бы обвинить того, кто разместил новостную статью, в комментариях под ней? Но, учитывая приближающиеся выборы и общее состояние беспорядка, в котором оказалась страна, все стали немного более восприимчивыми, чем раньше. Размещение призывов к ненависти по-прежнему не являлось нарушением правил Facebook, но руководство согласилось с тем, что если Целевая группа по группам сможет собрать достаточно примеров официального неправильного поведения определенной группы, то они смогут закрыть ее. Команда сотрудников будет следить за известными проблемными группами, ждать, когда они переступят черту, а затем аргументировать, почему нарушения оправдывают нанесение удара по ним.

Можно утверждать, как это уже давно делала команда Facebook по публичной политике, что такая проверка отражает предвзятость. В качестве контраргумента можно сказать, что платформа уже была настроена на провал.

"Мы сильно переобещали в отношении нашей способности модерировать контент на платформе", - написал Розену один из специалистов по анализу данных в сентябре. "Мы нарушаем и будем продолжать нарушать наши недавние обещания".

В кои-то веки аргумент "лучше перебдеть, чем недобдеть" победил.

-

В течение нескольких месяцев было удалено четыреста групп, связанных с политикой, в ходе процесса, который, по собственному признанию команды, был сдержанным в плане "методологического величия". Но он оказал влияние: закрыл примерно 1 миллиард ежемесячных просмотров контента из токсичных групп.

Кроме того, компания пошла на попятную и в отношении политической рекламы, объявив в сентябре, что запретит ее на неделю до и после выборов. Если возникнут ложные заявления о фальсификации бюллетеней, Facebook меньше всего захочет брать деньги за их продвижение.

Компания также отказалась от своего нежелания маркировать речи политических деятелей. Основываясь на работе, ранее проделанной Харбатом, Facebook подготовил уведомления о политических постах, которые сначала направляют пользователей к внешним источникам фактической информации о голосовании, а затем объявляют о завершении выборов после подсчета бюллетеней.

В конце игры в Meaningful Social Interaction готовилось еще одно значительное изменение. Хотя сотрудники Civic сначала предупреждали, а затем документально подтвердили, что акцент MSI на комментариях и повторных публикациях поощряет гнев в политике, Facebook мало что сделал для решения этой проблемы за два с половиной года, прошедшие с тех пор. Но в сентябре компания неожиданно согласилась с давней рекомендацией Civic уменьшить вознаграждение за размещение контента, приводящего зрителей в ярость. Отныне алгоритм перестанет рассматривать эмодзи гнева как основание для усиления поста. Facebook также планирует перестать рассматривать комментарии с издевками как положительный сигнал распространения.

Это была большая победа для Civic и команды Integrity Ranking, хотя и с небольшим опозданием. Правильная перестройка рекомендательных систем News Feed для снижения вирусности "контента, вызывающего гнев", заняла бы недели, а этого времени у компании уже не было. А пока Facebook навязывает быструю и грязную версию, просто изменяя результаты работы системы.

" Этот запуск временный, пока не будут обновлены основные модели", - отметил автор сентябрьского документа, описывающего последствия изменения рейтинга. Но даже такое небрежное решение привело бы к значительному сокращению дезинформации и подстрекательства к насилию. (Позднее Facebook будет утверждать, что это изменение не оказало существенного влияния, хотя компания и сохранила его в силе).

Внезапный шквал одобрений на поздних стадиях для давно отложенных проектов по обеспечению честности оправдывает ощущение, что где-то далеко над Civic люди в корпоративной иерархии начинают нервничать. Но именно меры, которые, как надеялись в Facebook, не потребуются, наиболее наглядно продемонстрировали, что компания готовится к возможной аварийной посадке на выборах.

Несмотря на то, что компания начала работу над созданием мероприятий Break the Glass в США, работа была направлена на менее развитые страны. Многие из них, такие как агрессивное ограничение повторного обмена сообщениями, воздержание от рекомендации вновь созданных групп и наказание за распространение пользователей, неоднократно размещавших ложную информацию, начинались как предложения по постоянному улучшению целостности всей платформы, которые были отклонены на основании того, что они снижали вовлеченность или считались неприемлемыми командой общественной политики, ориентированной на США. Для крупных рынков эти предложения оказались в конце пути.

Однако в странах риска эти отброшенные рычаги честности получили потенциальную жизнь. Не имея возможности полагаться на классификаторы и обладая ограниченными возможностями для проверки контента на таких языках, как бирманский, тамильский или оромо, Facebook был готов изменить свою механику таким образом, что на родине это было невозможно.

Многие из инструментов, которые были внедрены на этих рынках, подозрительно напоминали те, которые KX Jin призвал компанию применить по всему миру годом ранее. Эти меры в гораздо меньшей степени опирались на искусственный интеллект и в гораздо большей - на трение, делая платформу более стабильной в тех случаях, когда не требовалась модерация. Они замедлили распространение вирусного контента, заменив его материалами, размещенными непосредственно друзьями пользователя. Они ограничили скорость роста групп Facebook, ограничили рекомендации контента из недавно созданных источников и ограничили комментирование постов, которые, как казалось, вызывали много ненависти. Кроме того, было проведено агрессивное ранжирование. Классификаторы становились в геометрической прогрессии эффективнее, если вы были готовы сильно понизить рейтинг поста, который имел шансы пятьдесят на пятьдесят оказаться проблемным, хотя многие из самых мощных шагов этого не требовали.

Первое крупномасштабное применение мер "Разбей стекло" - сокращенно БСГ - произошло в Мьянме, где в 2018 году компания с запозданием бросила все силы на сдерживание продолжающегося насилия против рохинджа, поддерживаемого государством . В следующий раз BTG были применены в Шри-Ланке на Пасху 2019 года, когда разрушительные атаки террористов-смертников, вдохновленных ИГИЛ, на церкви и отели грозили привести к началу более масштабного насилия.

"Мы пытались сделать взрывы в Шри-Ланке большим обучающим событием, - вспоминает один из сотрудников ARC. Поначалу было сложно определить, насколько эффективны те или иные меры, поскольку проводить A/B-тесты в чрезвычайных ситуациях было неэтично. Но позже команда смогла провести чистые тесты, определив, что самые мощные инструменты связаны с ранжированием контента. "Мы стали получать от гражданского общества сообщения о том, что это спасает жизни".

Даже когда преимущества безопасности были высоки, а бизнес-риски низки - никого не волновал рост числа пользователей в Йемене или мысли сирийского правительства о модерации контента, - инструменты BTG все равно использовались экономно. Например, в преддверии выборов в Мьянме в 2020 году компания задействовала меру "Разбить стекло", которая ограничивала распространение повторно выкладываемого контента и заменяла его на контент от друзей пользователей. Это вмешательство привело к впечатляющему сокращению на 25 % вирусных подстрекательских постов и на 49 % вирусных фотографий-мистификаций. Эти достижения - которые, как отмечалось в служебной записке, снижают риск того, что Facebook "спровоцирует дальнейший конфликт" в Мьянме, - не уменьшили количество сеансов, в течение которых пользователи, говорящие на бирманском языке, заходили в приложение. Единственной ценой стало примерно 2-процентное снижение вовлеченности по показателю "Значимые социальные взаимодействия".

Учитывая историю участия Facebook в этнических чистках в Мьянме, сокращение количества реакций и комментариев на 2 % казалось бы небольшой ценой за большую безопасность. Но даже такая цена оказалась слишком высокой для компании, чтобы принимать ее на постоянной основе. " Мы планируем свернуть это вмешательство после выборов в Мьянме в ноябре", - отмечалось в октябрьском документе команды ARC. После того как бирманские военные захватили власть в результате переворота, компания сохранила некоторые успокаивающие меры, но отменила ограничения на повторный обмен, которые уменьшили распространение подстрекательского контента. В принципе, Цукерберг по-прежнему не любил вносить в платформу изменения, снижающие "ценность для пользователей".

Еще более неохотно компания развертывала защиту Break the Glass у себя дома. Официальное присвоение Соединенным Штатам статуса "страны первого уровня риска" поставило бы их в один ряд с такими странами, как Ирак, Йемен и Сирия, а компания обычно старалась избегать подробного обсуждения эффективности своих чрезвычайных мер даже в этих странах. Это бы показало, что компания обладает значительной властью над такими проблемами, как язык ненависти, - теми, которые такие руководители, как Эндрю Босворт, автор печально известной записки "Уродливая правда", предпочитают сваливать на человечество в целом.

Тем не менее, температура в американской политике, несомненно, повышалась: регулярно происходили стычки между протестующими и полицией в Портленде, караваны сторонников Трампа пытались столкнуть с дороги предвыборный автобус Байдена в Техасе, а действующий президент намекал, что не смирится с поражением. В сентябре Ник Клегг сообщил USA Today, что компания подготовила планы на случай непредвиденных обстоятельств, но не будет их обсуждать, потому что это "несомненно вызовет большее чувство тревоги, чем мы надеемся, будет оправдано". Компания пытается успокоить общественность, что она, по крайней мере, готова справиться с кризисом. Тем не менее, Соединенные Штаты останутся неофициальным членом клуба потенциально несостоятельных государств Facebook.

Один из руководителей отдела коммуникаций Facebook позже сокрушался, что ему не удалось предотвратить появление названия "Разбей стекло" с его ассоциациями с огнетушителями и звонком тревожного колокола. Этот термин вызывал оправданную панику, неминуемый кризис и угрозу человеческой жизни. Все это справедливо, учитывая контекст. Но с точки зрения связей с общественностью, это было абсолютно собачье название, и, возможно, немного слишком в тему.

-

К октябрю Civic вернулась к работе в режиме "комнаты войны", контролируя платформу в любое время суток. После нескольких лет настойчивого продвижения более жесткого подхода к таким эндемическим проблемам, как дезинформация и поляризация, некоторые из их самых амбициозных предложений наконец увидели свет. Время было непростое - никогда еще в новейшей истории страна не чувствовала себя так напряженно из-за внутренней политики, - но члены команды считали, что Civic делает все возможное, чтобы соответствовать моменту.

Только Чакрабарти и, возможно, пара доверенных коллег знали, что Civic делает это в последний раз. Давние конфликты между Civic и командами по продуктам, политике и руководству Facebook вылились в фурор после "грабежа/стрельбы", и руководители, за исключением Чакрабарти, в частном порядке начали обсуждать, как решить проблему того, что теперь неоспоримо рассматривалось как мошенническая операция Integrity. Civic, с ее преданным инженерным персоналом, обширными исследованиями и самостоятельно выбранной миссией, оказалась на волоске от гибели.

В электронном письме, полученном комитетом 6 января, Розен сообщил Хегеману, что, как только выборы закончатся, компания, скорее всего, взорвет свою существующую структуру Integrity.

"Мы изучаем несколько моделей в очень, очень тесной группе", - написал Розен, добавив, что Хегеман должен быть "уверен", что перестановки решат "скалистые отношения вашей команды с Civic Integrity".

К концу лета или началу осени Розен сообщил Чакрабарти, что судьба команды предрешена. Как только выборы закончатся, Civic будет распущена. Чакрабарти не стал спорить, и, как он позже сказал помощникам, он даже не был уверен, что не согласен. Отношения между его командой и компанией, вероятно, уже не подлежали восстановлению.

Обычно откровенный со своими менеджерами по продуктам во время еженедельных совещаний, Чакрабарти несколько месяцев не сообщал своим помощникам, что Civic будет разделена. Нужно было беспокоиться о выборах.

Выборы были всепоглощающими. Цукерберг также вложил в борьбу часть своего личного состояния. Тот самый генеральный директор, который в Джорджтауне утверждал, что лучший способ борьбы с дезинформацией - это сосредоточиться на подлинности оратора, похоже, наконец осознал, что Америка находится в неизведанных водах, столкнувшись с возможностью тотального нападения на демократию. В сентябре того года, когда Трамп в разгар своей кампании по очернению голосования по почте - варианта, который многие избиратели приняли из-за пандемии, - Цукерберг и его жена пообещали пожертвовать 300 миллионов долларов через две некоммерческие организации на местные и государственные избирательные органы. Эта сумма эквивалентна тому, сколько федеральное правительство выделило штатам на проведение выборов в целом.

Предоставление средств на укрепление избирательной инфраструктуры соответствовало концепции генерального директора Facebook как строго нейтральной, но поддерживающей демократический процесс. Но в последние дни гонки были предприняты отдельные усилия по корректировке политического позиционирования компании.

То, что Facebook подвергает цензуре консерваторов, становилось все более популярным тезисом правых. Дело в том, что большая часть дезинформации, которую компания обнаружила на своей платформе, действительно была направлена на правую аудиторию, включая материалы от иностранных игроков, вмешивающихся в американскую политику. Компания провела предыдущие четыре года, больше заботясь о том, чтобы расстроить Трампа, чем о том, чтобы расстроить демократов. На это были веские практические причины. Поскольку Белый дом и Сенат находятся под контролем республиканцев, демократы не могли отдать приказ о проверке регулирующих органов или антимонопольном регулировании так, как это мог сделать президент.

И хотя отношения с республиканцами обычно привлекали больше внимания, к моменту приближения выборов отношения с демократами также ухудшились, вплоть до того, что главному связному Facebook в Конгрессе, бывшему помощнику тогдашнего лидера меньшинства Нэнси Пелоси, запретили посещать ее офис. Опросы общественного мнения свидетельствовали о том, что Трамп проиграет, и компания прекрасно понимала, что оказалась в яме с важным общественным электоратом.

По словам людей, работавших над этим проектом, кампания Байдена уже была раздражена Facebook за то, что она терпела неоднократные заявления Трампа о том, что выборы могут быть украдены у него. План компании по размещению ярлыков с фактами о голосовании на постах обоих кандидатов, конечно, не помог. Команда Байдена увидела, что заметные рекомендации вызывают необоснованные подозрения в отношении их фактических постов, нацеленных на привлечение сторонников, а Демократический национальный комитет выразил Facebook свое недовольство. Он хотел, чтобы такие пометки оставались только для размышлений Трампа о фальсификации выборов.

В октябре Розен пришла к Чакрабарти с вопросом, может ли компания оправдать удаление надписей с информацией о голосовании из постов кандидата от Демократической партии. О том, что лагерь Байдена просит об изменении, разумеется, не упоминалось; это была просто идея.

Чакрабарти долгое время не соглашался с позицией Facebook, согласно которой фактичность заявлений политиков о голосовании и выборах не является ее делом, и возглавил безуспешную попытку изменить ее перед выборами в Бразилии в 2018 году. Но изменение правил в октябре 2020 года в ответ на то, что, как он правильно предположил, было просьбой людей Байдена, казалось неприемлемым. После того как в течение многих лет Civic обвиняли в либеральной предвзятости, сказал позже Чакрабарти двум своим заместителям, в том, чтобы сказать Розену, что выборочная маркировка в пользу демократов не может быть оправдана политикой Facebook, была определенная ирония.

Как и вся страна, команда Civic встретила День выборов нервно. Никто не чувствовал себя готовым. Компания приняла ряд эффективных мер, но никто не чувствовал, что платформа находится на должном уровне. Риск хаоса казался высоким.

В отличие от "Военной комнаты 2018", в этой, благодаря пандемии, была лишь кучка людей, сидящих дома перед своими компьютерами. Тем не менее все были в состоянии повышенной готовности, и, к их облегчению, вторник начался и закончился без серьезных инцидентов. Не было ни насилия на избирательных участках, ни широкомасштабных усилий по подавлению избирателей. Не было ни взломанных в последнюю минуту документов, ни глубоких подделок, ни дико вирусных фейковых новостей, захвативших интернет.

Команда Civic могла вздохнуть спокойно - почти.

У них было последнее желание: победа на выборах, такая, чтобы даже политические наркоманы на Восточном побережье отправились спать к 23:00. Им не повезло.

В то время как Трамп в течение нескольких недель, предшествовавших 3 ноября, кричал о "фальсификации выборов", аналитики и ответственные политические игроки закладывали основу для вероятности того, что результаты не будут известны в течение нескольких дней. Для Трампа ожидаемый рост числа бюллетеней, отправленных по почте, был источником мошенничества. Для всех остальных это был результат голосования в условиях глобальной пандемии, в то время, когда многие все еще боялись выходить из дома.

По мере того как вечером поступали результаты, вскоре стало ясно, что вероятность разгрома исчерпана. Трамп побеждал во многих ключевых штатах, включая Флориду. Но и Байден тоже. Когда Fox News назвал Аризону в пользу демократа, штат, где идет борьба, консерваторы взорвались от ярости, создавая предпосылки для ожесточенной битвы. Подсчет голосов продолжался до самой ночи и, как предсказывали, несколько дней. Но это не помешало Трампу обратиться к нации из Белого дома вскоре после двух часов ночи.

"Мы готовились выиграть эти выборы", - сказал Трамп. "Честно говоря, мы выиграли эти выборы".

В то время как Трамп агитировал из Белого дома, только что созданная группа в Facebook под названием "Остановить кражу" росла на десятки тысяч пользователей в час, став центральной частью инфраструктуры для диких заявлений о наглой фальсификации выборов. Ни одно из этих заявлений не выдержало более чем нескольких часов проверки. Но это не имело значения. К тому времени, когда специалисты по проверке фактов опровергли утверждения о фальсификации электронных машин для голосования в Пенсильвании, Stop the Steal уже перешел к крикам о том, что работники избирательных участков предоставляют избирателям-республиканцам в Аризоне ручку не того типа, что позволяет признать их голоса недействительными.

Менее чем через двадцать четыре часа, когда Facebook удалил группу, сославшись на "чрезвычайные меры", ее численность превысила 360 000 человек. Распространение ложных утверждений о фальсификации выборов среди массовой аудитории в то время, когда вооруженные люди призывали прекратить подсчет голосов возле центров подведения итогов, было очевидной проблемой, и компания знала, что она будет только разрастаться. На момент прекращения работы Facebook в группе Stop the Steal находилось еще 2,1 миллиона пользователей, ожидавших вступления в нее.

Руководство Facebook назвало бы рост Stop the Steal беспрецедентным, хотя сотрудников Civic можно было бы простить за то, что они не разделяли чувства удивления. Более поздний анализ подтвердил то, что многие сразу же заподозрили. Супервизитеры делали свое дело: 30 процентов членов группы Stop the Steal можно было отследить всего по 0,3 процента пользователей.

Были и другие признаки проблем. Классификаторы Facebook были достаточно хороши, чтобы обнаружить, что во время подъема Stop the Steal по всей стране разгорелась ненависть, но они не были достаточно хороши, чтобы уничтожить его. Наступил "безудержный вредоносный вирус", о котором предупреждал КХ Джин, и, как он и предупреждал, защита Facebook была слишком слабой, а правила - слишком запутанными, чтобы успеть за ним. Платформа была просто слишком быстрой.

Днем 5 ноября, через два дня после окончания голосования, Facebook "разбил стекло" на выборах 2020 года в США. Внезапно посты в группах с историей нарушения правил Facebook стали требовать одобрения администратора. Пользователи, желающие поделиться контентом, связанным с выборами, должны были пройти через уведомление, направляющее их к законным источникам информации. Посты, классифицированные как имеющие 70-процентную или более высокую вероятность подстрекательства к насилию, стали исчезать, а темы комментариев с аномально высоким количеством ненавистнических высказываний - замораживаться. Издания, получившие низкие оценки по показателям качества, получили гораздо меньшее распространение, как и сообщения, которые перепощивались в длинных вирусных цепочках.

Название одной из мер "Разбить стекло" - "Прекратить поднимать контент из нерекомендуемых групп" - подчеркивает, насколько все это было исправлено. Вместо того чтобы замедлить работу платформы теми тонкими способами, которые давно рекомендовали сотрудники компании по вопросам честности, Facebook включила экстренный тормоз. В общей сложности шестьдесят четыре отдельные меры по устранению нарушений были приняты задолго до того, как 7 ноября Байден был избран на выборы.

Меры Facebook по экстренному успокоению сработали, как и планировалось, и были отменены, как и планировалось. Менее чем через месяц, когда показатели насилия и подстрекательства в Facebook снизились до предвыборного уровня, компания начала их сворачивать. Одними из первых были ужесточены наказания за подстрекательство к насилию и штрафы за неоднократное размещение дезинформации.

-

2 декабря около двухсот членов команды Facebook по обеспечению гражданской целостности собрались на общее собрание. Никто не был уверен, на чем сосредоточится команда теперь, когда выборы прошли. Все знали, что между командами Civic, Public Policy и рядом продуктовых отделов существует напряженность и назрели какие-то перемены. По их мнению, настало время для очередной реорганизации.

Розен начал встречу, поблагодарив команду Civic и сказав, что они многое изменили. Работа, которую они выполняли, была тяжелой, междисциплинарной и важной, и теперь, когда выборы остались позади , пришло время мыслить более методично. Усилия Civic не очень хорошо масштабировались, поэтому многое из того, что делала команда, было разовым. Чтобы исправить это, требовалось более тесное сотрудничество с другими командами внутри компании.

"И поэтому я очень рад следующему этапу в нашем подходе к целостности", - сказал он всем собравшимся, после чего предоставил слово Чакрабарти, чтобы рассказать о том, что Розен назвал "эволюцией Civic org".

"Круто. Хорошо", - начал Чакрабарти, звучавший менее взволнованно, чем его босс. По его словам, Civic существует уже 1 961 день, и он рассказал, как команда сначала работала над увеличением числа зарегистрированных избирателей, а затем обратила внимание на дезинформацию, преодолевая волну за волной кризисов, как внутренних, так и внешних. По словам Чакрабарти, команда сделала все, что могла, как самостоятельная организация, но для успеха ей нужна была остальная часть Facebook. Поэтому Civic будет распущена, объявил он, а сам он покинет свой пост.

"За эти годы многие из вас говорили мне, что в этой команде вы впервые почувствовали настоящее родство с теми, кто верит в осознанное создание платформ", - сказал он аудитории, признав, что расставание с Civic "может показаться немного странной наградой".

"На прощание я хочу, чтобы вы все увидели, что семена ценностей Civic сейчас находятся внутри каждого из вас", - сказал Чакрабарти, призвав своих сотрудников распространить этос "самоотверженности, конструктивности, представительности, защиты, справедливости и сознательности" по всей компании.

Если язык Чакрабарти больше подходит миссионеру, чем менеджеру по продуктам среднего и высшего звена в технологической компании, то это неспроста. В самой вежливой форме он собирался назвать руководство Facebook кучкой язычников.

"Когда вы видите серьезную проблему, к которой мы пока не относимся серьезно, вы можете набраться смелости и потребовать расширения нашего чувства ответственности. Когда вы видите, что мы рискуем поставить свои краткосрочные интересы выше долгосрочных потребностей сообщества, вы можете выразить свое мнение конструктивно и уважительно", - сказал он. "И когда мы видим, что наши платформы еще больше укрепляют власть имущих, а не демократизируют голос, сохраняйте веру в заявленную миссию нашей компании".

"Так вы чтите наследие того, что мы здесь построили", - заключил он. "И, по сути, так вы можете выполнить свой гражданский долг".

После этого Чакрабарти передал совещание Розену и другим руководителям, которые унаследуют его штат. После коротких вопросов и ответов Розен поблагодарил всех за уделенное время, и на этом все закончилось.

В разгар пандемии у коллег не было возможности пообщаться лично. Все просто вышли из системы. То, что раньше было командой, теперь превратилось в пару сотен бывших сотрудников Civic, которые сидели дома и не знали, что будет с их работой. Среди них была Фрэнсис Хауген, тридцатипятилетний менеджер по продуктам, проработавшая в Facebook чуть меньше полутора лет.

Глава

14

Сразу после выборов я написал Хауген и нескольким десяткам ее коллег в Civic вслепую, обратившись к ним через LinkedIn, чтобы сказать, что я знаком с их работой, знаю, что вокруг нее существует внутреннее напряжение, и считаю, что их усилия заслуживают внимания.

В соответствии с правилами компании, касающимися контактов со СМИ, и соглашением о неразглашении, которое подписывает каждый сотрудник при приеме на работу в Facebook, несколько сотрудников послушно переслали мое сообщение в отдел по связям с общественностью Facebook, а еще несколько человек прислали мне вежливые записки с отказом от общения. Но Хауген сидела над этим уже месяц. Она прочитала статьи, написанные мной в соавторстве в Journal, о готовности Facebook терпеть разжигание ненависти и нарушения правил в Индии, а также о том, как глава отдела политики в Индии открыто обсуждала свое презрение к оппонентам правящей партии страны.

Хауген пришла в Facebook, потому что хотела помочь компании исправить ее платформу. У нее были глубоко личные причины так думать.

Хауген выросла в Айове, она была дочерью профессора колледжа. Она изучала электротехнику и компьютерную инженерию в колледже Олин, а затем отправилась в Кремниевую долину в середине прошлого века, когда технологии были исключительно благосклонны к двадцатилетним людям с ее квалификацией.

В Google она работала над проектом по оцифровке книг и их поиску - проектом настолько малоизвестным, что, даже будучи младшим сотрудником, она в итоге заняла одну из ведущих должностей. Эта работа принесла ей несколько патентов и необычайно практическое знакомство с созданием продуктов для извлечения и фильтрации информации. Она преуспела в этом. Через несколько лет Google оплатила ее обучение в Гарварде по программе MBA. Хауген вернулась в компанию в 2011 году, готовая продолжить свой карьерный взлет.

Вместо этого она чуть не умерла от аутоиммунного расстройства. Медицинские записи того времени свидетельствуют об ужасном состоянии здоровья. С Хауген не было заметно ничего плохого, но она прошла путь от езды на велосипеде до ста миль в день до трудностей с передвижением без инвалидного кресла.

В начале 2014 года Хауген отстала от работы и уволилась. Через два месяца она попала в отделение интенсивной терапии на три недели. К тому времени, когда врачи выяснили, что причиной стал массивный тромб в бедре, у нее уже были необратимо повреждены нервы в руках и ногах.

Хауген была похожа на себя прежнюю. Она не могла подняться по лестнице или удержаться на работе и страдала от мучительных болей, вызванных невидимой болезнью. Жить так бесконечно долго казалось немыслимым.

Семейные связи помогли ей вернуться с края пропасти. Молодой человек, нанятый для помощи Хауген в выполнении поручений, пока она занималась своим выздоровлением, стал для нее главной опорой после года, проведенного в основном дома. Он ходил за продуктами, возил ее на приемы к врачам и помогал ей с физиотерапией.

"Он был как бы потерян, я был потерян - мы были потеряны вместе", - рассказывал позже Хауген. "Это была действительно важная дружба. А потом я потерял его, убедившись, что Джордж Сорос управляет мировой экономикой".

Будучи сторонником Берни Сандерса в 2016 году, этот человек начал проводить все больше времени на онлайн-доске объявлений 4Chan и в темных уголках Reddit, после того как сенатор от Вермонта проиграл демократическую номинацию Хиллари Клинтон. Его мировоззрение в то время, как он позже рассказал мне, представляло собой смесь оккультизма, белого национализма и сингулярности - теоретической точки, когда человеческое сознание превзойдет машинное.

Здоровье Хауген улучшилось настолько, что она смогла вернуться к работе: сначала она создавала алгоритмы для извлечения данных из размещенных пользователями фотографий в Yelp, а затем перешла в Pinterest, где стала ведущим менеджером по продуктам одной из центральных систем рекомендаций контента платформы.

Это была хорошая, интересная работа в востребованной сфере, но Хауген чувствовала себя немного аутсайдером. Частично это было связано с тем, что она отстала в своей карьере - ее иногда брали на работу, чтобы она отчитывалась перед людьми, которых она наняла в качестве стажеров в Google. Но ее отстранение было глубже. Даже после выздоровления боль и изоляция, вызванные длительной болезнью, отделяли ее от молодых сверстников, которые провели свои двадцать с лишним лет здоровыми и общительными.

Ее оптимизм в отношении социальных сетей тоже пострадал. До болезни Хауген рефлекторно принимала идею о том, что социальные сети полезны для мира или, в худшем случае, нейтральны и развлекательны. Наблюдение за тем, как близкий друг отравился безумными, полными ненависти заговорами, пробило в этом брешь.

"Одно дело - изучать дезинформацию. Другое дело - потерять кого-то из-за нее", - говорит она. "Многие люди, работающие с этими продуктами, видят только положительную сторону вещей".

Рекрутеры из Facebook уже давно пытались переманить Хаугена. Регулярные встречи были не столько лестными, сколько отражали тот факт, что Facebook удваивалась в размерах каждые два года - ей нужны были квалифицированные кадры.

Хауген никогда не кусалась. Но когда в конце 2018 года с ней связался рекрутер, она сказала, что может быть заинтересована, если работа будет связана с дезинформацией и демократией. В процессе собеседования она рассказала, что ее близкий друг был радикализирован в интернете, и она хочет помочь Facebook предотвратить похожий путь для своих пользователей.

В своем сопроводительном письме она указала, что ей удавалось работать над конфиденциальными корпоративными проектами "с осторожностью".

Она начала работать в Facebook, занимаясь вопросами гражданской целостности, в июне 2019 года.

Изначально Хауген попросили создать инструменты для изучения гражданской дезинформации, не относящейся к сторонней проверке фактов Facebook. Затем, на фоне опасений, что русские распространяют дезинформацию, направленную против активистских сообществ и полицейских, ее перевели на создание системы, которая будет выявлять такую практику. Ее команде, состоящей из нее и еще четырех новых сотрудников, дали три месяца - график , который она считала неправдоподобным. Она не преуспела и получила плохую первоначальную оценку.

"Люди в Facebook добиваются того, что нужно сделать, используя гораздо меньше ресурсов, чем можно было бы предположить", - вспоминает она слова Чакрабарти. Эта фраза должна была мотивировать, но Хауген сочла ее пустым оправданием компании, которая не вкладывает достаточно средств в работу по обеспечению безопасности.

Оглядывая большую команду Integrity, она видела небольшие группы сотрудников, решающих масштабные задачи. В основной группе, отвечающей за выявление и борьбу с эксплуатацией человека человеком, которая включала в себя рабство, принудительную проституцию и продажу органов, было всего несколько следователей. "Я спрашивала, почему не нанимают больше людей", - вспоминает она. "Facebook вела себя так, словно была бессильна укомплектовать эти команды".

Нехватка ресурсов в одной из самых прибыльных компаний мира была не единственной проблемой, которую она увидела. "Меня окружали умные, добросовестные люди, которые каждый день находили способы сделать Facebook безопаснее", - говорит она. "К сожалению, безопасность и рост постоянно ставились в зависимость, и Facebook не желала жертвовать даже долей процента роста".

Хауген стала воспринимать себя и команду Civic как недоукомплектованную бригаду уборщиков. Facebook наняла группу умных и увлеченных людей для решения проблем с потенциально опасными для жизни и здоровья последствиями, но не дала им ни ресурсов, ни власти, чтобы действовать.

Хауген многое расстроило: от неспособности Facebook решить проблему торговли людьми до скрытого потворства влиятельным фигурам. Но прежде всего ее беспокоило то, что компания игнорирует опасность, которую представляет ее платформа для более бедных стран, впервые получивших доступ к интернету. По ее мнению, геноцид в Мьянме, разжигаемый социальными сетями, не был случайностью. Это был шаблон. Facebook постоянно повышал температуру общественных дискуссий. Если компания не изменит курс, ее продукты убьют много людей.

Многие коллеги Хаугена пришли к аналогичному выводу. Сотрудники Integrity, чьи проекты блокировались, иногда говорили о "стрессе" и "выгорании", прежде чем в конце концов решали уйти из компании . Хауген пришла к выводу, что жаргон "белых воротничков" не соответствует их состоянию. Она начала думать о том, что работа Facebook по обеспечению честности и неподкупности приводит к моральным травмам - термин, придуманный американскими психологами для описания набора симптомов, похожих на посттравматическое стрессовое расстройство, которые испытывают ветераны Вьетнамской войны, ставшие участниками чего-то, что предало их глубокие убеждения.

Хауген не хотела себя так чувствовать и понимала, что она не настолько крупная рыба, чтобы добиться чего-то, просто наплевав на компанию по пути к выходу. Кроме того, ее не впечатляло качество общественной дискуссии вокруг компаний, работающих в социальных сетях. Тысячи статей были написаны о том, должен ли Facebook удалять определенные посты, следует ли его разделить, предвзято ли он относится к консерваторам или нет. Но на самом деле, по ее мнению, важна была механика работы Facebook. Компания создала свою платформу таким образом, что она по своей сути была подстрекательской, нестабильной и склонной к манипуляциям. Люди за пределами компании должны были знать подробности.

-

В середине декабря 2020 года я поехал в региональный парк Редвуд в Оклендских холмах. День выдался погожим, но Хауген вышла из машины в тяжелой куртке, флисе, перчатках, леггинсах и теплых сапогах на лодыжках. Пока мимо проходили бегуны в шортах, Хауген рассказала мне историю своего нервного расстройства. Даже легкое похолодание означало несколько часов мучительной боли.

Хауген написал мне сообщение в зашифрованном приложении для обмена сообщениями вечером того дня, когда было проведено общее собрание, на котором было объявлено о ликвидации Civic.

Последние несколько месяцев она вела записи о своих опасениях, поскольку все больше убеждалась, что Facebook не привержен честной работе. Каждый раз, когда что-то беспокоило ее или казалось значительным, она записывала это. Она не знала, что будет делать с этим материалом. Она обратилась в некоммерческую организацию, занимающуюся защитой интересов технологов, но ее собеседник сказал ей, что эта организация не занимается разоблачениями.

В тот субботний день мы несколько минут шли по тропе , немного перегруженной бегунами и велосипедистами, а затем свернули на поляну, чтобы поговорить по-настоящему. Рассказывая о своей работе в компании, она часто останавливалась, чтобы расспросить меня о том, что я знаю о различных системах и процессах Facebook. Не было никаких сомнений, что она проверяет меня: разговор с репортером был бы нарушением ее соглашения о неразглашении с Facebook и потенциальным концом ее технической карьеры. Помимо вопросов о том, как я собираюсь сохранить ее личность в безопасности, она искала доказательства того, что разговор со мной стоит риска.

Мы разговаривали до тех пор, пока под большими деревьями не опустились ранние сумерки. По дороге к нашим машинам Хауген предложила начать встречаться регулярно. По крайней мере, по ее словам, ответы на вопросы могли бы прояснить ее мысли и помочь ей определить, что важно задокументировать до того, как она покинет Facebook.

Последнее обстоятельство отличало Хауген. К моменту встречи с ней я поговорил с десятками бывших сотрудников, которые описали общее созвездие проблем, схожих с ее. Детали были разными: одни бывшие сотрудники были возмущены предполагаемым политическим подстрекательством, другие - опасностью алгоритмического ранжирования контента или привыкания. Но если немного присмотреться, то можно было вырисовать общие контуры. У компании были конкретные доказательства того, что ее продукты могут нанести вред обществу, но ее руководители не хотели рисковать корпоративными интересами и заниматься самокоррекцией.

По опыту я знал, что знающие сотрудники, пришедшие к такому выводу, как правило, увольняются, обычно тихо. Реже они публично поносили компанию или обсуждали детали своей работы.

Но они практически никогда не делали того, о чем сейчас думал Хоген. Вместо того чтобы тайком вынести какой-нибудь завалявшийся документ или детали конкретного проекта, который пошел не так, как надо, Хауген собирался провести месяцы внутри компании с конкретной целью - расследовать деятельность Facebook. Если бы Хоген обратился ко мне первым, а не наоборот, у меня бы началась паранойя. Хотя Facebook никогда не пыталась меня обмануть, хорошо поставленный сотрудник, предлагающий такую необычную помощь на первой встрече, казался слишком хорошим, чтобы быть правдой.

Половину дороги домой я провел, пытаясь представить, как она может стать приманкой в какой-то сложной интриге, а вторую половину - готовясь к разочарованию, когда она не выполнит задуманное. Перебирая в уме все, что могло пойти не так, я также обнаружил, что мне немного не по себе от интенсивности ее убеждений. Во время нашей встречи я не проявлял скептицизма, но Хауген дважды за время нашего разговора говорила, что у нее есть мотивация помочь мне, потому что, если она не раскроет то, что известно внутри Facebook, миллионы людей, скорее всего, погибнут.

Учитывая, что Организация Объединенных Наций уже обвинила компанию в этнических чистках в Мьянме, ее заявление нельзя было отвергать с порога. Но оно все равно казалось грандиозным.

После двух лет работы в компании я понял, что ее продукты и продукты ее конкурентов в социальных сетях могут изменить политику и поток информации таким образом, что это может сформировать, а иногда и оборвать жизнь. Но утверждение о том, что приложения для смартфонов, даже популярные, обладают такой разрушительной силой, как она утверждала, все еще казалось гиперболическим.

Роль Facebook и других платформ в событиях, которые произойдут всего несколько недель спустя, оставляла меня в меньшей уверенности.

Глава

15

Они называли друг друга мошенниками, примадоннами и клоунами. Они лгали, рефлекторно и неуклюже, в погоне за деньгами и значимостью. Благодаря силе социальных сетей им предстояло изменить ход американской политической истории.

После 6 января репортеры и следователи сосредоточились на провалах разведки, интригах Белого дома и хорошо организованных колоннах белых националистов. Все это было реальностью. Но в игру вступил четвертый фактор: влиятельные лица.

Трамп был, в некотором роде, окончательным авторитетом правого крыла, умело использующим свою платформу, Twitter, для того чтобы подстроить новостной цикл под свою волю. За ним шел караван сумасшедших, надеявшихся повлиять на свой собственный путь к звезде. Для многих из них такой платформой стал Facebook.

Группа Stop the Steal на Facebook родилась из разговора в середине дня выборов между дуэтом матери и дочери по имени Эми и Кайли Кремер, консервативными активистками, имеющими опыт вражды с конкурирующими группами Чайной партии по поводу сбора средств. Название группы, созданной Кайли в несколько кликов, было выбрано в попытке подхватить хэштег #StopTheSteal, который уже вовсю муссировался в Twitter и Facebook.

В более поздних интервью специальному комитету от 6 января, созданному Палатой представителей для расследования событий того рокового дня, ни одна из женщин не смогла объяснить, почему их группа взлетела в сравнении с другими организациями с аналогичным названием. Не помешал и тот факт, что Кремеры создали ее на уже существующей странице Facebook с подтвержденным статусом. Уже через несколько часов после создания группа Stop the Steal насчитывала сотни тысяч участников, причем как обычные пользователи, так и ярые онлайн-активисты слетались к ней, как мотыльки на фонарь.

"Я думаю, что она увеличивалась на 1000 человек каждые 10 секунд, что нарушало множество алгоритмов", - сказала Кайли Кремер следователям.

Facebook удалил его, но это не означало, что движение и связанные с ним авторитеты перестали набирать силу. Практически сразу же все пошло наперекосяк, так как столкнулись личности, борющиеся за внимание в сети с помощью возмутительных слов и поведения. Али Александр, бывший уголовник и ультраправый конспиролог, создал сайт по сбору средств и ООО с названием "Остановить кражу", собирая пожертвования, которые Кремеры и другие активисты позже обвинят его в присвоении. Брэндон Страка, парикмахер из Нью-Йорка и основатель движения #WalkAway, которое набрало более миллиона подписчиков на Facebook и якобы призывало демократов покинуть свою партию, также присоединился к нему.

Первая попытка Кремеров собрать влиятельных людей на конференц-связь переросла в крики. Страка вступил в перепалку с Кайли Кремер, позже сказав следователям: "Я счел ее эмоционально неустойчивой и некомпетентной". Кайли Кремер, в свою очередь, вступила в перепалку с теоретиком заговора Алексом Джонсом, который тоже пытался влезть в происходящее. Она подала заявление в полицию округа Колумбия, обвинив его в "угрозах нанесения телесных повреждений" после того, как он якобы угрожал столкнуть ее со сцены, выкрикивая при этом: " Я сделаю это. Я сделаю это. Я возьму все на себя".

Ситуация накалилась, когда 19 декабря Трамп написал в Твиттере, что 6 января в Вашингтоне состоится "большой протест. Будьте там, будет дико!". Этот твит ослепил как Кремеров, так и сотрудников Белого дома, и не столько объединил, сколько усилил противостояние. Ставки становились все выше, и каждый, кто был кем-то в мире правых влиятельных лиц, хотел получить свою долю.

Семидесятитрехлетняя наследница состояния супермаркета Publix пожертвовала на эти цели в общей сложности 3 миллиона долларов, часть из которых досталась Джонсу, часть - советнику Трампа Роджеру Стоуну, но огромный кусок - 1,25 миллиона долларов - достался Чарли Кирку, основателю консервативной студенческой группы Turning Point USA, чтобы "направить в Вашингтон влиятельных лиц из социальных сетей " и "просветить миллионы". Когда позже следователи предъявили Кирку документы, свидетельствующие о том, что он выставил наследнице счет на 600 000 долларов за автобусы, которые так и не были зафрахтованы, он ответил, ссылаясь на свое право на самообвинение в соответствии с Пятой поправкой.

Эта группа самопровозглашенных патриотов собралась вместе в уникальный момент американской истории, когда социальные сети полностью вступили в свои права, и у них была готовая аудитория в лице одержимого социальными сетями президента в Белом доме. Трамп хотел, чтобы Александер и Джонс выступили на его мероприятии 6 января, согласно текстам, отправленным одним из его помощников, Катриной Пирсон. Или, как она выразилась в сообщении Кайли Кремер: "Ему нравятся сумасшедшие". Между "сумасшедшими" с одной стороны и Кремерами с другой существовало условное разделение, но все объединились, чтобы сделать так, чтобы 6 января стало незабываемым.

"Я имею в виду, что было так много вещей, которые говорились или распространялись через социальные сети, что это просто вызывало беспокойство", - сказала Кайли Кремер следователям, оправдывая решение сохранить свободный союз с теми, кого она называла наемниками, корыстными и, возможно, психически больными активистами социальных сетей, которые писали о гражданской войне, 1776 годе и своей готовности умереть за свободу. "Чтобы привлечь всех людей, приехавших в Вашингтон, нам всем потребовалось донести до них эту информацию", - сказала она.

Воинственность влиятельных лиц была источником их власти. "Более агрессивные люди, такие как Алис и все эти парни, стали занимать более видное место благодаря языку, который они использовали", - сказал Пирсон следователям.

Трамп, возможно, и рекламировал официальный протест Кремеров 6 января на своем аккаунте в Twitter, но в итоге, как отметил один активист, они собрали всего 20 000 подписчиков на Facebook. Бутлег-сайт Али, напичканный более громкими выражениями и еще более дикими теориями заговора, собрал 500 000.

"Безумцы" Пирсона на самом деле были светилами "Пятой власти" Цукерберга.

"У этих людей были ограниченные возможности влиять на реальные результаты - если бы Али Александр обратился к людям с призывом выйти на марш к Капитолию, на него пришло бы несколько десятков человек", - говорит Джаред Холт, который изучал подготовку к 6 января для лаборатории Digital Forensic Research Lab Atlantic Council, финансируемой Facebook. "Но именно сетевые эффекты привели к тому, что люди, более уважаемые и популярные, чем Али, изменили его контент".

Чтобы удержать влиятельных людей на митинге 6 января, но при этом не подпустить к самому президенту, Пирсон помогла заключить сделку с теми, кого она назвала "списком психопатов", чтобы они выступили на другом мероприятии 5 января. Под моросящим зимним дождем на площади Свободы в Вашингтоне Али и Страка разглагольствовали вместе с Джонсом, опальным бывшим комиссаром полиции Нью-Йорка Бернардом Кериком и человеком, стоящим за мемом "DC Draino", у которого только на Instagram 2,3 миллиона подписчиков.

На следующий день, на настоящем митинге, Кремеры приказали охране быть наготове, если Али, Джонс или Страка попытаются ворваться на сцену и силой захватить микрофон.

Страка рассказал следователям, что ему хотелось бы самому выступить 6 января, но, несмотря на это, он решил воспользоваться ситуацией. "У меня есть камера, у меня есть микрофон, - вспоминает он. "Я собираюсь превратить это в возможность создать контент для своей аудитории".

-

История о том, как оборона Facebook была так прочно разбита столь незадачливой командой, начинается сразу же после того, как группа Stop the Steal была разгромлена, и начинается она с самого верха.

Хотя Facebook туманно утверждал, что удалил группу из-за запрещенного контента, на самом деле группа не нарушала правил Facebook, запрещающих подстрекательство к насилию, а платформа не имела политики, запрещающей ложные заявления о фальсификации выборов. Однако, основываясь на очевидной вредоносности группы, Бикерт и команда Facebook по политике контента заявили о нарушении "духа политики" - редком, но нередком признании, которое сводится к "потому что мы так сказали".

Цукерберг согласился на удаление в чрезвычайных обстоятельствах, но он не хотел, чтобы удаление группы Stop the Steal стало прецедентом для запрета на ложные заявления о выборах. В преддверии дня выборов Facebook удалил только с ложью о реальном процессе голосования - например, "Демократы голосуют в среду" и "Люди с неоплаченными штрафами за парковку не могут прийти на избирательные участки". Отмечая тонкую грань между утверждением, что голоса не будут подсчитаны, и утверждением, что они не будут подсчитаны точно, Чакрабарти настаивал на принятии хотя бы некоторых мер против необоснованных заявлений о фальсификации выборов.

Civic не выиграла эту битву, но, поскольку группа Stop the Steal породила десятки подражателей с похожими названиями - некоторые из которых также накопили шестизначные суммы членства - угроза дальнейших организованных усилий по делегитимации выборов была очевидна.

Не имея возможности закрыть новые структуры, Сивик назначил сотрудников, которые должны были хотя бы изучить их. Сотрудники также начали отслеживать лучшие делегитимизационные посты, которые набирали десятки миллионов просмотров, для того, что в одном из документов было названо "ситуационной осведомленностью". Позднее анализ показал, что до 70 % контента Stop the Steal поступало с известных страниц "низкого качества новостной экосистемы" - коммерческих издателей, с которыми сотрудники Facebook, отвечающие за целостность новостной ленты, пытались бороться годами.

У Civic были видные союзники в этом стремлении к сбору оперативной информации об этих группах, если не к их полному удалению. В начале года Facebook официально запретил конспирологические сети QAnon и группы ополченцев, и Брайан Фишман, руководитель отдела по борьбе с терроризмом Facebook, указал на данные, свидетельствующие о том, что Stop the Steal в значительной степени поддерживается теми же пользователями, которых увлекают фантазии о насильственном восстании.

"Они встали рядом с людьми, о которых мы знали, что у них есть опыт насилия", - рассказывал позже Фишман о Stop the Steal.

Но Цукерберг отменил решение команды Facebook Civic и главы отдела по борьбе с терроризмом. Вскоре после того, как Associated Press объявило, что 7 ноября президентские выборы будут отданы Джо Байдену - традиционный признак окончательного завершения гонки, - Молли Катлер собрала около пятнадцати руководителей, которые отвечали за подготовку компании к выборам. Ссылаясь на приказ Цукерберга, она заявила, что мониторинг делегитимации выборов должен быть немедленно прекращен.

Хотя Цукерберг не присутствовал при этом, чтобы поделиться своими доводами, Розен не уклонился от того, чтобы сказать Чакрабарти, что он согласен с решением Цукерберга - объяснение, которое Чакрабарти счел достаточно примечательным, чтобы сделать запись. Он процитировал слова Розена в записке, направленной в отдел кадров компании, о том, что он сказал ему, что наблюдение за попытками остановить переход президента "только создаст импульс и ожидание действий", которые он не поддерживает".

Чувство того, что компания может оставить выборы позади, было присуще не только руководству. Райан Байермейстер, чья работа по руководству целевой группой 2020 Groups Task Force вызывала восхищение как в Civic, так и в высших эшелонах подразделения Facebook по обеспечению честности, написала записку, в которой рассказала о стратегиях, использованных ее командой для устранения того, что она назвала "риском пороховой ямы".

Бейермайстер, недавно пришедшая в Facebook из компании Palantir, специализирующейся на анализе данных, поздравила свою команду с "героическими" усилиями, которые они предприняли, чтобы заставить высшее руководство Facebook подписаться под удалением токсичных групп. "Я искренне верю, что группа Group Task Force сделала выборы более безопасными и предотвратила возможные случаи насилия в реальном мире", - заключила она, поблагодарив тридцать членов группы за "преобразующее воздействие, которое они оказали на экосистему Groups в ходе этих выборов и в последующий период".

Теперь, когда предвыборный кризис, казалось бы, миновал, Facebook вернул фокус на вовлеченность. Ограничивающие рост меры Break the Glass должны были уйти.

30 ноября Facebook снял все понижения с контента, который делегитимизировал результаты выборов. 1 декабря платформа вернула источники новостей, содержащие дезинформацию, в рекомендации "Страницы, которые вам могут понравиться" и отменила блокировку вирусности. На следующий день после этого она ослабила подавление контента, пропагандирующего насилие, а 7 декабря возобновила "повышение в ленте для нерекомендуемого контента групп". К 16 декабря Facebook снял ограничения на массовые приглашения в группы, которые способствовали росту Stop the Steal.

Только позже компания обнаружила, что более четырехсот групп, размещающих про-повстанческий контент и ложные заявления о краже результатов выборов, уже работали на Facebook, когда компания сняла ограничения на массовые приглашения. "Почти все из наиболее быстро растущих групп в FB были "Остановить кражу" в период их пикового роста", - отмечается в документе.

Позднее изучение привычек людей, арестованных за действия 6 января, в социальных сетях показало, что многие из них "интенсивно потребляли контент на Facebook", причем большая его часть поступала через их членство в политических группах Facebook, число которых иногда достигало сотни. В среднем в этих группах двадцать три раза в день появлялись сообщения о гражданской войне или революции.

Facebook ослабила свою защиту как в метафорическом, так и в техническом смысле. Но не вся деградация системы защиты честности компании была преднамеренной. 17 декабря специалист по анализу данных заметил, что система, отвечающая за удаление или ограничение громких постов, нарушающих правила Facebook, перестала это делать. Коллеги проигнорировали это сообщение, предположив, что проблема заключается в "сбое в регистрации" - то есть система по-прежнему работает, просто не фиксирует свои действия. В списке инженерных приоритетов Facebook исправление этой проблемы не значилось.

На самом деле система дала сбой в начале ноября. С того момента, как инженеры осознали свою ошибку в середине января, система пропустила 3100 высоковирусных сообщений, которые должны были быть удалены или помечены как "тревожные".

Подобные сбои в Facebook случаются постоянно. К сожалению, этот сбой привел к появлению дополнительных 8 миллиардов "прискорбных" просмотров по всему миру - случаев, когда Facebook показывал пользователям контент, который, как он знал, был проблемным. Позже компания заявила, что лишь небольшое меньшинство из 8 миллиардов просмотров "прискорбного" контента касалось американской политики и что эта ошибка не имела значения для последующих событий. В более позднем обзоре работы Facebook после выборов эта ошибка была названа "незначительным моментом" в работе платформы на выборах 2020 года, хотя компания утверждает, что она оказала значительное влияние. По меньшей мере 7 миллиардов просмотров плохого контента были международными, утверждает компания, а из американских материалов лишь часть касалась политики. В целом, по словам пресс-секретаря, компания по-прежнему гордится своей работой по обеспечению безопасности до и после выборов.

Facebook никогда не выходил из красной зоны на диаграмме угроз выборов компании Civic. Теперь, спустя шесть недель после выборов, сотрудники команды были разбросаны, Чакрабарти уволен, а меры защиты от рисков вирусного роста были отменены.

В дни, предшествовавшие 6 января, привычные индикаторы проблем - ненавистнические высказывания, подстрекательский контент и дезинформация, подтвержденная фактами, - снова стали расти. Почему - догадаться было нетрудно. Контроль над Сенатом зависел от второго тура выборов в Джорджии, назначенного на 5 января, а сторонники Трампа начали собираться в Вашингтоне на протест, который, как обещал Трамп, будет "диким!".

Группа по борьбе с терроризмом, подчиненная Брайану Фишману, отслеживала активность сторонников восстания, которую он считал "очень тревожной". К 5 января Facebook на всякий случай подготовил новую команду по координации кризисных ситуаций, но никто в компании - да и вообще в стране - не был готов к тому, что произошло дальше.

6 января, выступая перед толпой буйных сторонников, Трамп снова повторил свое заявление о том, что он победил на выборах. А затем он направил их к Капитолию, заявив: "Если вы не будете сражаться как черти, у вас больше не будет страны". Потоки людей устремились к Капитолию, и к 13:00 бунтовщики прорвали внешние барьеры вокруг здания.

Фишман, вышедший в это время на прогулку, помчался домой, как он позже рассказал в интервью Комитету 6 января. Пришло время снова начать щелкать переключателями. Но восстановление защитных механизмов, которые Facebook ликвидировала всего месяц назад, произошло слишком поздно, чтобы сохранить мир в Facebook или где-либо еще. Панели мониторинга целостности отражали разрыв социальной ткани страны в режиме реального времени: сообщения о ложных новостях выросли в четыре раза, а призывы к насилию - в десять раз с самого утра. В Instagram резко возросло количество просмотров контента из стран, которые Facebook назвал "странами с нулевым уровнем доверия", что говорит о том, что враждебные организации за рубежом вступают в борьбу, пытаясь разжечь новые распри.

На Workplace температура тоже поднималась. Для тех, кто был на передовой реакции компании, первоначальное молчание со стороны руководства Facebook было оглушительным.

" Держитесь все", - написал Майк Шрепфер, главный технолог , сообщив, что руководители компании работают над тем, чтобы "разрешить мирное обсуждение и организацию, но не призывы к насилию".

"При всем уважении, но разве у нас не было достаточно времени, чтобы понять, как управлять дискуссией, не допуская насилия?" - огрызнулся сотрудник, один из многих недовольных ответов, которые собрали сотни лайков от разгневанных коллег. "Мы долгое время разжигали этот огонь, и нас не должно удивлять, что теперь он вышел из-под контроля".

Вскоре после 14:00 бунтовщики вошли в Капитолий. К 14:20 здание было заблокировано.

Прошло несколько часов, прежде чем руководство Facebook предприняло первые публичные шаги, удалив два поста Трампа. В частном порядке компания пересмотрела свое решение о том, что Вашингтон, округ Колумбия, подвергается "временному повышенному риску политического насилия". Теперь географической зоной риска стали все Соединенные Штаты.

Пока бунтовщики входили в зал заседаний Сената и офисы вокруг здания, а члены Конгресса надевали противогазы и прятались, где только могли, Facebook продолжал настраивать платформу таким образом, чтобы успокоить ситуацию, выйдя далеко за пределы набора интервенций Break the Glass, которые он выпустил в ноябре. Наряду с дополнительными мерами по замедлению распространения вирусов компания перестала автоматически удалять словосочетание "белый мусор", которое часто использовалось, когда фотографии красочно одетых мятежников, разгуливающих по Капитолию, стали вирусными. У Facebook были дела поважнее, чем защита участников беспорядков от обратного расизма.

Оперативные группы по обеспечению правопорядка тоже получили свободу действий, но этого было недостаточно. Придется выложить на стол все, включая практически незыблемое право Трампа на использование платформы.

Когда на Вашингтон опустился вечер, Трамп по совету нескольких советников выпустил видеоролик, в котором попытался снять напряженность. "У нас должен быть мир, так что отправляйтесь домой", - сказал измученный президент. Но он добавил к этому заявления о том, что выборы были украдены, а также обратился к участникам беспорядков со словами: "Мы любим вас. Вы очень особенные". Facebook присоединился к YouTube и Twitter и удалил ролик, а затем приостановил действие его аккаунта на двадцать четыре часа. (На сайте запрет был продлен до инаугурации Байдена, назначенной на 20 января, после чего было принято решение удалить его с платформы на неопределенный срок).

Цукерберг хранил молчание до 6 января, и на следующее утро Шрепферу пришлось успокаивать напряженность. " Стоит отступить назад и вспомнить, что это действительно беспрецедентный случай", - написал он на Workplace. "Не уверен, что знаю точный набор правильных ответов, но мы меняемся и адаптируемся каждый день - в том числе и вчера".

Потребуется еще больше. Хотя компания ограничивала свою платформу так, как никогда не пыталась сделать это на развитом рынке, этого было недостаточно, чтобы подавить "Stop the Steal", фразу и концепцию, которые продолжали набирать обороты. Команда по общественной политике, поддерживаемая руководством Facebook, долгое время придерживалась мнения, что компания не должна удалять или даже понижать рейтинг контента, если не уверена, что он нарушает правила. Это пошло на пользу тем, кто развернул кампанию #StopTheSteal. Приняв решение, что утверждения о краже выборов не являются по своей сути вредными, Facebook оставил группы в покое после того, как удалил первоначальную группу Кремеров.

"Мы не могли действовать в отношении таких простых объектов, как сообщения и комментарии, потому что по отдельности они, как правило, не нарушали, даже если были окружены ненавистью, насилием и дезинформацией", - говорится в более позднем отчете.

Только после того, как пожары в Капитолии были потушены, а пять человек погибли, в Facebook поняли, как плохо они сыграли. Основная группа скоординированных экстремистов гиперактивно постила, комментировала и перепощивала свое движение.

Stop the Steal был не просто очередным хэштегом. Это была "точка сплочения, вокруг которой могло объединиться движение насильственной делегитимации выборов", - говорится в более позднем обзоре. В нем также мягко указывалось, кто в компании виноват: руководство и отдел публичной политики. "Прорехи" в правилах платформы позволили "более крупной волне движения просочиться сквозь трещины", - говорится в обзоре.

Не было времени указывать пальцем на руководство компании или на кого-либо еще. После 6 января #StopTheSteal набирал обороты. Не успели команды Integrity уничтожить хэштег и составить схему сетей сторонников, использующих его, как они обнаружили новую угрозу: то же самое сообщество мятежников объединилось, чтобы сделать еще один выстрел. Новой точкой сплочения стала "Патриотическая партия", которая позиционировала себя как ультраправая, поддерживающая Трампа альтернатива Республиканской партии.

В качестве подарка следователям Facebook, пытавшимся их отследить, организаторы новой "партии" собрались в частных группах на платформе, доступных только администраторам, по сути, предоставив дорожную карту своему центральному руководству. Однако вопрос о том, что Facebook будет делать с этой информацией, остается открытым.

При обычных обстоятельствах следователи Facebook потратили бы недели на составление досье о неправомерных действиях каждого отдельного субъекта, которого они хотели бы закрыть, а затем попытались бы добиться одобрения массового отключения со стороны команды Facebook по вопросам общественной политики. Однако в этот раз никто из руководства не беспокоился о чрезмерном усилении.

В качестве нового антикризисного подхода Facebook использовал проверенный метод, который бармены применяют к буйным пьяницам: перестать их обслуживать и вышвырнуть ублюдков вон. Компания начала активно снижать рейтинг термина "Патриотическая партия" в Facebook и Instagram и удалять центральные узлы сети, продвигающие его. Аккаунты Али Александра стали трупами. Так же, как и движение Брэндона Страки "Уходи", и аккаунты многих других влиятельных лиц, выступающих за "Остановить воровство".

Борьба между Facebook и движением, которое он помог зародить, продолжалась несколько недель. Когда 22 января, через два дня после инаугурации Байдена, внутреннее чрезвычайное положение в компании было наконец снято с максимального уровня, не оставалось сомнений, что тактика удалась. Одним щелчком нескольких переключателей мегафон, который платформа дала мятежникам, был вырван у них из рук.

" Мы смогли пресечь такие термины, как "партия патриотов", в зародыше", - отмечалось в более поздней рецензии.

Блокирование попыток мятежников перегруппироваться было достижением, хотя и сопровождалось опасениями для многих бывших сотрудников Civic. По приказу руководства они только что задушили попытку организовать то, что могло стать новой политической партией. По иронии судьбы, ранее Цукерберг отверг гораздо менее жесткие попытки сделать платформу более стабильной на том основании, что они ограничивали право голоса пользователей.

Сразу после 6 января Facebook не высовывалась. Когда источники в компании и сотрудники отдела коммуникаций Facebook отвечали на телефонные звонки репортеров или электронные письма, что случалось редко, они признавали, что им пришлось изрядно попотеть. Ближе всего к оправданию деятельности компании было замечание о том, что основная ответственность за нападение на Капитолий лежит на Трампе.

7 января, когда большая часть мира пыталась понять, что, черт возьми, только что произошло, в блоге Эндрю Босворта, где он публиковал свои мысли о философии и лидерстве, появилось небольшое эссе под названием "Проблемы со стороны спроса". Его тезис заключался в том, что пользователи Facebook испытывают такую же ненасытную тягу к ненависти, как американцы - к наркотикам. Поэтому усилия Facebook по подавлению ненависти, хотя и с благими намерениями, потерпят неудачу, как и "война с наркотиками" - по крайней мере, "пока мы не добьемся большего социального прогресса как общество".

Никто не обратил на это внимания - в конце концов, это был личный философский блог руководителя Facebook, - но сообщение все равно произвело большое впечатление. Через день после того, как бунт, вызванный ненавистью и дезинформацией, потряс демократию, один из лучших лейтенантов Цукерберга обвинял в злодеяниях общество в целом - то есть пользователей Facebook.

Заметка представляла собой сокращенную версию предыдущего сообщения Босворта на Workplace, которое послужило началом дискуссии с коллегами по работе, в которой он пошел дальше. Он писал, что слишком жесткое подавление - плохая идея, потому что пользователи, стремящиеся к ненависти, "просто удовлетворят свои потребности в другом месте".

Аргументы Босворта содержали некоторые нюансы: Как организация, контролирующая поставку контента, Facebook была обязана "инвестировать огромные средства" в безопасность пользователей. И руководитель, который курировал аппаратный бизнес Facebook, а не модерацию контента, в других заметках говорил, что он выступает за то, чтобы больше работать над устранением предвзятости рекомендаций по отношению к проблемам, связанным с возмущением и вирусностью.

Но многие сотрудники Integrity, прочитавшие этот пост, поняли его проще. Если люди должны быть фанатиками, компания предпочла бы, чтобы они были фанатиками на Facebook.

-

К тому времени, когда в Facebook начались вскрытия бунта в Капитолии, мы с Хаугеном встречались примерно каждую неделю на заднем дворе моего дома в Окленде, штат Калифорния. Чтобы максимально предотвратить возможную слежку, я заплатил наличными за дешевый телефон Samsung и дал его Хоген, которую я теперь называл "Шон Маккейб". Это имя она выбрала сама, позаимствовав его у своего друга из местной художественной среды Сан-Франциско, который умер сразу после нашей встречи. Маккейб был смутьяном и любителем острых ощущений, и она была уверена, что он одобрил бы то, что она делала.

Теперь "Шон" использовал телефон, чтобы делать скриншоты файлов на своем рабочем ноутбуке и переносить изображения на компьютер, который она купила, чтобы иметь устройство, которое никогда не было подключено к Интернету.

Один из этих файлов - итоговый документ, составленный Facebook по результатам вскрытия, озаглавленный "Stop the Steal and the Patriot Party: Рост и ослабление вредоносного движения". Многие из тех, кто участвовал в его составлении, были бывшими членами Civic. Документ был проиллюстрирован карикатурой на собаку в каске пожарного на фоне горящего здания Капитолия. (Горячий документ будет опубликован BuzzFeed в апреле).

"Что делать, если движение аутентично, координируется низовыми или аутентичными средствами, но по своей сути вредно и нарушает дух нашей политики?" - спрашивается в докладе. "Мы разрабатываем инструменты, протоколы и проводим политические дискуссии, чтобы в следующий раз действовать лучше".

Менее чем за полтора года до этого, выступая в Джорджтауне, Цукерберг отругал неназванных критиков социальных сетей, которые хотели, чтобы Facebook "навязывал толерантность сверху вниз". Путь к прогрессу, заявил он, "требует противостояния идеям, которые бросают нам вызов". Теперь Facebook столкнулась с возможностью того, что ее платформам не суждено приносить здоровые результаты. Небольшая группа гиперактивных пользователей использовала собственные инструменты Facebook для стимулирования роста, чтобы добиться широкого распространения подстрекательского контента.

После 6 января Хауген был включен в состав рабочей группы, призванной заниматься "вредоносными сетями". Перед ней была поставлена задача выявить уроки, которые можно извлечь из уже проделанной Facebook работы по Патриотической партии, которая рассматривалась как шаблон для будущих действий. Составив карту вредоносных движений и определив их руководящие структуры, Facebook могла бы при необходимости нанести молниеносный удар, чтобы выбить их из строя, а затем начать операции по зачистке, чтобы предотвратить перегруппировку новых лидеров. Мы с ней в шутку назвали эту новую стратегию "подходом "Шестой команды морских котиков"".

Официальное название команды претерпело множество изменений, что, возможно, свидетельствует о том, что Facebook было некомфортно заниматься самыми сложными вопросами. "Противоборствующие вредоносные сети" стали "сообществами вредоносных тем", "нерекомендуемыми теориями заговора", "ненарушаемыми вредоносными нарративами" и - на момент написания статьи - "координированным социальным вредом".

Как бы ни называлась команда, стратегия была одинаковой. После акций "Остановить воровство" и "Партия патриотов" компания начала перенаправлять свои обширные инструменты анализа данных на понимание внутренней работы движений, которые выглядели как проблемы. Этот милый щенок корги был настроен на дело.

Собрав данные о поведении и действиях 700 000 сторонников Stop the Steal, Facebook выявил связи между ними и начал делить их на главарей (тех, кто создавал контент и стратегию), усилителей (известные аккаунты, которые распространяли эти сообщения), связующих (активисты, работающие в нескольких сообществах, например, против ваксы и QAnon) и, наконец, "восприимчивых пользователей" (тех, чьи социальные круги казались "воротами" к радикализму).

Вместе это скопление пользователей превратилось в "информационный коридор". Сообщения, зародившиеся среди элиты движения, пульсировали по каналам, соединяющим пользователей и продукты Facebook, а каждый репост, ответ и реакция распространяли их среди все более широкой аудитории. Со временем эти скрытые векторы стали хорошо отработанными, почти рефлекторными, способными передавать все более странные вещи в беспрецедентных масштабах.

Анализ показал, что распространение ненависти, насилия и дезинформации происходило по информационному коридору Stop the Steal со значительно большей скоростью, чем по платформе в целом. Но Facebook больше не пытался отфильтровать плохие материалы. Вместо этого он стремился выявить и перекрыть линии передачи информации.

В работе использовалось много статистики и машинного обучения, но основные принципы понять было несложно. Чтобы уничтожить движение, нужно сразу убить всех главарей, лишив движение мозга. На их лейтенантов, которые, скорее всего, попытаются заменить своих лидеров в ходе "ответной реакции" на удаление, можно наложить строгие ограничения на создание новых страниц, групп и постов. Усилители и связующие звенья могут быть просто ослаблены путем понижения рейтинга. И, наконец, компания будет стремиться предотвратить формирование связей между "восприимчивыми" людьми, при этом рекомендации Facebook будут активно отводить их от контента и пользователей, которые могут завести их еще глубже в кроличью нору, куда бы они ни заглянули.

Команда провела эксперименты с этими предложениями, используя модель, основанную на исторических данных Stop the Steal. Результаты показали, что этот подход сработал бы, поставив на колени движение в Facebook задолго до 6 января. "Информационные коридоры" могли бы помочь нам выявить социальное движение вокруг делегитимации из массива индивидуально зашумленных текстовых сигналов", - говорится в одной из записок, озаглавленной "Информационные коридоры: Краткое введение". Из других документов, которыми поделился со мной Хауген, также следовало, что Facebook была уверена в том, что могла бы предотвратить "рост делегитимизирующих выборов движений, которые росли, распространяли заговор и помогали подстрекать к восстанию в Капитолии".

Энтузиазм по поводу этого подхода был настолько велик, что Facebook создал целевую группу по дезагрегированию сетей, чтобы продвигать его дальше. Компания прошла путь от разрешения процветать конспирологическим группам всех мастей до крайней озабоченности тем, как люди оказываются втянутыми. На одном из координационных совещаний, в котором участвовал Хауген, глава целевой группы отметил, что в компании двенадцать различных команд, работающих над методами не только разрушения руководства вредных движений, но и прививки потенциальных последователей от них. "Они уязвимы, и мы должны их защитить", - заявил руководитель проекта в ходе звонка о "восприимчивой" аудитории.

Это обеспокоило Хауген, прогрессивного демократа с либертарианскими взглядами, из тех сотрудников, которые имеют привычку посещать Burning Man. Она поняла, что Facebook перешел от преследования опасных субъектов к преследованию опасных идей, создавая системы, способные тихо задушить движение, находящееся в зачаточном состоянии. Она услышала отголоски "полиции мысли" Джорджа Оруэлла. По ее мнению, это становилось жутким и ненужным.

У Facebook были годы исследований, показывающих, как она могла бы изменить свою платформу, чтобы сделать ее гораздо менее полезной в качестве инкубатора для сообществ, построенных на насильственной риторике, теориях заговора и дезинформации. Можно было бы не убивать растущие в геометрической прогрессии конспирологические группы, если бы запретить их членам приглашать тысячу незнакомцев присоединиться к ним за день. Ему не нужно было бы так беспокоиться об "информационных коридорах", бесконечно распространяющих дезинформацию, если бы он ограничил повторные публикации, к чему его давно призывала компания Civic.

Но, следуя знакомому сценарию, компания не хотела делать ничего, что могло бы замедлить работу платформы, поэтому она приступила к реализации стратегии простого отказа в вирусности выбранным ею субъектам, которых она опасалась. И работа продвигалась с большой скоростью.

К весне 2021 года Facebook экспериментировал с закрытием "информационных коридоров" своих "вредных тематических сообществ". В качестве цели было выбрано немецкое движение Querdenken, выдвигавшее теорию заговора, согласно которой элита "Глубокого государства" в сотрудничестве с "евреями" навязывала невольному населению ограничения COVID. Приверженцы движения совершали нападения на полицейских и наносили им ранения во время акций протеста против блокировки, однако крупнейшая страница Querdenken на Facebook насчитывала всего 26 000 подписчиков. Другими словами, Querdenken было маленьким, жестоким и не имело друзей в правительстве Германии. Это делало его отличным подопытным кроликом.

Фейсбук не был так уж озабочен убийством Кверденкена. Она просто хотела убедиться, что сможет это сделать. Готовясь к эксперименту, Facebook разделил приверженцев движения на лечебную и контрольную группы, соответствующим образом изменив их ленты новостей. Начать работу планировалось в середине мая.

Как оказалось, компании не придется так долго ждать следующего шанса использовать свои новые инструменты.

-

Цукерберг был категорически не согласен с теми, кто говорил, что вакцина COVID небезопасна, но он поддерживал их право говорить об этом, в том числе и на Facebook. Такой позиции генеральный директор придерживался еще до появления вакцины, это было частью его основной философии. В 2018 году генеральный директор дошел до того, что заявил, что платформа не должна удалять контент, отрицающий Холокост, потому что не все, кто публикует отрицание Холокоста, "намерены" это делать. (Позже он уточнил, что считает отрицание Холокоста "глубоко оскорбительным", и то, как он подошел к этому вопросу, возмутило Шерил Сэндберг, соотечественницу-еврейку, которая в итоге смогла убедить его изменить свою позицию).

Согласно политике Facebook, дезинформация о COVID должна была удаляться только в том случае, если она представляла собой непосредственный риск нанесения вреда, например, сообщение, призывающее инфицированных людей пить отбеливатель. " Я думаю, что если кто-то указывает на случай, когда вакцина причинила вред, или что он беспокоится об этом, то, с моей точки зрения, это сложная вещь, которую не следует разрешать выражать вообще", - сказал Цукерберг в интервью Axios в сентябре 2020 года.

Но в начале февраля 2021 года в Facebook начали понимать, что проблема не в том, что скептики вакцин высказывают свое мнение на Facebook. А в том, как часто они это делают.

Исследователь произвольно отобрал англоязычные комментарии, содержащие фразы, связанные с COVID и вакцинами. Две трети из них были против вакцин. Исследователь сравнил эту цифру с результатами опроса общественного мнения о распространенности антивакцинальных настроений в США - она оказалась на целых 40 пунктов ниже.

Дополнительное исследование показало, что за небольшой группой "больших китов" стоит большая часть всего антивакцинального контента на платформе. Из 150 000 участников групп Facebook, которые в итоге были отключены за дезинформацию о COVID, всего 5 процентов создавали половину всех постов. И только 1400 пользователей были ответственны за приглашение половины всех участников. " Мы обнаружили, что, как и многие другие проблемы в FB, эта проблема - головная, и относительно небольшое количество участников создает большой процент контента и роста", - позже отметят исследователи Facebook.

Одной из излюбленных тактик бригады противников вакцинации было использование постов таких организаций, как ЮНИСЕФ и Всемирная организация здравоохранения, призывающих к вакцинации, которую Facebook проводил бесплатно. Активисты движения против вакцинации отвечали дезинформацией или насмешками в разделе комментариев к этим постам, а затем с почти непонятным рвением поднимали враждебные комментарии друг друга на верхние строчки. Некоторые из них приближались к лимиту комментариев в Facebook, который был установлен на уровне трехсот раз в час. В результате англоязычные пользователи сталкивались со скептицизмом в отношении вакцин 775 миллионов раз в день.

Как и в случае с предыдущими вредоносными попытками, такими как русские тролли или Stop the Steal, трудно оценить, насколько эффективной была эта тактика в убеждении людей избегать вакцины. Но в целом эффект был очевиден. Люди, заходящие на платформы Facebook, покидали их, полагая, по крайней мере, что вакцина вызывает больше споров, чем на самом деле.

Расследование движения не выявило никаких признаков неаутентичного поведения или запрещенных тактик. Это означало, что снова настало время для работы в информационном коридоре. Команда, созданная для борьбы с "Dedicated Vaccine Discouragement Entities", поставила перед собой цель ограничить антивакцинальную активность верхних 0,001 % пользователей - группы, которая, как оказалось, оказывает значительное влияние на общий дискурс.

К началу мая 2021 года, когда приближалось время запуска эксперимента Querdenken, который продлится несколько месяцев, ситуация с дезинформацией COVID стала настолько серьезной, что компания вынуждена была прибегнуть к своим мерам Break the Glass. Еще полгода назад Facebook надеялась, что ей вообще не придется использовать эти меры в США. Теперь же она прибегает к ним уже в третий раз за полгода.

В отличие от предыдущих столкновений, в этом раунде Facebook не мог свалить вину на Трампа. С осени 2016 года компания небезосновательно указывала на неуравновешенного президента как на провоцирующий фактор фейковых новостей, расовой розни и делегитимации выборов. Возможно, он развязал новую ярость в американской политике, но теперь он ушел с поста и с платформы. У этого движения были свои инициаторы.

Кризисное состояние становилось нормой для Facebook, и подход команды Integrity к своей работе начал отражать это. Facebook начал работать над созданием "выключателя" для каждой из своих рекомендательных систем. Руководители команды Integrity начали отстаивать стратегию "Всегда включенной итерации продукта", в рамках которой каждая новая попытка сдержать нарастающий кризис должна была быть включена в планы компании на случай следующей катастрофы.

"Ура вещам, инкубируемым на Covid и становящимся частью нашей общей защиты", - написал один из руководителей группы, придав позитивный настрой ожиданиям в условиях все более нестабильного мира.

Даже когда Facebook готовился к тому, что кризисы, вызванные вирусами, станут обыденностью, руководство компании все более спокойно снимало ответственность за их возникновение со своих продуктов. К весне 2021 года не только Боз утверждал, что 6 января - это чья-то проблема. Сэндберг предположила, что 6 января было "в значительной степени организовано на платформах, которые не обладают нашими возможностями по пресечению ненависти". Цукерберг сказал Конгрессу, что им не нужно перекладывать вину на Трампа и самих участников беспорядков. "Страна сейчас глубоко расколота, и это не то, что могут исправить одни только технологии", - сказал он.

В некоторых случаях компания публично ссылалась на результаты исследований, которые, как предупреждали ее собственные сотрудники, были неприемлемыми. В обзоре внутренних и внешних исследований, проведенном в июне 2020 года, предупреждалось, что компании следует избегать утверждений о том, что более высокие показатели поляризации среди пожилых людей - демографической группы, которая меньше всего пользуется социальными сетями, - являются доказательством того, что Facebook не вызывает поляризацию.

Хотя этот аргумент был благоприятен для Facebook, пишут исследователи, Ник Клегг должен избегать его цитирования в предстоящей статье, поскольку "внутренние исследования указывают на противоположный вывод". Оказалось, что Facebook подавал ложную информацию пожилым людям с такой скоростью, что они потребляли ее гораздо больше, несмотря на то что проводили на платформе меньше времени. Исследователи пишут, что "более сильный рост поляризации среди пожилых пользователей может быть частично обусловлен использованием Facebook", а не оправдывает Facebook.

Все, чего хотели исследователи, - это чтобы руководители не повторяли утверждения, которые, как известно, Facebook считает ошибочными, но они не получили желаемого. Компания утверждает, что аргументы так и не дошли до Клегга. Когда он опубликовал 31 марта 2021 года на Medium эссе под названием "Вы и алгоритм: It Takes Two to Tango", он привел это внутренне опровергнутое утверждение в числе "достоверных последних исследований", опровергающих, что "нами просто манипулировали машины все это время". (Позднее компания заявила, что правильным выводом из эссе Клегга о поляризации является то, что "исследования на эту тему неоднозначны").

Такие недобросовестные аргументы не понравились исследователям, которые работали над поляризацией и анализом Stop the Steal, но Клегг был бывшим политиком, нанятым для защиты Facebook, в конце концов. Настоящий шок вызвал опубликованный внутри компании обзор исследований, написанный Крисом Коксом.

Озаглавленный "Что мы знаем о поляризации", меморандум Workplace от апреля 2021 года отмечал, что эта тема остается "альбатросом общественного мнения", а Facebook обвиняется в том, что она "загоняет общество в контекст, в котором оно не может доверять друг другу, не может иметь общих точек соприкосновения, не может обсуждать проблемы и не может разделять общий взгляд на реальность".

Но Кокс и его соавтор, руководитель отдела исследований Facebook Пратити Райчудхури, с радостью сообщили, что тщательный анализ имеющихся данных показал, что этот "медийный нарратив" не имеет под собой оснований. Доказательства того, что социальные медиа сыграли свою роль в поляризации, пишут они, "в лучшем случае неоднозначны". Хотя Facebook, скорее всего, не виноват, пишут Кокс и Райчудхури, компания все же пытается помочь, отчасти поощряя людей вступать в группы Facebook. "Мы считаем, что группы в целом являются позитивной, деполяризующей силой", - говорится в обзоре.

Заметка отличалась выбором источников. В заметке Кокса приводились статьи обозревателей New York Times Дэвида Брукса и Эзры Кляйна наряду с ранними публично опубликованными исследованиями Facebook, которые, по мнению сотрудников компании, больше не соответствуют действительности. В то же время в ней не были приведены выводы компании, подтвержденные в другом обзоре литературы всего за десять месяцев до этого, о том, что рекомендательные системы Facebook поощряют напыщенную риторику издателей и политиков, а также предыдущая работа, показавшая, что просмотр злобных постов заставляет пользователей сообщать о "большей злости к людям с другими социальными, политическими или культурными убеждениями". Хотя никто не мог достоверно сказать, как Facebook изменяет поведение пользователей вне платформы, то, что компания формирует их активность в социальных сетях, было признанным фактом. " Чем больше дезинформации человек получает в Instagram, тем больше доверия он испытывает к информации, которую видит в Instagram", - заключили исследователи компании в конце 2020 года.