Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов

Хегеман был настроен скептически. Если Джин прав, ответил он, то Facebook, вероятно, следовало бы предпринять радикальные меры, например закрыть все решетории, а компания не очень-то настроена на такие попытки. "Если мы удалим небольшой процент повторных покупок из инвентаря людей", - написал Хегеман, - "они решат реже возвращаться в Facebook".

Хегеман не был враждебен по отношению к сотрудникам Integrity. Многие из тех, кто работал с ним, считали его своим союзником. Но изменить Facebook таким образом, чтобы уменьшить число его ежедневных пользователей, было просто немыслимо.

Через несколько месяцев после этого обмена мнениями компания пересмотрела руководство по тестированию изменений в продукте и интерпретации результатов экспериментов. Какой бы ни была эволюция мышления компании за годы, прошедшие после выборов 2016 года, - будь то большее внимание к качеству контента или лучшее понимание опасностей вирусности - "Ежедневное количество пользователей" по-прежнему оставалось ее северной звездой. В руководстве говорилось, что любая предложенная функция, уменьшающая количество ежедневных пользователей Facebook хотя бы на 0,1 процента, почти наверняка будет мертва по прибытии.

"Правило № 1, DAP священен", - провозглашалось на презентации.

Компания старалась не трогать другие показатели, такие как количество зарегистрированных сессий, проведенное время и количество оригинальных постов. Но когда речь заходила о показателях дезинформации или других вредных факторах, на которые Джин обращала внимание, еще не было защитных перил, которые не позволяли бы командам, ориентированным на рост, изменять Facebook таким образом, чтобы это вредило показателям целостности, и даже не предупреждали бы об этом. Потребовалось до второй половины 2019 года, чтобы кто-то создал приборную панель, которая могла бы обнаружить, когда другие продуктовые команды подрывают работу сотрудников, занимающихся вопросами целостности.

Как только новая система заработала, команда Facebook по обеспечению честности поняла, что у нее есть проблема. Изменения в платформе, ориентированные на рост, похоже, активно усугубляли проблемы честности. В служебной записке исследователя Civic отмечалось, что за год количество просмотров контента со страниц, на которых регулярно размещалась дезинформация, выросло на 17 %. Просмотры контента со страниц, которые нарушали стандарты сообщества Facebook не менее четырех раз за последние девяносто дней, выросли на 64 %.

После двух с половиной лет самоанализа мысль о том, что изменения в пользу роста иногда усугубляют проблемы целостности, не могла стать полной неожиданностью ни для кого в Facebook. Но никто не мог понять, насколько прямо противоположны эти две цели. По крайней мере с конца 2018 года, а почти наверняка и задолго до этого, коллеги Сивика в других подразделениях Facebook наращивали количество пользователей и получали бонусы, отдавая предпочтение контенту, с которым компания публично обещала бороться.

С приближением президентских праймериз 2020 года Сивик утверждал, что компании наконец-то нужно понять, как перестать стрелять себе в ногу.

"Необходимо провести важные беседы, - пишет исследователь, - чтобы определить, действительно ли Facebook считает, что выгода от дополнительного 1-процентного роста перевешивает вред от демонстрации пользователям на 10 процентов больше дезинформации".

С точки зрения Civic, ответ на этот вопрос был очевиден. Несмотря на усилия команды, просмотры контента страниц, неоднократно нарушавших правила Facebook, выросли с начала года на 23 %. В преддверии выборов 2020 года компания вряд ли могла позволить себе дальнейшее ослабление своей защиты.

"Необходимо держать удар", - написал исследователь в служебной записке. Отмена изменений в продуктах, ориентированных на рост и в наибольшей степени ответственных за это увеличение, была такой же срочной, как необходимость "поставить мешки с песком во время шторма".

Если в Civic полагали, что руководство Facebook будет потрясено открытием, что усилия компании, направленные на рост, усугубили проблемы с честностью и неподкупностью Facebook, то они ошиблись. Цукерберг не только враждебно относился к будущей работе по борьбе с ростом; он начал сомневаться, что некоторые из прошлых усилий компании по обеспечению честности были ошибочными.

Получив право накладывать вето не только на новые предложения по обеспечению целостности, но и на уже давно одобренные работы, команда Public Policy начала заявлять, что некоторые из них не соответствуют стандартам компании в отношении "легитимности". Пощадив Sharing, было решено полностью отказаться от понижения рейтинга контента, продвигаемого гиперактивными пользователями, который и так был снижен на 80 % при его принятии. (В конечном итоге его пощадили, но еще больше урезали).

" Мы не можем считать, что ссылки, которыми делились люди, которые много делились, плохие", - говорится в описании планов по отмене изменения. (На практике эффект от отмены Sparing Sharing, даже в ослабленном виде, был однозначным. Просмотры "идеологически экстремального контента для пользователей всех идеологий" немедленно выросли бы на двузначный процент, причем большая часть прироста пришлась бы на ультраправых).

Инициатива "Информированный обмен", которая понижала рейтинг контента, которым делились люди, не нажимавшие на соответствующие сообщения, и которая оказалась успешной в снижении распространения фальшивых новостей, также была выведена из употребления.

"То, что мы реже делимся контентом после его прочтения, не является хорошим показателем честности", - говорится в документе, обосновывающем планируемое прекращение работы.

Пресс-секретарь компании опровергла утверждения многочисленных сотрудников Integrity о том, что группа по публичной политике имеет право накладывать вето или сворачивать изменения в системе честности, заявив, что команда Каплана была лишь одним из многих голосов внутри компании. Но независимо от того, кто руководил процессом, траектория развития компании была очевидна. Facebook больше не просто медлила с работой над целостностью. Она активно планировала отменить большие куски этой работы.

-

Звонки Джина становились все более срочными и все более простыми.

Через несколько месяцев после своего первого предупреждения о том, что стремление компании к вирусному росту вредит безопасности пользователей и качеству контента, он написал еще одну служебную записку, озаглавленную "Определение успеха в устранении вреда целостности".

Инженер начал с простой предпосылки: Facebook никогда не сможет удалить все плохое со своей платформы, и ожидать этого неразумно. Но компания, очевидно, несет определенную ответственность - так что же означает успех в борьбе с проблемами честности?

"Успех - это решение всех проблем, где наши продукты непропорционально усиливают вред по сравнению с миром, в котором их не было бы", - написал он.

Этот принцип дети усваивают рано. Прежняя чистота пола на кухне не имеет отношения к тому, пролили ли вы на него что-то. Точно так же история о том, как наливание себе напитка закончилось опрокинутым кувшином, может быть сложной и даже достойной тщательного изучения, но эти вопросы не имеют отношения к тому, нужно ли вам принести швабру.

Для Facebook, пишет Джин, устранение беспорядка означает, что ей нужно обратить особое внимание на свои рекомендательные системы и функции, которые поощряли плохое поведение или были непропорционально склонны к злоупотреблениям. Чтобы избежать катастрофы на выборах 2020 года, пишет он , компании придется либо сократить число функций, усиливающих социальные проблемы, либо лучше отсеивать плохие.

Facebook предпочитает последний подход, отметил Джин, но технически его гораздо сложнее реализовать. Кроме того, очистка Facebook и Instagram с помощью таргетинга неправомерного поведения неизбежно вызывала опасения по поводу цензуры. Сколько бы денег Facebook ни потратила на эти усилия, она все равно рисковала потерять контроль над своими платформами.

В отличие от этого, продолжил Джин, Facebook может быть уверен в достижении своих целей на выборах 2020 года, если будет готов замедлить работу вирусных функций. Это может включать в себя введение ограничений на повторные публикации, пересылку сообщений и агрессивное алгоритмическое усиление - такие шаги, которые команды Integrity по всему Facebook настаивали на принятии уже более года. Эти меры были бы простыми и дешевыми. А главное, эти методы были проверены и гарантировали успех в борьбе с давними проблемами.

Правильный выбор был очевиден, предположил Джин, но Facebook, как ни странно, не желал его принимать. Это означало бы замедление роста платформы - единственный незыблемый принцип.

"Сегодня планка для достижения победы за честность (которая может быть негативной для вовлеченности) часто выше, чем планка для достижения победы за вовлеченность (которая может быть негативной для честности)", - сетует Джин. Если ситуация не изменится, предупредил он, это грозит катастрофой на выборах 2020 года из-за "безудержной вредоносной вирусности".

Как бы пессимистично ни оценивал Джин подготовку Facebook к выборам, она все же была сформулирована деликатно. Среди сотрудников службы добросовестности было принято замечать, что классификаторы Facebook не подходят для решения сложных задач по обеспечению соблюдения закона, которые от них требовали.

Даже с учетом понижения рейтинга, "по нашим оценкам, в Facebook, несмотря на то, что мы лучшие в мире специалисты в этой области, мы можем бороться с 3-5% случаев ненависти и 0,6% случаев [насилия и подстрекательства]", - говорится в одной из презентаций. По словам людей, работавших с ним, Джин знал эту статистику, но был слишком вежлив, чтобы подчеркнуть ее.

Не только Цивик и старые работники новостной ленты, вроде Джина, беспокоились к осени 2019 года. Множество исследователей, которые и близко не подходили к вопросам механики платформы, были напуганы. Хотя QAnon - теория о том, что, хотя президент Трамп проводит рекордное количество дней, играя в гольф, он также находится в смертельной схватке со злобными, педофильскими силами Глубинного государства, - зародилась на 4Chan и была инкубирована на Reddit, группы Facebook обеспечили ей тепличные условия для экспоненциального роста. Некоторый рост этого движения был обусловлен гиперактивностью его приверженцев. Те, кто купился на теорию заговора, представляя ее как борьбу Трампа со злом, распространяли ее с мессианским рвением.

Часть из них также исходила от алгоритмов Facebook. Как только Facebook узнал, что его "Группы, в которые вам стоит вступить" подпитывают немецкий экстремизм в 2016 году, платформа, как оказалось, необычайно любит рекомендовать QAnon.

Этот феномен не стал неожиданностью: рекомендательные системы, подобные той, что использует Facebook, неизбежно пытаются "завести" пользователей, и чем непонятнее их интересы, тем лучше. Знание о том, что кто-то увлекается греко-римской борьбой, помогает Facebook персонализировать его ленту больше, чем знание о том, что ему нравится футбол. Теории заговора, такие как QAnon, имеют именно такую узкую, но глубокую привлекательность.

Исследователи компании использовали несколько методов, чтобы продемонстрировать притяжение QAnon, но самое простое и наглядное доказательство было получено при создании тестового аккаунта и наблюдении за тем, куда его завели алгоритмы Facebook.

Создав фиктивный аккаунт для "Кэрол" - гипотетической сорокадвухлетней консервативной женщины из Уилмингтона, Северная Каролина, чьи интересы включали семью Трампа, Fox News, христианство и воспитание детей, - исследователь наблюдал, как Facebook направляет Кэрол от этих основных интересов к более темным местам.

Уже через день рекомендации Facebook "отклонились в сторону полярного контента". А через неделю Facebook стал продвигать "шквал экстремального, конспирологического и графического контента".

Проблема была не только в ленте новостей. Это были рекомендации страницы , предложения просмотреть "похожие посты" и даже уведомления. В статье исследователя содержался призыв к действию: если Facebook собирается так активно продвигать контент, компания должна быть более разборчивой в том, что она продвигает.

В более поздних записях будет признано, что эти предупреждения остались без внимания.

Можно с уверенностью сказать, что из миллионов пользователей Facebook, которые со временем вступили в группы, посвященные этому заговору, многие не были его реальными адептами. Но уже к осени 2019 года правоверные QAnon совершили несколько странных преступлений - заблокировали мост через дамбу Гувера, похитили людей, захватили цементный завод, а исследователи пользовательского опыта компании получили больше информации о странном заговоре, чем многие другие.

Один из директоров Facebook вспоминает встречу с пользователем в Лас-Вегасе - обычном месте для исследователей пользователей, пытающихся выбраться из культурного пузыря района залива, чтобы набрать испытуемых. Обстановка была ничем не примечательной: один из сотрудников директора опрашивал нескольких пользователей Facebook об их активности на платформе, а директор и его коллега сидели за односторонним зеркалом в арендованном офисном помещении для маркетинговых исследований. Объекты были намеренно разнообразными, а профессионально подготовленный сотрудник Facebook, проводивший интервью, задавал строго нейтральные вопросы. Но одна из участниц интервью, белая женщина средних лет, смотрела на происходящее иначе.

В ее постах, в основном повторных, было много "Сделаем Америку снова великой" и материалов QAnon, и она казалась подозрительной даже на самые простые вопросы о том, как она использует Facebook.

Женщина начала жестикулировать, а затем повысила голос. Поначалу режиссеру показалась забавной несговорчивость испытуемой. Но по мере того как интервьюер пытался успокоить женщину и не смог, он и его коллега начали обмениваться обеспокоенными взглядами.

Черт возьми, подумал режиссер. Она собирается пересечь стол.

За односторонним стеклом директор и его коллега поднялись со своих мест. Они остались стоять, пока интервьюер торопливо , готовый ворваться в комнату, если женщина набросится на нее.

"Мы это поняли", - сказал он. "Наши пользователи - сумасшедшие".

-

В преддверии выборов 2020 года, когда большая часть работы была завалена политическими и продуктовыми командами, Civic нужно было сделать что-то смелое. Поэтому она сделала слайд-колоду.

Вложенная в презентацию PowerPoint, которую Самидх Чакрабарти, Каушик Айер и другие создавали в конце лета, таблица с цветовыми кодами сопоставляла серьезность потенциальных кризисов с уровнем готовности Facebook к их преодолению. Когда документ начал собираться воедино, Чакрабарти поделился им с Кэти Харбат.

Презентация была мрачной, сказал ему Харбат, но она не была ошибочной.

"Я хочу, чтобы они испугались", - вспоминает она слова Чакрабарти. Затем он отправил презентацию по электронной почте непосредственно Цукербергу и двум десяткам других руководителей, которые присутствовали на еженедельной встрече в конференц-зале генерального директора со стеклянными стенами, прозванном "Аквариумом".

Белые - для вещей, которые были не столь важны и к которым Facebook был достаточно подготовлен. Желтый и оранжевый цвета относились к средним ситуациям - местам, где все могло пойти не так, но возможности для настоящей катастрофы были ограничены. Красным цветом обозначались резонансные проблемы, в случае которых Facebook была готова только к ликвидации последствий.

Была и последняя категория: малиновая. Его было очень много, хотя он был зарезервирован для проблем, вероятность возникновения которых была "очень высокой", и достаточно серьезных, чтобы вызвать "социальный конфликт" - фраза, часто используемая в качестве эвфемизма для насилия. Согласно диаграмме, компания оказалась совершенно не готова к попыткам манипулирования внутри страны, проверка фактов была слишком медленной и ограниченной, чтобы поспеть за скоростью распространения ложных сведений, а "порочные стимулы" рекомендательной системы Facebook активно снижали качество новостей, которые потребляли люди. Усилия компании по предотвращению неправомерных действий со стороны крупных страниц и групп были крайне недостаточными, и у пользователей не было возможности определить, когда такие организации управляются из-за рубежа. Система правоприменения Facebook была настолько ненадежной, что она вполне могла принять неправомерные меры в отношении одного из кандидатов в президенты от основной партии.

По видеоконференции из Вашингтона Харбат наблюдала за тем, как Чакрабарти представляет материал собравшимся руководителям, не сводя глаз с Цукерберга. Генеральный директор ничего не сказал, вспоминает Харбат. Он просто выглядел расстроенным. Не успел Чакрабарти дочитать до конца, как Цукерберг прервал его вопросом: Что нужно Чакрабарти для решения выявленных проблем?

У Чакрабарти был готов ответ. Он попросил Цукерберга ввести "блокировку", пока все не будет исправлено.

Цукерберг недоуменно посмотрел на него. Блокировки обычно навязывались сверху, а не запрашивались снизу. Когда компания объявляла его в связи с определенным кризисом, все, кто работал над проблемой, должны были трудиться по ночам и выходным до тех пор, пока не достигали определенных "критериев выхода", означавших, что проблема была взята под контроль. Этот процесс должен был быть ужасным, но у него было одно преимущество. Когда команда находилась в режиме блокировки, она имела возможность отвлекать персонал и ресурсы до тех пор, пока проблема не останется позади.

Если Чакрабарти сочтет, что блокировка необходима, компания сделает это, сказал Цукерберг. Затем он прервал совещание.

Когда руководители уходили, Цукерберг отозвал в сторону Гая Розена из Integrity. "Почему вы показали мне это перед столькими людьми?" спросил Цукерберг у Розена, который, будучи начальником Чакрабарти, нес ответственность за то, что презентация его подчиненного попала в повестку дня того дня.

У Цукерберга были все основания быть недовольным тем, что столько руководителей наблюдали за тем, как ему в открытую говорили о том, что предстоящие выборы могут обернуться катастрофой. В ходе расследования деятельности Cambridge Analytica регулирующие органы по всему миру уже получили от компании повестки с тысячами страниц документов и потребовали предоставить им личные сообщения Цукерберга, которые велись на протяжении большей части десятилетия. Facebook заплатила $5 млрд Федеральной торговой комиссии США, чтобы урегулировать одно из самых громких расследований, но угроза повесток и показаний не исчезла.

Если выборы 2020 года провалятся по вине Facebook, регулирующие органы захотят узнать, знал ли Цукерберг о проблемах заранее, и, скорее всего, они зададут этот вопрос под присягой. Меньше всего юристам Facebook нужны были доказательства того, что генерального директора предупредили о проблемах, а он отмахнулся от них. Чакрабарти только что создал бумажный след, свидетельствующий об этом, и недостатка в свидетелях не было. Представитель компании отрицает, что недовольство Цукерберга было связано с тем, что ему показали тревожный документ на глазах у значительной внутренней аудитории. По словам представителя компании, он посчитал, что материал не был должным образом проверен.

Если и были какие-то сомнения в том, что Civic - проблемное дитя подразделения Integrity, то, бросив такой проклятый документ прямо на стол Цукерберга, они развеялись. Как Чакрабарти позже сообщил своим помощникам, Розен сказал ему, что впредь Civic будет обязана пропускать такие материалы через других руководителей - разумеется, строго по организационным причинам.

Чакрабарти воспринял это не очень хорошо. Несколько месяцев спустя он написал язвительную оценку руководства Розена в рамках полугодового обзора деятельности компании. По его словам, главный сотрудник Facebook, отвечающий за честность и неподкупность, " отдавал предпочтение PR-риску, а не социальному вреду".

Харбат тоже потеряла авторитет. Она была одним из главных связных Public Policy с Civic, и Розен уже сказал другим руководителям, что потерял доверие к ней, считая ее представителем тех времен, когда компания реагировала на все, что касалось политики, искренним "да" и широким общественным обсуждением. Выборы больше не были возможностью, а проблемой, с которой нужно было справиться - по возможности незаметно.

Чтобы держать под контролем работу Facebook в области выборов и честности, Facebook обратилась к Молли Катлер, главе отдела стратегического реагирования компании. Катлер получила известность как помощник главного юрисконсульта, призванный вести компанию через неразбериху с Cambridge Analytica. Когда эта история затихла, ее назначили своего рода постоянным кризисным менеджером. По словам двух руководителей, в отличие от Розен, она более четко объясняла , зачем компания создавала новый уровень управления, отделяя работу, связанную с выборами, от руководства. Цель заключалась в том, чтобы оградить Цукерберга. (Компания объясняет это необходимостью обеспечить доступ руководителей к "ясной, точной и непредвзятой информации").

Строгости нового режима сразу же стали очевидны. Вскоре после вступления Катлер в новую должность Цукерберг задал вопрос о библиотеке объявлений Facebook в групповой электронной почте. Вопрос не был каким-то деликатным, и Харбат, которая участвовала в создании этой системы и объясняла ее общественности, ответила на него.

"Молли разорвала меня в клочья", - говорит Харбат. "Это было: "Ты не разговариваешь с Марком, не поговорив со мной". "

Вскоре после этого Харбат была освобождена от должности руководителя группы по глобальным выборам Facebook и переведена в отдел "Эскалации", ответственный за быстрое решение проблем с модерацией контента, достаточно серьезных, чтобы вызвать недовольство прессы или гнев влиятельных людей. По сути, ее перевели в отдел обслуживания клиентов высокого уровня.

Отражая набор навыков, которые компания искала на ее прежнюю должность, Facebook заменила Харбат на Хизер Кинг, специалиста по реагированию на стихийные бедствия, работавшую в Совете национальной безопасности и Федеральном агентстве по управлению чрезвычайными ситуациями. (За время работы в Facebook Кинг ни разу не выступала на публике. После выборов 2020 года она перешла в Министерство обороны, где в ее официальной биографии упоминается только то, что она работала "в технологическом секторе").

Независимо от последствий, Чакрабарти получил свою блокировку. За следующие три месяца Civic и натасканные им помощники добились большего, чем команда за первые девять месяцев года. Instagram впервые ввел процесс удаления неаутентичных аккаунтов. Facebook пересмотрел стимулы для своей программы проверки фактов, чтобы поощрять своих партнеров бороться с вирусной дезинформацией, а не, скажем, с вдохновляющими цитатами, ошибочно приписываемыми Уинстону Черчиллю.

Платформа начала создавать инструменты для выявления "узконаправленных" пропагандистских усилий, когда манипуляции направлены на конкретное сообщество меньшинств. Она начала применять политику борьбы со спамом в группах Facebook и запрещать рекламу, призывающую людей не голосовать. С технической стороны компания наконец-то создала системы, которые позволят ей обнаружить массовую кампанию по подавлению избирателей и отреагировать на нее.

Когда блокировка была снята, налицо был прогресс: почти все темно-красные цвета поблекли и приобрели оттенок, означающий, что компания, по крайней мере, осознает риски, с которыми сталкивается. Но обновленная версия диаграммы, которую Чакрабарти бросил Цукербергу, выглядела не так сильно, как можно было надеяться. Некоторые из недостатков носили технический характер - Stagram все еще не до конца отладила свою работу по обеспечению честности, - но другие отражали нерешительность руководства компании или отказ от выполнения работы, которую Цивик считал важной.

-

Facebook все еще не дал Civic зеленый свет, чтобы возобновить борьбу с координируемыми внутри страны политическими манипуляциями. Ее программа проверки фактов была слишком медленной, чтобы эффективно пресекать распространение дезинформации во время кризиса. К тому же компания до сих пор не решила проблему "порочных стимулов", возникающих из-за склонности новостной ленты отдавать предпочтение сообщениям, вызывающим разногласия. "Остается неясным, несем ли мы ответственность перед обществом за снижение воздействия такого рода контента", - язвительно заявила обновленная презентация Civic.

"Самидх пытался подтолкнуть Марка к принятию этих решений, но он не клюнул на приманку", - вспоминает Харбат.

На последних выборах был один риск, который трудно было предсказать: Дональд Трамп. Хотя его имя не фигурировало в оценке подготовки к выборам, никто не понял, что имела в виду компания Civic, говоря о "возникающем риске" "агрессивных методов со стороны внутренних кампаний". Компания должна продемонстрировать, что она серьезно относится к соблюдению своих правил в отношении внутренних фигур, говорилось в презентации, и "быстро и последовательно реагировать", когда правила нарушаются.

Этот план был более чем перспективным. Хотя стандарты сообщества компании не давали политикам никаких дополнительных послаблений, Facebook в основном уклонялся от применения своих правил в отношении любых, кроме самых нестабильных кандидатов и должностных лиц. В основном это было негласно, , но в конце сентября 2019 года глава отдела по глобальным вопросам Facebook - бывший заместитель премьер-министра Великобритании Ник Клегг - выступил с докладом, в котором отметил, что компания решила исключить как посты политиков, так и предвыборную рекламу из программы Facebook по проверке фактов.

Это объявление вызвало многодневный ажиотаж в СМИ, но не только репортеры были взволнованы перспективой того, что Facebook будет размещать ложные рекламные объявления. Хотя в прошлом этот вопрос не был проблемой - ложные заявления Трампа не нуждались в платных СМИ, чтобы доминировать в социальных сетях и новостях кабельного телевидения, - Чакрабарти и его команда рассматривали решение Facebook как отказ от базовой ответственности. Конечно, должна быть какая-то грань, которую не может переступить даже политик.

Чакрабарти активно выступал против этого еще до заявления Клегга, поэтому Харбат занервничала, когда узнала, что он собирается вновь затронуть эту тему на еженедельном предвыборном собрании Civic. На той неделе к Харбат, которая обычно слушает, присоединилось гораздо больше ее коллег по Public Policy, чем обычно.

Чакрабарти начал с восхваления миссии Facebook, заключающейся в предоставлении людям права голоса, и объяснил, что пришел в компанию для ее реализации. Разногласия по поводу того, как это сделать, вполне ожидаемы, сказал он, но решение запускать политическую рекламу без какого-либо надзора не выдерживает критики. По его словам, брать деньги за распространение ложной информации - это предательство по отношению к пользователям платформы.

По мере того как он произносил свои боевые, заранее написанные реплики, сотрудники Civic переглядывались между собой, чтобы подтвердить то, что казалось все более очевидным: это была речь об отставке, и Чакрабарти поджигал руководство Facebook на пути к выходу.

Харбат думала о том же, и это ее не радовало. Ее отношения с Чакрабарти стали более напряженными после того, как Public Policy и Civic разделились на враждующие лагеря, и она начала подозревать, что он может утаивать от нее информацию о работе Civic. Но она была ближайшим союзником Сивика в команде "Вашингтонской политики", и увольняться, не предупредив ее, было некрасиво.

Ей не стоило беспокоиться. Поругав отсутствие у своего работодателя рассудительности и хладнокровия, Чакрабарти сделал поворот. По его словам, работа Civic слишком важна, чтобы ее бросать, и он надеется, что его сотрудники продолжат бороться вместе с ним. Аудитория - по крайней мере та ее часть, которая работала в Civic, - ответила бурными аплодисментами.

После этого Чакрабарти сказал Харбату, что произнес эту речь, потому что его беспокоило, что постоянные поражения Civic порождали чувство уныния среди его сотрудников. Пережить сезон выборов 2020 года было бы невыносимо - почти никто в Civic не считал, что Facebook готовится к нему должным образом, - и преданности своей зарплате было недостаточно. По словам Чакрабарти, Civic могла бы принять свою роль в качестве лояльной оппозиции компании, преданной миссии превыше управления.

Весь план зависел от одного: руководство Facebook считало, что Civic незаменим. По крайней мере, на данный момент это было так. По словам Харбата, Катлер заметила, что она бы добилась отстранения Чакрабарти от должности, если бы не ожидала, что значительная часть его команды взбунтуется. (Компания отрицает, что Катлер говорила это).

Глава

10

Несмотря на публичные неудачи Facebook, бизнес компании процветал. В 2016 году она получила 27 миллиардов долларов выручки и 10 миллиардов долларов прибыли. В течение следующих двух лет оба этих показателя удвоились, и, несмотря на миллиардные расходы на модерацию контента и штрафы регуляторов в 2019 году, маржа компании по-прежнему оставалась одной из самых высоких в S&P 500. Использование продуктов компании росло каждый квартал.

Однако за пределами поля зрения репортеров и финансовых аналитиков внутренние показатели здоровья компании начали давать сбои. Пользователи публиковали оригинальный контент на треть реже, чем пять лет назад, и Facebook пыталась исправить этот недостаток, увеличивая количество повторно публикуемого контента, а затем копируя эфемерную функцию обмена сообщениями Snapchat - Stories.

Какое-то время эти обновления работали. Но у одноименной платформы Facebook были и более глубокие проблемы, особенно среди молодежи. В 2016 году внутренние исследования показали, что в то время, когда общее использование Facebook Messenger выросло на 40 процентов по всему миру, количество сообщений, отправленных молодыми пользователями на основных западных рынках, падало. Кроме того, молодые пользователи стали общаться с меньшим количеством людей, добавив на 36 % меньше друзей по сравнению с предыдущим годом.

Некоторое время компания надеялась, что подростки просто не торопятся вступать в игру: анализ роста числа пользователей-подростков был оптимистично проиллюстрирован ленивцем, ползущим по дороге. Однако к 2018 году, когда был опубликован отчет "Состояние подростков", цифры стали очевидными. В 2012 году на каждого четырнадцатилетнего подростка приходилось 0,8 аккаунта на платформе. С тех пор это число сократилось вдвое. Среди подростков пользователи Facebook составляли меньшинство. Дети были канарейками в шахте внимания Facebook, предупреждалось в отчете, и первыми исчезали, "когда продукты становились несвежими".

Падение активности молодежи на платформе Facebook стало потенциально серьезной долгосрочной проблемой для компании, хотя в отчете было отмечено и спасительное обстоятельство. Самым грозным конкурентом платформы был Instagram, которым Facebook удобно владел. До тех пор пока Instagram мог удерживать молодых пользователей, привлекая их к продуктам компании, проблемы с подростками у его родственной платформы выглядели вполне преодолимыми.

Наряду с более радужными перспективами роста, Instagram также имел гораздо лучший общественный имидж, чем Facebook в целом. Никто не обвинял фотоплатформу в срыве выборов, нарушении конфиденциальности пользователей или разжигании геноцида. Не помешало и то, что основатели Майк Кригер и Кевин Систром оставались у руля приложения до конца 2018 года. Большинство пользователей Instagram даже не знали, что приложение принадлежит Facebook.

Была еще одна причина, по которой Instagram избежал многих проблем Facebook. Его гораздо более простая механика просто не могла пойти не так, как у Facebook. Издатели фальшивых новостей были гораздо менее опасны в Instagram, поскольку платформа не позволяла пользователям вставлять ссылки в свои посты. Отсутствие страниц и групп избавляло от необходимости защищаться от сложных попыток межпродуктового манипулирования. И все проблемы Facebook с повторным размещением контента не вызывали беспокойства в приложении, где полностью отсутствовала кнопка повторного размещения.

Хотя дизайн Instagram сделал его невосприимчивым к критике, обрушившейся на Facebook, более молодая пользовательская база платформы и культура, ориентированная на изображения, сделали ее более уязвимой, чем Facebook, в одном аспекте: психическом здоровье.

Опасения по поводу того, что новые формы медиа развратят молодежь, не утихают, поэтому, пожалуй, было неизбежно, что смартфоны и социальные сети вызовут те же волнения, что и видеоигры, телевидение и комиксы поколениями ранее. Но интерактивность и соревновательность социальных сетей добавили новый поворот. К 2018 году журнал Journal of Family Medicine and Primary Care зарегистрировал 259 смертей, связанных с селфи, большинство из которых стали результатом , что исследователи назвали "рискованным поведением".

Множество конкурирующих приложений для социальных сетей навлекали на себя гнев, когда их пользователи слишком комфортно чувствовали себя рядом с обрывом или стадом бизонов. Но культурные критики и врачи также начали рассматривать вопрос о том, могут ли социальные сети способствовать таким недугам, как издевательства, расстройства пищевого поведения и нереалистичные взгляды на жизнь других людей. Instagram, в силу своей огромной пользовательской базы и акцента на самопрезентации, принял на себя худшую часть этого. К 2017 году британское исследование показало, что Instagram оказывает наихудшее влияние на здоровье и благополучие подростков и молодых людей среди всех приложений социальных сетей.

Facebook пришлось самой разбираться в этом вопросе. К концу 2017 года в Instagram была создана команда Well-Being, которой было поручено изучить возможный вред, наносимый пользователям, и способы его уменьшения.

Вскоре работа команды получила толчок к развитию благодаря двум совершенно разным событиям. Первым стало назначение Адама Моссери на пост главы Instagram в октябре 2018 года после ухода основателей приложения. Будучи родителем, энтузиастом молодежной культуры или просто заботясь о благополучии подростков, Моссери лично был ярым сторонником исследовательской работы, что придало команде Well-Being необычный статус в организации Instagram.

Второй случай - смерть Молли Рассел, четырнадцатилетней девочки из Северного Лондона. Несмотря на то что Рассел "явно процветала", как установило позднее коронерское расследование, она покончила с собой в конце 2017 года. К ее смерти относились как к необъяснимой местной трагедии, пока в 2019 году BBC не выпустила репортаж об активности в социальных сетях. Рассел следовала за большой группой аккаунтов, которые романтизировали депрессию, членовредительство и самоубийство, и она приняла участие в более чем 2100 макабрических постах, в основном в Instagram. Последний раз она заходила на сайт в 12:45 в то утро, когда умерла.

" Я не сомневаюсь, что Instagram помог убить мою дочь", - сказал ее отец в интервью BBC.

Более поздние исследования - как внутри, так и вне Instagram - показали, что класс коммерчески мотивированных аккаунтов ухватился за контент, связанный с депрессией, по той же причине, по которой другие фокусировались на автокатастрофах или драках: эти материалы привлекали большое количество пользователей. Но подача контента, пропагандирующего суицид, уязвимым детям была явно неоправданной, и платформа обязалась удалить и ограничить рекомендации таких материалов, а также скрыть хэштеги вроде #Selfharm. Широкое освещение смерти Рассела не только показало операционный сбой, но и связало Instagram с растущей обеспокоенностью по поводу психического здоровья подростков.

Instagram не был уверен, что эти опасения обоснованы, поэтому сотрудники отдела благополучия платформы незамедлительно приступили к работе, чтобы выяснить это. Ко второй половине 2019 года они подготовили целый ряд внутренних исследований, которые включали в себя крупномасштабные опросы пользователей, качественные исследования, чтобы понять, как подростки воспринимают платформу, и анализ их потребительских привычек. Для пущей убедительности Instagram также заказал исследование у опросной компании YouGov.

Некоторые результаты оказались обнадеживающими, хотя и неудивительными. Подростки отметили, что обмениваться сообщениями с друзьями, смотреть на юмористические аккаунты и узнавать что-то новое в Instagram полезно для них. Когда подростки хотели отвлечься, они в подавляющем большинстве случаев считали приложение полезным.

Были и другие области, где платформа выглядела гораздо менее конструктивной. Несмотря на то, что издевательствам уделялось много внимания как внутри компании, так и за ее пределами, самые серьезные риски возникали не из-за того, что люди плохо обращались друг с другом. Вместо этого, пишут исследователи, вред возникал, когда существующие у пользователя опасения сочетались с механикой Instagram. "На тех, кто недоволен своей жизнью, приложение оказывает более негативное влияние", - отмечается в одной из презентаций, причем наиболее ярко это влияние проявляется у девушек, недовольных своим телом и положением в обществе.

В этом была своя логика, которую сами подростки описывали исследователям. Поток контента Instagram представлял собой "катушку ярких моментов", одновременно реальных и недостижимых. С этим можно было справиться тем, кто пришел в хорошем расположении духа, но это могло стать ядом для тех, кто оказался уязвимым. Увидев комментарии о том, как прекрасно выглядит знакомый на фотографии, пользовательница, недовольная своим весом, почувствовала бы себя плохо, но это не заставило бы ее прекратить прокрутку.

" Они часто чувствуют себя "зависимыми" и знают, что то, что они видят, вредит их психическому здоровью, но не могут остановиться", - отмечается в презентации "Глубокое погружение в психическое здоровье подростков". Полевые исследования, проведенные в США и Великобритании, показали, что более 40 процентов пользователей Instagram, которые чувствовали себя "непривлекательными", связывали это чувство с Instagram. Среди американских подростков, которые заявили, что в течение последнего месяца думали о самоубийстве, 6 процентов сказали, что это чувство возникло на платформе. В Великобритании эта цифра вдвое больше.

"Подростки, которые борются с психическим здоровьем, говорят, что Instagram усугубляет ситуацию", - говорится в презентации. "Молодые люди знают об этом, но не перенимают другие модели поведения".

Эти выводы не были решающими, но они были неприятными, в немалой степени потому, что имели смысл. Подростки говорили, а исследователи, похоже, соглашались с тем, что некоторые особенности Instagram могут усугублять проблемы с психическим здоровьем в большей степени, чем у его аналогов в социальных сетях. В Snapchat основное внимание уделялось глупым фильтрам и общению с друзьями, а TikTok был посвящен выступлениям. А вот Instagram? Он вращался вокруг тела и образа жизни. Компания отвергла эти выводы после того, как они были обнародованы, назвав очевидный вывод исследователей о том, что Instagram может навредить пользователям с предсуществующей неуверенностью в себе, недостоверным. Утверждения о том, что компания скрывала негативные результаты исследований, компания назвала "откровенной ложью".

Беспокойство по поводу того, что Instagram превратился в скороварку для сверстников, возникло не только у социологов-доброхотов. У продуктовых команд, заботящихся о здоровье бизнеса Instagram, тоже были причины для беспокойства. Социальная конкуренция давно стала частью опыта Instagram, но как интервью с пользователями, так и поведенческие данные указывают на то, что многие пользователи считают, что планка для хорошего поста стала недостижимо высокой. Особенно богатые белые пользователи в США, очевидно, отреагировали на это сокращением количества постов. Они все больше предпочитали "Истории", которые исчезали через день - материалы, которые, с точки зрения продукта, имели более короткий срок хранения.

Подростков беспокоит "миф" о том, что они должны выглядеть идеально на снимках, обнаружили исследователи, сосредоточившиеся на повышении популярности Instagram. Конечно, они по-прежнему потребляли много контента, но Instagram требовал от них еще и его производства. Попытка снять тревогу, связанную с размещением фотографий, была необходима для бизнеса.

Выяснить, как уменьшить негативные социальные сравнения и проблемы с образом тела, было, конечно же, просто правильно. Моссери хотел определить конкретные особенности, которые могут способствовать возникновению этой проблемы.

Один из подозреваемых: кнопка Like в форме сердца.

Как и его материнская компания, Instagram внедрил алгоритмическое ранжирование контента, хотя и позже, чем Facebook, - в 2016 году. Это означало, что, даже если не принимать во внимание контент знаменитостей и профессиональных авторитетов, пользователь почти гарантированно увидит контент от друзей и знакомых, который будет более интересным, чем то, что он сам публикует.

" Люди видят примерно на 5% больше лайков на свои собственные посты, чем на те, которые они видят на IG", - говорится в исследовании компании. Количество лайков определяло разрыв в популярности, и пользователи сообщали, что удаляют свои фотографии, которые не впечатлили их коллег и алгоритмы Instagram. В ноябре 2019 года Моссери объявил, что платформа начнет экспериментировать со скрытием лайков.

Некоторые авторитеты ненавидели эту идею. Они считали, что подсчеты - это доказательство их популярности для спонсоров и поклонников. Но, по словам людей, работавших над проектом, известным как "Проект Дэйзи", компания не обратила на это внимания и, как ни странно, была готова смириться с потерей вовлеченности в случае успеха. Преимущества потенциального улучшения самочувствия пользователей и увеличения количества размещаемого ими контента были слишком захватывающими. Как сказал Моссери, объявляя об эксперименте: "Мы будем принимать решения, которые навредят бизнесу, если они помогут благополучию и здоровью людей".

Даже в то время это заявление бросалось в глаза - тем более что выводы Instagram были более ранними и менее конкретными, чем выводы компании о недостатках ее рекомендательных систем и уязвимости Facebook к масштабным манипуляциям. Но когда речь зашла о психическом здоровье, компания не стала туманно говорить о "компромиссах". Моссери говорил, что в Instagram могла быть случайно встроена функция, которая помогла бизнесу , но навредила пользователям, и обещал, что если это так, то компания это исправит.

-

17 октября 2019 года Цукерберг вышел на богато украшенный подиум в Гастон-холле Джорджтауна, чтобы выступить с редкой публичной речью на тему свободы слова. Фрески и гербы иезуитов в величественном зале создавали ощущение проповеди, и PR-команда Facebook, безусловно, преподнесла это событие именно так.

Цукерберг начал со слов о смерти ранее в тот же день конгрессмена от штата Мэриленд Элайджи Каммингса, чья прославленная карьера в области гражданских прав началась в одиннадцать лет, когда он подвергся нападению белой толпы во время интеграции бассейна в Балтиморе, в результате чего у него остался шрам на лице на всю жизнь.

"Он был мощным выразителем идей равенства, социального прогресса и объединения людей", - сказал Цукерберг собравшимся. Затем он заявил, что Facebook тоже отстаивает эти ценности.

Цукерберг сказал, что создал Facebook, потому что верил, что прогресс происходит благодаря тому, что обычные люди имеют право голоса, и приписал это убеждение тому, что учился в колледже во время войны в Ираке. "Я помню, как чувствовал, что если бы у большего числа людей была возможность поделиться своим опытом, возможно, все пошло бы по-другому", - сказал он. "Те ранние годы сформировали мою веру в то, что предоставление каждому права голоса расширяет возможности бессильных и со временем подталкивает общество к совершенствованию".

Но, по словам Цукерберга, его беспокоит, что приверженность свободе демократического слова в Америке может ослабнуть. "Во времена социальных потрясений мы часто пытаемся ограничить свободу слова", - сказал Цукерберг собравшимся. "Мы хотим прогресса, который происходит благодаря свободе слова, но не напряженности".

Под натиском законодателей, СМИ и общественности Цукерберг удвоил свое предпочтение свободе слова. Он дал понять, что не является абсолютистом, ссылаясь на приверженность Facebook пресечению террористической пропаганды, издевательств над молодежью и порнографии. Но, помимо этого, он спросил: "Где вы проводите черту?

"Большинство людей согласны с принципом, что вы должны иметь возможность говорить то, что не нравится другим людям, но вы не должны иметь возможность говорить то, что подвергает людей опасности", - продолжил Цукерберг, прежде чем привести длинный аргумент в пользу того, что расширение определения "опасной речи" может быть рискованным.

По его словам, Facebook создала системы, многие из которых работают на основе искусственного интеллекта, для борьбы примерно с двадцатью категориями вредоносного контента. "Вся эта работа направлена на обеспечение соблюдения существующих политик, а не на расширение нашего определения того, что является опасным", - сказал он.

По словам Цукерберга, когда речь зашла о дезинформации, вместо того чтобы напрямую бороться с ложью на платформе, компания нашла лучшую стратегию: убедиться в подлинности аккаунтов и удалить те, что не являются таковыми, включая ботов. По его словам, настоящая борьба ведется не против поляризации и дезинформации. Она ведется против тех, кто "больше не доверяет своим согражданам право общаться и решать, во что верить".

И здесь, по словам Цукерберга, Facebook будет держать удар. Социальные сети - это "пятая власть", заявил он, дающая пользователям возможность выступать против "традиционных привратников в политике и СМИ". Социальная сеть - это уникальная демократическая сила, несовместимая с репрессивным правительством вроде китайского, и американцы должны встать на ее защиту. "Демократия зависит от идеи, что мы ставим право друг друга выражать свое мнение и быть услышанными выше нашего собственного желания всегда добиваться желаемых результатов", - сказал Цукерберг. "Мы должны быть уверены, что расширяем возможности людей, а не просто укрепляем существующие институты и структуры власти".

Социальные медиа, предоставленные сами себе, приведут к новой эре свободы и социального прогресса, заключил он. "Я верю в то, что даю людям право голоса, потому что, в конце концов, я верю в людей", - сказал Цукерберг. "Благодаря всем нашим индивидуальным голосам и точкам зрения мы можем сделать мир ближе друг к другу".

Если изложение Цукербергом антивоенной истории происхождения Facebook было ревизионистским, то описание генеральным директором нынешнего предназначения Facebook было не более точным. Как бы компания ни говорила о предоставлении людям права голоса, она была создана для того, чтобы заставить людей пользоваться Facebook, а затем многократно усовершенствована, чтобы они использовали ее еще больше.

Столь же бессмысленным было утверждение Цукерберга о том, что компания может контролировать дезинформацию и попытки манипулирования, удаляя фальшивые аккаунты. К концу 2019 года идея о том, что проблемы платформы можно списать на ботов, была тщательно дискредитирована как внутри компании, так и за ее пределами. Что бы ни думали о людях, фанатично продвигающих заговор QAnon или утверждающих, что вакцины вызывают аутизм, это были реальные люди. Facebook просто позволил фанатикам заработать на своей платформе влияние, значительно превышающее то, которого они могли бы добиться где-либо еще.

Для людей, работающих над вопросами целостности платформы, речь стала разъяснением. Цукерберг, как они поняли, лично не поддерживает их работу. Когда-то он объявил себя единственным человеком, способным починить Facebook. Теперь он публично пришел к выводу, что она больше не нуждается в исправлении.

Артуро Бежар, второй раз работающий в Facebook и занимающий должность консультанта в Instagram, наблюдал за речью с некоторым беспокойством. "Мой опыт работы с ним, - сказал он о Цукерберге, - заключается в том, что он очень хорошо умеет работать с такими принципами, как свобода слова. Но у меня никогда не было ощущения, что он понимает, что то, с чем он действительно имеет дело и за что несет ответственность, - это люди".

"Это знаменательное событие для Марка и для близких ему людей", - продолжил он. "Есть ощущение, что если мы позволим людям говорить все, что угодно, то все будет хорошо". Когда-то Бежар и сам верил в это. Но теперь он понял, что Facebook несет ответственность за то, что люди делают на его платформе.

Студенты Джорджтауна уважительно захлопали, когда Цукерберг закончил. На Facebook, где за происходящим наблюдала гораздо большая аудитория, реакция была совершенно иной. Люди устраивали цифровой эквивалент овации, улюлюкая и крича о своей поддержке. Цукерберг - гений, гуманист и мировой лидер, заявляли пользователи в сотнях коротких и странно похожих друг на друга предложений, содержащих слова "спасибо", "люблю" или "поздравляю". Из сотен ответов пользователей лишь полдюжины были враждебными.

"Спасибо за создание лучшей социальной платформы на свете, люблю тебя ", - написал один из пользователей.

Были ли эти восторженные комментарии подделаны? Написаны армией иностранных ботов? Отцензурированы сотрудниками Цукерберга практически в режиме реального времени? Отдел коммуникаций Facebook отрицает, что что-то не так, но инструмент веб-скреппинга показал, что настроения, отображаемые на экране, не являются репрезентативными для 45 000 пользователей, оставивших комментарии.

Более внимательный взгляд на горстку негативных комментариев, которые пользователи Facebook все же увидели, позволил понять, что происходит на самом деле. Единственная гадость была выражена в виде сарказма: люди "благодарили" Цукерберга за то, что он разрушил страну и подавил их речь.

Команда Facebook по связям с общественностью отказалась объяснить, что именно она сделала, сказав лишь, что компания старается отдавать предпочтение "качественным" ответам. Но, похоже, было ясно, что происходит. Facebook развернул систему фильтрации комментариев, чтобы предотвратить оскорбления публичных фигур, таких как Цукерберг, во время прямых трансляций, похоронив не только бранные слова и жалобы, но и содержательные дискуссии любого рода. Система была настроена на подхалимаж, причем не лучшим образом.

Иронию в жесткой цензуре комментариев к речи о свободе слова нетрудно было не заметить. Но в контексте других обвинений в адрес Facebook - компании, которую обвиняли в подрыве выборов, промывании мозгов пользователей и разжигании геноцида, - это вряд ли могло послужить основанием для публикации на первой полосе. Поэтому неудивительно, что редакторы Wall Street Journal не ухватились за возможность проверить, не глушила ли компания голоса, критикующие "Марка Сакерберга".

Это не мешало мне пытаться. Правда заключалась в том, что мои предложения о подаче материалов проваливались с некоторой регулярностью. Я уже восемь месяцев занимался, пожалуй, одним из самых значимых направлений в технологической журналистике и начал подумывать, не пора ли перейти от освещения Facebook.

Мои коллеги в Сан-Франциско рассказывали о компаниях, возглавляемых людьми, которые объявляли о фиктивных выкупах по 420 долларов за акцию (Элон Маск из Tesla) или запускали бутылки текилы через стеклянные двери, чтобы расслабиться (Адам Нейман из WeWork). Напротив, папарацци поймали Марка Цукерберга, катающегося на электрической доске для серфинга, когда на него было нанесено слишком много солнцезащитного крема. Другие основные материалы Wall Street Journal были столь же безнадежны, когда дело касалось Facebook. Компания была уже слишком велика, чтобы рассматривать крупные приобретения, возраст Цукерберга исключал рассказы о борьбе за преемника, а совет директоров был податлив. После нескольких охот за дикими гусями я понял, что слухи о скором уходе Сэндберг разлетаются с такой же предсказуемостью, как глиняные голуби на стрельбище. Лишенный драматизма руководства, я мог бы выуживать истории из финансовых отчетов Facebook, но бизнес был на редкость прибыльным и стабильным, принося сотни миллионов долларов в день, по одному клику за раз.

И все же что-то в этом эпизоде меня не устроило. Конечно, внутренняя механика платформы социальных сетей - какие комментарии всплывают, а какие нет, почему одни посты становятся вирусными, а другие остаются незамеченными, как закрепляются мемы - все это не было особенно сексуальным. Все это увязло в языке "алгоритмов", "классификаторов" и "пользовательского опыта" - терминов, которые просто созданы для того, чтобы усыпить бдительность непосвященных. Более того, это были понятия, которые я сам должен был лучше усвоить, если бы хотел поделиться ими с читателями.

Но дело было в том, что эта механика занимала центральное место в том, чем стал Facebook как продукт - машиной, которая подавала вам контент, созданный специально для того, чтобы вы прокручивали его бесконечно. Мы, репортеры, посвятили бесчисленное количество колонок разжиганию ненависти, фальшивым новостям и порно из мести, которые к тому времени вошли в массовое сознание. Мы освещали противоречивые правила Facebook и призывы к модерации контента. Но, как я понял, то, какие посты удалялись, имело гораздо меньшее значение, чем то, какие усиливались.

Мелочная одержимость разделом комментариев к речи Цукерберга стала своего рода Северной звездой. Под поверхностью платформы, на которой пользователи могли писать и взаимодействовать, находилось чертовски много механизмов. Для его обслуживания, безусловно, требовались профессиональные механики, люди, которые понимали, как работают компоненты и что делать, если они сломались. Я не знал никого с таким набором навыков - пока не знал, но, по крайней мере, знал, кого искать.

-

Наглядный урок опасностей усиления произошел всего через несколько месяцев после речи Цукерберга и моего небольшого прозрения. Брэндон Сильверман шел по коридору в Менло-Парке, когда столкнулся с руководителем, тесно сотрудничавшим с исполнительным директором Facebook.

"Вчера вы устроили настоящую пожарную тревогу", - сказал ему коллега Сильвермана с выражением, находящимся где-то между ухмылкой и гримасой. Сильверман был в замешательстве. Он не общался ни с кем из высшего руководства компании. Что же он натворил?

"Вторничное письмо", - сказал мужчина. И тут Сильверман вспомнил.

За несколько месяцев до этого он настроил автоматическую рассылку в CrowdTangle, чтобы ежедневно отправлять список из десяти самых просматриваемых постов платформы нескольким руководителям высшего звена в рамках усилий по привлечению внимания руководства к качеству контента. Потом он забыл об этом.

Оказалось, что в сводке лучших материалов того вторника, подготовленной CrowdTangle, была изображена задница. Это была не пограничная фотография чьей-то задницы. Это было безошибочное, крупное изображение ануса. Эта фотография не просто заняла первое место на Facebook - она стала самой большой. Занимая первое место, она была главной, которую видели руководители, когда открывали письмо Сильвермана. "Я не включил туда ни Марка, ни Шерил, но, по сути, включил туда всех остальных", - говорит Сильверман.

Картинка представляла собой миниатюру из порноролика, который избежал автоматических фильтров Facebook. Подобных ошибок следовало ожидать, но неужели Facebook настолько плохо знаком со своей платформой, что не заметил, когда его системы начали распространять этот контент среди миллионов людей?

Да, несомненно, так оно и было. Именно из-за огромного пробела в самосознании Facebook Сильверман и создал это оповещение. Выигрышный контент часто был ужасным, спамерским и нарушающим правила платформы. В тот день письмо стало наглядной иллюстрацией этой проблемы.

Этот инцидент вызвал внутреннюю дискуссию в Facebook, и Сильверман был призван помочь выработать функциональное определение качества контента. Определение того, что значит "качество" для Facebook, стало первым шагом на пути к сути вопроса, который он никогда по-настоящему не исследовал. Противостоять тому, чего она не хотела видеть на своей платформе, - это одно ; подумать о том, чего она на самом деле хочет, - совсем другое. В то время как Facebook было удобно удалять или уменьшать количество плохого контента, компания никогда не задумывалась о том, чтобы увеличивать количество хорошего контента.

Сильверман считает это различие смысловым. Независимо от того, как компания называла контент, который Facebook размещал в верхней части ленты пользователей, алгоритм новостной ленты функционально повышал его рейтинг. Весь процесс был искусственным, так почему бы не продвигать то, чем Facebook может гордиться?

"Они не достигли того, на что я рассчитывал, - установления флага, из чего, по мнению Facebook, должна состоять лента", - сказал Сильверман. "Марку нужна была гибкость".

Этот эпизод не привлек внимания за стенами Facebook. А вот потрясения, которые произойдут в ближайшие месяцы и годы, пропустить будет гораздо сложнее.

Глава

11

Когда в начале 2020 года в США разразилась эпидемия COVID-19, Facebook стала одной из первых крупных американских компаний, прекративших работу. В то время как в дата-центрах компании оставались скелеты для поддержания работоспособности серверов, подавляющее большинство из 50 000 сотрудников Facebook разошлись по домам, чтобы дождаться распоряжений и смириться с реальностью глобальной пандемии.

Это было тяжелое время для людей в целом и для многих сотрудников лично. Но для компании? Пандемия была ничем иным, как благом. После трех лет, погрязших в скандалах с фальшивыми аккаунтами, ошибками модерации и дезинформацией, Facebook как продукт внезапно стал незаменим для миллионов людей, укрывающихся дома и ищущих любого контакта с другими людьми, кроме физического. Когда в марте Италия стала первой после Китая страной, где была введена общенациональная блокировка COVID, использование продуктов Facebook выросло на 70 процентов, а некоторых, таких как групповые звонки WhatsApp, - в десять раз. Для бизнеса продукты компании тоже стали спасением. Facebook уже много лет пытается вывести на свою платформу больше коммерции, и пандемия эффективно справилась с этой задачей.

Внутренние приборные панели показывали, что в первые дни блокировки COVID пользовались приложением с большим успехом. Только американские пользователи Facebook увеличили количество сообщений в два раза и проводили в приложении 200 миллионов часов в день.

Понадобится время, чтобы эта "бонанза внимания" окупилась доходами от рекламы, но, имея на руках 60 миллиардов долларов наличными и ценными бумагами, компания располагала достаточным количеством денег, чтобы разбрасываться ими. Она заплатила своим внештатным сотрудникам, занимающимся модерацией контента, за то, что они месяцами сидели дома без дела, и выдала бонус в размере 1000 долларов штатным сотрудникам. Кроме того, компания приостановила проведение аттестации и заявила, что оценит работу всех сотрудников как "превосходящую ожидания", гарантируя каждому солидный годовой бонус.

Пандемия также положила конец засухе в сфере найма. Facebook с трудом находила достаточное количество сотрудников для поддержания своего стремительного роста, и Цукерберг в конце 2019 года "ясно дал понять" старшим руководителям по набору персонала, что он расстроен темпами найма, отмечалось в более поздней служебной записке. "Мы знали, что нам предстоит создать много продуктов, и у нас было больше уверенности, чем у других компаний, что мы сможем справиться с неопределенностью в бизнесе COVID-19", - говорилось в записке. "И ставка оправдалась".

Мир менялся таким образом, что это как раз соответствовало бизнес-модели Facebook и личным достоинствам Цукерберга.

Генеральный директор давно интересовался пандемиями. В 2016 году он и его жена Присцилла основали биохаб имени Чана Цукерберга с целью "поддержать науку и технологии, которые позволят вылечить, предотвратить или контролировать все болезни к концу века". Цукерберг был особенно заинтересован в иммунизации, так как это связано с технологиями и, прежде всего, с масштабом. Для управления Biohub Цукерберг нанял Джозефа ДеРизи, биохимика из Калифорнийского университета в Сан-Франциско, который изобрел технологию, позволившую впервые выявить острый респираторный синдром, или атипичную пневмонию, оказавшуюся коронавирусом. За несколько месяцев до начала пандемии Цукерберг вел прямую трансляцию беседы с ДеРизи, в которой рассказывал о достижениях в области вирусологии и говорил о "подрыве чувства истины и доверия к экспертам".

Вряд ли Facebook могла оказаться в лучшем положении, когда начался ад. Цукерберг приказал своим лейтенантам начать подготовку к пандемии уже в январе и поручил команде Integrity начать работу над дезинформацией о COVID. Он также обратился к Энтони Фаучи с предложением создать "Информационный центр COVID" с авторитетной информацией о вирусе и потенциальным контентом от самого директора Национального института аллергии и инфекционных заболеваний при Национальном институте здоровья. "Не считайте нужным отвечать на это, если это не покажется вам полезным", - написал Цукерберг.

Как и многое другое, что делал Цукерберг, это предложение было полезным. Фаучи принял его, и Цукерберг заявил, что компания не потерпит плохой информации, которая подвергает людей неминуемой опасности.

По мере того как на платформе Facebook появлялись сборщики средств для уволенных работников, рестораны, предлагающие еду на дом, и музыкальные выступления, транслируемые в прямом эфире, компания получила негласную переоценку со стороны общественности. Как самопровозглашенный руководитель военного времени, Цукерберг идеально подходил для вируса в качестве противника. " Пандемия дает Цукербергу шанс исправиться", - сообщает Bloomberg Businessweek. В статье New York Times говорится, что после нескольких лет ошибок коронавирус дал генеральному директору "возможность продемонстрировать, что он вырос в качестве лидера".

Внутри компании сотрудники Facebook, похоже, были согласны с этим. Facebook постоянно опрашивала своих сотрудников и обнаружила, что даже в условиях хаоса, вызванного ранней пандемией, настроения сотрудников росли. 25 мая 83 процента сотрудников компании заявили об оптимизме в отношении Facebook - рост более чем на 25 пунктов за два месяца. Почти такой же процент сообщил о доверии к руководству компании - уровень, не зафиксированный с момента выборов 2016 года.

Однако были признаки того, что не все в порядке. В мае специалист по изучению данных, работающий над обеспечением честности, опубликовал на своем рабочем месте заметку под заголовком "Facebook создает большую эхо-камеру для нарратива "правительство и чиновники здравоохранения лгут нам" - не все ли равно?".

Всего через несколько месяцев после начала пандемии группы, выступающие против мер по блокировке COVID, стали одними из самых популярных на платформе, продвигая ложные утверждения о пандемии под видом политической активности. Помимо того, что группы служили эхо-камерой для чередующихся утверждений о том, что вирус - это китайский заговор и что вируса не существует, они служили плацдармом для нападок на медицинскую информацию в масштабах всей платформы. Врачи, рассказывающие о переполненных отделениях скорой помощи и грузовиках-рефрижераторах, были перебиты; выражения сомнений колонизировали новостные сюжеты о рекомендациях общественного здравоохранения, как балясины, облепившие пирс.

Анализ показал, что эти группы появились внезапно, и , хотя у них были связи с устоявшимися сообществами против вакцинации, они не возникли органически. Многие из них имели практически идентичные названия и описания, а анализ их роста показал, что "относительно небольшое число людей" отправляло автоматические приглашения "сотням или тысячам пользователей в день".

Большинство из них не нарушали правил Facebook, отметил в своем посте специалист по исследованию данных. Утверждение, что COVID - это заговор Билла Гейтса с целью обогащения за счет вакцин, не соответствует определению Facebook как "неизбежный вред". Но, по его словам, компании стоит задуматься, отражает ли она просто широко распространенный скептицизм в отношении COVID или создает его.

" Это сильно влияет на отношение к здравоохранению", - ответил старший специалист по анализу данных. "У меня есть данные предстоящих опросов, которые свидетельствуют о не самых лучших результатах".

Вскоре после этого компания объявила о "событии на сайте", или SEV, официально признав наличие серьезной проблемы. Проблема заключалась в том, что количество дезинформации увеличилось более чем в два раза.

-

Дезинформация о COVID-19, распространяемая QAnon и другими конспирологическими движениями, была не единственной проблемой, которая вот-вот захлестнет Facebook.

Президент Трамп готовился к переизбранию и вышел на свою платформу, Twitter, чтобы начать то, что станет многомесячной попыткой подорвать легитимность выборов в ноябре 2020 года. "Не может быть и речи (НОЛЬ!) о том, что почтовые бюллетени окажутся чем-то меньшим, чем существенным мошенничеством", - написал Трамп. Как это обычно бывает с твитами Трампа, сообщение было перепощено в Facebook.

Под твитом Twitter разместил небольшое предупреждение, призывающее пользователей "Узнать факты о бюллетенях, отправляемых по почте". Любой, кто нажимал на него, получал информацию о том, что утверждения Трампа о "фальсификации" выборов ложны и нет никаких доказательств того, что бюллетени, отправленные по почте, представляют риск мошенничества.

Twitter провел свою линию. Теперь Facebook предстояло выбрать свою позицию. Моника Бикерт, глава отдела контентной политики Facebook, заявила , что пост Трампа находится на грани той дезинформации о "методах голосования", которую компания уже пообещала удалять.

У Цукерберга не было сильной позиции, поэтому он поступил по своему разумению и оставил все как есть. Но затем он выступил на телеканале Fox News, чтобы напасть на Twitter за то, что тот поступает наоборот. "Я твердо убежден, что Facebook не должен быть арбитром истины во всем, что люди говорят в сети", - сказал он ведущей Дане Перино. "Частные компании, вероятно, не должны быть, особенно эти компании-платформы, не должны быть в положении, чтобы делать это".

Интервью вызвало бурную реакцию внутри Facebook. Почему Цукерберг поощряет проверку Трампом границ платформы, заявляя о принципиальной терпимости к этому посту?

Ощущение того, что Цукерберг покорно подчиняется Трампу, должно было стать гораздо хуже. В день его интервью Fox News протесты против недавнего убийства Джорджа Флойда полицейскими Миннеаполиса приняли общенациональный масштаб, а на следующий день президент написал в Твиттере, что "когда начинается мародерство, начинается стрельба" - печально известная угрожающая фраза, которую использовал белый начальник полиции Майами в эпоху гражданских прав.

Заявив, что Трамп нарушил свои правила, запрещающие прославлять насилие, Twitter пошел на редкий шаг и ограничил возможность публичного просмотра твита - пользователям пришлось нажать на предупреждение, чтобы просмотреть его, и они не смогли поставить лайк или сделать ретвит.

В Facebook, где сообщение было размещено как обычно, классификатор насилия и подстрекательства компании оценил его как нарушение правил платформы с вероятностью чуть менее 90 процентов - чуть меньше порога, за который сообщение обычного пользователя автоматически удаляется.

Трамп, конечно, не был обычным пользователем. Как публичная фигура, возможно, самая публичная фигура в мире, его аккаунт и сообщения были защищены десятками различных уровней защиты.

Facebook разработал концепцию применения различных стандартов отношения к общественным деятелям, которая стала достоянием истории компании. Во время первого президентского срока Барака Обамы он опубликовал список своих любимых книг, среди которых был знаменитый роман Германа Мелвилла об одержимости, промышленном прогрессе и белом ките. Название книги спровоцировало срабатывание автоматической системы удаления непристойностей.

В результате страница Обамы была закрыта на короткое время и в конечном итоге не имела последствий, но это послужило сигналом для руководства Facebook: компания не может вечно оставаться безнаказанной за нарушение модерации в отношении президента Соединенных Штатов. Этот инцидент и другие подобные ему привели к появлению концепции "экранирования", которая позже была переименована в XCheck (произносится как "перекрестная проверка").

Для ее реализации Facebook составил список аккаунтов, которые были защищены от некоторых или всех немедленных принудительных действий. Если эти аккаунты нарушали правила Facebook, вопрос поднимался по иерархической цепочке Facebook, и принималось решение о том, стоит ли принимать меры против аккаунта или нет. В итоге все социальные медиа-платформы создали подобные списки - не было смысла рассматривать жалобы на глав государств, знаменитых спортсменов или преследуемых правозащитников так же, как это делали компании с обычными пользователями. Проблема заключалась в том, что, как и многое другое в Facebook, процесс в компании стал особенно запутанным.

Для Facebook риски, возникающие при защите слишком малого числа пользователей, были гораздо выше, чем риски при защите слишком большого числа. Ошибочное удаление контента крупной персоны могло привести к публичному аду - на языке Facebook, "эскалации СМИ" или, что самое страшное, "PR-пожару". Когда Facebook по ошибке удалял посты жертв рака груди или активистов всех мастей, это вызывало многочасовые или многодневные репортажи. Когда в 2014 году Facebook удалил фотографию с рискованной обложки французского журнала, размещенную в Instagram американской певицей Рианной, это едва не стало причиной международного инцидента. Как позже отмечалось во внутренних обзорах системы, стимул заключался в том, чтобы как можно сильнее оградить любой аккаунт, обладающий достаточным влиянием, чтобы вызвать излишнее внимание.

За XCheck не отвечала одна команда, и у этого термина даже не было конкретного определения. К рекламодателям, постам, страницам и политикам применялись бесконечные разновидности и градации, а сотни инженеров по всей компании кодировали различные способы защиты и помечали аккаунты по мере необходимости. В конечном итоге в XCheck было зарегистрировано не менее 6 миллионов аккаунтов и страниц, причем во внутреннем руководстве говорилось, что объект должен быть "заслуживающим внимания", "влиятельным или популярным" или "рискованным с точки зрения PR", чтобы соответствовать требованиям. На Instagram в XCheck попали даже популярные авторитеты в области животных, в том числе мопс Даг.

Любой сотрудник Facebook, знающий, что к чему, мог зайти в систему и отметить аккаунты для особого обращения. XCheck использовали более сорока команд внутри компании. Иногда сохранялись записи о том, как они его применяли, а иногда нет. Позже выяснилось, что защита XCheck была предоставлена "недобросовестным аккаунтам" и "постоянным нарушителям" правил Facebook.

Работа по повторному рассмотрению нарушающего правила контента от высокопоставленных пользователей потребовала бы огромной команды штатных сотрудников. Facebook просто никогда не нанимал таких сотрудников. Отмеченные посты попадали в очередь, которую никто никогда не рассматривал, сметая уже однажды подтвержденные жалобы под цифровой ковер. "Поскольку не было никакого управления или строгости, эти очереди могли бы и не существовать", - вспоминает человек, работавший с этой системой. "Мы были заинтересованы в защите бизнеса, а это означало, что мы не должны удалять посты китов".

Ставки могут быть высокими. XCheck защищала громкие аккаунты, в том числе в Мьянме, где общественные деятели использовали Facebook для подстрекательства к геноциду. Она защищала аккаунт британского ультраправого деятеля Томми Робинсона, как показало расследование британского "Четвертого канала" в 2018 году.

Одним из самых взрывоопасных случаев стал случай со звездой бразильского футбола Неймаром, чьи 150 миллионов подписчиков в Instagram ввели его в двадцатку самых влиятельных пользователей платформы. После того как в 2019 году женщина обвинила Неймара в изнасиловании, он обвинил ее в вымогательстве и опубликовал в Facebook и Instagram видеоролики в свою защиту, а также показал зрителям свою переписку с обвинительницей в WhatsApp, в которой были указаны ее имя и фотографии в обнаженном виде. Порядок действий Facebook в случае публикации "интимных изображений без согласия" был прост: удалить их. Но Неймар оказался под защитой XCheck. Более суток эта система не позволяла модераторам Facebook удалить видео. Внутренний обзор инцидента показал , что 56 миллионов пользователей Facebook и Instagram увидели то, что Facebook в отдельном документе назвал "порно из мести", подвергнув женщину тому, что один из сотрудников назвал в обзоре "постоянным оскорблением" со стороны других пользователей.

Согласно правилам работы Facebook, несанкционированные фотографии в обнаженном виде должны не только удаляться, но и аккаунты тех, кто их размещает. Столкнувшись с перспективой удаления со своей платформы одного из самых известных спортсменов в мире, Facebook ошарашено моргнул.

"После того как дело дошло до руководства, - говорится в обзоре, - мы решили оставить аккаунты Неймара активными, что является отходом от нашей обычной политики отключения профиля "одним ударом"".

Facebook знал, что предоставление преференций известным и влиятельным пользователям в лучшем случае проблематично, а в худшем - неприемлемо. " В отличие от остальных членов нашего сообщества, эти люди могут нарушать наши стандарты без каких-либо последствий", - отмечалось в обзоре 2019 года, а сама система была названа "не заслуживающей публичной защиты".

Вмешательство XCheck нигде так не проявилось, как в американской политике, особенно в правой. По мере того как Трамп продолжал гневно выступать против недружественного освещения событий в СМИ, консерваторы все чаще стали выдвигать обвинения в предвзятости, превращая обычные жалобы на методы модерации в социальных сетях в крупные скандалы. В одном из случаев в 2018 году Facebook ограничил распространение постов протрамповских социальных сетей Diamond и Silk в результате неоднократных нарушений. Компания отправила им письмо, в котором говорилось, что их контент "небезопасен для сообщества", и заявила, что "это решение окончательное и обжалованию не подлежит".

После того как сенатор Тед Круз обвинил Цукерберга в цензуре женщин, Facebook заявил, что его сообщение дуэту было "неточным", и отменил наказание. Однако этого было недостаточно, чтобы успокоить ситуацию. В течение месяца Даймонд и Силк давали показания перед судебным комитетом Палаты представителей, контролируемым республиканцами.

Подобные инциденты привели к появлению еще одной формы потворства, известной как "окно самовосстановления". Когда достаточно громкий аккаунт был окончательно уличен в нарушении правил Facebook, компания откладывала принятие мер на двадцать четыре часа, в течение которых пыталась убедить нарушителя добровольно удалить оскорбительный пост. Программа служила для привилегированных аккаунтов приглашением поиграть на грани дозволенного Facebook. Если они переступали черту, то могли просто вернуть все обратно, уже получив большую часть трафика, который они получили бы в любом случае. (Наряду с Даймондом и Силком, каждому члену Конгресса в итоге было предоставлено окно самоисправления).

Иногда Каплан сам принимал в этом непосредственное участие. Согласно документам, впервые полученным BuzzFeed, глобальный глава отдела публичной политики не преминул подтолкнуть сотрудников к отмене наказаний в отношении известных консерваторов за распространение ложной информации или склонить к изменению своих вердиктов специалистов по проверке фактов Facebook.

Среди политически влиятельных людей начало складываться понимание: если вы достаточно значимы, Facebook часто будет давать вам поблажки. Известные личности справедливо воспринимали любое значительное наказание как признак того, что Facebook не считает их достойными белоснежного обращения. Чтобы доказать, что компания ошибается, они кричали в ответ так громко, как только могли.

"Некоторые из этих людей были настоящими жемчужинами", - вспоминает Харбат. В офисе Facebook в Вашингтоне сотрудники четко обосновывали блокировку наказаний против "Мамочки-активистки", христианки со Среднего Запада, склонной к антигейской риторике, потому что она сразу же попала бы в консервативную прессу.

Боязнь Facebook испортить отношения с крупной публичной фигурой была настолько велика, что некоторые из них достигли статуса, выходящего за рамки XCheck, и были внесены в белый список, что делало даже их самый мерзкий контент неуязвимым для штрафов, снижения рейтинга, а в некоторых случаях даже для внутренней проверки.

Это был тот самый океан особого отношения, в котором плавал Трамп, когда писал в Твиттере о грабежах и стрельбе. Ставки не могли быть выше. Вопрос о том, что делать, перешел бы к Цукербергу.

Члены Civic наблюдали за спорами, охватившими платформу в режиме реального времени. Сразу после убийства Флойда, попавшего на видео, на карте ненавистнических высказываний и негативных отзывов пользователей по всем Соединенным Штатам появилось море зеленого цвета, ничего выше базового уровня . После того как протесты в Миннеаполисе переросли в насилие, в городе и вокруг него стали появляться очаги красного цвета, но нигде больше. После того как последователи Трампа в Facebook начали перепощивать его сообщения - часто в группах, где контент становился магнитом для самых жестоких и фанатичных мнений пользователей, - большинство крупных городов Америки стали ярко-красными.

" В конце 2 июня мы ясно видим, что вся страна, по сути, "горит", - написали четверо ученых, изучающих данные, в более позднем анализе под названием "Ненависть порождает ненависть; насилие порождает насилие".

В ближайшие недели будет много времени, чтобы рассмотреть интерпретацию слов Трампа, их исторический контекст и намерения президента. Ведущие кабельного телевидения будут пересказывать эти вопросы до бесконечности, а сотрудники Facebook будут спорить о том, насколько применимы к платформе заросли стандартов сообщества и руководящих принципов реализации. Но намерения и правила были совершенно не важны.

Как отметили специалисты по анализу данных, важно было то, что пост вел себя как язык ненависти. Перспектива отвечать на имущественные преступления смертоносной силой действовала как приманка для разжигания ненависти в национальном масштабе, запуская общественный разговор, который заставлял людей хотеть выцарапать друг другу глаза, создавая "высокую степень корреляции между заявленным пользователями вредом в сети и событиями протеста в оффлайне".

Ученые не смогли установить причинно-следственную связь, но они четко заметили, что распространение материала не было случайным. Не успел кросспостинг твита Трампа появиться в Facebook, как "набор распространителей" начал делиться им в партизанских сетях, где он вызвал еще более зажигательные отклики с такими фразами, как "настоящие пули", "к черту белых..." и "расстрелять ублюдков".

Технократов Facebook это не удивило. Ранее в рамках проекта At Risk Countries было установлено, что такие зажигательные материалы служат основой для ненависти, как коралловый риф образуется вокруг затонувшего корабля.

"Ненависть и насилие могут усугубляться распределением групп", - резюмируют авторы заметки "Ненависть порождает ненависть", и активность вокруг поста Трампа представляет собой американский аналог предыдущих выводов о том, что такая активность подпитывает "межобщинное насилие".

Не ограничивая распространение поста Трампа и не удаляя его с сайта , компания могла бы предпринять шаги, чтобы ограничить ущерб. Она могла бы ограничить повторные публикации, снизить точность, необходимую для скрытия остроумных комментариев, или попросить пользователей пересмотреть пикантные выражения, использованные при обсуждении поста.

Цукерберг решил ничего не предпринимать, заявив, что комментарий Трампа - это информационное предупреждение о возможном применении государственного насилия, и с сомнением сообщив сотрудникам, что у этой фразы нет истории расистского "собачьего свиста". Последовавшая за этим реакция была быстрой и гневной как внутри компании, так и за ее пределами.

Работа по внутреннему объяснению решения Цукерберга выпала на долю Бикерта, и это было нелегко. "Как мы можем посмотреть в глаза нашим сотрудникам и сказать, что мы не против?" - спросил Майк Шрепфер, главный технический директор Facebook. (В более поздних публичных интервью Шрепфер был более осмотрителен, сказав лишь, что для компании важно установить четкие правила и следовать им).

Выводы заметки "Ненависть порождает ненависть" были настолько мрачными, что авторы приложили постскриптум, адресованный "Нашим коллегам". То, что у Facebook теперь есть знания и инструменты, чтобы сделать лучше, но она этого не сделала, "удручает". Но "когда на кону стоят жизни, не пытаться - не вариант", - говорится в постскриптуме, цитируя Име Арчибонга, одного из самых высокопоставленных чернокожих руководителей Facebook. "Оставайтесь и сражайтесь вместе".

После грабежей и стрельбы и без того свободный тон общения на рабочем месте перешел на более высокую передачу. Некоторые посты содержали яростное осуждение руководства Цукерберга, другие были направлены на то, чтобы не пустить кризис на самотек.

Чакрабарти написал пост под заголовком "Сгибание наших платформ в сторону расовой справедливости", в котором подошел к теме взвешенно, но внес предложения, которые нельзя назвать революционными. По его словам, платформа компании не была создана для функциональных публичных дебатов и в настоящее время "отдает предпочтение интересам регулятора, а не защите сообщества", не поддерживая при этом "продемократические ценности".

Укоряя команду по публичной политике, с которой он враждовал на протяжении многих лет, он написал, что для решения проблемы необходимо отделить решения Facebook по контентной политике от лоббистской операции в Вашингтоне , а также предоставить общественности и сотрудникам право голоса в решениях по управлению платформой, которые принимает Цукерберг. Айер, который вместе с Чакрабарти возглавляет Civic, написал, что бездействие Facebook означает, что "компания потерпит неудачу в принятии решений, которые Марк примет в этом году".

Вскоре хор голосов выразил свое согласие. "Как всегда, отличный пост", - написал Фиджи Симо, руководитель приложения Facebook. "Что я могу сделать, чтобы помочь адвокатам?" - спросила Маргарет Стюарт, вице-президент по дизайну продуктов. "Все инструменты, которые у нас есть, к вашим услугам", - написала Миранда Сиссонс, директор Facebook по правам человека. "Я готова поддержать и помочь всем, чем смогу", - написала Кристин Хендрикс, руководитель отдела исследований Instagram.

Пост получил весьма прохладную реакцию со стороны начальника Чакрабарти, Гая Розена, который в частном порядке отругал его за то, что "подобные разговоры не подобают лидеру компании".

Боланд, вице-президент по партнерству, работавший в компании с 2009 года, был обеспокоен не столько риторикой президента, сколько тем, что он видел на CrowdTangle. Гордиться контентом, который распространяла платформа, было невозможно. Он позвонил Сэндберг и сказал ей, что после одиннадцати лет работы в Facebook он собирается уволиться.

"Вам не стоит этого делать прямо сейчас", - сказала Сэндберг, а затем открыла Боланду секрет: Крис Кокс возвращается в Facebook. По ее словам, проблемы, которые видел Боланд, были реальными, и вместо того чтобы увольняться, он должен обсудить их с Коксом через несколько недель. Боланд согласился попробовать.

За пределами руководящего звена настроение среди сотрудников было таким близким к мятежному, как никогда. Через четыре дня после твита Трампа сотрудники устроили виртуальную забастовку. В редких случаях многие стали высказывать свое недовольство вне рамок внутренних чатов компании, перенеся свое недовольство в Twitter. "Марк не прав, и я буду стараться как можно громче переубедить его", - написал в Твиттере Райан Фрейтас, директор, курировавший дизайн новостной ленты и связанную с ней работу по обеспечению целостности.

Во время общения с представителями компании один из членов команды Integrity спросил Цукерберга, почему Розен, чья команда отвечала за проблемы насилия в обществе, не участвовал в принятии решения оставить пост Трампа нетронутым.

"Прошу прощения. Я полагаю, что Гай был включен в список", - ответил Цукерберг. Это было неправдой, и сотрудник Integrity знал об этом. Утром Розен сообщил всей своей команде, что с ним не посоветовались. Сотрудник был готов пойти на убийство.

"Итак, сегодня утром я присутствовала на вопросах и ответах Гая... - начала она.

Затем Цукерберг, казалось, колебался. "Может, и нет", - сказал Цукерберг о причастности Розена. "На самом деле я не уверен, что он был".

То, что Цукерберг не смог вспомнить, консультировался ли он с вице-президентом Facebook по добросовестности при принятии решения о добросовестности, не было "замечательным", заявила сотрудница. Когда генеральный директор перешел к обороне, она попросила его взять на себя обязательство в будущем привлекать к принятию подобных решений команду, которая занимается рисками насилия в обществе.

В этот момент связь с Zoom прервалась.

"Извините, я вас потерял", - сказал Цукерберг, заверив оставшуюся аудиторию, что "все аргументы были рассмотрены".

Никто не мог с уверенностью сказать, что отключение допрашиваемого не было случайностью. Но подозрения ее коллег в том, что допрос Цукерберга был бесцеремонно прерван, впоследствии были подкреплены изменением политики.

Городские собрания Facebook имеют давнюю традицию откровенных дискуссий и незначительных утечек. В 2017 году Bloomberg опубликовал статью, в которой восхищался способностью руководителей Facebook проводить откровенные обсуждения в масштабах всей компании без утечки сочных подробностей. Теперь этой традиции пришел конец. Через несколько часов после завершения вопросов и ответов Vox опубликовал полную стенограмму. После этой встречи Facebook объявила, что в будущем вопросы на общих собраниях будут записываться заранее. (Позже компания объяснила это изменение пандемией и отметила, что сотрудники могут по-прежнему пытаться задавать вопросы в прямом эфире в разделе комментариев).

Тем не менее утечки стали происходить практически еженедельно, что вызвало поток статей о неудачах компании и о том, как она проявляла благосклонность к соблюдению тех правил, которые у нее были. По данным BuzzFeed News, компания неоднократно отменяла проверки фактов для известных консервативных издателей , включая Breitbart, а Каплан лично вмешался, чтобы защитить аккаунт праворадикального лидера Чарли Кирка.

В конце августа, менее чем через месяц после публикации этой истории, белокожий парень с детским лицом по имени Кайл Риттенхаус отправился из своего дома в Индиане в Кеношу, штат Висконсин, где начались гражданские беспорядки после того, как полиция застрелила чернокожего Джейкоба Блейка. Оказавшись там, Риттенхаус застрелил двух человек и покалечил третьего. Он отправился в поездку после того, как один из местных жителей создал на Facebook акцию, призывающую добровольцев "взять в руки оружие и защитить сегодня ночью город от злобных головорезов". Пост, популярность которого возросла благодаря радио и другим СМИ, был отмечен пользователями Facebook 455 раз. Цукерберг назвал то, что компания не удалила это событие, "операционной ошибкой".

После заявления Цукерберга о том, что Facebook просто ошиблась в применении правил платформы, члены Integrity долго ломали голову. Реальность оказалась куда более запутанной. " Язык, использованный в этих событиях и группах, не был нарушающим", - справедливо заметил менеджер по исследованиям Civic Integrity на Workplace, предсказав далее, что попытка Facebook отделить похвалу действиям Риттенхауса (что было запрещено) от вопросов о том, справедливо ли с ним обращаются (что было разрешено), обернется катастрофой. У компании и отдаленно не было возможностей для того, чтобы сделать это правильно, и, вероятно, никогда не будет.

Другие коллеги из Civic и сотрудники Integrity в комментариях выразили свое согласие. "Если бы наша цель заключалась в том, чтобы на нашей платформе было меньше ненависти, насилия и т. д., а не в том, чтобы убрать больше ненависти, насилия и т. д., наши решения и инвестиции, вероятно, выглядели бы совсем иначе", - написал один из них.

Розену надоело иметь дело с Civic. Цукерберг, который, как известно, не любил пересматривать решения после их принятия, уже продиктовал свой предпочтительный подход: автоматически удалять контент, если классификаторы Facebook с высокой степенью уверенности считали, что он нарушает правила платформы, и принимать "мягкие" меры, такие как понижение в должности, когда системы предсказывали, что нарушение более вероятно, чем нет. Это были маршевые приказы , и единственным продуктивным способом продвижения вперед было их неукоснительное выполнение.

Другие люди, работавшие над вопросами честности, доверяли решениям коллег из других подразделений компании, но сотрудники Civic, похоже, считали, что знают лучше, сказал ему Розен. Сотрудники Civic ссылались на клятву команды на совещаниях, и Розен счел токсичным намек на то, что Civic придерживается более высоких этических стандартов, чем остальные сотрудники компании. По его словам, Чакрабарти вообще не следовало создавать эти принципы, и он предупредил Чакрабарти, что в Civic должно быть "ноль драматизма", чтобы у него был шанс получить даже среднюю оценку работы.

Глава 12

Это был август 2020 года, и Киран, сотрудник Facebook India, собирался сделать нечто лично для него неблагоразумное.

За неделю до этого в Wall Street Journal была опубликована статья, которую мы с моим коллегой Ньюли Пурнеллом написали в соавторстве, о том, как Facebook освободил пламенного индуистского политика от ответственности за разжигание ненависти. Не было никаких сомнений в том, что Раджа Сингх, член парламента штата Телангана, подстрекал к насилию. Он выступал с речами, в которых призывал расстреливать иммигрантов рохинья, бежавших от геноцида в Мьянме, клеймил всех индийских мусульман предателями и угрожал разрушить мечети. Все это он делал, собирая аудиторию из более чем 400 000 подписчиков на Facebook. Ранее в том же году полиция Хайдарабада поместила его под домашний арест, чтобы он не привел своих сторонников на место недавнего религиозного насилия.

То, что Facebook ничего не предпринял перед лицом подобной риторики, могло быть вызвано небрежностью - в мире было много пламенных политиков, предлагающих множество подстрекательств на разных языках. Но в данном случае Facebook был прекрасно осведомлен о поведении Сингха. Индийские группы по защите гражданских прав обратили на него внимание сотрудников в Дели и Менло-Парке в рамках своих усилий по оказанию давления на компанию, чтобы она приняла меры против языка ненависти в стране.

Не было никаких сомнений в том, что Сингх квалифицируется как "опасный человек", которому обычно запрещено присутствовать на платформах Facebook. Несмотря на внутреннее заключение о том, что Сингх и несколько других индуистских националистов создавали риск реального кровопролития, их включение в список деятелей ненависти было заблокировано Анхи Дасом, главой Facebook по индийской общественной политике - тем же руководителем, который несколько лет назад лоббировал восстановление страниц, связанных с BJP, после того как Civic боролась за их удаление.

Дас, в чьи обязанности входит лоббирование интересов правительства Индии от имени Facebook, не стала пытаться оправдать защиту Сингха и других индуистских националистов техническими или процедурными причинами. Она категорически заявила, что объявление их фигурами ненависти разозлит правительство и правящую BJP, поэтому компания не будет этого делать.

Мы с моим коллегой Ньюли Пурнеллом узнали о том, что Дас защищает Сингха, и написали об этом как о явном нарушении обещания Facebook защищать пользователей и крайнем примере подозрительной готовности компании нарушать правила в интересах власть имущих. Такое открытое заявление о раболепстве перед правительством было бы немыслимо со стороны высокопоставленного руководителя Facebook в США, но в Индии, очевидно, все было иначе.

После нашей статьи тогдашний управляющий директор Facebook India Аджит Мохан заверил мусульманских сотрудников компании, что мы ошиблись. Facebook удаляет язык ненависти "как только узнает о нем" и никогда не пойдет на компромисс со своими стандартами сообщества ради политических целей. "Хотя мы знаем, что нам еще многое предстоит сделать, мы добиваемся прогресса каждый день", - написал он.

Именно после того, как мы опубликовали эту историю, Киран (псевдоним) связался со мной. Они хотели объяснить, что наша история в журнале лишь поверхностная. По их словам, связи Даса с правительством были гораздо теснее, чем мы думали, и Facebook India защищала организации гораздо более опасные, чем Сингх.

Киран был готов подробно рассказать об этих вещах, но не называл их имен, даже по зашифрованным каналам. Риск заключался не только в том, что их уволят, говорили они. Индия больше не была местом, где высказывания о правительстве и его использовании Facebook были безопасным занятием.

Киран поделилась несколькими подробностями их истории. Они увлеклись Facebook еще в университете, когда эта платформа заполонила студенческие городки по всей Индии. Однако не эта модная тенденция стала для них главной приманкой Facebook. Киран принадлежала к маргинализированной группе , и платформа позволила им найти сообщество, которое было гораздо менее доступно в оффлайне.

Их прием на работу в Facebook для работы над вопросами безопасности с командами в Индии и США - это триумф. "Меня взяли, потому что я искренне любил Facebook", - говорят они.

Но с самого начала Киран поняла, что что-то явно не так. Отчасти проблема заключалась в политическом фаворитизме Дас. Она следила за тем, чтобы Facebook жертвовал средства благотворительным организациям, поддерживающим правительство, и проводила на официальных страницах Facebook живые интервью с министрами BJP, стремящимися повысить свой авторитет. Она не стеснялась внутренне выражать свою поддержку правительству Моди.

Коллегам Дас иногда казалось неприятным, что она говорит как оперативник кампании BJP, но партийные связи не были чем-то необычным для главы отдела общественной политики Facebook на важных рынках. В США Джоэл Каплан принадлежал к республиканцам; он привел в ярость коллег, когда явился поддержать Бретта Кавано во время слушаний в Конгрессе по обвинениям будущего судьи Верховного суда в сексуальных домогательствах к нему. В Израиле главой отдела политики была Йордана Катлер, бывший помощник премьер-министра Биньямина Нетаньяху. Facebook хотела иметь дружеские отношения с правительствами, поэтому нанимала людей, у которых они уже были.

Но Киран, чья работа позволила им ознакомиться с тем, как Facebook решает резонансные проблемы с модерацией контента по всему миру, увидела в происходящем нечто более мрачное. Когда американские сотрудники предупреждали о том, что общественные деятели используют платформу для подстрекательства к насилию, они говорили о том, что Трамп разместил угрожающее, зашифрованное односложное сообщение из Twitter. В Индии более подходящей точкой отсчета был не президент США, а события, произошедшие за несколько месяцев до этого, в феврале 2020 года, когда индуистские активисты в Дели, некоторые из которых принадлежали к BJP, призвали своих подписчиков в Facebook силой разогнать многомесячную сидячую забастовку мусульман.

" Индусы, выходите. Умри или убей", - заявил один из видных активистов во время прямой трансляции в Facebook, согласно более позднему отчету индийских государственных служащих в отставке. В результате последовавших за этим беспорядков погибли 53 человека, а северо-восточная часть Дели была сожжена.

По мнению Киран, сотрудники Facebook в в Соединенных Штатах не понимали, насколько тяжелой становится ситуация в Индии. Они не видели индуистских групп, занимающихся защитой коров, которые собирали слухи о перевозке скота на убой, а затем документировали самосуд над водителями грузовиков. Они не знали, что полиция не собирается появляться, когда воинствующие индуистские группы совершают налеты на церкви, обвиненные в обращении в другую веру. И они не знали, что из-за постов в Facebook о "Любовном джихаде" - исламофобской теории заговора, согласно которой мусульмане хотят захватить Индию, соблазняя наивных индусских девушек, - гибнут люди.

Киран попыталась объяснить это своим коллегам в Менло-Парке. Они участвовали в политических форумах и вместе с другими сотрудниками успешно добивались от компании запрета ненависти по кастовому признаку. Они отметили, насколько риторика "Любовного джихада" отражает представления о чернокожих американцах как о гиперсексуальных хищниках - клевету, связанную с многочисленными линчеваниями времен Джима Кроу. Но хотя их американские коллеги соглашались с тем, что в Индии у компании серьезные проблемы с честностью и неподкупностью, казалось, что мало что происходит. Все говорили: "Да, да, да, да", а потом все это оставалось незавершенным", - говорит Киран.

То, что их американские коллеги в целом не понимали, в каком состоянии находится Facebook в Индии, оказалось верным. Сотрудники Facebook - если они вообще регулярно пользовались этой платформой вне работы - с таким же успехом могли быть на другой платформе.

С точки зрения компании, это был намеренный выбор дизайна. С тех пор как в 2008 году Facebook решил ускорить свой выход на международный рынок, поручив перевод своего сайта добровольцам за рубежом, платформа в основном считала непонимание того, как ее используют, преимуществом своей бизнес-модели. Предположение, что пользователи сами разберутся в ситуации, возможно, также объясняло, почему компания так и не удосужилась перевести стандарты своего сообщества на все десятки языков, на которых она предлагала сайт, и почему она так и не наняла ни одного модератора, способного говорить на основном языке каждой страны, в которой она работала.

Ценой этой оперативности стало невежество. Даже когда компания создавала облегченные версии своих продуктов для работы на дешевых устройствах , предпочитаемых на бедных рынках, и платила телекоммуникационным компаниям на границе, чтобы обеспечить бесплатный доступ к Facebook в деревнях, где нет дорог, она продолжала создавать и оптимизировать платформу для людей, которые использовали ее так же, как и они, - людей, которые принимали запросы в друзья только от знакомых, контролировали, за какими страницами они следят, и отключали знакомых, которые делились слишком большим количеством хлама.

Для людей с инженерным образованием такая рутинная онлайн-гигиена не казалась демонстрацией искушенности. Однако это были навыки. Выбор, который делали пользователи, не только ограничивал то, что Facebook показывал им в ленте новостей. Он ограничивал и то, что платформа показывала их связям. Наличие обеспеченных друзей побеждало даже самый лучший классификатор дезинформации, когда дело доходило до того, что теории заговора не попадали в ленту.

Как и все формы стадного иммунитета, защита не была идеальной. У каждого есть дядя или друг детства, который может перепостить безумные вещи и клюнуть на приманку для вовлечения. Но защитный эффект от наличия образованных, подкованных в Интернете друзей помог объяснить, почему высшее руководство компании с удивлением обнаружило, что македонские тролль-фермы производят лучший предвыборный контент на платформе. Пожары, вспыхивающие на нижних этажах Facebook, должны были превратиться в полномасштабные инферно, прежде чем обитатели пентхаусов почувствовали запах дыма.

Facebook платила своим добросовестным сотрудникам за то, чтобы они следили за проблемами, но даже профессиональные наблюдатели были застигнуты врасплох на таких рынках, как Индия. В преддверии выборов в Индии в 2019 году компания направила в страну исследователей пользовательского опыта, чтобы они проверили пульс индийцев на Facebook, в том числе исследователя, который описал неприятные тенденции рекомендательных систем Facebook в книге "Путешествие Кэрол в QAnon".

Исследовательница создала фиктивный аккаунт во время путешествия. Поскольку платформа учитывает географию пользователя в рекомендациях контента, отметили они с коллегой в статье о своих выводах, это был единственный способ получить истинное представление о том, что платформа предлагает новому индийскому пользователю.

Зловеще, но ее краткое изложение того, что Facebook рекомендовал их воображаемой двадцатидвухлетней индианке, начиналось с предупреждения о графическом насилии. Если американских пользователей Facebook подталкивал к теориям заговора, то индийская версия была антиутопической.

"За 3 недели с момента открытия учетной записи, следуя только этому рекомендованному контенту, лента новостей тестового пользователя превратилась в почти постоянный шквал поляризующего националистического контента, дезинформации, насилия и крови", - говорилось в записке. Лента фиктивного аккаунта стала особенно мрачной после пограничных стычек между Пакистаном и Индией в начале 2019 года. В период крайней военной напряженности Facebook направил пользователя в группы, наполненные контентом, пропагандирующим полномасштабную войну и высмеивающим изображения трупов с помощью смеющихся эмодзи.

Это был не случай, когда плохие посты проскользнули мимо защиты Facebook, или один индийский пользователь спустился в националистическую кроличью нору. То, что Facebook рекомендовал молодой женщине, было плохим с самого начала. Платформа подтолкнула ее к вступлению в группы с изображениями трупов, просмотру вымышленных авиаударов и поздравлению несуществующих пилотов истребителей с их храбростью.

"За последние три недели я видела больше изображений мертвых людей, чем за всю свою жизнь", - написала исследовательница, отметив, что платформа позволила фальши, дегуманизирующей риторике и насилию "полностью захватить власть во время крупного кризисного события". Facebook необходимо не только задуматься о том, как ее системы рекомендаций влияют на "пользователей, которые отличаются от нас", заключила она, но и переосмыслить то, как она создает свои продукты для "неамериканского контекста".

Индия не была исключением. За пределами англоязычных стран и Западной Европы пользователи регулярно видели больше жестокости, приманки для вовлечения и лжи. Возможно, различия в культурных представлениях о приличиях объясняют некоторые из этих различий, но многое, очевидно, связано с различиями в инвестициях и заботе.

С 2016 года "пиар-пожары" в США определяли большую часть работы Facebook по обеспечению честности и неподкупности. Компания строила свою защиту от иностранного вмешательства в ответ на обеспокоенность выборами в США, устанавливала политику конфиденциальности в ответ на действия Cambridge Analytica и писала свои правила по дезинформации о вакцинах в ответ на вспышку кори в Калифорнии. В каждом случае масштабная плохая пресса подталкивала Facebook к устранению проблем. Другие крупные и богатые рынки иногда привлекали такое же внимание.

PR-пожары, как правило, тлели меньше по мере того, как страны, в которых они возникали, становились меньше и беднее - даже если проблемы имели такие же или более серьезные человеческие последствия. Места, где Facebook уделяла меньше всего внимания и ресурсов, часто оказывались теми, где ее продукт занимал самое центральное место в общественной жизни.

В 2019 году BBC опубликовала разоблачительный материал о продаже домашней прислуги в странах Персидского залива через Instagram и приложения для бартерного обмена, доступные в магазинах Apple и Google. Это был мрачный материал: у женщин из Непала, Филиппин и стран Африки, которых заманивали в Кувейт и Саудовскую Аравию ложными обещаниями работы, изымали паспорта. По прибытии в страну женщин продавали из дома в дом, заставляли работать семь дней в неделю и подвергали тюремному заключению.

Это не должно было быть законным в Персидском заливе в соответствии с системой спонсорства рабочей силы на сером рынке, известной как "кафала", но Интернет устранил трения, связанные с покупкой людей. Репортеры BBC Arabic под прикрытием выдали себя за кувейтскую пару и договорились о покупке шестнадцатилетней девочки, продавец которой хвастался, что никогда не разрешал ей выходить из дома.

Все рассказали BBC, что были в ужасе. Кувейтская полиция спасла девочку и отправила ее домой. Компании Apple и Google пообещали искоренить злоупотребления, а приложения для обмена валюты, упомянутые в статье, удалили свои разделы "домашняя прислуга". Facebook пообещал принять меры и удалил популярный хэштег, по которому размещались объявления о продаже горничных.

После этого компания практически перестала заниматься этим вопросом. Но Apple оказалась более внимательной. В октябре, отправив Facebook множество примеров продолжающихся продаж горничных через Instagram, она пригрозила удалить продукты Facebook из своего App Store.

В отличие от торговли людьми, это, по мнению Facebook, был настоящий кризис.

" Удаление наших приложений с платформ Apple имело бы потенциально серьезные последствия для бизнеса, в том числе лишило бы миллионы пользователей доступа к IG и FB", - говорится во внутреннем отчете об инциденте.

Забив тревогу на самом высоком уровне, компания нашла сайт и в течение нескольких дней удалила 133 000 сообщений, групп и аккаунтов, связанных с этой практикой. Она также быстро пересмотрела свои правила, отменив предыдущее правило, разрешающее продажу горничных через "кирпичные и минометные" предприятия. (Чтобы не расстраивать чувства "партнеров" из стран Персидского залива, компания ранее разрешала рекламу и продажу прислуги предприятиям с физическим адресом). Facebook также обязуется "обеспечить целостную правоприменительную практику в отношении любого контента, пропагандирующего домашнее рабство", говорится в памятке.

Apple отменила свою угрозу, но Facebook снова не выполнил своих обещаний. Два года спустя, в конце 2021 года, сотрудник Integrity напишет расследование под названием "Домашнее рабство: Этого не должно происходить в FB, и как мы можем это исправить". В меморандуме, посвященном Филиппинам, описывалось, как ночные агентства по трудоустройству набирают женщин, давая им "нереальные обещания", а затем продают их в долговую кабалу за границу. Если Instagram был местом, где продавали домашнюю прислугу, то Facebook был местом, где их вербовали.

Зайдя в почтовые ящики агентств по трудоустройству, сотрудник обнаружил филиппинских домашних слуг, молящих о помощи. Некоторые заявляли об изнасиловании или присылали фотографии синяков от ударов. Другие месяцами не получали зарплату. Другие сообщали, что их держат взаперти и морят голодом. Агентства по трудоустройству не помогали.

В страстном меморандуме и других подобных ему перечислялось множество вещей, которые компания могла бы сделать для предотвращения злоупотреблений. Речь шла об усовершенствовании классификаторов, изменении политики и проведении социальной рекламы. Используя машинное обучение, Facebook мог бы выявлять филиппинок, ищущих работу за рубежом, а затем информировать их о том, как заметить "красные флажки" в объявлениях о работе. В странах Персидского залива Instagram может запустить рекламные ролики о правах работников.

По целому ряду причин этого не произошло. В одной из служебных записок отмечается опасение, что, если рекламные ролики на арабском языке, предостерегающие от жестокого обращения с домашней прислугой, будут слишком сильно сформулированы, это может "оттолкнуть покупателей". Но главным препятствием, по словам людей, знакомых с командой, были просто ресурсы. Команда, постоянно занимающаяся торговлей людьми - а это не только незаконный ввоз людей для работы и секса, но и продажа человеческих органов - насчитывала полдюжины человек по всему миру. Команда просто не была достаточно многочисленной, чтобы справиться с этим делом.

На момент написания этой книги ее по-прежнему можно легко обнаружить.

-

Компания платит сотрудникам за то, что они изучают и иногда работают над решением этих и других проблем, но без регулярного контроля со стороны репортеров, охотящихся за историями, и рекламодателей, заботящихся о бренде, Facebook часто казался институционально неспособным - или не желающим - обеспечить постоянную способность сосредоточиться на них.

Многие из проблем были основополагающими. Facebook так и не удосужился перевести свои общественные стандарты на языки, на которых говорят десятки миллионов людей. Для проверки контента на других языках компания часто привлекала подрядчиков, а сообщения на сирийском и иракском арабском направляла подрядчикам в Марокко, для которых они были непонятны. Во внутренней проверке это было названо несоблюдением "минимального стандарта", согласно которому модераторы, работающие по контракту, должны понимать язык контента, который они проверяют.

Больше денег, конечно, помогло бы в работе по обеспечению международной целостности, но сотрудники Менло-Парк осознали, что столкнулись с другой проблемой. В компании, которая требовала масштабирования во всем, что делала, классификаторы не могли надежно работать на разных языках. Только классификаторы, основанные на изображениях, например те, которые сканируют наготу, действительно легко масштабировались в глобальном масштабе. Все остальное приходилось делать на разовой основе. Например, для поддержки гражданского классификатора компании Facebook требовалось постоянно отслеживать не только лиц, занимающих государственные должности, но и места, людей и термины, имеющие общественное значение. Почти постоянное переобучение было необходимо; некогда малозаметные вещи - например, имя Джорджа Флойда - могли в одночасье превратиться в эпицентр напряженности.

Гражданственность была не единственным классификатором, который нуждался в уходе и питании. Только для целостности были выделены такие категории, как язык ненависти, терроризм, дезинформация, насилие и подстрекательство, пограничная враждебная речь и другие. Если бы компания хотела, чтобы эти классификаторы работали на португальском языке, ей пришлось бы отдельно привлекать специалистов по маркировке и инженеров для их создания, а затем учитывать региональные различия между Португалией, Бразилией и Анголой.