Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

43 Когнитивные хаки

Вот хак, который я регулярно использовал в 1990-х гг., когда мы еще пользовались бумажными авиабилетами, чтобы сэкономить на перелетах. Получение бумажного посадочного талона было отдельным от покупки билета действием, его можно было получить за несколько недель до полета, и для этого нужно было пообщаться с реальным человеком.

В те времена я жил в Вашингтоне, округ Колумбия, и много летал по работе. Скажем так, у меня были причины проводить выходные в Чикаго, но работодатель не позволял делать дорогостоящую остановку. Однако у меня был хак. Скажем, у меня есть билет из Сиэтла в Вашингтон с пересадкой в Чикаго на воскресенье. Сначала я должен пойти в кассу авиакомпании и получить распечатанные посадочные талоны, которые агент прикрепляет степлером к моим билетам. Я откреплял их и прятал, а на другой день возвращался в кассу и менял оба рейса на пятницу (в те времена поменять билеты стоило недорого). Агент авиакомпании вводил изменения в компьютер и выдавал мне новую пару посадочных талонов, снова прикрепленных степлером к тому же билету. В пятницу, как и предполагалось, я летел из Сиэтла в Чикаго, затем проводил там выходные, а вернувшись в аэропорт в воскресенье, подходил к выходу на посадку на рейс Чикаго – Вашингтон с оригинальным билетом и первым посадочным талоном, который я сохранил. Несмотря на то что компьютер не показывал бронь на мое имя, у меня был билет с правильной датой и посадочный талон с воскресного рейса Сиэтл – Чикаго, чтобы показать, если у кого-то возникнут сомнения. Сбитый с толку, агент игнорировал то, что сообщал ему компьютер, выдавал новый посадочный талон и пропускал меня в самолет.

Это был отличный хак, и он работал до тех пор, пока авиакомпании не перешли на электронные билеты и не отказались от бумажных посадочных талонов. Но что именно я взламывал? Уж точно не систему бронирования авиабилетов. Компьютер четко сказал, что у меня нет брони на этот рейс. На самом деле я хакал самого агента авиакомпании, контролирующего посадку. Я был уверенным в себе белым мужчиной, совершающим деловую поездку, с надлежащим образом оформленным билетом и посадочным талоном в руках. Проблема могла быть связана с компьютерной ошибкой, – по крайней мере, именно такое предположение в итоге делал агент. Это может показаться странным, но хакал я не что-нибудь, а человеческий мозг.

Наш мозг – это система, которая развивалась в течение миллионов лет, чтобы поддерживать жизнь на уровне каждой особи и, что более важно (с точки зрения генов), – чтобы поддерживать воспроизводство вида. Он был оптимизирован благодаря постоянному взаимодействию с окружающей средой, но оптимизирован для людей, которые жили небольшими родовыми общинами на Восточно-Африканском плоскогорье 100 000 лет назад. Человеческий мозг не слишком хорошо подходит для жизни в Нью-Йорке, Токио или Дели XXI в. Чтобы приспособиться к современной социальной среде, он вынужден задействовать множество когнитивных функций, а значит, им можно манипулировать.

Будет упрощением говорить о том, что биологические и психологические системы человека являются системами «естественными», а затем заявлять, что хакинг подрывает их цели. Эти системы функционируют и развиваются незапланированно. Тем не менее такой упрощенный подход может дать полезную основу для обсуждения. Мы можем ссылаться на «цель» биологических и психологических систем – например, на цель поджелудочной железы или цель чувства доверия – без необходимости выходить за рамки эволюционных процессов. (Здесь уместна аналогия с экономическими и политическими системами, у которых тоже нет единого проектировщика.) Хакинг творчески подрывает эти системы. Как и взломы созданных человеком систем, когнитивные хаки используют уязвимость, чтобы подорвать цель когнитивной системы.

Когнитивные хаки обладают невероятной силой. Многие социальные системы, на которые опирается наше общество, – демократия, рыночная экономика и т. д. – зависят от людей, принимающих рациональные решения. В предыдущих главах мы рассматривали хаки, которые успешно ограничивали один из трех внешних аспектов этого процесса: информацию, выбор и свободу действий. В этой и следующих главах мы узнаем, как процесс принятия решения взламывается напрямую – непосредственно в нашем сознании.

Возьмем, к примеру, дезинформацию – хак, который подрывает наши системы свободы слова и свободы прессы. Дезинформация – понятие далеко не новое. Геббельс, гитлеровский министр пропаганды, однажды сказал{192}: «Одной из лучших шуток демократии навсегда останется то, что она дала своим смертельным врагам средства, которыми же и была уничтожена». Дезинформация подрывает многие когнитивные системы, о которых мы будем говорить дальше: внимание, убеждение, доверие, авторитет, трибализм[27], а иногда и страх.

В отличие от других хаков когнитивные хаки относятся к более высокому уровню общности. Фактически, они являются самыми общими в иерархии хаков. В то время как законы регулируют экономические операции и другие сферы жизни общества, законодательные органы и суды отвечают за создание и пересмотр законов, а Конституция страны (или аналогичный документ) устанавливает законодательный процесс и судебную систему. Но наши социальные системы – и системы технологические, в той мере, в какой они взаимодействуют с пользователями, – зависят от того, что люди думают и насколько задействуют свои когнитивные функции, чтобы разобраться в той или иной ситуации. Если вы можете хакнуть мозг, то сможете взломать и любую систему, управляемую человеком.

Когнитивные хаки так же стары, как и наш вид. Многие из них были нормализованы так давно, что мы даже не задумываемся о них, не говоря уже о том, чтобы считать их хаками. Поскольку мы sapiens, разработавшие теорию собственного сознания и обладающие способностью планировать далеко вперед, мы подняли хакинг как таковой до уровня сложности, не доступной ни одному из известных нам видов. Как и многие хакерские приемы, описанные в предыдущих главах, когнитивные хаки нацелены на информацию, выбор или свободу действий, которые необходимы людям для принятия обдуманных и эффективных решений.

Что изменилось за последние полвека, так это возможности для манипулирования восприятием других людей – компьютеры и компьютерные интерфейсы предоставляют нам их в широком ассортименте. В сочетании с компьютерными алгоритмами и поведенческими науками они повысили скорость и изощренность вмешательства в работу сознания, а это ведет уже к качественным изменениям.

Однако паниковать не стоит. Писатель и активист Кори Доктороу предостерегает нас{193} от слепой веры в то, что «высокие технологии использовали большие данные для создания луча, контролирующего наш разум, чтобы втюхивать людям спиннеры». То, о чем пойдет речь в следующих главах, – не более чем пища для размышлений. Однако я думаю, что игнорировать опасения в этой сфере не стоит: ИИ будет делать методы манипулирования все более эффективными.

Патчи, как правило, не работают с когнитивными системами, хотя осознание факта взлома уже само по себе является патчем. Защита от когнитивных хаков сводится к превентивным мерам и смягчению нанесенного ими ущерба. Многие мошеннические игры паразитируют на наших эмоциях – жадности, доверии, страхе и прочих. Взять и поставить заплатку на мозг невозможно, но можно использовать другую систему, чтобы объявить конкретные хаки незаконными – то есть выходящими за рамки приемлемого социального поведения – и обучить потенциальных жертв тому, как избегать их.

Хаки когнитивных систем очерчены не так четко, как хаки, описанные в предыдущих главах. Возьмем для примера дизайн интерфейса веб-страниц, которые кампания Трампа использовала, чтобы обманом заставить людей пожертвовать гораздо больше денег, чем они намеревались, причем для целей, выходящих за рамки политической кампании. Уловки были повсюду: предварительно отмеченные флажки, разрешающие еженедельное снятие средств с расчетного счета или кредитной карты; предустановленные суммы пожертвований, вбитые мелким шрифтом; еще более мелкий шрифт для сообщений о том, что пожертвование может быть использовано на личные расходы кандидата, и т. п. Все эти явные хаки являются примерами темных паттернов, о которых мы поговорим позже. Но являются ли они взломами наших перцептивных, эмоциональных или исполнительных систем принятия решений? Ответ: да, причем, похоже, всех трех. Меня не смущает то, что подобное утверждение носит характер неоднозначности. Люди сложные существа. Их когнитивные системы тоже. Поэтому любое обсуждение этой темы тоже будет неоднозначным.

44 Внимание и зависимость

Всплывающую рекламу ненавидят все{194}. Даже ее изобретатель, Итан Цукерман, публично извинился за свое детище. Но всплывающая реклама все равно проникла в большинство компьютерных устройств по той причине, что она прибыльна. А прибыльна она потому, что успешно привлекает внимание людей и увеличивает продажи рекламодателей.

В отличие от баннерной рекламы, которую мы, как правило, можем отключить, всплывающая реклама заставляет уделить ей внимание, хотя бы для того, чтобы просто смахнуть ее с экрана. Обычно он возникает прямо перед глазами, загораживая то, на что вы смотрели. Часто такая реклама включает в себя не только статичное изображение, но и звукоряд и даже видео. Чтобы закрыть окно рекламы, нужно предпринять действие, причем иногда бывает трудно понять, куда для этого надо нажать, или закрытие происходит не с первого раза. И да, все это работает. Удерживание нашего внимания даже в течение относительно короткого промежутка времени может иметь долгосрочный эффект.

Внимание – это когнитивная система, которая позволяет нам сосредоточиться на важных вещах. В любой момент времени вокруг и внутри нас происходит бессчетное множество событий. И хотя наш мозг – это мощный инструмент, его возможности ограниченны. Мы не можем обращать внимание сразу на все.

Учитывая это ограничение, мы используем внимание избирательно. Мы отдаем приоритет вещам и событиям, которые важны для выживания, и уделяем меньше внимания тому, чему уже доверяем. Наше внимание легче всего привлекают явления, которые могут указывать на присутствие хищника или иной угрозы: резкие движения, громкие звуки, яркий свет. Мы также отдаем приоритет явлениям, которые влияют на наше социальное выживание, таким как безопасность и положение в группе, или связанным с привлечением и удержанием сексуальных партнеров. Еще мы обычно обращаем внимание на явления, которые способствуют нашему благополучию и уровню комфорта. Вот почему все, что обещает нам потенциальное вознаграждение, – будь то еда, деньги, наркотики, игрушка в киндер-сюрпризе или просто лайк в цифровом профиле, – привлекает наше внимание. Мы не всегда можем осознанно выбирать, как и на чем фокусировать свое внимание, потому что большая часть этой системы встроена в наш мозг с неизменяемыми настройками.

Реклама сама по себе не привлекает наше внимание, поэтому рекламодателям приходится взламывать когнитивные системы потенциальных потребителей. В 1860-х гг. французский литограф Жюль Шере изобрел новую форму рекламного плаката{195}: яркие контрастные цвета, красивые полуодетые женщины, динамичные сцены – в общем, то, что невозможно игнорировать. Позже художник-плакатист Леонетто Каппьелло начал рекламировать потребительские товары с помощью потрясающих огромных изображений, созданных специально для того, чтобы пассажиры недавно открытого парижского метрополитена могли разглядеть их, проносясь мимо на большой скорости.

Рекламодатели всегда стремятся как можно более эффективно привлечь наше внимание. Именно поэтому супермаркеты и даже магазины канцелярских товаров или товаров для дома выкладывают конфеты в прикассовой зоне – хак, известный как «размещение в точке продажи». Именно поэтому телевизионные рекламные ролики еще не так давно звучали громче, чем шоу, которые они перебивали, пока Федеральная комиссия по связи США в 2012 г. не запретила эту практику. И именно по этой причине у нас есть всплывающая реклама.

Если рекламные кампании, получившие развитие в 1950-х гг., были основаны на маркетинговых исследованиях и психологии, то современные рекламные кампании все чаще используют микротаргетинг, чтобы хакнуть каждого из нас лично. При этом рекламодатели и брокеры данных накапливают и монетизируют гигантские массивы личной информации, угрожая нашей частной жизни в попытке завладеть вниманием.

Еще один хак схем нашего внимания, который распространен в современных социальных сетях: стимулирование ажиотажа. Facebook использует алгоритмы для оптимизации вашей ленты. Цель компании – удержать вас на платформе: чем дольше вы находитесь на сайте, тем больше рекламы увидите и тем больше денег заработает компания. Поэтому она старается показывать интересный для вас контент, с которым можно демонстрировать сопутствующую рекламу. (Не забывайте об этом: весь смысл этих систем заключается в продаже рекламы, которая манипулирует вами для совершения покупок.)

Аналогичным образом Google хочет, чтобы вы продолжали смотреть видео на YouTube. (YouTube является дочерней компанией Google.) Алгоритм YouTube выяснил, что все более поляризующий специализированный контент привлекает пользователей. Этот неожиданный хак оказался весьма выгодным. Facebook и YouTube поляризуются не потому, что так было задумано, а потому, что, во-первых, алгоритм оптимизировал себя для подачи все более специализированного контента на основе интересов пользователя и, во-вторых, руководство решило проигнорировать потенциальные проблемы, которые это создало. Применительно к политике такие схемы имеют тенденцию к поляризации пользователей, поскольку им проще занять идеологическую нишу, в которой уже есть люди, разделяющие их мировоззрение, и отдавать предпочтение материалам, вызывающим наибольший ажиотаж. Ускоряя и отлаживая задачу поиска и показа специализированного поляризующего контента, автоматизированные системы рекомендаций сокращают количество неотфильтрованных взаимодействий, которые помогают нам учитывать разные мнения и пересматривать собственные убеждения.

Одним из решений этой проблемы, по крайней мере в части рекламы, является регулирование информации, используемой рекламодателями для микротаргетинга. После выборов 2020 г. компания Google внедрила политику, согласно которой было решено ограничить таргетинг предвыборной рекламы общими категориями: возраст, пол и местоположение на уровне почтового индекса. Такие простые меры защиты, скорее всего, окажутся эффективными – если, конечно, Google будет их придерживаться. Однако члены обеих партий сделают все возможное, чтобы подорвать их, поскольку микротаргетинг стал неотъемлемой частью современной политики.

Лучшее решение – применить против гигантских сетей антимонопольное законодательство. С таким количеством контента, собранным в одном месте, гиперспециализация становится легкодоступной (хотя и технически сложной). Напротив, формат небольших социальных сетей, каждая из которых содержит меньший объем контента, ограничит возможности специализации. Обратите внимание, что гиперконсервативные социальные сети, появившиеся после того, как Дональду Трампу запретили пользоваться Twitter[28], не имеют и близко такой власти, как крупные транснациональные компании социальных сетей.

Логической крайностью хакинга внимания является зависимость – самая эффективная форма удержания внимания. Хак заключается не в самом физиологическом процессе зависимости, а в том, как заставить кого-то стать зависимым. Создавая свои продукты так, чтобы они вызывали привыкание, производители и разработчики гарантируют, что клиенты и пользователи будут продолжать их использовать. Иногда зависимость бывает физиологической, но чаще всего она начинается как поведенческая фиксация, закрепляемая с помощью эндорфинов, адреналина и других нейрохимических веществ, выброс которых вызывает такое поведение.

Базовая методология поведенческой зависимости хорошо иллюстрируется на примере игрового автомата. Мы знаем, что переменные вознаграждения вызывают большее привыкание, чем вознаграждение фиксированное, а азартные игры по своей природе предоставляют именно такой вид вознаграждения. На первом этапе процесса возникает триггер – пусковой механизм, который привлекает наше внимание. Игровые автоматы нарочито яркие и шумные. Они шумят и тогда, когда ими никто не пользуется, и тогда, когда кто-то выигрывает. Второй этап представляет собой действие, которое запускает ожидание вознаграждения. Эту роль выполняет ставка – когда-то это была монета, опущенная в слот, сегодня достаточно нажать кнопку. Третий этап – переменное вознаграждение: вы то выигрываете, то проигрываете. На четвертом этапе начинаются эмоциональные инвестиции, которые увеличивают склонность игрока к повторному входу в цикл. Все любят победителей. Еще одно нажатие кнопки, и – кто знает? – может быть, джекпот будет вашим.

Онлайн-игры тоже относятся к аддиктивным процессам с переменным вознаграждением, особенно игры с лутбоксом – наборами цифровых товаров. Игроки платят – иногда игровой валютой, но в основном реальными деньгами – за случайный набор внутриигровых предметов. Ценные предметы встречаются в лутбоксах нечасто, иногда очень редко, что имитирует аддиктивные характеристики игрового автомата. Видеоигры в целом обычно разрабатываются с десятками поведенческих настроек, призванных удерживать игроков онлайн как можно дольше – до такой степени, что их аддиктивный характер является секретом Полишинеля.

Информационные продукты, такие как приложения для смартфонов и сайты социальных сетей, специально созданы для того, чтобы аналогичным образом вызывать привыкание. Триггерами служат оповещения, которые привлекают наше внимание: звуковые сигналы, звонки, вибрация, push-уведомления. (Не правда ли, прямо по Павлову?) Действием становится клик, который приносит с собой предвкушение награды. Переменные вознаграждения – это лайки, посты, комментарии, изображения и все остальное, что появляется в ленте.

Ничто из этого не является случайным. Цифровые платформы могут обновлять свои страницы автоматически, без вмешательства пользователя, если бы так решили их разработчики. Но принуждение пользователей к нажатию кнопок или пролистыванию страниц, чтобы увидеть больше сообщений, имитирует поведение игрового автомата и создает иллюзию контроля, которая приучает вас делать это снова и снова. Аналогичным образом, любого рода пакетные уведомления – когда все новые уведомления показываются один раз в день – снижают эффект переменного вознаграждения, а значит, и аддиктивность. Вот почему эта удобная и простая функция никогда не предлагается ни одной из платформ социальных сетей, основанных на рекламе.

При всей склонности людей считать зависимость недостатком, гораздо полезнее рассматривать ее как хак – надежный и очень эффективный. Мы знаем, что именно делает поведение аддиктивным. Компании повсеместно внедряют такие хаки, причем зачастую настолько скрытно, что потребители не замечают этого. И, как мы увидим дальше, алгоритмы и экспресс-тестирование делают цифровые платформы все более аддиктивными при все меньшем вмешательстве в этот процесс человека.

45 Убеждение

В 2014 г. боты, выдававшие себя за женщин в приложении для знакомств Tinder, отправляли текстовые сообщения пользователям-мужчинам, вели с ними банальную светскую беседу, упоминая в ней мобильную игру Castle Clash, в которую они якобы играли, и затем давали ссылку. С точки зрения хакерского мастерства это было довольно неубедительно. Игра велась на разных мужских эмоциях, включая доверие и сексуальное желание, но новая «подруга», если вы хоть немного включали критическую оценку, явно была ботом. Достоверно неизвестно, насколько успешно эти поддельные аккаунты убеждали людей скачать и поиграть в игру, пока Tinder не удалил их.

Этот пример не уникален. Чат-боты регулярно используются для манипулирования человеческими эмоциями и убеждениями людей в коммерческих и правительственных целях. В 2006 г. армия США развернула SGT STAR, чат-бота, призванного убеждать людей вступать в армию. Технологии ИИ и робототехники делают подобные усилия намного эффективнее.

В 1970-х г. Федеральная торговая комиссия попросила руководителей рекламных агентств объяснить им, что такое маркетинг. До этого у членов комиссии было довольно примитивное представление об отрасли. Они полагали, что реклама – это средство, с помощью которого компании объясняют потенциальным потребителям преимущества своей продукции. Но, конечно, реклама уже тогда была чем-то большим, а современные рекламные технологии, направленные на взлом когнитивных систем, и подавно.

Убеждение – дело непростое. Из-за страха перед манипуляциями и просто опасаясь перемен люди часто противятся попыткам изменить их мнение или поведение{196}. Но, несмотря на наше осознанное и неосознанное сопротивление, бесчисленные уловки незаметно меняют наше мнение. Многие из этих хаков до смешного просты, например эффект иллюзорной правды: люди охотнее верят в то, что они слышали неоднократно. (По сути, это метод большой лжи, только с другого конца: если вы повторяете ложь достаточно часто, ваши слушатели начнут в нее верить.) Люди с аналитическим складом ума противостоят эффекту иллюзорной правды ничуть не лучше всех остальных. На самом деле повторение лжи и полуправды со стороны элит и СМИ может объяснить устойчивость ложных убеждений. В любом случае очевидно, что такие простые приемы, как повторение одного и того же, могут ускользнуть от нашего внимания и сделать свою работу, незаметно в чем-то убедив нас.

Капельное ценообразование – еще один пример. Оно широко распространено в сфере авиаперевозок и гостиничного бизнеса, поскольку цена – это первый атрибут, на который люди обращают внимание при выборе туристических услуг. Хак заключается в том, чтобы сначала показать низкую цену, а затем накрутить дополнительные сборы в надежде, что покупатель не обратит на них внимания. Исследование, проведенное на базе StubHub, онлайн-площадки по продаже билетов, показало, что капельное ценообразование заставляет людей потратить{197} в среднем на 21 % больше, чем прямое выставление цены.

Некоторые продавцы используют ложные цены, чтобы повлиять на покупателей. Если вы выбираете между двумя товарами, более дешевым и более дорогим, вы попытаетесь оценить их достоинства и, возможно, выберете тот, что дешевле. Но если продавец добавит третий товар-приманку, еще более роскошный и дорогой, вы, скорее всего, выберете средний вариант.

В интернете для убеждения часто прибегают к темным паттернам. Большая часть пользовательского интерфейса компьютера строится на метафорах и нормах, которые доступно объясняют нам, людям, что творится «под капотом» компьютера. Файлы, папки и каталоги – все это не что иное, как метафоры. И они не всегда точны. Перемещая файл в папку, мы на самом деле ничего не перемещаем, а просто меняем указатель, обозначающий место хранения файла. Удаление файла – это не то же самое, что уничтожение физического объекта. Обвиняемые на скамье подсудимых узнают об этом снова и снова, когда файлы, которые, как они думали, были удалены, неожиданно используются против них обвинителями. Но для большинства целей метафоры довольно точно отражают смысл процессов. Нормы, насколько это возможно, тоже взяты из реальной жизни.

Темные паттерны – это термин, обозначающий подрывные хаки в дизайне интерфейса, которые используют общепринятые элементы, чтобы подтолкнуть пользователей к определенным действиям. Обычно стандартизированный дизайн помогает нам в процессе различных онлайн-взаимодействий; это визуальный язык, которому мы доверяем. Например, при таком привычном виде активности, как вождение автомобиля, зеленый цвет означает движение, а красный – остановку. Эти же цвета постоянно используются в качестве ориентиров в пользовательских интерфейсах. Но они превращаются в темный паттерн, когда ряд зеленых кнопок «Продолжить» внезапно прерывается кнопкой такого же цвета, ведущей на страницу продажи, как это сделано, к примеру, в мобильной игре TwoDots. Или когда зеленая кнопка той же формы, что и предыдущие кнопки перехода между страницами, оказывается кнопкой загрузки какого-нибудь программного обеспечения. Поэтому сохраняйте бдительность – слишком часто кнопки подсовывают вам не то, что вы ожидаете.

У Intuit есть бесплатная программа для заполнения налоговых деклараций под названием Free File, но разработчик предпочел спрятать ее подальше от пользователей и обманом заставить их платить за функции заполнения налоговых деклараций в своем продукте TurboTax. (Соглашение о признании вины, заключенное в 2022 г. между несколькими штатами, заставило Intuit выплатить $141 млн в качестве компенсации; посмотрим, изменит ли это поведение Intuit в будущем.) Баннерная реклама от компании Chatmost выглядит на сенсорном экране как пылинка – когда обманутые пользователи пытаются смахнуть ее, они вынужденно нажимают на рекламу.

В 2019 г. сенаторы США Марк Уорнер и Деб Фишер представили проект закона о запрете темных паттернов. Увы, он не прошел. Но если в будущем его все же примут, спонсорам этого проекта лучше хорошенько подумать над тем, как сформулировать определение темного паттерна, потому что само оно станет мишенью для взлома, когда хакеры будут пытаться обойти закон.

46 Доверие и авторитет

19 марта 2016 г. Джон Подеста, в то время председатель президентской кампании сенатора Хиллари Клинтон, получил электронное письмо якобы от Google. Это было предупреждение о безопасности, и в нем содержалась ссылка на страницу, похожую на страницу входа в Google. Подеста спокойно ввел свои учетные данные, но позже оказалось, что эта страница вовсе не была страницей Google. На самом деле она управлялась ГРУ, российской военной разведкой. Как только оперативники по ту сторону экрана получили пароль Подесты от сервиса Gmail, они завладели по меньшей мере 20 000 его электронных писем, а затем слили их в WikiLeaks для публикации. Это был хакинг с помощью средств социальной инженерии.

Социальная инженерия – весьма распространенный способ взлома компьютерных систем. По сути, это убеждение человека, имеющего особый доступ к системе, в том, чтобы он использовал его не по назначению. Более 20 лет назад я написал: «Только любители атакуют машины; профессионалы нацелены на людей»{198}. Это утверждение верно и сегодня. И в первую очередь оно касается хакерских методов, основанных на доверии.

Один из таких методов представляет собой звонок на линию техподдержки сотового оператора под видом другого человека с целью убедить сотрудника перевести номер этого человека на телефон, который вы контролируете. Эта атака, известная как подмена SIM-карты, особенно неприятна, поскольку контроль над номером телефона открывает путь другим видам мошенничества и часто приводит к большим потерям. Известен случай, когда жертва лишилась вследствие такой атаки $24 млн{199}, а совокупные потери просто огромны.

Существует гигантское количество вариаций на тему социальной инженерии. Они могут выглядеть как телефонный разговор с сотрудником – именно так в 2020 г. хакеры завладели 130 аккаунтами Twitter{200} – или как переписка по электронной почте. Термином «фишинг» обозначают отправку фальшивых электронных писем с целью убедить получателя перейти по ссылке, открыть вложение или сделать что-то еще, ставящее под угрозу безопасность компьютера или банковского счета получателя. Фишинговые атаки не слишком эффективны, поскольку злоумышленники забрасывают широкую сеть и делают свои призывы достаточно общими. Термин «целевой фишинг» используется, когда эти письма становятся персонализированными. Чтобы составить убедительное сообщение, требуется серьезно исследовать адресата, но оно может быть очень эффективным методом взлома. Подеста попался как раз на такой крючок. Как и бывший госсекретарь Колин Пауэлл.

В главе 12 я рассказал о компрометации деловой электронной почты. Хакер получает доступ к электронной почте руководителя компании, а затем пишет подчиненному что-то вроде: «Здравствуйте. Это генеральный директор. Да, это непривычно, но я в командировке и не имею обычного доступа к сети. Мне нужно, чтобы вы прямо сейчас перевели $20 млн на этот иностранный счет. Это важно. От этого зависит крупная сделка. Я пришлю вам необходимые бумаги, когда вернусь в отель». В зависимости от того, насколько хорошо хакеру удастся сделать детали правдоподобными, насколько сотрудник будет рассеян и доверчив и как все вместе впишется в реальную ситуацию, этот хак может оказаться весьма успешным. В 2019 г. компания Toyota потеряла $37 млн из-за подобной аферы, пополнив длинный список ее жертв.

В 2015 г. сирийские женщины-агенты, флиртуя по Skype с доверчивыми повстанцами, сумели выведать у них планы сражений, а также личные данные высокопоставленных руководителей. Российская разведка использовала ту же тактику, пытаясь выведать секретную информацию у военнослужащих США.

Технологии облегчают подобные махинации. Сегодня преступники используют технологию дипфейк для совершения атак методами социальной инженерии. В 2019 г. генерального директора британской энергетической компании обманом заставили перевести{201} €220 000, подделав голос его босса из материнской компании и подтвердив телефонный звонок электронным письмом. В этом хаке использовалась только цифровая обработка голоса, но и видеоизображение уже на подходе. Известен случай, когда мошенник использовал силиконовую маску для записи видео{202} и обманом заставил людей перевести ему миллионы долларов.

Этот вид мошенничества может иметь и геополитические последствия. В рамках научного исследования были созданы очень убедительные видеоролики, в которых политики говорят то, чего они не говорили, и делают то, чего не делали. В 2022 г. видео, на котором президент Украины Владимир Зеленский призывает украинские войска сдаться, было развенчано самим Зеленским. Хотя ролик сделан кое-как и в нем легко можно распознать фальшивку, со временем при развитии технологий такие подделки станут намного лучше.

Одного существования такой технологии уже достаточно для того, чтобы подорвать наше доверие к аудио– и видеодокументам в целом. В 2019 г. видеозапись давно пропавшего с экранов действующего президента Габона{203} Али Бонго, который, как считалось, находился в тяжелом состоянии или уже умер, была названа его противниками «глубокой подделкой» и послужила спусковым крючком для военного путча, оказавшегося, впрочем, неудачным. Это было настоящее видео, но откуда неспециалист мог знать, какое из утверждений является правдой?

Объедините эти методы с уже существующими и будущими технологиями ИИ, которые позволят ботам создавать и убедительно воспроизводить реалистичные тексты – сообщения, монологи и диалоги, – и вы получите технологии, которые полностью хакнут наше представление о том, кто или, точнее, что является или не является человеком.

Мы видели подобные подделки в действии во время президентских выборов в США в 2016 г. BuzzFeed обнаружил 140 фальшивых новостных сайтов{204} с доменными именами, похожими на настоящие ресурсы, и сенсационными заголовками, которые пользовались большим успехом в Facebook. Это стало началом волны новых сайтов, замаскированных под авторитетные источники информации. Такие доменные имена, как BostonTribune.com, KMT11.com и ABCNews.com.co, выглядели вполне официально и обманули многих читателей, заставив поверить в дезинформацию. Такие сайты, как The Tennessee Star, Arizona Monitor и Maine Examiner, были созданы, чтобы выглядеть как традиционные газеты, но распространяли при этом политическую пропаганду.

Многие исторические индикаторы доверия больше не работают. Печатные книги и телевизионные новости считались авторитетными источниками, поскольку издательская и вещательная отрасли выступали в роли привратников публичного поля. Доверие, основанное на подобной схеме, не имеет под собой оснований применительно к интернету. Сегодня любой может опубликовать что угодно в виде книги. Бумажную газету по-прежнему трудно подделать, но сымитировать ее в формате веб-сайта несложно. Раньше сигналом о надежности и платежеспособности банка служило солидное здание, в котором он размещался; теперь эту роль выполняет графика и дизайн веб-сайта.

Я могу привести еще больше примеров хакинга, основанного на вероломстве. Спонсированный контент соответствует форме и функциям платформы, на которой он размещен, но на самом деле является платной рекламой. (Большинство платформ, впрочем, отмечают такой контент как спонсированный.) Отзывы клиентов, которыми сегодня пестрит интернет, могут выглядеть правдоподобно, но их легко подделать. То и дело всплывает информация о фальсификации профессиональных полномочий: грабители выдают себя за сотрудников иммиграционных служб, чтобы отбирать деньги у новых мигрантов, доктора наук выдают себя за врачей, чтобы торговать шарлатанскими снадобьями, мошенники выдают себя за налоговых инспекторов, чтобы получить доступ к компьютерам и паролям честных налогоплательщиков.

И последнее: наши когнитивные системы доверия привыкли иметь дело с людьми. Мы не приспособлены оценивать надежность организаций, брендов, корпораций и т. п. Отсюда возникли маскоты – милые узнаваемые персонажи, олицетворяющие бренд, – и положительные отзывы знаменитостей. Рекламодатели уже десятилетиями придают брендам человеческое лицо и запускают наши когнитивные системы доверия.

Некоторые бренды даже обзавелись узнаваемыми сетевыми личностями: рестораны быстрого питания Wendy's выступают в Twitter в образе саркастичного тролля, а от лица Amazon прославился персонаж, гневно реагирующий на критиков компании в правительстве. И все это для того, чтобы имитировать человечность и завоевать доверие так же, как это делают влиятельные лица и политики. По мере того как компании и политические движения все чаще используют ИИ для оптимизации своего присутствия в социальных сетях и поддаются искушению запускать фальшивые аккаунты, чтобы создать впечатление поддержки широких слоев населения, доверие к ним вскоре может возникнуть даже у матерых скептиков.

47 Страх и риск

Наше чувство страха является врожденным. Оно развивалось на протяжении тысячелетий: наши предки учились избегать хищников, а также представителей своего вида, которые вредят другим ради собственной выгоды. Подобно системам внимания, рассмотренным выше, наша система страха базируется на когнитивных штампах: она тоже проходила оптимизацию в условиях нашего эволюционного прошлого.

Это базовые функции, в основном контролируемые миндалевидным телом в стволе головного мозга{205}. Анализ вероятностей и рисков не является нашей сильной стороной. Мы часто склонны преувеличивать значение впечатляющих, странных и редких явлений, а значение обычных, знакомых и распространенных, наоборот, преуменьшать. Мы полагаем, что редкие риски встречаются чаще, чем это происходит на самом деле. И мы боимся их больше, чем это следует по теории вероятности.

Многие психологи пытались объяснить это, и один из их ключевых выводов состоит в том, что люди реагируют на риск, больше опираясь на яркие истории, чем на данные. Истории увлекают нас на интуитивном уровне, особенно если они захватывающие или очень личные. Рассказ друга о том, как его ограбили в другой стране, с большей вероятностью повлияет на то, насколько безопасно вы будете чувствовать себя во время поездки туда, чем абстрактная статистика преступлений. Новизна + страх + хорошая история = чрезмерная реакция.

Последствия этого можно видеть во всем. Мы боимся быть убитыми, похищенными, изнасилованными или подвергнуться нападению со стороны незнакомцев, в то время как статистически гораздо более вероятно, что преступник, совершивший такие преступления, окажется нашим родственником или другом. Нас беспокоят крушения самолетов и стрелки-одиночки, а не аварии на дорогах и домашнее насилие, хотя два последних явления распространены намного шире и статистически они смертоноснее. Мы не имели, а некоторые из нас до сих пор не имеют представления о том, как реагировать на риски COVID-19, которые индивидуально малы, коллективно огромны, чрезвычайно чувствительны к небольшим изменениям в социальных условиях и постоянно меняются вслед за мутациями вируса.

Терроризм напрямую взламывает эти когнитивные штампы{206}. Как индивидуальный риск он незначителен. В результате терактов 11 сентября погибли около 3000 человек, и еще около 300 погибли в США от террористических атак за два последующих десятилетия. С другой стороны, 38 000 человек ежегодно погибают в автокатастрофах – это около 750 000 смертей за тот же промежуток времени. От COVID-19 в США погибло более миллиона человек. Но терроризм придуман для того, чтобы сломать всякую логику. Это ужасающее, яркое, зрелищное, непредсказуемое для жертв, злонамеренное явление – именно то, что заставляет нас преувеличивать риск и слишком остро реагировать. Страх овладевает нами, и мы идем на компромиссы в вопросах безопасности, о которых раньше даже не задумывались. Это хакерские атаки на коллективные страхи и инстинкты общества.

Политики тоже занимаются хакингом системы страха. Если вы сможете доказать, что ваша политическая программа обеспечит безопасность и устранит угрозы, которые чаще всего обсуждаются в новостях, то получите поддержку. Люди могут перенимать страхи от политических инфлюэнсеров или коллег, даже не имея соответствующего личного опыта. Избиратель, живущий в северном Нью-Хэмпшире, может испытывать сильный страх перед иммигрантами на южных границах США, даже если у него не было опыта общения с выходцами из Центральной Америки. Как сказал Билл Клинтон, «когда люди не уверены в себе, они предпочитают ориентироваться{207} на кого-нибудь сильного и неправильного, чем на слабого и правильного».

Трибализм – это система коллективной групповой идентичности. Мы запрограммированы объединяться в группы и дистанцироваться от тех, кто в них не входит. Уязвимость этой системы заключается в том, что мы формируем группы по любому поводу, даже если в этом нет никакого смысла. Когда ребенком я проводил лето в лагере, вожатые организовали игру под названием «Война цветов». По сути, весь лагерь на целую неделю случайным образом оказался разбит на две группы: на «красных» и «золотых». Мы больше не ели и не играли вместе. Эффект проявился мгновенно. Мы вдруг стали хорошими парнями, а «они» – врагами. Я уже не помню, какого был цвета, но хорошо помню это ощущение поляризации, внезапного ожесточения против тех, кто еще вчера были моими друзьями.

Есть три основных способа использовать уязвимость нашего трибализма. Первый из них состоит в укреплении существующей групповой идентичности и разделении на группы. Именно к нему прибегло российское Агентство интернет-исследований, больше известное как «фабрика троллей», в период перед выборами 2016 г. в США, используя такие тактики, как пожертвование денег партизанским организациям и провоцирование конфликтов на онлайн-форумах. Основная установка этой кампании звучала как «Найти трещины» – то есть найти существующие в обществе трещины, которые можно углубить до серьезных разногласий между группами.

Второй способ – намеренное формирование обособленных групп с некой скрытой целью. Этим часто грешили колониальные правительства в XIX и XX вв. В Руанде немцы и бельгийцы, управлявшие регионом, превратили экономические особенности хуту (земледельцев) и тутси (скотоводов) в серьезные этнические и классовые различия, что в итоге спустя десятилетия привело к геноциду. Сегодня бренды используют, хотя и с меньшей интенсивностью, аналогичные стратегии в продажах любых товаров – от кроссовок и газировки до квартир и автомобилей.

Третий способ – создать условия для естественного возникновения трибализма. То есть взять уже существующие группы, объединенные по родству интересов, и возвести это родство до уровня «племени». Такой подход характерен для спортивных команд, но все чаще к нему прибегают политические партии и партийные деятели.

Нет сомнений, что на канале Fox News знакомы с результатами исследований, доказывающих, что усиление чувства тревоги связано со все более плотным примыканием к «своим» группам и нарастанием страха перед «чужими». Когда Fox выпускает сюжеты на такие темы, как «Иммигранты заберут ваши рабочие места»{208}, «[Подставьте название любого города] кишит преступностью и опасен»{209}, «ИГИЛ[29] представляет угрозу для американцев»{210} и «Демократы собираются забрать ваше оружие»{211}, он не только заручается общественной поддержкой по этим вопросам, а создает условия, при которых группы становятся поляризованными.

Аналитика данных и автоматизация оказывают все большую поддержку хакингу чувства групповой идентичности. В то же время трибализм настолько укрепил свои позиции и способность разобщать людей, что подобные хакерские атаки – особенно проведенные с цифровой скоростью и точностью – могут иметь катастрофические последствия для общества. И это не зависит от того, была атака целевой (российские хакеры) или же стала побочным эффектом работы ИИ, который просто не понимает, какой ценой для людей оборачивается его эффективность (рекомендательные системы социальных сетей).

48 Защита от когнитивных хаков

Сообщество пикаперов объединяет мужчин, которые разрабатывают и делятся манипулятивными методами соблазнения женщин. Оно возникло еще до появления общедоступного интернета, позже перекочевало в него и сегодня процветает. Многие пикаперские приемчики напоминают когнитивные хаки. Например, неггинг. По сути, это двусмысленный комплимент с элементом критики или язвительным комментарием, намеренно сделанный для того, чтобы усилить потребность жертвы в эмоциональном одобрении со стороны манипулятора. Да, знаю, это цинично.

Я понятия не имею, работает ли неггинг и прочие пикаперские лайфхаки. Мужчины, которые обсуждают их в интернете, склонны к бахвальству и приводят массу анекдотических доказательств своей неотразимости, но часто отделить ложь от плохой научной методологии бывает непросто. Читая истории женщин, ставших жертвами этих хакерских атак, понимаешь: лучшая защита – знание. Если вы знакомы с тактикой неггинга, то сможете ее предвидеть и вовремя распознать.

Предвидение ускоряет регрессию к среднему. Иными словами, многие когнитивные хаки хорошо работают поначалу, но по мере того, как люди к ним адаптируются, становятся все менее эффективными. Когда в 1994 г. в интернете появилась баннерная реклама, ее кликабельность составляла 49 %; сейчас этот показатель составляет менее 1 %. Всплывающая реклама демонстрировала аналогичный спад, когда стала раздражающе вездесущей. Скорее всего, та же динамика постигнет микротаргетинг, капельное ценообразование, фальшивые аккаунты Facebook и прочие ухищрения, о которых шла речь в последних главах. По мере того как мы привыкаем к этим тактикам, они становятся менее эффективными.

Однако предвидение не дает абсолютной защиты{212}. Многие когнитивные хаки работают даже тогда, когда мы понимаем, что нами манипулируют. Если человек поверил во что-то, он часто сохраняет приверженность своим убеждениям и даже укрепляется в них, когда ему предъявляют явные доказательства их неправоты. Конкретный пример: компании часто используют бесплатные пробные версии с последующей автоматически включающейся ежемесячной подпиской, чтобы взломать готовность потребителя платить. Расчет строится на том, что люди обычно переоценивают возможности своей памяти и умение делать все точно в срок, и, даже если они признают за собой этот недостаток и постоянно собираются отменить подписки на услуги, которые им не нужны, все равно большинство из них ведется на очередные бесплатные версии, а компании продолжают списывать ежемесячную абонентскую плату.

Другой способ защититься от когнитивных хаков – объявить определенные манипулятивные практики незаконными. Австралия, например, обязала продавцов раскрывать полную цену товара сразу, чтобы предотвратить капельное ценообразование, а Федеральная торговая комиссия США требует, чтобы рекламные заявления были «разумно обоснованы». Мы можем снизить эффективность некоторых из этих хаков и, следовательно, сделать их менее опасными, уменьшив возможности микротаргетирования. Если платные сообщения в соцсетях, особенно политическая реклама, будут довольствоваться широкой аудиторией, это затруднит использование целого ряда когнитивных хаков в неблаговидных целях.

Однако любые новые правила рано или поздно будут взломаны. Поэтому контроля, пусть даже надежного и гибкого, а также прозрачности недостаточно, чтобы гарантировать защиту от когнитивных хаков и отучить людей от их использования. Задача усложняется еще и тем, что многие из этих хаков наносят вред, который в моменте кажется абстрактным, а проявляется спустя какое-то время, и потому довольно трудно объяснить, что с ними «не так».

Когнитивные хаки играют на самых базовых и общих аспектах человеческого разума, начиная с инстинкта выживания и заканчивая стремлением к социальному статусу. Они могут быть использованы против кого угодно. Чтобы защититься от когнитивных хакеров, необходимы усилия всего общества в сферах образования и регулирования, а также технические решения, особенно в онлайн-среде. Поскольку цифровые технологии занимают все больше нашего времени, когнитивные хаки все чаще осуществляются с помощью машин. А поскольку компьютерные программы из хакерских инструментов сами превращаются во все более быстрых, мощных и автономных хакеров, понимание того, как цифровые продукты могут взламывать наше сознание, приобретает все более важную роль для защиты от манипуляций.

49 Иерархия хакинга

Ни одна система не существует изолированно, всегда являясь частью иерархии.

Представьте себе человека, который хочет украсть деньги посредством онлайн-банкинга. Он может хакнуть веб-сайт банка, интернет-браузер клиента, операционную систему или аппаратное обеспечение его компьютера. Все эти взломы потенциально могут достичь своей цели – кражи денег.

Теперь представьте себе человека, который хочет платить меньше налогов. Очевидно, что он будет взламывать налоговый кодекс и искать в нем лазейки. Но если у этого человека есть власть и влияние, он может подняться на уровень выше и хакнуть законодательный процесс, который формирует налоговый кодекс. Поднявшись на два уровня выше, он сможет хакнуть нормотворческий процесс, используемый для реализации законодательства, или же процесс ассигнований, чтобы в налоговых органах возник дефицит сотрудников, задействованных в налоговых проверках. (Хакинг процесса правоприменения – это еще один способ подорвать цель системы.) Если наш хакер поднимется на три уровня вверх, он займется взломом политического процесса, используемого для избрания законодателей. На следующем, четвертом по счету уровне он сможет взломать медиаэкосистему, которая служит для обсуждения политических процессов. Последний, пятый уровень – это уровень хакинга когнитивных процессов, спровоцированных медиаэкосистемой, в результате которых избираются законодатели, создающие налоговый кодекс, предоставляющий ему лазейки. Для этого он даже может спуститься на уровень ниже, чтобы найти уязвимости и эксплойты в программе подготовки налогов.

Я пытаюсь сказать, что иерархия систем – это иерархия возрастающей общности, в которой вышестоящая система управляет нижестоящей. И хакеры могут атаковать любой из этих уровней. Хакинг использует иерархию взаимосвязанных систем. Хакнуть какую-то обособленную систему или манипулировать ею порой очень непросто, но системы более высокого уровня, которые управляют ею, или системы нижестоящие, реализующие ее команды, могут стать богатым источником эксплойтов, которые сами по себе, оставаясь на своем уровне иерархии, не представляют опасности.

В технологических системах продвижение вверх по уровням затруднено. Тот факт, что Microsoft Windows имеет уязвимости, не гарантирует, что кто-то может взломать процесс найма сотрудников корпорации Microsoft, чтобы поставить себя в положение, позволяющее внедрить еще больше уязвимостей в операционную систему. В социальных системах такое продвижение вверх значительно проще, особенно для тех, у кого есть деньги и влияние. Джефф Безос без проблем купил самый большой дом в Вашингтоне{213}, чтобы развлекать законодателей и влиять на них, и газету The Washington Post, один из самых авторитетных источников новостей в США. Разумеется, еще проще для него нанять программистов, чтобы написать такое программное обеспечение, которое он захочет.

Некоторые хакеры работают на нескольких уровнях одновременно. В 2020 г. мы узнали о Ghostwriter{214}, группе предположительно российского происхождения, которая взломала системы управления контентом нескольких восточноевропейских новостных сайтов и разместила фейковые истории. Это обычный хакинг компьютерных систем, подключенных к интернету, в сочетании с хакингом доверия аудитории к новостным сайтам с хорошей репутацией.

Устранением уязвимостей тоже проще заниматься на более низких уровнях иерархии систем. Уязвимость в TurboTax может быть исправлена за несколько дней. Устранение лазейки в налоговом кодексе может растянуться на годы. Когнитивные уязвимости легко могут существовать несколько человеческих поколений (хотя конкретные тактики их эксплуатации, возможно, придется регулярно менять).

Это делает когнитивные хаки самыми опасными из всех. Они управляют нашими действиями, как индивидуальными, так и коллективными, а значит, и нашими социальными системами. Если вы можете взломать человеческий мозг, то ничто не мешает вам использовать эти методы на избирателях, служащих, бизнесменах, регуляторах, политиках и подобных вам хакерах, подталкивая их к изменению систем обитания по вашему усмотрению.

Сегодня когнитивный хакинг несет в себе новые угрозы. Наш мозг не единственная когнитивная система, о которой нам нужно беспокоиться. Государственные услуги, бизнес-транзакции и даже основные социальные взаимодействия теперь опосредуются цифровыми системами, которые так же, как и люди, делают прогнозы и принимают решения, но намного быстрее, последовательнее и при этом менее ответственно, чем мы. Машины все чаще принимают решения за нас, но думают иначе, чем мы, и взаимодействие нашего разума с ИИ указывает хакерам путь к захватывающему и опасному будущему в сферах экономики, права и не только.