Power and Progress

Но лишь небольшая часть человеческих задач является по-настоящему рутинной. Большинство вещей, которые делают представители нашего вида, связаны с решением некоторого количества проблем . Мы справляемся с новыми ситуациями или вызовами, придумывая решения, используя аналогии на основе прошлого опыта и знаний. Мы используем гибкость, когда соответствующая среда постоянно меняется. Мы в значительной степени полагаемся на социальное взаимодействие, такое как общение и объяснение или просто товарищество, которым пользуются многие коллеги и клиенты в процессе экономических операций. В совокупности мы являемся довольно творческим видом.

Обслуживание клиентов, например, требует сочетания социальных навыков и навыков решения проблем. Существуют десятки тысяч проблем, с которыми может столкнуться клиент, некоторые из них редки или совершенно уникальны. Относительно легко помочь клиенту, который опоздал на рейс и хотел бы сесть на следующий свободный самолет. Но что делать, если путешественник оказался не в том аэропорту или ему нужно лететь в другой пункт назначения?

Современные подходы ИИ используются для расширения автоматизации более широкого круга рутинных задач, таких как обслуживание банковских служащих. Автоматизация до появления ИИ - например, использование банкоматов - была широко распространена к 1990-м годам, при этом основное внимание уделялось простым задачам, таким как выдача наличных. Депонирование чеков было автоматизировано лишь частично. Банкоматы принимали вклады, а технология распознавания магнитных чернильных символов использовалась для сортировки чеков в соответствии с их банковским кодом и номером банковского счета. Но люди по-прежнему были необходимы для выполнения других рутинных задач, таких как распознавание почерка, организация счетов и контроль овердрафтов. Благодаря последним достижениям в области инструментов распознавания почерка и принятия решений на основе искусственного интеллекта, чеки теперь могут обрабатываться без участия человека.

Более того, амбиции ИИ заключаются в том, чтобы распространить автоматизацию на нестандартные задачи, включая обслуживание клиентов, подготовку налогов и даже финансовые консультации. Многие из задач, связанных с этими услугами, предсказуемы и могут быть прямолинейно автоматизированы. Например, информация из ведомостей о заработной плате и налогах (например, форма W-2 в США) может быть отсканирована и автоматически введена в соответствующие поля для расчета налоговых обязательств, или соответствующая информация о депозитах и остатках может быть предоставлена клиенту банка по адресу . В последнее время искусственный интеллект начал решать и более сложные задачи. Сложное программное обеспечение для подготовки налоговых документов может запрашивать пользователей о расходах или статьях, которые выглядят подозрительно, а клиентам могут быть предложены голосовые меню для классификации их проблемы (даже если это часто работает несовершенно, перекладывает часть работы на пользователей и вызывает более длительные задержки, пока клиенты ждут человека, чтобы предоставить необходимую помощь).

В роботизированной автоматизации процессов (RPA), например, программное обеспечение выполняет задачи после наблюдения за действиями человека в графическом пользовательском интерфейсе приложения. RPA-боты сегодня применяются в банковской сфере, при принятии кредитных решений, в электронной коммерции и в различных функциях поддержки программного обеспечения. Яркими примерами являются автоматизированные системы распознавания голоса и чат-боты, которые учатся на практике удаленной ИТ-поддержки. Многие эксперты считают, что подобная автоматизация распространится на множество задач, которые в настоящее время выполняются "белыми воротничками". Журналист New York Times Кевин Руз резюмирует потенциал RPA следующим образом: "Последние достижения в области ИИ и машинного обучения позволили создать алгоритмы, способные превзойти врачей, юристов и банкиров в некоторых видах их работы. И по мере того, как боты учатся выполнять более ценные задачи, они поднимаются по корпоративной лестнице".

Предположительно, мы все станем бенефициарами этих впечатляющих новых возможностей. Нынешние руководители компаний Amazon, Facebook, Google и Microsoft утверждают, что ИИ благотворно изменит технологии в ближайшие десятилетия. Как сказал Кай-Фу Ли, бывший президент Google China: "Как и большинство технологий, ИИ в конечном итоге окажет больше положительного, чем отрицательного влияния на наше общество".

Однако факты не полностью подтверждают эти высокие обещания. Хотя разговоры об интеллектуальных машинах ведутся уже два десятилетия, эти технологии начали распространяться только после 2015 года. Взлет заметен по количеству средств, которые компании тратят на деятельность, связанную с ИИ, и по числу объявлений о вакансиях для работников со специальными навыками в области ИИ (включая машинное обучение, машинное зрение, глубокое обучение, распознавание образов, обработку естественного языка, нейронные сети, машины опорных векторов и латентный семантический анализ).

Отслеживая этот неизгладимый след, мы видим, что инвестиции в ИИ и наем специалистов по ИИ концентрируются в организациях, которые полагаются на задачи, которые могут быть выполнены с помощью этих технологий, такие как актуарные и бухгалтерские функции, анализ закупок и закупок, а также различные другие канцелярские работы, связанные с распознаванием образов, вычислениями и базовым распознаванием речи. Однако эти же организации существенно снижают общий уровень найма - например, сокращают объявления о вакансиях на всевозможные другие должности.

Действительно, факты свидетельствуют о том, что до сих пор ИИ был направлен преимущественно на автоматизацию. Более того, несмотря на заявления о том, что ИИ и RPA распространяются на нерутинные, более высококвалифицированные задачи, большая часть бремени автоматизации с помощью ИИ до сих пор ложилась на менее образованных работников, которые уже оказались в невыгодном положении из-за более ранних форм цифровой автоматизации. Также нет никаких доказательств того, что низкоквалифицированные работники выигрывают от применения ИИ, хотя очевидно, что люди, управляющие этими компаниями, видят определенную выгоду для себя и своих акционеров.

Обнадеживает то, что ИИ, похоже, не продвинулся настолько, чтобы создать массовую безработицу. Как и промышленные роботы, нынешние технологии пока могут выполнять лишь небольшой набор задач, и их влияние на занятость ограничено. Тем не менее, она движется в направлении, направленном против работников, и уничтожает некоторые рабочие места. Его наиболее вероятное влияние заключается в дальнейшем снижении заработной платы для многих людей, а не в создании полностью безработного будущего. Проблема в том, что, хотя ИИ не справляется с большинством из того, что он обещает, ему все же удается снизить спрос на работников.

Ошибка подражания

Почему же так много внимания уделяется машинному интеллекту? Нас должно волновать, полезны ли машины и алгоритмы для нас. Например, согласно большинству определений, система глобального позиционирования (GPS) не может быть интеллектуальной, поскольку она основана на реализации простого алгоритма поиска (алгоритм поиска A*, впервые разработанный в 1968 году). Тем не менее, GPS-устройства действительно оказывают человеку чрезвычайно полезную услугу. Почти никто из экспертов не отнесет карманные калькуляторы к интеллектуальным устройствам, однако они выполняют задачи, которые большинство людей сочли бы невыполнимыми (например, быстрое перемножение двух семизначных чисел).

Вместо того, чтобы зацикливаться на интеллекте машин, мы должны спросить, насколько полезны машины для людей, а именно так мы определяем полезность машин (ПМ). Фокусировка на MU направит нас на более социально выгодную траекторию, особенно для работников и граждан. Однако, прежде чем развивать этот вопрос, мы должны понять, откуда взялся нынешний фокус на машинном интеллекте, который приводит нас к видению, сформулированному британским математиком Аланом Тьюрингом.

На протяжении всей своей карьеры Тьюринг был увлечен возможностями машин. В 1936 году он внес фундаментальный вклад в решение вопроса о том, что значит быть "вычислимым". Курт Гёдель и Алонзо Черч недавно занялись вопросом о том, как определить множество вычислимых функций, то есть множество функций, значения которых могут быть вычислены алгоритмом. Тьюринг разработал самый мощный способ осмысления этого вопроса.

Он представил себе абстрактный компьютер, который сейчас называется машиной Тьюринга, способный выполнять вычисления в соответствии с входными данными, указанными на возможно бесконечной ленте - например, инструкциями для выполнения основных математических операций. Затем он определил, что функция является вычислимой, если такая машина может вычислить ее значения. Считается, что машина является универсальной машиной Тьюринга, если она может вычислить любое число, которое может быть вычислено любой машиной Тьюринга. Примечательно, что если человеческий разум по своей сути является очень сложным компьютером, а задачи, которые он выполняет, относятся к классу вычислимых функций, то универсальная машина Тьюринга могла бы воспроизвести все возможности человека. Однако до Второй мировой войны Тьюринг не решался задаваться вопросом о том, действительно ли машины могут мыслить и как далеко они могут зайти в выполнении человеческих задач.

Во время войны Тьюринг стал сотрудником сверхсекретного исследовательского центра Блетчли-Парк, где математики и другие специалисты работали над пониманием зашифрованных немецких радиосообщений. Он разработал умный алгоритм и сконструировал машину для ускоренного взлома вражеских шифров. Это помогло британской разведке быстро расшифровать зашифрованные сообщения, которые немцы считали невзламываемыми.

После Блетчли Тьюринг сделал следующий шаг в своей довоенной работе над вычислениями. В 1947 году на заседании Лондонского математического общества он заявил, что машины могут быть разумными. Не обращая внимания на враждебную реакцию участников, Тьюринг продолжал работать над этой проблемой. В 1951 году он написал: "Вы не можете заставить машину думать за вас". Это общее место, которое обычно принимается без вопросов. Цель данной работы - поставить его под сомнение".

Его основополагающая работа 1950 года "Вычислительные машины и интеллект" определяет одно из представлений о том, что значит для машины быть разумной. Тьюринг представил себе "имитационную игру" (сейчас она называется тестом Тьюринга), в которой эксперт вступает в разговор с двумя субъектами - человеком и машиной. Задавая серию вопросов, передаваемых через клавиатуру и экран компьютера, эксперт пытается определить, кто из них кто. Машина считается интеллектуальной, если она может уклониться от обнаружения.

В настоящее время ни одна машина не является интеллектуальной в соответствии с этим определением, но его можно преобразовать в менее категоричный рейтинг машинного интеллекта. Чем лучше машина может имитировать человека, тем более она интеллектуальна. Для того чтобы ввести это в действие, можно определить понятие "человеческий паритет" при выполнении задачи, который будет достигнут, если машина может выполнить эту задачу по крайней мере так же хорошо, как человек. Затем, чем в большем количестве задач машина может достичь человеческого паритета, тем более интеллектуальной она является.

Мысли самого Тьюринга на эту тему были более тонкими. Он понимал, что прохождение этого теста может не означать истинной мыслительной способности: "Я не хочу создать впечатление, что я считаю, что в сознании нет никакой тайны. Например, есть некий парадокс, связанный с любой попыткой его локализации". Несмотря на эту оговорку, современная область ИИ пошла по стопам Тьюринга и сосредоточилась на искусственном интеллекте, определяемом как машины, действующие автономно, достигающие человеческого паритета и впоследствии превосходящие человека.

Бум и почти полный крах

Увлечение машинным интеллектом часто приводит к преувеличениям. Французский новатор XVIII века Жак де Вокансон занял бы заслуженное место в истории техники за свои многочисленные инновации, включая разработку первого автоматического ткацкого станка и цельнометаллического токарно-фрезерного станка, который стал революционным для ранней станкостроительной промышленности. Однако сегодня его помнят, как мошенника за его "пищеварительную утку", которая хлопала крыльями, ела, пила и испражнялась. Все это было иллюзией: пища и вода поступали в один из многочисленных отсеков, который затем выбрасывал уже переваренную пищу в виде экскрементов.

Вскоре после утки де Вокансона появился "Механический турок" венгерского изобретателя Вольфганга фон Кемпелена, автоматическая шахматная машина, название которой произошло от сидящей на ней модели в натуральную величину, одетой в османский халат и тюрбан. Турок обыграл многих известных шахматистов, включая Наполеона Бонапарта и Бенджамина Франклина; решил известную шахматную головоломку, где конь должен двигаться, касаясь каждой клетки доски один и только один раз; и даже отвечал на вопросы с помощью буквенной доски. К сожалению, успех был достигнут благодаря эксперту-шахматисту, спрятанному внутри конструкции.

Заявления о том, что машины вскоре воспроизведут человеческий интеллект, вызвали большой ажиотаж и в 1950-х годах. Определяющим событием, первым шагом в современном подходе к ИИ и возникновением термина "искусственный интеллект" стала конференция 1956 года в Дартмутском колледже, финансируемая Фондом Рокфеллера. Летом в Дартмуте собрались блестящие молодые ученые, работающие над смежными темами. Герберт Саймон, психолог и экономист, впоследствии удостоенный Нобелевской премии, отразил оптимизм, когда написал, что "машины будут способны в течение двадцати лет выполнять любую работу, которую может делать человек".

В 1970 году Марвин Мински, соорганизатор конференции в Дартмуте, выступая перед журналом Life, все еще был уверен в себе:

Через три-восемь лет мы получим машину с общим интеллектом среднего человека. Я имею в виду машину , которая сможет читать Шекспира, смазывать автомобиль, играть в офисную политику, рассказывать анекдоты, устраивать драки. В этот момент машина начнет самообразовываться с фантастической скоростью. Через несколько месяцев она достигнет уровня гения, а еще через несколько месяцев после этого ее способности будут неисчислимы.

Эти надежды на интеллект человеческого уровня, который иногда также называют "искусственным интеллектом общего назначения" (ИИОН), вскоре были развеяны. Показательно, что на Дартмутской конференции не появилось ничего ценного. По мере того как впечатляющие обещания исследователей ИИ оставались невыполненными, финансирование этой области иссякло, и наступила так называемая первая "зима ИИ".

В начале 1980-х годов вновь возник энтузиазм, основанный на достижениях в области вычислительной техники и некоторых ограниченных успехах экспертных систем, которые обещали предоставить советы и рекомендации, подобные экспертным. Несколько успешных приложений были разработаны в контексте идентификации инфекционных заболеваний и некоторых неизвестных молекул. Вскоре снова стали раздаваться заявления о том, что искусственный интеллект достигнет уровня человеческой компетентности, и финансирование возобновилось. К концу 1980-х годов наступила вторая зима ИИ, поскольку обещания снова оказались невыполненными.

Третья волна эйфории началась в начале 2000-х годов и была сосредоточена на том, что иногда называют "узким ИИ", где целью является развитие мастерства в конкретных задачах, таких как идентификация объекта на фотографии, перевод текста с другого языка или игра в такие игры, как шахматы или Го. Достижение или превзойти человеческий паритет остается главной целью.

На этот раз вместо математических и логических подходов, направленных на воспроизведение человеческого познания, исследователи превратили различные человеческие задачи в проблемы предсказания или классификации. Например, распознавание изображения можно представить как предсказание того, к какой из длинного списка категорий относится изображение. Программы ИИ могут опираться на статистические методы, применяемые к огромным массивам данных, чтобы делать все более точные классификации. Примером такого типа данных являются сообщения в социальных сетях, которые передаются миллиардам людей.

Возьмем проблему распознавания наличия кошки на фотографии. При старом подходе машине пришлось бы моделировать весь процесс принятия решений, используемый человеком для обнаружения кошки. Современный подход обходит этап моделирования или даже понимания того, как люди принимают решения. Вместо этого он опирается на большой набор данных о людях, принимающих правильные решения о распознавании на основе изображений. Затем он подгоняет статистическую модель к большому набору данных об особенностях изображения, чтобы предсказать, когда человек скажет, что в кадре находится кошка. Впоследствии она применяет расчетную статистическую модель к новым изображениям, чтобы предсказать, есть там кошка или нет.

Прогресс стал возможен благодаря более высокой скорости компьютерных процессоров, а также новым графическим процессорам (GPU), изначально использовавшимся для создания графики высокого разрешения в видеоиграх, которые оказались мощным инструментом для обработки данных. Также были достигнуты значительные успехи в области хранения данных, что позволило снизить стоимость хранения и доступа к огромным массивам данных, и улучшилась способность выполнять большие объемы вычислений, распределенных по многим устройствам, чему способствовали быстрые достижения в области микропроцессоров и облачных вычислений.

Не менее важным был прогресс в машинном обучении, особенно в "глубоком обучении", с использованием многослойных статистических моделей, таких как нейронные сети. В традиционном статистическом анализе исследователь обычно начинает с теории, определяющей причинно-следственную связь. Гипотеза, связывающая оценку стоимости фондового рынка США с процентными ставками, является простым примером такой причинно-следственной связи, и она, естественно, поддается статистическому анализу для исследования того, соответствует ли она данным, и для прогнозирования будущих изменений. Теория возникает на основе человеческих рассуждений и знаний, часто основанных на синтезе прошлых представлений и некоторого творческого мышления, и определяет набор возможных взаимосвязей между несколькими переменными. Объединяя теорию с соответствующим набором данных, исследователи подгоняют линию или кривую к облаку точек в наборе данных и на основе этих оценок делают выводы и прогнозы. В зависимости от успеха этого первого подхода потребуется дополнительный вклад человека в виде пересмотра теории или полной смены фокуса.

В отличие от этого, в современных приложениях ИИ исследование не начинается с четких причинно-следственных гипотез. Например, исследователи не уточняют, какие характеристики цифровой версии изображения важны для его распознавания. Многослойные модели, применяемые к огромным объемам данных, пытаются компенсировать отсутствие предварительных гипотез. Каждый слой может иметь дело в первую очередь с различным уровнем абстракции; один слой может представлять края изображения и определять его широкие контуры, в то время как другой может сосредоточиться на других аспектах, например, на том, присутствует ли там глаз или лапа. Несмотря на эти сложные инструменты, без сотрудничества человека и машины трудно сделать правильные выводы из данных, и этот недостаток мотивирует потребность во все больших объемах данных и вычислительной мощности для поиска закономерностей.

Типичные алгоритмы машинного обучения начинаются с подгонки гибкой модели к выборочному набору данных, а затем делают прогнозы, которые применяются к большему набору данных. Например, в распознавании изображений алгоритм машинного обучения может быть обучен на выборке помеченных изображений, которые могут указывать на то, содержит ли изображение кошку. Этот первый шаг приводит к созданию модели, которая может делать предсказания на гораздо большем наборе данных, а эффективность этих предсказаний служит основой для следующего раунда усовершенствования алгоритмов.

Этот новый подход к ИИ уже имеет три важных последствия. Во-первых, он переплел ИИ с использованием огромного количества данных. По словам ученого в области ИИ Альберто Ромеро, который разочаровался в этой отрасли и покинул ее в 2021 году: "Если вы работаете в области ИИ, вы, скорее всего, собираете данные, очищаете данные, маркируете данные, разделяете данные, обучаетесь на данных, оцениваете данные. Данные, данные, данные. И все это для того, чтобы модель сказала: Это кошка". Такое внимание к огромному количеству данных является фундаментальным следствием акцента на автономность, вдохновленного Тьюрингом.

Во-вторых, благодаря такому подходу современный ИИ оказался очень масштабируемым и переносимым, и, конечно, в областях, гораздо более интересных и важных, чем распознавание кошек. Как только проблема распознавания кошек на фотографии будет "решена", мы сможем перейти к решению более сложных задач распознавания изображений или как, казалось бы, несвязанных проблем, таких как определение смысла предложений на иностранном языке. Таким образом, существует потенциал для действительно широкого использования ИИ в экономике и в нашей жизни - во благо, но часто и во вред.

В крайнем случае, целью становится разработка полностью автономного, общего интеллекта, который может делать все, что может делать человек. По словам соучредителя и генерального директора DeepMind Демиса Хассабиса, цель состоит в том, чтобы "решить проблему интеллекта, а затем использовать ее для решения всех остальных проблем". Но является ли это лучшим способом разработки цифровых технологий? Этот вопрос обычно остается незаданным.

В-третьих, и это еще более проблематично, такой подход еще больше подтолкнул сферу к автоматизации. Если машины могут быть автономными и интеллектуальными, то вполне естественно, что они будут брать на себя все больше задач от работников. Компании могут разбить существующие рабочие места на более узкие задачи, использовать программы искусственного интеллекта и многочисленные данные для изучения того, что делают люди, а затем заменить алгоритмами людей в этих задачах.

Элитарное видение усиливает это внимание к автоматизации. Большинство людей, по мнению сторонников этой точки зрения, склонны к ошибкам и не очень хорошо справляются с задачами, которые они выполняют. Как говорится на одном из сайтов, посвященных ИИ: "Люди от природы склонны к ошибкам". С другой стороны, есть очень талантливые программисты, которые могут разрабатывать сложные алгоритмы. Как сказал Марк Цукерберг: "Тот, кто является исключительным в своей роли, не просто немного лучше того, кто довольно хорош. Они в 100 раз лучше". Или, по словам соучредителя Netscape Марка Андреессена, "пять великих программистов могут полностью превзойти 1000 посредственных программистов". Исходя из этого мировоззрения, желательно использовать нисходящее проектирование технологии исключительными талантами, чтобы ограничить человеческие ошибки и их стоимость на рабочих местах. Замена работников машинами и алгоритмами становится приемлемой, а сбор огромного количества данных о людях - допустимым. Такой подход еще больше оправдывает достижение человеческого паритета, а не дополнение человека, как критерий прогресса и удобно сочетается с акцентом корпораций на сокращение затрат на рабочую силу.

Недооцененный человек

Даже в условиях вытеснения и массового сбора данных рост производительности труда за счет новых технологий иногда может повысить спрос на работников и увеличить их заработок. Но преимущества для работников появляются только тогда, когда новые технологии существенно повышают производительность. Сегодня это вызывает серьезную озабоченность, потому что ИИ пока что привнес много "мягкой" автоматизации с ограниченными преимуществами в плане производительности.

При значительном росте производительности это может свести на нет некоторые негативные последствия автоматизации - например, за счет увеличения спроса на труд в неавтоматизированных задачах или стимулирования занятости в других секторах, которые впоследствии расширяются. Однако если снижение затрат и рост производительности будут незначительными, эти положительные эффекты не проявятся. Автоматизация "так себе" представляет особую проблему, поскольку она вытесняет работников, но не дает результатов в плане производительности.

В эпоху искусственного интеллекта существует фундаментальная причина низкой эффективности автоматизации. Люди хороши в большей части того, что они делают, и автоматизация на основе ИИ вряд ли даст впечатляющие результаты, если она просто заменит человека в задачах, для которых мы накапливали соответствующие навыки веками. Автоматизация "на уровне" - это то, что мы получаем, например, когда компании спешат установить киоски самообслуживания, которые плохо работают и не улучшают качество обслуживания клиентов. Или когда квалифицированные представители службы поддержки клиентов, ИТ-специалисты или финансовые консультанты оттесняются на второй план алгоритмами искусственного интеллекта, которые затем работают плохо.

Многие производственные задачи, выполняемые людьми, представляют собой смесь рутинной и более сложной деятельности, которая включает в себя социальное общение, решение проблем, гибкость и творчество. В такой деятельности люди используют негласные знания и опыт. Более того, многие из этих знаний и опыта сильно зависят от контекста, их трудно передать алгоритмам искусственного интеллекта, поэтому они могут быть утрачены после автоматизации соответствующих задач.

Чтобы проиллюстрировать важность накопленных знаний, возьмем кормовые общества. Этнографические исследования показывают, что охотники-собиратели постоянно демонстрируют удивительную степень адаптации к местным условиям. Например, маниок (также известен как маниока) — это высокопитательное клубневое растение родом из американских тропиков. Она используется для производства маниоковой муки, хлеба, тапиоки и различных алкогольных напитков. Однако это растение ядовито, поскольку содержит два цианистых сахара. Если растение съесть сырым или приготовить без надлежащей обработки, оно может вызвать интоксикацию цианидами, что в крайних случаях приводит к тяжелым последствиям, вплоть до смерти.

Коренные народы Юкатана поняли эту проблему и разработали несколько способов удаления яда, включая очистку растения от кожуры и вымачивание в течение некоторого времени перед длительной варкой, а затем утилизацию воды для варки. Некоторые европейцы сначала не понимали этих методов и иногда принимали их за примитивные, ненаучные традиции, а потом узнавали, какой гибелью оборачивается их несоблюдение.

Человеческая адаптивность и изобретательность не менее важны в современной экономике, хотя часто игнорируются элитой, ориентированной на технологии. Градостроители и инженеры единодушно считают, что светофоры - это ключ к безопасному и своевременному движению автомобилей. В сентябре 2009 года прибрежный английский город Портисхед отключил светофоры на одном из своих самых оживленных перекрестков. Вопреки опасениям многих экспертов, водители начали использовать больше здравого смысла и адаптивно реагировали на новую организацию. По истечении четырех недель движение на перекрестке значительно улучшилось, при этом количество аварий и травм не увеличилось. Портисхед - не исключение. Несколько других экспериментов с подобными "голыми улицами" показали аналогичные результаты. Существует дискуссия о практичности "голых улиц" в больших городах, и полное отсутствие светофоров вряд ли возможно на самых оживленных перекрестках в мегаполисах. Тем не менее, из этих экспериментов трудно не сделать вывод, что технологии, забирая у человека инициативу и суждения, иногда делают вещи хуже, а не лучше.

То же самое верно и в отношении производственных задач. Человеческий интеллект черпает свою силу в том, что он ситуативен и социален: Способность понимать окружающую среду и успешно реагировать на нее, что позволяет людям быстро адаптироваться к изменяющимся условиям. Например, люди могут быть более бдительными, находясь в незнакомой среде, которая подает тонкие сигналы опасности, даже во время отдыха или сна. В других условиях, которые они воспринимают как предсказуемые, они могут быстрее выполнять задачи, используя выученные рутины. Кроме того, ситуационный интеллект помогает людям более широко реагировать на изменяющиеся обстоятельства и распознавать лица и закономерности, используя данные из множества соответствующих контекстов.

Человеческий интеллект также является социальным в трех важных отношениях. Во-первых, большая часть информации, необходимой для успешного решения проблем и адаптации, находится в обществе. Мы получаем ее через неявную и явную коммуникацию - например, подражая поведению других людей. Интерпретация такого рода внешних знаний является жизненно важной частью человеческого познания и лежит в основе акцента на "теории разума" в этой области. Теория разума - это то, что позволяет людям рассуждать о психическом состоянии других людей и, таким образом, правильно понимать их намерения и знания.

Во-вторых, наши рассуждения основаны на социальной коммуникации; мы разрабатываем аргументы и контраргументы в пользу различных гипотез и оцениваем наше понимание в свете этого процесса. Без этого социального аспекта интеллекта люди были бы ужасными людьми, принимающими решения. Да, мы совершаем ошибки, когда нас помещают в лабораторные условия, которые не позволяют активизировать эти аспекты интеллекта, но мы избегаем некоторых из тех же ошибок в более естественных условиях.

В-третьих, люди приобретают дополнительные навыки и способности благодаря эмпатии, которую они испытывают к другим людям, а также благодаря разделению целей и задач, которое это позволяет.

Центральная роль ситуационных и социальных измерений интеллекта связана со слабой связью между аналитическими аспектами человеческого познания, измеряемыми тестами IQ, и различными измерениями успеха. Даже в научных и технических областях наибольшего успеха добиваются те, кто сочетает умеренно высокий IQ с социальными навыками и другими человеческими способностями.

В большинстве рабочих сред ситуационный и социальный интеллект позволяет не только гибко адаптироваться к обстоятельствам, но и общаться с клиентами и другими сотрудниками для повышения качества обслуживания и сокращения количества ошибок. Поэтому неудивительно, что, несмотря на распространение технологий ИИ, многие компании все чаще ищут работников с социальными, а не математическими или техническими навыками. В основе этого растущего спроса на социальные навыки лежит реальность того, что ни традиционные цифровые технологии, ни ИИ не могут выполнять важнейшие задачи, требующие социального взаимодействия, адаптации, гибкости и общения.

В то же время игнорирование человеческих возможностей может стать самоисполняющимся пророчеством, поскольку решения по автоматизации могут постепенно сократить возможности для социального взаимодействия и человеческого обучения. Возьмем для примера обслуживание клиентов. Хорошо обученные люди могут быть очень эффективны в решении проблем именно потому, что они формируют социальную связь с человеком, нуждающимся в помощи (например, сочувствуют тому, кто только что попал в аварию и должен подать иск). Они могут быстро понять суть проблемы, отчасти потому, что общаются с клиентом, и на основе этого общения предложить решения, соответствующие потребностям. Такое взаимодействие позволяет представителям службы поддержки клиентов со временем становиться лучше в своей работе.

Теперь представьте себе ситуацию, когда работа по обслуживанию клиентов разбита на более узкие задачи, а фронтальные задачи поручены алгоритмам, которые часто не могут полностью определить и решить сложные проблемы, с которыми они сталкиваются. Затем в качестве специалистов по устранению неполадок привлекаются люди, после долгой череды меню. На этом этапе клиент часто разочарован, ранние возможности для построения социальной связи упущены, а представитель службы поддержки не получает такого же объема информации от общения, что ограничивает его способность учиться на конкретных обстоятельствах и адаптироваться к ним. Это делает работу представителя службы поддержки менее эффективной и может побудить менеджеров и технологов искать дополнительные способы еще больше сократить объем поставленных перед ними задач.

Эти уроки человеческого интеллекта и адаптивности часто игнорируются сообществом ИИ, которое спешит автоматизировать целый ряд задач, независимо от роли человеческого мастерства.

О триумфе искусственного интеллекта в радиологии трубят много. В 2016 году Джеффри Хинтон, соавтор современных методов глубокого обучения, лауреат премии Тьюринга и ученый Google, предложил "прекратить обучение радиологов. Это просто совершенно очевидно, что в течение пяти лет глубокое обучение будет работать лучше, чем рентгенологи".

Ничего подобного пока не произошло, а спрос на радиологов с 2016 года вырос по очень простой причине. Полная рентгенологическая диагностика требует даже большего ситуационного и социального интеллекта, чем, например, обслуживание клиентов, и в настоящее время она находится за пределами возможностей машин. Более того, последние исследования показывают, что сочетание человеческого опыта с новыми технологиями оказывается гораздо более эффективным. Например, современные алгоритмы машинного обучения могут улучшить диагностику диабетической ретинопатии, которая возникает в результате повреждения кровеносных сосудов сетчатки глаза у пациентов с диабетом. Тем не менее, точность значительно возрастает, когда алгоритмы используются для выявления сложных случаев, которые затем передаются офтальмологам для более точной диагностики.

В 2015 году главный технический директор подразделения Google по разработке самоуправляемых автомобилей уверенно предполагал, что его тогдашнему одиннадцатилетнему сыну не нужно будет получать водительские права к тому времени, когда ему исполнится шестнадцать лет. В 2019 году Элон Маск предсказал, что к концу 2020 года компания Tesla выпустит на улицы миллион полностью автоматизированных такси без водителя. Эти прогнозы не сбылись по той же причине. Как показал эксперимент с голыми улицами, вождение в оживленных городах требует огромного количества ситуационного интеллекта для адаптации к меняющимся обстоятельствам и еще большего социального интеллекта для реагирования на сигналы других водителей и пешеходов.

Общая иллюзия искусственного интеллекта

Апогеем современного подхода к ИИ, вдохновленного идеями Тьюринга, является поиск общего интеллекта человеческого уровня.

Несмотря на такие огромные достижения, как GPT-3 и рекомендательные системы, нынешний подход к ИИ вряд ли скоро превзойдет человеческий интеллект или даже достигнет очень высокого уровня производительности во многих задачах, связанных с принятием решений. Задачи, в которых задействованы социальные и ситуационные аспекты человеческого познания, по-прежнему будут представлять огромные трудности для машинного интеллекта. Как только мы рассмотрим детали достигнутых результатов, станет ясно, насколько сложно перенести существующие успехи на большинство человеческих задач.

Возьмем самые громкие успехи ИИ, такие как шахматная программа AlphaZero. AlphaZero даже считается "творческой", потому что она придумала ходы, которые человеческие шахматные мастера не рассматривали или не видели. Тем не менее, это не настоящий интеллект. Начнем с того, что AlphaZero является чрезвычайно специализированной программой и может играть только в шахматы и другие подобные игры. Даже самые простые задачи за пределами шахмат, такие как простая арифметика или игры с более социальным взаимодействием, находятся за пределами возможностей AlphaZero. Хуже того, не существует очевидного способа адаптировать архитектуру AlphaZero для выполнения многих простых вещей, которые делают люди, таких как проведение аналогий, игры с менее строгими правилами или изучение языка, что мастерски делают сотни миллионов годовалых детей каждый год.

Интеллект AlphaZero в шахматах также очень специфичен. Хотя шахматные ходы AlphaZero в рамках правил игры впечатляют, они не включают в себя тот тип творчества, которым регулярно занимаются люди, например проведение аналогий между неструктурированными, разрозненными средами и поиск решений новых и разнообразных проблем.

Даже GPT-3, хотя и более универсальный, и впечатляющий, чем AlphaZero, демонстрирует те же ограничения. Он не может выполнять задачи, выходящие за рамки тех, для которых он был предварительно обучен, и не проявляет способности к суждению, поэтому противоречивые или необычные инструкции могут поставить его в тупик. Хуже того, в этой технологии нет ни элемента социального или ситуационного интеллекта человека. GPT-3 не может рассуждать о контексте, в котором находятся выполняемые им задачи, и использовать причинно-следственные связи, существующие между действиями и последствиями. В результате он иногда неправильно понимает даже простые инструкции и не надеется адекватно реагировать на изменяющуюся или совершенно новую обстановку.

На самом деле, эта дискуссия иллюстрирует более широкую проблему. Статистические подходы, используемые для распознавания образов и прогнозирования, плохо подходят для отражения сути многих человеческих навыков. Начнем с того, что эти подходы испытывают трудности с ситуационной природой интеллекта, поскольку точную ситуацию трудно определить и закодировать.

Другой извечной проблемой статистических подходов является "чрезмерная подгонка", которая обычно определяется как использование большего количества параметров, чем оправдано для подгонки некоторой эмпирической зависимости. Опасение заключается в том, что чрезмерная подгонка заставляет статистическую модель учитывать нерелевантные аспекты данных, что приводит к неточным прогнозам и выводам. Статистики разработали множество методов предотвращения чрезмерной подгонки - например, разработка алгоритмов на выборке, отличной от той, на которой они применяются. Тем не менее, чрезмерная подгонка остается бельмом на глазу статистических подходов, поскольку она фундаментально связана с недостатками современного подхода к ИИ: отсутствием теории моделируемых явлений.

Чтобы объяснить эту проблему, полезно иметь более широкое представление о проблеме избыточной подгонки, основанной на использовании нерелевантных или непостоянных характеристик приложения. Рассмотрим задачу отличия волков от хаски. Хотя люди прекрасно справляются с этой задачей, она оказывается сложной для ИИ. Когда некоторым алгоритмам удалось добиться хороших результатов, позже стало ясно, что это произошло благодаря чрезмерной подгонке: хаски распознавались на фоне городской среды, например, красивых газонов и пожарных гидрантов, а волки - на фоне природы, например, снежных гор. Это нерелевантные характеристики в двух фундаментальных смыслах. Во-первых, люди не полагаются на этот фон для определения или различения животных. Во-вторых, что еще более тревожно, по мере потепления климата среда обитания волков может измениться, или волков придется идентифицировать в других условиях. Другими словами, поскольку фон не является определяющей характеристикой волков, любой подход, опирающийся на него, приведет к ошибочным прогнозам по мере развития мира или изменения контекста.

Избыточная подгонка особенно опасна для машинного интеллекта, поскольку она создает ложное ощущение успеха, в то время как на самом деле машина работает плохо. Например, статистическая связь между двумя переменными, скажем, температурой и ВВП на душу населения в разных странах, не обязательно указывает на то, что климат оказывает значительное влияние на экономическое развитие. Это может быть просто результат того, как европейский колониализм воздействовал на территории с разными климатическими условиями и в разных частях земного шара в ходе конкретного исторического процесса. Но без правильной теории легко спутать причинно-следственные связи и корреляцию, и машинное обучение часто делает это.

Проблема чрезмерной подгонки становится намного хуже, когда алгоритмы имеют дело с социально значимой ситуацией, в которой люди реагируют на новую информацию. Реакция людей будет означать, что соответствующий контекст часто меняется, или он может измениться из-за действий, которые они предпринимают на основе информации, предоставляемой алгоритмами. Приведем экономическую иллюстрацию. Алгоритм может заметить ошибки, которые человек совершает при поиске работы - например, ищет профессии, где мало вакансий по сравнению с количеством людей, подающих заявления, - и может попытаться исправить их. Процедуры, разработанные против избыточной подгонки, такие как разделение обучающей и тестирующей выборок, не устраняют соответствующую проблему избыточной подгонки: обе выборки могут быть адаптированы к конкретной среде, в которой существует много незаполненных вакансий в розничной торговле. Но это может измениться со временем именно потому, что мы имеем дело с социальной ситуацией, в которой люди реагируют на имеющиеся данные. Например, по мере того, как алгоритмы будут побуждать людей подавать заявки, вакансии в розничной торговле могут стать переполненными и перестать быть такими привлекательными. Без полного понимания этого ситуационного и социального аспекта человеческого познания и того, как динамично меняется поведение, чрезмерная подгонка будет продолжать мешать машинному интеллекту.

Есть и другие тревожные последствия отсутствия у ИИ социального интеллекта. Хотя он использует данные, полученные от большого сообщества пользователей, и таким образом может включать социальное измерение данных, при существующих подходах он не использует тот факт, что человеческое понимание основано на избирательном подражании, общении и аргументации между людьми. В результате многие попытки автоматизации, как представляется, скорее уменьшают, чем увеличивают гибкость, которой хорошо обученные работники могут достичь, быстро и плавно реагируя на изменяющиеся обстоятельства, часто используя навыки и взгляды, которым они учатся у своих коллег.

Конечно, эти аргументы не исключают возможности того, что совершенно новый подход сможет решить проблему AGI в ближайшем будущем. Однако пока нет никаких признаков того, что мы близки к созданию такого подхода. Это также не основная область, в которую инвестируются средства на ИИ. Промышленность по-прежнему сосредоточена на сборе большого количества данных и автоматизации узких задач на основе методов машинного обучения.

Экономическая проблема от такой бизнес-стратегии очевидна: когда люди не так бесполезны, как иногда предполагается, а умные машины не так умны, как обычно предполагается, мы получаем так себе автоматизацию - все перемещения и мало обещанного повышения производительности. На самом деле, даже сами компании не получают большой выгоды от такой автоматизации, и часть внедрения ИИ может быть вызвана шумихой, как отметил бывший ученый в области ИИ Альберто Ромеро, которого мы цитировали ранее: "Маркетинговая сила ИИ такова, что многие компании используют его, сами не зная зачем. Все хотели попасть на волнорез ИИ".

Современный Паноптикон

Другое популярное использование современного ИИ иллюстрирует, как энтузиазм в отношении автономных технологий вместе с массовым сбором данных выковал весьма специфическое направление развития цифровых технологий и как это снова привело к скромным выгодам для корпораций и значительным потерям для общества и работников.

Использование цифровых инструментов для мониторинга работников не является чем-то новым. Когда социальный психолог и исследователь бизнеса Шошана Зубофф опрашивала работников, переживающих внедрение цифровых технологий в начале 1980-х годов, общим рефреном было усиление контроля со стороны руководства. Как сказал один офисный работник: "ETS [цифровая система учета расходов] стала для руководства средством проверки нас. Они могут отследить любые изменения на поминутной основе, если захотят".

Но ранние усилия меркнут по сравнению с тем, что мы видим сегодня. Amazon, например, собирает огромное количество данных о своих курьерах и работниках складов, которые затем объединяются с алгоритмами для реструктуризации работы таким образом, чтобы увеличить пропускную способность и минимизировать сбои.

Компания, которая является вторым по величине работодателем частного сектора в США, платит более высокую минимальную заработную плату, чем некоторые другие розничные компании, такие как Walmart. Но есть фундаментальный смысл, в котором работа в Amazon не является хорошей работой. Работники должны подчиняться строгому, быстро меняющемуся рабочему распорядку, их постоянно контролируют, чтобы убедиться, что они не делают более длинных или частых перерывов и постоянно прилагают необходимые усилия. Недавние новостные сообщения показывают, что значительная часть работников многих предприятий увольняется за несоответствие трудовым ожиданиям, причем некоторые из этих увольнений, согласно собранным данным, являются автоматическими (хотя Amazon оспаривает факт автоматического увольнения). По словам одного из защитников труда, "одна из вещей, которую мы постоянно слышим от работников, заключается в том, что с ними обращаются как с роботами, потому что они находятся под контролем и наблюдением этих автоматизированных систем".

Паноптикон Джереми Бентама должен был стать моделью не только для тюрем, но и для ранних британских фабрик. Но у начальников восемнадцатого и девятнадцатого веков не было технологий для постоянного наблюдения. У Amazon есть. По словам одного сотрудника из Нью-Джерси, "они практически видят все, что вы делаете, и это им выгодно. Они не ценят тебя как человека. Это унизительно".

Такие условия работы с высоким уровнем контроля не только унизительны, но и опасны. Недавний отчет OSHA показал, что в 2020 году работники складов Amazon получили около 6 серьезных травм на 200 000 отработанных часов, что почти в два раза превышает средний показатель в складской отрасли, а другие исследования показывают еще более высокий уровень травматизма, особенно в пиковые периоды деловой активности, такие как рождественский сезон, когда наблюдение за работниками усиливается. Amazon дополнительно требует от своих сотрудников и подрядчиков, занимающихся доставкой, загрузить и постоянно использовать приложение для отслеживания данных под названием "Mentor", которое позволяет осуществлять более тщательный контроль. Недавно компания объявила о создании дополнительных инструментов искусственного интеллекта для отслеживания работников доставки. FedEx и другие службы доставки также собирают множество данных о своих сотрудниках и используют их для введения жестких ограничений в расписании, что объясняет, почему многие работники службы доставки находятся в постоянной гонке со временем.

Масштабный сбор данных теперь распространяется на профессии "белых воротничков", когда работодатели отслеживают, как сотрудники используют свое время на компьютерах и различных коммуникационных устройствах.

Некоторый объем контроля является частью прерогативы работодателя, которому необходимо убедиться, что работники выполняют порученные им задания и не повреждают или неправомерно используют оборудование. Однако традиционно работники мотивировались не только контролем, но и доброжелательностью, которая сложилась между ними и работодателем из-за высокой заработной платы и общих удобств на рабочем месте. Например, работодатель или руководитель мог понять, что работник может чувствовать себя не совсем хорошо в данный день, и сделать ему поблажку, или, наоборот, работник мог быть готов работать больше обычного, если в этом возникала необходимость. Мониторинг позволяет работодателям снизить заработную плату и получить больше работы от работников. Таким образом, мониторинг является "деятельностью по перераспределению ренты", то есть он может быть использован для предотвращения распределения прироста производительности и перераспределения ренты от работников без значительного или полного повышения их производительности.

Еще одна область, в которой методы ИИ были применены для изменения арендной платы, — это планирование работы. Ключевым источником автономии для работников является четкое разделение рабочего времени и времени отдыха, а также предсказуемый график. Возьмем работников ресторанов быстрого питания. Если они знают, что должны приходить на работу в 8 утра и уходить в 16.00, это дает им высокую степень предсказуемости и некоторую автономию за пределами этого восьмичасового окна. Но что произойдет, если менеджер вдруг узнает, что после 16.00 придет гораздо больше клиентов? У нее может появиться стимул уменьшить эту автономию и приказать сотрудникам оставаться после 16:00. Может ли она это сделать?

Ответ зависит от противодействующих сил - например, от коллективных договоров, препятствующих подобному навязыванию; от доброй воли и норм приемлемости на рабочих местах; а также от технологий, которые определяют, могут ли компании заранее прогнозировать спрос и составлять графики в режиме реального времени.

Противодействующие силы уже отсутствовали, особенно в сфере услуг, а добрая воля и нормы уважения к автономии работников давно угасли. Оставшийся барьер - технология - теперь преодолен благодаря искусственному интеллекту и массовому сбору данных, что открывает путь к "гибкому графику".

Многие отрасли, работающие с клиентами, отказались от предсказуемых графиков, таких как рабочее время с 8.00 до 16.00, приняв вместо этого сочетание "нулевых часовых контрактов" и изменения графика в режиме реального времени. Контракты с нулевым рабочим днем означают, что компания отказывается от обязательства нанимать и оплачивать работнику регулярные часы каждую неделю. С другой стороны, составление расписания в режиме реального времени позволяет компаниям звонить работникам на мобильный телефон накануне вечером и просить их прийти на работу рано утром или увеличить продолжительность рабочего дня. Это также включает отмену смен по первому требованию, что снижает доход работника.

Обе эти практики основаны на технологиях обработки данных и искусственного интеллекта - например, программное обеспечение для составления расписания, предлагаемое такими технологическими компаниями, как Kronos, - которые позволяют работодателям предсказывать спрос, с которым они столкнутся, а затем заставлять работников адаптироваться к нему. Крайним вариантом такой практики является "клопенинг" - так называется практика, когда один и тот же работник закрывает магазин поздно вечером, а затем открывает его рано утром следующего дня. Это опять же навязывается работникам, часто в последний момент, поскольку менеджеры, наделенные полномочиями с помощью инструментов искусственного интеллекта, считают, что это соответствует их потребностям.

Существует много параллелей между практикой гибкого графика и мониторингом работников. Самая важная из них заключается в том, что обе они являются примерами "так себе" технологий: они создают незначительный прирост производительности, несмотря на существенные затраты для работников. С помощью дополнительного мониторинга компании могут отказаться от усилий по созданию доброй воли и снизить заработную плату. Но это не сильно повышает производительность: работники не становятся лучше в своей работе, потому что им платят меньше, и на самом деле могут потерять мотивацию и стать менее продуктивными. С помощью гибкого графика компании могут немного увеличить свои доходы, имея больше сотрудников, когда спрос высок, и меньше, когда магазин менее загружен. В обоих случаях нагрузка на работников более существенна, чем преимущества в производительности. По словам британского работника, работающего по контракту с нулевым рабочим днем, "здесь нет карьерного роста.... [я] проработал на этой работе шесть с половиной лет. С тех пор роль не менялась, никакого продвижения. У меня вообще нет перспектив продвижения по службе. Я спросила, могу ли я пойти на курсы, на что получила абсолютный отказ". Независимо от затрат на работников и небольшого, эфемерного повышения производительности, компании, стремящиеся сократить расходы и усилить контроль над работниками, продолжают требовать технологий ИИ, а в ответ исследователи, повинующиеся иллюзиям ИИ, поставляют их.

Но есть ли другой путь, кроме использования цифровых технологий на службе непрерывной автоматизации и контроля за работниками? Ответ - да. Когда цифровые технологии направлены на помощь и дополнение человека, результаты могут быть, и уже были, намного лучше.

Непройденный путь

При интерпретации как недавней, так и далекой истории часто встречается детерминистское заблуждение: то, что произошло, должно было произойти. Зачастую это не совсем верно. Существует множество возможных путей, по которым могла бы развиваться история. То же самое верно и для технологии. Нынешний подход, который доминирует в третьей волне ИИ, основанной на массовом сборе данных и непрерывной автоматизации, — это выбор. На самом деле это дорогостоящий выбор, и не только потому, что он следует предвзятому отношению элиты к автоматизации и слежке и наносит ущерб экономическому существованию работников. Он также отвлекает энергию и исследования от других, социально более полезных направлений развития цифровых технологий общего назначения. Далее мы увидим, что парадигмы, отдающие приоритет полезности машин, добились замечательных успехов в прошлом, когда их пытались применить, и предлагают много плодотворных возможностей в будущем.

Еще до конференции в Дартмуте эрудит из Массачусетского технологического института Норберт Винер сформулировал другое видение, в котором машины позиционировались как дополнение к человеку. Хотя Винер не использовал этот термин, MU (полезность машин) вдохновлен его идеями. Мы хотим от машин не какого-то аморфного понятия интеллекта или "высокоуровневых возможностей", а их использования для достижения целей человека. Сосредоточение внимания на MU, а не на ИИ, скорее всего, поможет нам достичь этой цели.

Винер определил три критические проблемы, которые мешали мечтам об автономном машинном интеллекте со времен Тьюринга. Во-первых, превзойти и заменить человека сложно, потому что машины всегда несовершенны в имитации живых организмов. Как сказал Винер в несколько ином контексте: "Лучшая материальная модель для кошки — это другая, а лучше та же самая кошка".

Во-вторых, автоматизация оказала немедленный негативный эффект на работающих людей: "Давайте помнить, что автомат, что бы мы ни думали о каких-либо чувствах, которые он может иметь или не иметь, является точным экономическим эквивалентом рабского труда. Любой труд, конкурирующий с рабским, должен принять экономические последствия рабского труда".

И, наконец, стремление к автоматизации также означает, что ученые и технологи могут потерять контроль над путем развития технологий. "Необходимо осознать, что человеческие действия — это действия с обратной связью" - это означает, что мы корректируем свои действия на основе информации о том, что происходит вокруг нас. Но "когда созданная нами машина способна оперировать поступающими данными в темпе, который мы не можем поддерживать, мы можем не знать, пока не станет слишком поздно, когда ее выключить". Однако все это не было неизбежностью: машины могут быть поставлены на службу людям в качестве дополнения к нашим навыкам. Как писал Винер в статье, подготовленной в 1949 году для New York Times (часть статьи была опубликована посмертно в 2013 году), "мы можем быть скромными и жить хорошо с помощью машин, или мы можем быть высокомерными и погибнуть".

Два провидца подхватили факел Винера. Первым был Дж. К. Р. Ликлайдер, который сосредоточился на поощрении других к принятию и продуктивному развитию этого подхода. Первоначально Ликлайдер получил образование психолога, но впоследствии перешел в сферу информационных технологий и предложил идеи, которые стали решающими для сетевых компьютеров и интерактивных вычислительных систем. Четкая формулировка этого видения содержится в его новаторской статье 1960 года "Симбиоз человека и компьютера". Анализ Ликлайдера актуален и сегодня, спустя более шестидесяти лет после его публикации, особенно, где он подчеркивает, что "по сравнению с людьми, вычислительные машины очень быстры и точны, но они ограничены в выполнении только одной или нескольких элементарных операций за раз. Люди гибкие, способные "программировать себя на случай" на основе вновь полученной информации".

Второй сторонник этого альтернативного видения, Дуглас Энгельбарт, также сформулировал идеи, которые являются предшественниками нашего понятия полезности машины. Энгельбарт стремился сделать компьютеры более удобными и простыми в эксплуатации для непрограммистов, исходя из своего убеждения, что они будут наиболее преобразующими, когда они "повысят способность человечества справляться со сложными, неотложными проблемами".

Самые важные инновации Энгельбарта были эффектно показаны в шоу, которое позже окрестили "Матерью всех демонстраций". На конференции, организованной Ассоциацией компьютерной техники совместно с Институтом инженеров по электротехнике и электронике 9 декабря 1968 года, Энгельбарт представил прототип компьютерной мыши. Это приспособление, состоящее из большого ролика, деревянной резной рамы и одной кнопки, было совсем не похоже на привычную нам сегодня компьютерную мышь, но благодаря проводам, торчащим из спины, оно было достаточно похоже на грызуна, чтобы получить такое название. Она одним махом изменила то, что большинство пользователей могли делать с компьютером. Именно эта инновация позволила компьютерам Macintosh Стива Джобса и Стива Возняка опередить персональные компьютеры и операционные системы на базе Microsoft. Среди других инноваций Энгельбарта, некоторые, из которых также были продемонстрированы на "Матери всех демонстраций", - гипертекст (на котором сегодня держится Интернет), растровые экраны (которые сделали возможными различные другие интерфейсы) и ранние формы графического интерфейса пользователя. Идеи Энгельбарта продолжали генерировать ряд других достижений, особенно под эгидой компании Xerox (и многие из этих идей вновь стали решающими для Macintosh и других компьютеров).

Альтернативное видение Винера, Ликлайдера и Энгельбарта заложило основы некоторых из самых плодотворных разработок в области цифровых технологий, даже если сегодня это видение затмевается иллюзией ИИ. Чтобы понять эти достижения, и почему они не получили столько внимания, сколько успехи доминирующей парадигмы, нам сначала нужно обсудить, как МУ работает на практике.

Полезность машины в действии

Можно выделить четыре взаимосвязанных, но разных способа, с помощью которых цифровые технологии можно направить в сторону МУ, помощи и расширения возможностей человека.

Во-первых, машины и алгоритмы могут повысить производительность труда работников в уже выполняемых ими задачах. Когда опытному ремесленнику дается более совершенное зубило или архитектор получает доступ к программному обеспечению для автоматизированного проектирования, его производительность может значительно возрасти. Такое повышение производительности может быть достигнуто не только за счет новых инструментов, но и за счет улучшения конструкции машин. К этому стремятся направления, известные как взаимодействие человека и компьютера и дизайн, ориентированный на человека. Эти подходы признают, что все машины, и, в частности, компьютеры, должны обладать определенными характеристиками для наиболее продуктивного использования людьми, и ставят во главу угла разработку новых технологий, которые повышают удобство и практичность для человека. В случае успеха, как это было с мышью и графическим пользовательским интерфейсом Энгельбарта, новые цифровые технологии могут стать тем, что Стив Джобс назвал "велосипедом для наших умов", и расширить человеческие навыки. Поскольку такой подход ставит возможности машин на службу людям, он, как правило, дополняет человеческий интеллект.

Хотя этот подход уже принес заметные плоды, можно сделать гораздо больше. Инструменты виртуальной и дополненной реальности открывают огромные перспективы для расширения возможностей человека в таких задачах, как планирование, проектирование, контроль и обучение. Но их применение может выйти за рамки технических и инженерных работ.

Текущий консенсус в технологическом и инженерном сообществе резюмирует Кай-Фу Ли: "Роботы и ИИ возьмут на себя производство, доставку, дизайн и маркетинг большинства товаров". Несмотря на подобные утверждения, усилия по внедрению новых программных инструментов стали важным источником роста производительности в контексте немецкой программы "Индустрия 4.0", которая позволила повысить гибкость в условиях меняющихся обстоятельств или требований.

Этот потенциал еще лучше иллюстрирует японское производство, где многие компании отдают приоритет гибкости и участию работников в принятии решений, даже несмотря на внедрение передового и иногда автоматизированного оборудования. Пионером этого подхода стал У. Эдвардс Деминг, другой инженер, придерживающийся тех же взглядов, что и Винер, Ликлайдер и Энгельбарт. Деминг сыграл важную роль в создании гибкого подхода к производству, ориентированного на качество, в японском производстве. В ответ он получил самые высокие награды в Японии, и в честь него была учреждена премия Деминга. В настоящее время дополненная и виртуальная реальность предоставляет множество новых возможностей для такого рода сотрудничества между человеком и машиной, включая улучшенные возможности для точной работы человека, более адаптивные конструкции и большую гибкость в реагировании на изменяющиеся обстоятельства.

Второй тип МУ еще более важен: создание новых задач для работников. Эти задачи были критически важны для расширения спроса на квалифицированных и неквалифицированных работников, даже когда такие производители, как Ford, автоматизировали части производственного процесса, реорганизовали работу и перешли к массовому производству. За последние полвека цифровые технологии также создали различные новые технические и дизайнерские задачи (даже если большинство компаний отдали предпочтение цифровой автоматизации). Дополненная и виртуальная реальность также может породить новые задачи в будущем. Образование и здравоохранение служат яркой иллюстрацией того, как алгоритмические достижения могут породить новые задачи. Более четырех десятилетий назад Айзек Азимов отметил проблему нашей нынешней системы образования: "Сегодня то, что люди называют обучением, навязывают вам насильно. Всех заставляют учить одно и то же в один и тот же день с одинаковой скоростью в классе. Но все люди разные. Для кого-то занятия проходят слишком быстро, для кого-то слишком медленно, для кого-то в неправильном направлении". Когда Азимов писал эти слова, его предложение о персонализированном обучении было чисто умозрительным. Если бы не было возможности преподавать один на один со всеми учащимися, такая персонализация была бы маловозможна. Сегодня у нас есть инструменты, позволяющие сделать персонализацию реальностью во многих классах. Действительно, для этого необходимо изменить конфигурацию существующих цифровых технологий. Те же статистические методы, которые используются для автоматизации заданий, могут также использоваться для определения в режиме реального времени групп учащихся, испытывающих трудности при решении схожих задач, а также учащихся, которым можно предложить более сложный материал. Соответствующее содержание может быть скорректировано для небольших групп учащихся. Данные исследований в области образования показывают, что такая персонализация имеет значительную отдачу и наиболее полезна там, где именно общество испытывает наибольшую потребность: улучшение когнитивных и социальных навыков учащихся из низких социально-экономических слоев.

В здравоохранении ситуация аналогичная: правильный тип MU может значительно расширить возможности медсестер и других медицинских работников, и это будет наиболее полезно для первичного здравоохранения, профилактики и низкотехнологичных медицинских приложений.

Третий вклад машин в человеческие возможности может стать еще более актуальным в ближайшем будущем. Принятие решений почти всегда ограничено точной информацией, и даже творческие способности человека зависят от своевременного доступа к точной информации. Большинство творческих задач требуют проведения аналогий, поиска новых комбинаций существующих методов и конструкций. Люди, выполняющие эту работу, придумывают ранее не опробованные схемы, которые сталкиваются с доказательствами и рассуждениями и впоследствии дорабатываются. Все эти человеческие задачи могут быть облегчены благодаря точной фильтрации и предоставлению полезной информации.

Всемирная паутина, которую часто ассоциируют с британским компьютерным ученым Тимом Бернерсом-Ли, является квинтэссенцией такого рода помощи человеческому познанию. К концу 1980-х годов Интернет, глобальная сеть компьютеров, общающихся друг с другом, существовала уже около двух десятилетий, но не было простого способа получить доступ к сокровищам информации, которые существовали в этой сети. Бернерс-Ли вместе с бельгийским компьютерщиком Робертом Кайо расширил идею гипертекста Энгельбарта и ввел гиперссылки, позволяющие связать информацию на одном сайте с соответствующей информацией в других частях интернета. Эти двое ученых написали первый веб-браузер для получения этой информации и назвали его Всемирной паутиной или просто Вебом. Веб — это веха в человеко-машинной взаимодополняемости: он позволяет людям получать доступ к информации и мудрости, которые другие люди произвели в такой степени, которая, по сути, не имела аналогов в прошлом.

MU может обеспечить работу многих других приложений, которые предоставляют более качественную информацию людям в их качестве работников, потребителей и граждан. Системы рекомендаций, в лучшем случае, обладают такой способностью: они могут объединять массу информации от других людей и представлять соответствующие аспекты пользователям, чтобы помочь им в принятии решений.

Четвертая категория, основанная на использовании цифровых технологий для создания новых платформ и рынков, может оказаться наиболее важным применением концепции Винера-Ликлидера-Энгельбарта. Экономическая производительность неотделима от сотрудничества и торговли. Объединение людей с различными навыками и способностями всегда было одним из основных аспектов экономической динамики и может быть мощно расширено с помощью цифровых технологий.

Блестящей иллюстрацией этого явления является рыбная промышленность в южном индийском штате Керала, которая была революционизирована благодаря использованию мобильных телефонов. На некоторых местных пляжных рынках в Керале рыбаки приходили с хорошим уловом рыбы, но сталкивались с недостаточным спросом, в результате чего цена падала до нуля, а большая часть рыбы оставалась гнить. На другом пляжном рынке, расположенном в нескольких километрах, рыбы для продажи мало, а покупателей много, что приводит к высоким ценам, неудовлетворенному спросу и повсеместной неэффективности. Начиная с 1997 года, по всей Керале была введена мобильная телефонная связь. Рыбаки и оптовики начали использовать мобильные телефоны для получения информации о распределении спроса и предложения на пляжных рынках. Впоследствии разброс цен и потери рыбы резко снизились. Основная экономическая суть этой истории ясна: коммуникационные технологии позволили создать единый рыбный рынок, и тщательное изучение этого эпизода показывает, что и рыбаки, и потребители получили значительную выгоду.

Возможности для установления новых связей и создания рынка потенциально более широки благодаря цифровым технологиям, и некоторые платформы уже воспользовались ими. Вдохновляющим примером является система мобильных валют и денежных переводов M-Pesa, которая была введена в Кении в 2007 году и предоставляет дешевые и быстрые банковские услуги с помощью мобильных телефонов. Через два года после внедрения эта система охватила 65% населения Кении и с тех пор была принята на вооружение в ряде других развивающихся стран. По оценкам, она принесла широкую выгоду экономике этих стран. Другой пример - компания Airbnb создала новый рынок, на котором люди могут арендовать жилье, расширяя выбор для потребителей и создавая конкуренцию гостиничным сетям.

Даже в таких областях, как перевод, где автоматизация на основе ИИ оказалась весьма успешной, существуют дополнительные альтернативы, основанные на создании новых платформ. Например, вместо того, чтобы полагаться на полностью автоматизированный и зачастую некачественный перевод, можно создать платформы, объединяющие людей, нуждающихся в более качественных языковых услугах, и квалифицированных многоязычных специалистов по всему миру.

Новые платформы не обязательно должны ограничиваться теми, которые специализируются на денежных операциях. Децентрализованные цифровые структуры могут быть использованы для создания платформ для более широких форм сотрудничества, обмена опытом и коллективных действий.

Успехи МУ, о которых мы упомянули, относятся к наиболее продуктивному применению цифровых технологий и проложили путь к множеству других инноваций. Тем не менее, в целом они являются маргинальными по отношению к текущему направлению развития ИИ. По оценкам McKinsey Global Institute, в 2016 году из общего объема глобальных расходов на ИИ в размере 26–39 млрд долларов 20-30 млрд долларов приходится на горстку крупных технологических компаний в США и Китае. К сожалению, насколько мы можем судить, большая часть этих расходов направлена на массовый сбор данных для автоматизации и наблюдения.

Почему же технологические компании не разрабатывают инструменты, которые помогают людям и в то же время повышают производительность? На это есть несколько причин, каждая из которых говорит о более широких силах, с которыми мы сталкиваемся. Рассмотрим пример с преподаванием и вспомним, что новые задачи, как в данном примере, полезны отчасти потому, что они повышают производительность труда, создавая значимую и высокооплачиваемую работу для людей - в данном случае, для учителей. Тем не менее, новые задачи преподавания влекут за собой увеличение расходов для школ, и без того испытывающих нехватку средств. Большинство государственных школ, как и другие современные организации, вынуждены сосредоточиться на сдерживании расходов на рабочую силу и могут испытывать трудности с наймом дополнительных учителей. Следовательно, новые алгоритмы для автоматизированного оценивания или автоматизированного преподавания могут показаться им более привлекательными.

То же самое происходит и в сфере здравоохранения. Несмотря на 4 триллиона долларов, которые США тратят на здравоохранение, больницы также сталкиваются с бюджетным давлением, а нехватка медсестер стала болезненно очевидной во время пандемии COVID-19. Новые технологии, расширяющие возможности и обязанности медсестер, позволят нанимать больше медсестер для обеспечения более качественного медицинского обслуживания. Это наблюдение еще раз подтверждает ключевой момент: машины, дополняющие человека, не являются привлекательными для организаций, когда они стремятся к сокращению расходов.

Другая проблема заключается в том, что новые платформы и методы агрегирования и предоставления информации пользователям также открывают возможности для новых видов использования. Например, Всемирная паутина стала в равной степени платформой для цифровой рекламы и распространения дезинформации, а также источником полезной информации для людей. Рекомендательные системы часто используются для направления клиентов к определенным продуктам в зависимости от финансовых стимулов платформы. Цифровые инструменты могут предоставлять информацию руководителям не только для принятия более эффективных решений, но и для лучшего контроля за работниками. Некоторые рекомендательные системы на основе ИИ включают в себя и усиливают существующие предубеждения - например, в отношении расы при приеме на работу или в отношении расы в системе правосудия. Платформы для совместного использования транспорта и доставки навязывают эксплуататорские условия работникам, не имеющим защиты или гарантий занятости. Таким образом, то, как используются даже самые многообещающие приложения человеко-машинной взаимодополняемости, по-прежнему зависит от рыночных стимулов, видения и приоритетов технологических лидеров и противодействующих сил.

Кроме того, существует столь же непреодолимый барьер на пути к человеко-машинной комплементарности. Под сенью теста Тьюринга и иллюзии ИИ ведущие исследователи в этой области мотивированы на достижение человеческого паритета, и область склонна ценить и уважать такие достижения выше, чем ИИ. В результате инновации смещаются в сторону поиска способов отнять задачи у работников и переложить их на программы ИИ. Эта проблема, конечно, усиливается финансовыми стимулами, исходящими от крупных организаций, стремящихся сократить расходы за счет использования алгоритмов.

Мать всех неуместных технологий

Не только рабочие и граждане промышленно развитых стран будут расплачиваться за иллюзию ИИ.

Несмотря на экономический рост во многих бедных странах за последние пять десятилетий, более трех миллиардов человек в развивающихся странах по-прежнему живут менее чем на 6 долларов в день, что затрудняет их ежедневное получение трех квадратных порций пищи, а также денег на жилье, одежду и медицинское обслуживание. Многие возлагают надежды на технологию, которая поможет преодолеть эту нищету. Новые технологии, внедренные и усовершенствованные в Европе, США или Китае, могут быть переданы развивающимся странам и приняты ими, обеспечивая их экономический рост. Международная торговля и глобализация также считаются важнейшими составляющими этого процесса, поскольку страны с низким уровнем дохода могут экспортировать продукцию, произведенную с помощью передовых технологий.

Истории успеха очень быстрого экономического роста, включая Южную Корею, Тайвань, Маврикий и совсем недавно Китай, похоже, подтверждают это. Каждая страна достигла среднего темпа роста на душу населения более 5 процентов в год в течение более чем тридцати лет. Во всех этих случаях главную роль в росте играли промышленные технологии, а также экспорт на мировые рынки.

Однако вопрос о том, как и выиграли ли развивающиеся страны от импорта технологий, имеет больше нюансов, чем обычно предполагается. Несколько экономистов, таких как Фрэнсис Стюарт, в 1970-х годах поняли, что импорт технологий может не сработать, а на самом деле может ухудшить ситуацию с точки зрения неравенства и бедности, потому что технологии Запада часто "не подходят" для нужд развивающихся стран. Африканское сельское хозяйство иллюстрирует эту проблему. На страны с высоким и средним уровнем дохода приходится почти все расходы на исследования в области сельскохозяйственных технологий, и значительная их часть направлена на решение самой извечной проблемы сельского хозяйства: вредителей и патогенов сельскохозяйственных культур, которые, по оценкам, уничтожают, возможно, до 40 процентов мирового сельскохозяйственного производства. Например, европейскому кукурузному бурелому, поражающему кукурузу в Западной Европе и Северной Америке, было уделено много внимания, и были выведены устойчивые штаммы культур (в том числе более пяти тысяч биотехнологических патентов и различные генетически модифицированные сорта). То же самое касается западного кукурузного корневого червя, который также поражает кукурузу в США и некоторых частях Западной Европы, и хлопкового колоса, который когда-то был основной угрозой для американского хлопка.

Но эти культуры и химикаты не очень полезны для сельского хозяйства Африки и Южной Азии, которые сталкиваются с различными вредителями и патогенами. Африканский кукурузный стеблевой буревестник, поражающий те же культуры в Африке, и пустынная саранча, уничтожающая почти все культуры в Африке и большей части Южной Азии, являются феноменальными препятствиями для продуктивности сельского хозяйства в этих регионах. Но им уделяется гораздо меньше внимания (очень мало патентов и нет генетически модифицированных сортов). Общее количество долларов на научные исследования и новые инновации, направленные на решение проблем развивающихся стран с низким уровнем дохода, в целом было ничтожным. По оценкам, производительность мирового сельского хозяйства можно увеличить на 42%, если перенаправить усилия биотехнологических исследований с западных вредителей и патогенов на те, которые поражают развивающиеся страны.

Новые культуры и сельскохозяйственные химикаты, предназначенные преимущественно для западного сельского хозяйства, являются примером неподходящей технологии. Стюарт акцентировал внимание не столько на вредителях и патогенах, сколько на том, насколько капиталоемкими являются новые методы производства. Например, сложное промышленное оборудование в производстве и комбайны в сельском хозяйстве могут не соответствовать потребностям развивающихся стран, где капитала мало, а создание рабочих мест - хороших рабочих мест - для их населения в процессе роста является главным императивом.

Такие несоответствия дорого обходятся экономическому развитию. Развивающиеся страны могут в итоге не использовать новые технологии, потому что они не соответствуют их потребностям или слишком капиталоемки. Действительно, сорта сельскохозяйственных культур, выведенные в США, редко экспортируются в более бедные страны, если только они не имеют очень похожий климат и патогены. Даже когда новые технологии, разработанные в странах с развитой экономикой, внедряются в развивающемся мире, выгода от этого часто бывает ограниченной, поскольку в странах-получателях может не хватать высококвалифицированной рабочей силы, необходимой для обслуживания и эксплуатации новейших машин. Кроме того, технологии, импортированные из богатых стран мира, как правило, создают двойную структуру, в которой высококапиталоемкий и высококвалифицированный сектор с достойной заработной платой соседствует с гораздо более крупным сектором с небольшим количеством хороших рабочих мест. В целом, неприемлемые технологии не способны снизить уровень бедности в мире и, наоборот, могут увеличить неравенство как между Западом и остальными странами, так и внутри развивающихся стран.

Многие в развивающемся мире уже осознавали эти императивы. Некоторые из наиболее преобразующих инноваций двадцатого века были разработаны в ходе так называемой "зеленой революции", которую возглавили исследователи в Мексике, Филиппинах и Индии. Новые сорта риса, изобретенные на Западе, не подходили для почвенных и климатических условий этих стран. Прорыв произошел в 1966 году с выведением нового гибридного сорта риса, IR8, который быстро удвоил производство риса на Филиппинах. Сорт IR8 и родственные сорта, выведенные в сотрудничестве с индийскими исследовательскими институтами, вскоре были приняты на вооружение и в Индии и произвели революцию в сельском хозяйстве этой страны, в некоторых местах увеличив урожайность в десять раз. Международное финансирование Фонда Рокфеллера и руководство ученых, особенно агронома Нормана Борлауга, который впоследствии был удостоен Нобелевской премии мира за спасение более миллиарда людей от голода, также сыграли важную роль.

Сегодня мы сталкиваемся с матерью всех неуместных технологий в виде искусственного интеллекта, но нет никаких усилий, аналогичных "зеленой революции" (как и многие исследователи искусственного интеллекта не пытаются занять место Борлауга).

Снижение уровня бедности и быстрый экономический рост в таких странах, как Южная Корея, Тайвань и Китай, не были результатом импорта западных методов производства. Экономический успех стал результатом применения новых технологий, позволяющих более эффективно использовать человеческие ресурсы этих стран. Во всех этих случаях технологии создали новые возможности трудоустройства для большей части рабочей силы, а сами страны также увеличили инвестиции в образование, чтобы улучшить соответствие между технологиями и навыками населения.

Нынешняя траектория развития ИИ препятствует этому пути. Цифровые технологии, робототехника и другие средства автоматизации уже повысили требования к квалификации в глобальном производстве и начали перестраивать международное разделение труда - например, способствуя процессу деиндустриализации во многих развивающихся странах, где рабочие кадры состоят в основном из людей с низким уровнем образования.

ИИ снова стал следующим актом в этом процессе. Вместо того чтобы создавать рабочие места и возможности для большинства населения в бедных странах и странах со средним уровнем дохода, нынешний путь развития ИИ повышает спрос на капитал, высококвалифицированных производственных рабочих и даже на услуги более высокой квалификации, например, со стороны консалтинговых и технологических компаний. Это именно те ресурсы, которых больше всего не хватает в развивающихся странах. Как и в примерах экспортно-ориентированного роста и "зеленой революции", многие из этих экономик обладают богатыми ресурсами, которые можно использовать для ускорения экономического роста и сокращения бедности. Но именно эти ресурсы останутся неиспользованными, если будущее технологий будет развиваться по пути, который диктует иллюзия ИИ.

Возрождение двухуровневого общества

Промышленная революция началась в Великобритании XVIII века, где большая часть населения не имела большой политической или социальной власти. Предсказуемо, что направление прогресса и рост производительности в таком двухуровневом обществе изначально ухудшали условия жизни миллионов людей. Ситуация начала меняться только тогда, когда распределение социальной власти изменилось, изменив направление развития технологий таким образом, что они повысили предельную производительность труда работников. Также решающее значение имели институты и нормы, обеспечивающие надежное распределение ренты на рабочих местах, гарантирующие, что более высокая производительность приведет к росту заработной платы. Эта борьба за технологии и власть над рабочими начала трансформировать высокоиерархическую природу британского общества во второй половине XIX века.

Мы проследили этот процесс от Британии к Соединенным Штатам, по мере того как менялось технологическое лидерство. Технологии США двадцатого века еще более решительно двигались в направлении повышения предельной производительности труда. Таким образом, они заложили основы всеобщего процветания не только внутри страны, но и в большинстве стран мира, поскольку американские технологии и инновации распространились по всему миру и обеспечили массовое производство и рост среднего класса в десятках стран.

В течение последних пятидесяти лет Соединенные Штаты оставались в авангарде технологий, и их производственные методы и практика, особенно цифровые инновации, по-прежнему распространяются по всему миру, но теперь уже с совершенно другими последствиями. Американская модель всеобщего процветания разрушилась, поскольку власть сосредоточилась в руках крупных корпораций, институты и нормы распределения ренты распались, а технологии, начиная с 1980 года, пошли в направлении преимущественно автоматизации.

Все это уже происходило, и видение, оживляющее использование технологий для автоматизации труда, контроля и вытеснения работников, прочно укоренилось еще до появления последней волны ИИ. Мы уже были на пути к двухуровневому обществу задолго до 2010-х годов. С усилением иллюзий по поводу ИИ мы наблюдаем ускорение этого процесса.

Современный ИИ усиливает инструменты в руках технологических элит, позволяя им создавать все новые способы автоматизации труда, оттесняя человека на второй план и якобы делая всевозможные добрые дела, такие как повышение производительности и решение основных проблем, стоящих перед человечеством (как они утверждают). Наделенные возможностями ИИ, эти лидеры чувствуют еще меньше необходимости советоваться с остальным населением. На самом деле, многие из них считают, что большинство людей не настолько мудры и даже не понимают, что для них хорошо.

Брачный союз цифровых технологий и крупного бизнеса привел к тому, что к середине 2000-х годов число миллиардеров росло. Такие состояния умножились, когда в 2010-х годах начали распространяться инструменты искусственного интеллекта. Но это произошло не потому, что ИИ оказался таким продуктивным и удивительным, как утверждали его сторонники. Напротив, автоматизация на основе ИИ часто не способна настолько повысить производительность. Хуже того, это не способ построить общее процветание. Она, тем не менее, восхищает и обогащает магнатов и топ-менеджеров, в то время как лишает рабочих прав и открывает новые способы монетизации информации о людях.

То, что все это игнорируется в безумной спешке использования цифровых технологий для автоматизации труда и контроля за людьми, является причиной, по которой мы назвали эту новую фазу видения иллюзией ИИ. В ближайшее десятилетие эта иллюзия будет усиливаться по мере разработки более мощных алгоритмов, роста глобальной интернет-связи, постоянного подключения бытовой техники и других машин к облаку, что позволит собирать более обширные данные.

Сегодня мы все ближе подходим к антиутопии будущего "Машина времени" Уэллса. Наше общество уже стало двухуровневым. На вершине находятся крупные магнаты, которые твердо уверены, что они заработали свое богатство благодаря своей удивительной гениальности. Внизу - обычные люди, которых технологические лидеры считают склонными к ошибкам и готовыми к замене. По мере того, как ИИ проникает во все новые и новые аспекты современной экономики, становится все более вероятным, что эти два уровня будут все больше отдаляться друг от друга.

Все это не обязательно должно было быть так. Цифровые технологии не должны были использоваться только для автоматизации труда, а технологии искусственного интеллекта не должны были применяться без разбора, чтобы усилить ту же тенденцию. Технологическое сообщество не должно было быть заворожено машинным интеллектом вместо того, чтобы работать над полезностью машин. В этом пути технологий нет ничего предрешенного, как нет ничего неизбежного в двухуровневом обществе, которое создают наши лидеры.

Существуют пути выхода из сложившейся ситуации путем изменения конфигурации распределения власти в обществе и перенаправления технологических изменений. Такие изменения должны происходить на основе восходящих демократических процессов. Однако зловеще то, что ИИ также разрушает демократию.

Глава 10. Демократия ломается

История социальных сетей еще не написана, а их влияние не является нейтральным.

-Крис Кокс, руководитель отдела продуктов, Facebook, 2019 год

Если все и всегда вам лгут, то следствием этого будет не то, что вы поверите в эту ложь, а то, что никто уже ничему не верит.

-Ханна Арендт, интервью 1974 года

2 ноября 2021 года звезда китайского тенниса Пэн Шуай написала на сайте социальных сетей Weibo, что ее принудил к сексу высокопоставленный чиновник. Сообщение было удалено в течение двадцати минут и больше не появлялось в китайских социальных сетях. К тому времени, как сообщение было удалено, ряд пользователей сделали скриншоты сообщения, которые попали в зарубежные СМИ. Но доступ к этим зарубежным СМИ также был быстро подвергнут цензуре. В Китае был большой интерес к Пенг Шуай, но мало кто смог увидеть оригинальное сообщение, и не было никакого общественного обсуждения.

Такое быстрое удаление политически чувствительной информации является правилом, а не исключением в Китае, где Интернет и социальные сети находятся под постоянным наблюдением. По сообщениям китайского правительства, только на мониторинг и цензуру онлайн-контента ежегодно тратится около 6,6 миллиардов долларов.

Правительство также вкладывает огромные средства в другие цифровые инструменты и особенно в искусственный интеллект для слежки. Это наиболее заметно в провинции Синьцзян, где систематический сбор данных о мусульманах-уйгурах начался сразу после июльских беспорядков 2009 года, но с 2014 года он усилился. Коммунистическая партия поручила нескольким ведущим технологическим компаниям разработать инструменты для сбора, агрегирования и анализа данных об индивидуальных и домашних привычках, манере общения, работе, расходах и даже хобби, чтобы использовать их в качестве исходных данных для "предиктивной полицейской деятельности" против одиннадцати миллионов жителей провинции, которые считаются потенциальными диссидентами.

Несколько крупных технологических компаний Китая, включая Ant Group (частично принадлежащую Alibaba), телекоммуникационный гигант Huawei и некоторые из крупнейших в мире компаний по разработке искусственного интеллекта, такие как SenseTime, CloudWalk и Megvii, сотрудничали с правительством в разработке инструментов слежки и их внедрении в Синьцзяне. В настоящее время ведутся работы по отслеживанию людей по их ДНК. Технологии искусственного интеллекта, распознающие уйгуров по чертам лица, также используются повсеместно.

То, что началось в Синьцзяне, затем распространилось на остальную часть Китая. Камеры распознавания лиц теперь широко распространены по всей стране, а правительство неуклонно продвигается к внедрению национальной системы социального кредита, которая собирает информацию о физических и юридических лицах для отслеживания их нежелательной и неблагонадежной деятельности. Это, конечно, включает в себя инакомыслие и подрывную критику правительства. Согласно официальному плановому документу, система социального кредита

основана на законах, правилах, стандартах и уставах, опирается на полную сеть, охватывающую кредитные записи членов общества и кредитную инфраструктуру, поддерживается законным применением кредитной информации и системой кредитных услуг, ее неотъемлемыми требованиями являются создание идеи культуры искренности, продвижение искренности и традиционных добродетелей, в качестве механизмов стимулирования используется поощрение сохранения доверия и ограничения против нарушения доверия, а ее целью является повышение честного менталитета и кредитного уровня всего общества.

Ранние версии системы были разработаны совместно с компаниями частного сектора, включая Alibaba, Tencent и компанию по обмену поездками Didi, с предполагаемой целью разграничения приемлемого (для властей) и неприемлемого поведения, а также ограничения мобильности и других действий нарушителей. С 2017 года прототипы системы социального кредитования были внедрены в десятках крупных городов, включая Ханчжоу, Чэнду и Нанкин. По данным Верховного народного суда, "неплательщики [по судебным постановлениям] были ограничены в покупке около 27,3 млн билетов на самолет и почти 6 млн билетов на поезд до настоящего времени (9 июля 2019 года)". Некоторые комментаторы стали рассматривать китайскую модель и ее систему социального кредитования как прототип нового вида "цифровой диктатуры", в которой авторитарное правление поддерживается путем интенсивного наблюдения и сбора данных.

По иронии судьбы это прямо противоположно тому, как, по мнению многих, Интернет и социальные сети повлияют на политический дискурс и демократию. Обещалось, что онлайн-коммуникация высвободит мудрость толпы, поскольку различные точки зрения свободно общаются и соревнуются, позволяя правде восторжествовать. Интернет должен был сделать демократии сильнее и заставить диктатуры обороняться, поскольку он раскрывал информацию о коррупции, репрессиях и злоупотреблениях. Вики, такие как ныне печально известный WikiLeaks, рассматривались как шаги к демократизации журналистики. Социальные медиа могли бы сделать все вышеперечисленное и даже лучше, способствуя открытому политическому дискурсу и координации между гражданами.

Первые свидетельства, похоже, подтверждают это. 17 января 2001 года текстовые сообщения использовались для координации протестов на Филиппинах против Конгресса страны, который решил проигнорировать критические доказательства против президента Джозефа Эстрады в процессе его импичмента. По мере того, как сообщения переходили от одного пользователя к другому, более миллиона человек пришли в центр Манилы, чтобы выразить протест против соучастия конгрессменов в коррупции и преступлениях Эстрады. После того как столица была остановлена, законодатели отменили свое решение, и Эстраде был объявлен импичмент.

Менее чем через десять лет настала очередь социальных сетей. Facebook и Twitter использовались протестующими во время "арабской весны", что помогло свергнуть долгое время правивших автократов Зин эль-Абидина Бен Али в Тунисе и Хосни Мубарака в Египте. Один из лидеров египетских протестов и инженер-компьютерщик Google Ваэль Гоним подытожил как настроение некоторых протестующих, так и оптимизм в мире технологий, сказав в интервью: "Я хочу однажды встретиться с Марком Цукербергом и поблагодарить его. Эта революция началась - ну, большая часть этой революции началась в Facebook. Если вы хотите освободить общество, просто дайте ему Интернет. Если вы хотите иметь свободное общество, просто дайте им Интернет". Соучредитель Twitter принял такую же интерпретацию собственной роли, заявив: "Некоторые твиты могут способствовать позитивным изменениям в репрессированной стране…".

Политики согласились с этим. Государственный секретарь США Хиллари Родэм Клинтон в 2010 году заявила, что свобода интернета станет ключевым столпом ее стратегии по распространению демократии во всем мире.

С такими надеждами, как же мы оказались в мире, где цифровые инструменты являются мощным оружием в руках автократов для подавления информации и инакомыслия, а социальные сети стали очагом дезинформации, которой манипулируют не только авторитарные правительства, но и экстремисты как правого, так и левого толка?

В этой главе мы утверждаем, что пагубное влияние цифровых технологий и ИИ на политику и социальный дискурс не было неизбежным и стало результатом специфического пути развития этих технологий. Как только эти цифровые инструменты начали использоваться в основном для массового сбора и обработки данных, они стали мощным инструментом в руках правительств и компаний, заинтересованных в слежке и манипулировании. По мере того как люди становились все более бесправными, контроль сверху вниз усиливался как в автократических, так и в демократических странах, а новые бизнес-модели, основанные на монетизации и максимизации вовлеченности и возмущения пользователей, процветали.

Система цензуры, оснащенная политическим оружием

В коммунистическом Китае никогда не было легко быть в оппозиции. В 1957 году председатель Мао заявил: "Пусть расцветают сто цветов", разрешив критику коммунистической партии, что многие восприняли как частичное ослабление репрессий, унесших миллионы жизней. Но надежды на то, что это означает более благосклонное отношение к инакомыслию, вскоре развеялись. Мао начал активную "антиправедную" кампанию, а тех, кто прислушался к его предыдущему приглашению и попытался выразить свои критические взгляды, арестовывали, сажали в тюрьмы и пытали. В период с 1957 по 1959 год было казнено не менее пятисот тысяч человек.

Но к концу 1970-х и началу 1980-х годов все выглядело совсем иначе. Мао умер в 1976 году, а сторонники жесткой линии, включая его жену Цзян Цин и трех ее соратников по Коммунистической партии, широко известных как "Банда четырех", проиграли последовавшую борьбу за власть и были отодвинуты на второй план. Дэн Сяопин, который был одним из лидеров революции, успешным генералом во время гражданской войны, архитектором антиправой кампании, генеральным секретарем и вице-премьером, а затем был вычищен Мао, вернулся на сцену и возглавил страну в 1978 году. Дэн вновь заявил о себе как о реформаторе и попытался провести масштабную экономическую реструктуризацию Китая.

В этот период произошло ослабление власти коммунистической партии. Появились новые независимые СМИ, некоторые из которых открыто критиковали партию. В этот период также начались различные низовые движения, включая продемократические студенческие движения и инициативы в сельской местности по защите прав обычных людей от захвата земель.

Надежды на более открытое общество в очередной раз рухнули во время бойни на площади Тяньаньмэнь в 1989 году. В относительно более свободные дни 1980-х годов в городах и особенно среди студентов нарастали требования больших свобод и реформ. Уже в 1986 году прошла крупная волна студенческих демонстраций с требованиями демократии, большей свободы слова и экономической либерализации. Приверженцы жесткой линии обвинили генерального секретаря партии Ху Яобана, выступавшего за реформы, в мягкости по отношению к протестующим и отстранили его от власти.

Новые протесты вспыхнули в апреле 1989 года после смерти Ху от сердечного приступа. Сотни студентов Пекинского университета вышли на площадь Тяньаньмэнь, расположенную в центре Пекина и отделенную Воротами Небесного мира (Тяньаньмэнь) от Запретного города. В течение следующих нескольких часов студенты составили "Семь требований", которые включали призывы подтвердить правильность взглядов Ху Яобана на демократию и свободу, прекратить цензуру в прессе и ограничения на демонстрации, а также пресечь коррупцию среди государственных лидеров и членов их семей.

Пока правительство колебалось, как реагировать, поддержка протестов росла, особенно после того, как 13 мая студенты начали голодовку. В середине мая до миллиона жителей Пекина вышли на демонстрацию солидарности. Наконец, Дэн Сяопин встал на сторону сторонников жесткой линии и одобрил военные действия против студентов. Военное положение было объявлено 20 мая, и в течение следующих двух недель более 250 000 военнослужащих были направлены в Пекин для подавления беспорядков. К 4 июня протесты были подавлены, а площадь опустела. По оценкам независимых источников, число погибших среди протестующих достигло 10 000 человек. Площадь Тяньаньмэнь стала поворотным пунктом в стремлении Коммунистической партии подавить свободы, появившиеся в 1980-х годах, и ограничить деятельность оппозиции.

Тем не менее, способность Коммунистической партии контролировать инакомыслие на огромных территориях, которые она контролировала, оставалась ограниченной в 1990-е и большую часть 2000-х годов. В начале 2000-х годов возникло низовое движение "Вэйцюань", объединившее большое количество адвокатов для защиты жертв нарушений прав человека по всему Китаю и отстаивания экологических, жилищных прав и свободы слова. Одно из продемократических движений, получившее наибольшую известность, "Хартия 08", возглавляемая писателем и активистом Лю Сяобо, опубликовала свою платформу в 2008 году и предложила реформы, которые вышли далеко за рамки семи требований протестов на площади Тяньаньмэнь. Они включали новую конституцию, выборы всех государственных чиновников, разделение властей, независимую судебную систему, гарантии основных прав человека и широкую свободу ассоциаций, собраний и выражения мнений.

К 2010 году публичное инакомыслие в Китае стало гораздо сложнее, а интернет стал мощным инструментом в руках властей для мониторинга и санирования политического дискурса. Интернет появился в Китае в 1994 году, и вскоре после этого начались усилия по цензуре. Великий файервол", направленный на ограничение того, что могут видеть китайские граждане и с кем они могут общаться, возник в 2002 году, был завершен в 2009 году и с тех пор периодически расширялся.

Однако в начале 2010-х годов цифровая цензура имела свои пределы. В ходе масштабного исследования в 2011 году были собраны и проанализированы миллионы сообщений в социальных сетях на 1382 китайских сайтах и платформах, а затем прослежено, были ли они удалены китайскими властями. Результаты показали, что Великий файервол был эффективен, но только до определенного момента. Власти не подвергали цензуре большинство (сотни тысяч) сообщений с критикой правительства или партии. Скорее, они удаляли гораздо меньшее подмножество сообщений, которые касались чувствительных тем, представляющих риск широкомасштабной реакции и возможность объединения различных оппозиционных групп. Например, подавляющее большинство сообщений о протестах во Внутренней Монголии или провинции Чжэнчэн были быстро удалены. Сообщения о Бо Силае (бывшем мэре Даляня, члене Политбюро, который в то время подвергался чистке) или Фан Биньсине (отце Великого файервола) удалялись так же быстро.

Другая группа исследователей обнаружила, что, несмотря на Великий файервол и систематическую цензуру, общение в социальных сетях все же послужило толчком к протестам. Обмен сообщениями через Weibo позволял координировать и географически распространять протестные акции. Однако уже в этот период деятельность диссидентов, опосредованная социальными сетями, была недолговечной.

Более мягкая цензура, позволявшая распространять некоторые критические сообщения, прекратилась после 2014 года. Под руководством Си Цзиньпина правительство увеличило спрос на видеонаблюдение и связанные с ним технологии ИИ сначала в Синьцзяне, а затем и по всему Китаю. В 2017 году был опубликован "План развития ИИ нового поколения ", целью которого является глобальное лидерство в области ИИ и четкий акцент на использовании ИИ для наблюдения. С 2014 года расходы Китая на программное обеспечение и камеры для видеонаблюдения и его доля в глобальных инвестициях в ИИ быстро росли каждый год, и сейчас они составляют около 20 процентов от общемировых расходов на ИИ. На долю исследователей, работающих в Китае, приходится больше патентов, связанных с ИИ, чем в любой другой стране.

С совершенствованием технологий искусственного интеллекта появилась более интенсивная слежка, и, по словам основателя China Digital Times Сяо Цяня, "в Китае существует система цензуры, оснащенная политическим оружием; она отточена, организована, координируется и поддерживается государственными ресурсами. Это не просто удаление чего-либо. У них также есть мощный аппарат для построения нарратива и нацеливания его на любую цель с огромным размахом".

Сегодня лишь немногие инакомыслящие сообщения избегают цензуры на основных платформах социальных сетей, Великий файервол закрывает почти все политически чувствительные иностранные сайты, а свидетельств координации протестов в социальных сетях практически нет. Китайцы больше не могут получить доступ к большинству независимых иностранных СМИ, включая New York Times, CNN, BBC, Guardian и Wall Street Journal. Основные западные социальные сети и поисковые системы, включая Google, YouTube, Facebook, Twitter, Instagram и различные сайты видеообмена блогами, также заблокированы.

ИИ значительно расширил возможности китайского правительства по подавлению инакомыслия и обходу политического дискурса и информации, особенно в контексте мультимедийного контента и чатов.

Более смелый новый мир

К 2010-м годам китайский политический дискурс уже напоминал "1984" Джорджа Оруэлла. Подавляя информацию и используя системную пропаганду, правительство пыталось жестко контролировать политическое повествование. Когда в зарубежной прессе появлялись заметные сообщения о коррупционных расследованиях, которые касались высокопоставленных политиков или их семей, государственная цензура гарантировала, что китайский народ не увидит этих подробностей, и вместо этого подвергался бомбардировке пропагандой о добродетельности своих лидеров.

Многие люди, как оказалось, были хотя бы частично убеждены в результате индоктринации или, по крайней мере, не осмеливались признаться, что считают это пропагандой. В 2001 году Коммунистическая партия инициировала масштабную реформу учебных программ средних школ. Целью было политическое воспитание молодежи. Меморандум 2004 года о реформе был озаглавлен "Предложения по усилению идеологического и морального строительства нашей молодежи". Новые учебники, которые начали распространяться в 2004 году, содержали более националистическое изложение истории и подчеркивали авторитет и достоинства коммунистической партии. В них критиковались западные демократии и утверждалось, что китайская политическая система лучше.

Студенты, ознакомившиеся с новыми учебниками, придерживались совершенно иных взглядов, чем их сверстники из той же провинции, окончившие школу до введения учебников. Они также сообщили о более высоком уровне доверия к правительственным чиновникам и считали китайскую систему более демократичной, чем студенты, не подвергшиеся внушению со стороны тех же учебников. Действительно ли они верили в это или просто усвоили тот факт, что от них ожидали таких мнений, когда их спрашивали, установить сложнее. Тем не менее, очевидно, что на их взгляды сильно повлияла пропаганда, которой они подвергались.

К концу 2010-х годов все эти тенденции значительно усилились. Цифровая цензура и пропаганда означали, что национализм, беспрекословная поддержка правительства и нежелание прислушиваться к критическим новостям и мнениям стали гораздо более распространенными среди китайской молодежи. После масштабных инвестиций в искусственный интеллект Великий файервол был дополнен постоянной слежкой с использованием данных, собранных на всех китайских платформах и рабочих местах. В такой обстановке захотят ли китайские студенты университетов получить доступ к иностранным СМИ, если бы у них была такая возможность? Именно этот вопрос задали себе два исследователя в амбициозном исследовании. Ответ, который они нашли, удивил даже их самих.

В середине 2010-х годов у Великого файервола было одно слабое место. Он блокировал доступ китайских пользователей к иностранным СМИ и веб-сайтам, используя их IP-адреса, которые указывали, находятся ли они в материковом Китае. Но VPN (виртуальные частные сети) могли использоваться для скрытия IP-адресов, что позволяло пользователям в материковом Китае получать доступ к цензурируемым веб-сайтам. Правительство не запрещало VPN, и информация о сайтах, посещаемых с их помощью, была недоступна властям, что делало такой обходной путь достаточно безопасным. (Однако с тех пор ситуация изменилась: частное использование VPN запрещено, а все провайдеры VPN должны зарегистрироваться в правительстве).

В ходе хитроумно спланированного эксперимента два исследователя предлагали студентам университетов Пекина бесплатный доступ к VPN (а иногда и дополнительные поощрения в виде рассылок и других средств), чтобы они могли получать доступ к западным новостным изданиям в течение восемнадцати месяцев в период с 2015 по 2017 год. Студенты, получавшие эти дополнительные поощрения, посещали западные СМИ, интересовались новостями и, начав это делать, продолжали получать новости из зарубежных источников. Их ответы на опросы показывают, что они поняли и поверили информации, изменили свои политические взгляды и стали более критично относиться к китайскому правительству. Они также выразили гораздо больше симпатии к демократическим институтам.

Тем не менее, и без дополнительных поощрений подавляющее большинство студентов не проявляли интереса к посещению иностранных сайтов и даже не хотели иметь бесплатный VPN-доступ. Они были настолько убеждены пропагандой в школах и китайских СМИ, что в западных источниках нет актуальной и достоверной информации о Китае, что им не нужна была активная цензура. Они уже усвоили цензуру.

Исследователи интерпретировали этот вывод как "Brave New World" Олдоса Хаксли, а не "1984" Джорджа Оруэлла. По словам социального критика Нила Постмана, "Оруэлл боялся тех, кто запретит книги. Хаксли боялся того, что не будет причин запрещать книги, потому что не найдется никого, кто захочет их читать".

В антиутопии Хаксли общество разделено на жестко сегментированные касты, начиная от альф на вершине и заканчивая бетами, гаммами, дельтами и вплоть до эпсилонов. Но больше нет необходимости в постоянной цензуре и слежке, потому что "при научном диктаторе образование будет действительно работать, в результате чего большинство мужчин и женщин вырастут и будут любить свое рабство и никогда не будут мечтать о революции". Кажется, нет никаких веских причин, по которым научная диктатура должна быть когда-либо свергнута".

От Прометея до Пегаса

Использование цифровых инструментов для подавления инакомыслия характерно не только для Китая. Иран и Россия, среди прочих диктатур, также использовали их для отслеживания и наказания инакомыслящих и подавления доступа к свободной информации.

Еще до "арабской весны" использование социальных сетей в продемократических протестах привлекло внимание международной общественности во время неудачной "зеленой революции" в Иране. Огромные толпы людей (по некоторым оценкам, до трех миллионов) вышли на улицы, чтобы свергнуть президента Махмуда Ахмадинежада, который, как считалось, подтасовал результаты выборов 2009 года, чтобы остаться у власти. В координации протестов использовались многочисленные социальные сети, включая текстовые сообщения и Facebook.