Охота на электроовец. Большая книга искусственного интеллекта

8.1 Перспективные направления исследований

Отдельный жанр статей в жёлтой прессе составляют публикации, утверждающие, что исследования в области ИИ зашли в тупик. Причём в роли непроходимого тупика фигурируют самые разные проблемы, некоторые из них и вовсе не являются проблемами, какие-то просто иллюстрируют глубокое непонимание автором вопроса, который он взялся освещать, а иные, напротив, соответствуют активно развивающимся секторам. Быстрый прогресс в области ИИ привёл к расширению фронта исследований, при этом прогресс продолжается во множестве направлений. Мы уже рассмотрели немало примеров того, как постепенно улучшаются значения метрик при решении различных задач, как появляются новые модели и подходы, как под напором исследовательских усилий сдаются задачи, которые публика ещё вчера считала неразрешимыми. Конечно, громко заявить, что прогресса нет, — верный способ привлечь к себе внимание, и многие заявления следует воспринимать сквозь призму экономики современных медиа, ориентированной на максимизацию числа просмотров. Но это вовсе не значит, что прогресс даже в такой стремительно развивающейся области, как ИИ, — это лёгкая увеселительная прогулка для учёных. За решениями проблем часто стоят нелёгкий труд, множество экспериментов, размышлений и неудач, остающихся сокрытыми от читателей очередных статей, устанавливающих новую планку SOTA в решении той или иной задачи. Какие вопросы стоят сегодня перед исследователями в области ИИ? Какие направления исследований вызывают наибольший интерес у учёных? В каких сферах мы можем ждать революционных достижений в грядущее десятилетие? Давайте попробуем разобраться и в этом.

Начнём мы с направления, которое традиционно называют AutoML. В отношении коннекционистских моделей одной из наиболее актуальных задач, относящихся к AutoML, является «поиск нейросетевой архитектуры» (Neural architecture search, NAS). Работа специалиста по машинному обучению в наши дни нередко связана с поиском оптимальных параметров модели, а также параметров процесса обучения (которые ещё называют гиперпараметрами, чтобы отличать их от параметров самой модели). В глубоком обучении вслед за подготовкой первой версии обучающей выборки обычно следует этап экспериментов с нейросетевыми архитектурами из нескольких последних SOTA-работ, посвящённых решаемой задаче или задаче, напоминающей решаемую, а затем начинается длительный период экспериментов по модификации выбранной архитектуры, подбору гиперпараметров и различных параметров процесса аугментации данных. Многие из этих действий имеют преимущественно механический характер, что подталкивает к идее о том, что такая работа может быть автоматизирована. Почему бы не использовать какую-нибудь модель машинного обучения, которая будет самостоятельно проектировать другие модели наиболее оптимальным образом? Перспективы этого подхода будоражат воображение: оно тут же начинает рисовать картину самосовершенствующейся системы ИИ, подобной предложенной Юргеном Шмидхубером гипотетической машине Гёделя [Gödel machine][3254], и того самого «интеллектуального взрыва». Неудивительно, что в этом направлении ведутся активные исследования.

В «классическом» машинном обучении (предназначенном для работы с данными сравнительно небольшой размерности) возможность автоматического подбора параметров модели встроена во многие популярные программные библиотеки: auto-sklearn[3255], AutoWEKA[3256], AutoGluon[3257], H2O[3258]^, [3259], TPOT[3260], FLO[3261], CatBoost[3262] — эти названия обычно хорошо знакомы тем, кто работает с «неглубокими» моделями машинного обучения. Семь лет назад мы с коллегами также разработали одну из таких библиотек, получившую название Est1mator. Однако «классические» модели обладают существенно меньшим числом параметров, чем «глубокие» модели, да и вычислительные затраты на один эксперимент по обучению модели в случае «неглубоких» моделей обычно заметно скромнее. Долгое время возможность применения методов AutoML к глубокому обучению рассматривалась специалистами как перспектива сравнительно отдалённого будущего. Однако начиная с 2016 г. исследователи Google и DeepMind опубликовали сразу несколько серьёзных работ[3263]^,[3264]^, [3265]^, [3266]^, [3267]^, [3268]^,[3269]^, [3270], посвящённых этому направлению. Сегодня исследованиями в области NAS занимаются исследователи и других технологических компаний, таких как Samsung[3271]^, [3272], Microsoft[3273], Facebook[3274]^, [3275] и Bosch[3276]. Не отстают и университетские[3277] учёные, особенно исследователи из Китая[3278]^, [3279]^, [3280]. Собственным инструментом для поиска нейросетевых архитектур обзавелась и одна из популярных библиотек для глубокого обучения — Keras. Этот инструмент, как несложно догадаться, получил наименование Auto-Keras[3281].

За последние годы было создано несколько специальных наборов тестов для оценки возможностей систем поиска эффективных нейросетевых архитектур и гиперпараметров их обучения, например: NAS-bench-101[3282]^, [3283], NAS-Bench-201[3284], NAS-Bench-360[3285], NAS‑Bench‑x11[3286], HW-NAS-Bench[3287], NAS-Bench-ASR[3288], NATS-Bench[3289], NAS-HPO-Bench[3290] и NAS-HPO-Bench-II[3291]. Наверное, самым большим триумфом этого подхода на сегодняшний день стало создание[3292]^, [3293] семейства свёрточных нейросетевых архитектур EfficientNet, которые позволили достичь большей точности и эффективности, чем предыдущие свёрточные архитектуры. В частности, в 2019 г. архитектура EfficientNet-B7 позволила при классификации изображений ImageNet достичь[3294] точности top-1 в 84,3% и точности top-5 в 97,0%, будучи в 8,4 раза меньше и в 6,1 раза быстрее при выполнении, чем лучшая из предшествовавших архитектур (AmoebaNet, обученная с применением библиотеки GPipe)[3295]. В том же году исследователям из Google Brain при помощи более хитрой процедуры обучения, задействующей две нейросети («ученика» и «учителя»), удалось «выжать» из архитектуры EfficientNet-L2 при классификации изображений ImageNet значения точности top-1 и top-5, равные 90,2 и 98,8% соответственно[3296].

Однако, несмотря на столь внушительные успехи, в области поиска нейросетевых архитектур существует ещё множество открытых вопросов. Как сделать процесс поиска наиболее вычислительно эффективным? Эксперименты в этой области пока что требуют значительных вычислительных ресурсов. Можно ли повторить успехи NAS в других областях, не связанных с обработкой изображений, и какие алгоритмы позволят добиться наибольшей эффективности в этом направлении? И наконец, нельзя ли создать универсальные методы, позволяющие осуществлять эффективный поиск нейросетевых архитектур для решения произвольных задач?

Все эти проблемы изучаются в рамках области машинного обучения, получившей название «метаобучение» [meta-learning]. Основная цель метаобучения — улучшение производительности существующих методов машинного обучения; по сути, перед метаобучением стоит задача «научиться учиться» [learn to learn].

Другое важное направление исследований — перенос обучения (знаний) [transfer learning] (мы коротко затрагивали эту тему, рассуждая о возможностях импульсных нейронных сетей). Эта область занимается поиском методов, позволяющих использовать знания, полученные при решении одной задачи, для решения других, сходных с ней. Например, модель, обученная различать различных животных на изображениях, может быть использована для распознавания пород собак. Одной из разновидностей переноса знаний является дообучение, или тонкая настройка [fine-tuning], модели с применением сравнительно небольших датасетов, содержащих примеры решения целевых задач. В некотором роде триумфом переноса обучения стало появление предобученных моделей для обработки естественного языка, основанных на трансформерных архитектурах, — мы подробно обсуждали этот вопрос в ходе рассказа о моделях семейства GPT. Проклятием переноса обучения является проблема «катастрофического забывания» [catastrophic forgetting][3297], которая заключается в том, что в процессе доучивания модель быстро теряет полученные ранее знания. Чтобы не допустить этого, доучивание обычно ограничивают небольшим количеством эпох обучения, а также используют низкие значения скорости обучения. Однако это делает сам процесс доучивания вычислительно более дорогим, менее эффективным и менее стабильным. Для борьбы с катастрофическим забыванием предложен ряд весьма остроумных техник, таких как, например, «эластическая консолидация весов» [elastic weights consolidation][3298]^, [3299] или «ослабление скоростей весов» [weight velocity attenuation][3300], однако они нередко связаны с существенными дополнительными затратами (вычислительными или в виде использования дополнительного объёма памяти).

Хотя в наши дни нейросетевые модели обычно обучают при помощи различных методов градиентного спуска, исследователи задумываются над тем, чтобы использовать более «умные» алгоритмы для подстройки весов нейронных сетей. Теоретически, «изучив» множество сессий обучения, некоторая модель может научиться более эффективно модифицировать веса нейронной сети, чтобы достигать меньшего значения ошибки за меньшее число шагов обучения. Решением этой задачи по «воспитанию воспитателя» в настоящее время занимается ряд исследователей, и уже получены первые обнадёживающие результаты[3301] в этой области. Не исключено, что развитие именно этого направления позволит совершить очередной прорыв в области машинного обучения в ближайшем будущем.

Возможно, новые исследования позволят найти замену даже такому, казалось бы, фундаментальному элементу нейросетевых технологий, как метод обратного распространения ошибки. Авторы статьи «Градиенты без обратного распространения ошибки» (Gradients without Backpropagation)[3302], вышедшей в свет в начале 2022 г., показывают в своём исследовании, что градиенты весов нейронной сети можно рассчитывать при помощи более быстрого алгоритма, который авторы назвали «прямым градиентом» [forward gradient].

Рост интереса к большим языковым моделям вслед за громким успехом таких проектов, как GPT-3 и ChatGPT, привёл к расширению исследований в этой и смежных областях — мы говорили в разделах 6.6.5 и 6.6.6 о многих актуальных вызовах, стоящих перед создателями будущих LLM. Одной из наиболее амбициозных стратегических целей здесь является выстраивание «мостика» от современных LLM и MLLM к будущим системам общего искусственного интеллекта. Развитие моделей, способных строить цепочки и деревья рассуждений, ставит вопрос о возможности применения продвинутых языковых моделей к задачам стратегического планирования. Ни для кого не секрет, что теория игр, и в частности деревья (и графы) возможных решений, активно использовалась в стратегическом планировании ещё в годы холодной войны (Первой холодной войны?).

В наши дни важным инструментом для создания и анализа таких деревьев могут стать большие языковые модели. Поскольку они в некоторой мере уже сегодня являются пусть и упрощёнными, но моделями мира, их можно использовать как для генерации возможных альтернатив, так и для оценки всей совокупности совершённых акторами действий в терминальных узлах дерева. Таким образом, деревья стратегических решений могут стать куда более сложными и разветвлёнными. Все эти идеи наводят на мысль о возможности создания обобщающей теории применения фундаментальных моделей в решении сложных интеллектуальных задач. Например, на роль такой теории может претендовать концепция программ на базе больших языковых моделей [Large Language Model Programs][3303]^, [3304]. Скорее всего, в ближайшие годы в этой области появится множество новых проектов и стартапов.

В 2022 г. своим видением на развитие ИИ в ближайшее десятилетие поделился Ян Лекун[3305]. По его мнению, сейчас перед отраслью стоят три основных вызова:

Лекун видит решение первой проблемы в развитии методов самообучения [self-supervised learning]. Их успешное применение будет означать, что системы ИИ способны создавать сложные модели мира. При этом, по мнению Лекуна, роль данных для обучения для следующего поколения систем машинного обучения уготована уже не языку и не изображениям, а видео. В настоящее время Meta (бывшая Facebook) прилагает много усилий для сбора видеоданных от первого лица. Впрочем, по словам Лекуна, видео с YouTube также являются подходящим учебным материалом.

Лекун считает, что системы искусственного интеллекта смогут из таких видеороликов узнать о физических основах нашего мира. А эти знания, в свою очередь, станут основой для развития способностей ИИ, связанных с реальным миром (например, хватание предметов или вождение автомобиля). Вообще весьма интересным является вопрос о том, можно ли создать универсальный искусственный интеллект путём машинного обучения, опирающегося только на имеющийся цифровой след человечества, или же для этого необходимо активное взаимодействие с окружающим миром при помощи физических аватаров (или хотя бы программных агентов, взаимодействующих с человеческим обществом при помощи Всемирной сети).

Опираясь на выученные представления, системы ИИ должны научиться рассуждать и действовать. Почему, с точки зрения Лекуна, важно при этом, чтобы в основе обучения лежали именно градиентные методы (вторая задача)? Именно градиентным методам мы во многом обязаны началом революции глубокого обучения. Возможность представить задачу в виде, который позволяет на каждом шаге оптимизации определять наиболее перспективное направление поиска, даёт возможность существенно сэкономить время для нахождения решения. Конечно, оптимум можно найти и путём случайных блужданий по пространству возможных решений, но вычислительные затраты при таком подходе обычно непомерно велики, особенно в случае задач, относящихся к такой сложной среде, как реальный мир. Хотя Лао-цзы и говорил: «Путь в тысячу ли начинается с первого шага», но важно, чтобы сделанные шаги приближали нас к цели, а не отдаляли от неё. Способность правильно определять направление легко может превратить бесцельное блуждание длиною в жизнь в получасовую прогулку. Однако определить правильное направление часто бывает непросто, и тут нам на помощь приходит способность находить промежуточные цели. Именно к ней отсылает нас третья проблема, обозначенная Лекуном: необходимость научить системы ИИ строить иерархии планов. Многие интеллектуальные задачи подобны огромному пирогу — съесть их можно только по частям. Но для этого важно освоить высокое искусство разделки пирога, в котором вполне преуспели люди и которое пока что с трудом даётся системам ИИ.

В конце июня 2022 г. на сайте OpenReview появилась первая версия статьи Лекуна под названием «Путь к автономному машинному интеллекту» [A Path Towards Autonomous Machine Intelligence][3306]. Эта статья обобщает и систематизирует взгляды учёного по обозначенному в заголовке вопросу. Конечно, многие из идей, изложенных в статье, не являются изобретением самого Лекуна. В обсуждении, возникшем под текстом статьи, можно, в частности, найти комментарии Юргена Шмидхубера, который проделал большую работу по установлению генезиса высказываемых Лекуном идей в истории современной науки. Некоторые из них появились уже в работах, написанных в 1980-е гг., некоторые изложены в работах самого Шмидхубера, написанных в последние три десятилетия. Однако будет неправильным сказать, что вклад Лекуна заключался только в сборе и систематизации идей. Например, Лекун сделал серьёзный шаг в сторону постановки конкретного вычислительного эксперимента, предложив в качестве шага к будущему AGI конкретные классы нейросетевых архитектур под не совсем благозвучными для русского уха названиями JEPA (Joint Embedding Predictive Architectures, Предсказывающие архитектуры [на основе векторных] вложений) и Hierarchical JEPA (Иерархические JEPA). В 2023 г. появились первые функциональные модели, относящиеся к классу JEPA, например созданная при участии самого Лекуна I-JEPA (Image-based JEPA; JEPA, базирующаяся на изображениях)[3307]. Лекун резюмирует масштабную задачу ИИ на следующее десятилетие в форме одного вопроса: как сформировать у машин способность выучивать модели, которые смогут оперировать неопределённостью и отражать реальный мир во всей его сложности?

Для Лекуна ответ начинается с методов самообучения. Действительно, сегодня это одна из самых горячих тем в области ИИ. Но давайте посмотрим и на другие важные аспекты развития технологий в этой сфере.

8.2 Облачные технологии и распределённое обучение

Одним из не совсем очевидных последствий развития нейросетевых моделей стал ренессанс систем централизованной обработки данных. На рубеже тысячелетий мир, казалось, окончательно забыл об эпохе мейнфреймов. Разработчики и пользователи окончательно пересели на персоналки, а машинное время и оборудование стали пренебрежимо дешёвыми по сравнению с рабочей силой программистов. Мир, в котором месячная заработная плата оператора ЭВМ сопоставима с себестоимостью часа работы машины (вспомним рассуждения сторонников «программирования в содержательных обозначениях» в 1960-е гг.), стал чем-то легендарным и не имеющим никакого отношения к нынешним реалиям. Поэтому для многих оказалось полной неожиданностью, что некоторые модели теперь требуют для обучения такого оборудования, которое оказалось не по карману разработчикам, несмотря на беспрецедентно высокий уровень зарплат в отрасли. Особенно очевидно это стало с появлением моделей на основе трансформеров — приспособленность этой архитектуры к параллельным вычислениям позволила буквально «закидывать» некоторые задачи высокопроизводительным тензорным «железом». Впрочем, нейросетевые модели изначально были предназначены для параллельных вычислений. Неслучайно у истоков революции глубокого обучения стояла исследовательская группа PDP (Parallel distributed processing, то есть «Параллельные распределённые вычисления»).

Новой инкарнацией мейнфреймов стали облачные сервисы, предоставляющие пользователям доступ к высокопроизводительному тензорному оборудованию — к быстрым GPU и TPU. Google Cloud AI, Amazon Web Services (AWS), Azure от Microsoft, IBM Watson, российские GPU Super Cloud от #CloudMTS, Yandex DataSphere, ML Space от «Сбера» — все эти сервисы относятся к числу так называемых платформ MLaaS (Machine Learning as a Service, Машинное обучение как сервис). По сути дела, они обеспечивают совместный доступ к мощным аппаратным платформам на основе принципа разделения времени. Себестоимость обучения некоторых больших моделей машинного обучения перевалила за миллион долларов. Себестоимость обучения GPT-3, по оценкам экспертов, достигла 4,6 млн долларов[3308], что примерно на три порядка больше годовой зарплаты рядового специалиста из страны третьего мира, занятого разметкой данных для задач машинного обучения.

Если первое поколение «железа» для MLaaS представляло собой просто множество серверов, оснащённых GPU или TPU, то современные решения в этой области основаны на специализированных вычислительных узлах, связанных между собой сверхбыстрыми каналами обмена данными. Вслед за MLaaS появились платформы GaaS (Games as a Service, Игры как сервис), предоставляющие любителям компьютерных игр доступ к высокопроизводительному игровому оборудованию — главным образом всё к тем же GPU. Таким образом, высокая стоимость оборудования стимулировала развитие новых практик его использования. Важным фактором здесь стал и бум криптовалют, также увеличивший потребность в вычислительных мощностях и подстегнувший рост цен на высокопроизводительное, в том числе тензорное, «железо». Развитие аппаратных платформ, в свою очередь, подстегнуло дальнейшие эксперименты со сверхбольшими моделями. Трудно сказать, куда именно приведёт наметившийся тренд. Возможно, к превращению всей Солнечной системы в одно гигантское вычислительное устройство, частью которого станут и тела людей. Кто знает, быть может, некоторые чёрные дыры — это гигантские гиперкомпьютеры сверхцивилизаций, в которых, как в коконах, сокрыты бесчисленные виртуальные миры, в которых дремлют потомки разумных видов, некогда подобных нашему.

Впрочем, рука об руку с централизацией вычислений в машинном обучении идут процессы, направленные на его децентрализацию. Для их обозначения обычно используют термин «федеративное обучение» [federated learning] (или «совместное обучение» [collaborative learning]). К этой сфере относятся методы машинного обучения, которые используют вычисления на децентрализованных устройствах, каждое из которых содержит некоторое подмножество обучающей выборки. Федеративное обучение позволяет нескольким участникам создавать общую модель машинного обучения без непосредственного обмена данными, что даёт возможность решать такие важные проблемы, как конфиденциальность и безопасность данных, разграничивать доступ к отдельным типам данных или отдельным прецедентам обучающей выборки. Федеративное обучение активно используется в ряде отраслей, таких как телекоммуникации, интернет вещей, фармацевтика и оборона. В настоящее время разработано множество разновидностей и специализированных алгоритмов федеративного обучения. Они позволяют системам машинного обучения преодолевать барьеры, связанные с многочисленными ограничениями на доступ к данным, необходимым для создания эффективных моделей. Пока сами эти барьеры существуют, будут развиваться и технологии, позволяющие машинному обучению выжить в условиях информационной раздробленности. Кто знает, быть может, будущее Земли будет больше похоже на быт азимовской планеты Солярия, жители которой избегают физических контактов и живут в отдалённых друг от друга укреплённых поместьях, обслуживающихся роботами[3309]. По крайней мере, в эпоху пандемии коронавируса мы, кажется, сделали шаг именно в эту сторону.

Так или иначе, как централизованные, так и распределённые схемы машинного обучения будут продолжать своё развитие в ближайшей перспективе, а вместе с ними будут развиваться соответствующие алгоритмы и модели.

8.3 Иллюзии нейросетей

Не исключено, что серьёзной проблемой в некоторых областях применения нейросетевых моделей может быть возможность осуществления «состязательных атак» [adversarial attacks], позволяющих вынудить модель выдать неверный ответ. То, что модели машинного зрения могут ошибаться, не являлось ни для кого секретом. Также большой неожиданностью не стал тот факт, что изображение можно модифицировать таким образом, чтобы спровоцировать у нейросетевой модели своеобразную оптическую иллюзию. Например, на изображении кошки, приведённом ниже, обученная сеть Inception V3 видит гуакамоле (блюдо мексиканской кухни)[3311]^, [3312]^, [3313].

Такие фокусы становятся возможны благодаря тому, что веса обученной сети находятся в открытом доступе, поэтому остаётся только решить нехитрую задачу оптимизации — найти по возможности минимальную матрицу изменений пикселей исходного изображения, чтобы максимизировать ошибку сети. По сути, этот процесс представляет собой обучение искажающей модели, которая противодействует модели, на которую осуществляется атака, с той лишь разницей, что веса атакуемой модели остаются неизменными, поэтому у неё в этом состязании просто нет шансов.

Впрочем, до некоторых пор проблему не признавали особенно серьёзной. В конце концов, если наклонить приведённое выше изображение всего на несколько градусов, оптическая иллюзия исчезает и сеть успешно распознаёт на картинке кошку.

Рис. 180. Пример верной классификации сетью Inception V3 немного повёрнутого изображения кошки

Ранее предполагалось, что для успешной атаки на систему машинного зрения необходимо предъявить ей модифицированный стимул в неискажённом виде, что в реальном мире представлялось затруднительным — параметры освещения, наклона картинки, расстояния до неё почти невозможно повторить без изменений. Однако в 2017 г. авторы работы «Синтез робастных состязательных примеров» (Synthesizing Robust Adversarial Examples)[3314] (под «робастностью» подразумевается устойчивость модели к помехам) смогли продемонстрировать возможность атаки, устойчивой к подобным искажениям. При помощи 3D-принтера они изготовили пластмассовую черепашку, на панцирь которой был нанесён специальный узор, который заставлял нейросеть Inception V3 опознавать её как винтовку.

Ещё один артефакт, напоминающий по виду бейсбольный мяч, благодаря покрывавшим его поверхность пятнам попеременно классифицировался сетью то как «бейсбол», то как «эспрессо».

Если черепаху можно выдать за винтовку, то, вероятно, и винтовку можно выдать за черепаху. Значит ли это, что охранные системы на основе свёрточных нейронных сетей уязвимы? Представьте себе поведение автомобильного автопилота, если хулиганы нанесли на дорогу изображение, заставляющее автопилот считать, что на проезжую часть перед автомобилем вышел слон? Из-за важности этой проблемы в последние годы исследователи уделяют ей немалое внимание. В результате было изобретено несколько её интересных решений (некоторые из них другим исследователям со временем удалось опровергнуть). В целом задача исследователей в этой области заключается в том, чтобы создать алгоритмы, делающие стоимость атаки на систему машинного зрения неприемлемой для потенциального атакующего. К оптическим иллюзиям склонны и люди, и различные системы камуфляжа являются не чем иным, как попытками увеличить вероятность ошибки людей, старающихся различить камуфлированные объекты. Впрочем, иллюзии, испытываемые свёрточными нейронными сетями, часто совсем непохожи на ошибки человеческого зрения.

Например, изображения, приведённые ниже, демонстрируют, что перестановка глаза и рта на фотографии Ким Кардашьян приводит к повышению уверенности сети в том, что на фотографии изображён человек, в то время как переворот фотографии на 180 градусов, напротив, снижает степень уверенности модели[3315].

По мнению Джеффри Хинтона и его коллег[3316], проблема заключается в том, что в данной свёрточной сети используются слои пулинга, которые теряют информацию о пространственном расположении признаков относительно друг друга. Пример же с переворотом изображения свидетельствует о недостаточной устойчивости свёрточных сетей к аффинным преобразованиям (т. е. к таким, которые являются взаимно однозначными и любую прямую переводят в прямую) входных данных. Последнюю проблему традиционно решают при помощи аугментации обучающих выборок (в них добавляют исходные изображения, подвергнутые различным аффинным трансформациям — сдвигам, поворотам и масштабированию и т. д.), однако Хинтон предлагает собственное решение проблемы — новый класс нейросетевых архитектур под названием «капсульные сети» [capsule networks]. Капсульные сети, по мнению Хинтона, куда более соответствуют своим биологическим прототипам — колонкам коры полушарий головного мозга. Пока что капсульные сети ещё не завоевали себе достойного места в мире нейросетевых моделей (главным образом в силу их большей вычислительной стоимости), однако, повторимся, никто не исключает, что на смену популярным в наши дни нейросетевым архитектурам придут новые, возможно радикально отличающиеся от популярных в наши дни.

В последние годы в области компьютерного зрения свёрточные сети испытывают сильную конкуренцию со стороны трансформеров и даже таких причудливых, на первый взгляд, моделей, как MLP-Mixer[3317], её более «зелёной» версии HyperMixer, позволяющей снизить вычислительные затраты при достижении сопоставимых результатов, и gMLP[3318], построенных из специальным образом соединённых полносвязных блоков.

Ещё одна возможная альтернатива свёрточным сетям — так называемые инволюционные нейронные сети (Involutional Neural Networks). В их основе лежит модифицированная операция свёртки, в которой ядро больше не является неизменным в пределах слоя. Вместо этого коэффициенты ядра являются функцией от входного значения из предыдущего слоя, приходящегося на центр области свёртки. Фактически инволюционная сеть в процессе обучения сама определяет, насколько важна взаимная локализация более «низкоуровневых» признаков для того, чтобы сделать вывод о наличии более «высокоуровневого» признака. В некоторой степени это объединяет идеи, лежащие в основе свёрточной сети и механизма внимания. Первые эксперименты с инволюционными сетями показывают весьма обнадёживающие результаты[3319].

В общем, задача поиска эффективных архитектур нейронных сетей для самых разных классов задач не теряет актуальности.

8.4 Интерпретация работы моделей ИИ

Ещё одной часто обсуждаемой проблемой в области машинного обучения является так называемая «проблема чёрного ящика» [black box problem], или «объяснимого ИИ» [explainable AI]. Читатели жёлтой околотехнологической прессы обычно получают напоминания о существовании этой проблемы в виде двух типов статей. В одних рассказывается, что мы не понимаем, «как работает ИИ» (вариант — нейросети), что эти модели являются «неинтерпретируемыми» и что это очень плохо и опасно, а в других сообщается, что кому-то из исследователей наконец-то удалось решить «проблему чёрного ящика» и объяснить, как именно «работает ИИ». Реально, как водится, куда сложнее. Для начала нужно понять, что означает выражение «мы понимаем» (иными словами — какой смысл мы вкладываем в понятие интерпретируемости). Что значит «понимать» то, как работает та или иная модель машинного обучения? Что касается нейронной сети, то все вычисления, которые она выполняет, можно представить в виде последовательности арифметических операций. В этом смысле работа нейронной сети вполне понятна. Взяв достаточное количество бумаги и карандашей и обладая достаточным количеством свободного времени, любой человек, знакомый со школьной арифметикой, вполне может вычислить ответ нейронной сети на тот или иной входной стимул. Постичь принципы, лежащие в основе нейросетевых моделей и их обучения, довольно нетрудно, и в этом смысле мы хорошо понимаем, как работают нейронные сети. Однако это, очевидно, не тот тип понимания, который имеют в виду, называя нейронную сеть чёрным ящиком. В действительности люди имеют в виду скорее возможность представить обученную сеть в виде компактного набора правил, который мог бы быть усвоен человеком и применён им на практике. Таким образом, под объяснимостью модели обычно понимают возможность уместить её «в человеческую голову», в некоторый ограниченный информационный объём, который американский учёный чилийского происхождения Сезар Идальго остроумно назвал «челобайтом» [personbyte][3320].

В машинном обучении существует отдельная область, которая занимается передачей знаний от больших (по числу параметров) моделей к меньшим, она называется «дистилляция знаний» [knowledge distillation]. Частным случаем дистилляции является «сжатие моделей» [model compression] — активно развивающееся в последние годы направление, в рамках которого исследуется возможность выполнения современных глубоких сетей на устройствах с ограниченными ресурсами без значительного снижения точности. В рамках этого направления выработано множество интересных методов, например различных видов малоранговой аппроксимации (таких как разреженная малоранговая факторизация, которая позволяет эффективно заменить многие синаптические веса нулевыми значениями)[3321], квантизации весов (например, замены 32-битных вещественных значений весов 8-битными целочисленными) и так далее. В рамках этой парадигмы при обучении модели можно использовать специальные виды регуляризации параметров, например «регуляризацию в целях увеличения интерпретируемости» [regularization for interpretability][3322], чтобы позволить искусственной нейронной сети «выполниться» на таком устройстве, как мозг человека.

Аналогия со сжатием подталкивает к ещё одному интересному соображению. В сжатии данных часто используются алгоритмы, ищущие аналогии в потоках данных, например повторяющиеся фрагменты. Модель, «понятная человеку», могла бы опираться на понятия и концепции, уже понятые и усвоенные человеком. Тут речь идёт о «переиспользовании» признаков, выученных биологической сетью, в интерпретируемой искусственной нейронной сети. Предположим, некий человек не знает, кто такой тигр, но знает понятия «животное», «кошка», «оранжевый», «чёрный», «полоска». Если мы скажем ему, что тигр — это животное, напоминающее крупную оранжевую кошку с чёрными полосками, то тем самым мы дадим ему интерпретируемую модель для определения тигра. Нетрудно заметить, что наша модель получилась чрезвычайно компактной за счёт того, что мы выполнили сжатие путём замены алгоритмов определения признаков на отсылки к уже существующим в голове человека понятиям. Однако у этого подхода есть очевидный недостаток — мы не знаем заранее, какие именно признаки содержатся в уме конкретного человека, и не можем быть уверены в том, что, например, под «оранжевым» или «полоской» он понимает то же самое, что и наша модель. В процессе передачи знаний от одних людей другим часто возникает аналогичная проблема, поэтому на деле сжатие знаний при их передаче через «узкое горлышко» естественного языка неизбежно сопряжено с определёнными потерями. Употребляя аналогии из мира глубокого обучения, можно сказать, что человеческий разум оборудован своеобразным кодировщиком, который позволяет преобразовать паттерны активности мозга, связанные с теми или иными мысленными образами, в более компактное представление в семиотическом пространстве (т. е. в пространстве той или иной символьной системы, например естественного языка). К этому «кодировщику» прилагается «декодер», способный, напротив, перевести такое компактное представление в паттерны активности мозга.

Помочь с проблемой потерь знаний при их передаче может составление своеобразного каталога общепринятых понятий и их значений, что, в свою очередь, подводит нас к ещё одной интересной аналогии: задача создания интерпретируемой модели в действительности очень похожа на задачу машинного перевода. Поэтому методы из этой области используют для создания своих моделей некоторые исследователи «объяснимого ИИ».

На сегодняшний день учёными создано множество инструментов, предназначенных для интерпретации работы нейросетевых моделей. Это и системы по визуализации активаций в свёрточных нейронных сетях, позволяющие своими глазами увидеть признаки, на которые реагирует нейронная сеть, и системы для визуализации полей внимания (в том числе в задачах по обработке естественного языка). Помогают понять структуру знаний моделей компьютерного зрения и состязательные атаки[3323], и мультимодальные архитектуры, способные работать одновременно с изображениями и их текстовым описанием, подобно уже упомянутым нами в главе о творчестве нейронных сетей моделям CLIP и DALL·E. Исследователи из Google создали специальную генеративно-состязательную архитектуру под названием StyleEx, призванную объяснять причины принятия зрительными нейросетевыми классификаторами тех или иных решений[3324]. Значительные успехи достигнуты и в развитии методов, позволяющих объяснять работу моделей, основанных на трансформерных архитектурах. Это направление получило полушуточное название «бертология» [bertology] в честь модели BERT[3325]. Одно из удивительных достижений современных бертологов — открытие того, что полносвязные слои в блоках трансформера могут играть роль механизма «ключ — значение», где ключи коррелируют с текстовыми структурами в обучающих примерах, а значения влияют на распределение вероятностей токенов на выходах сети, причём выучиваемые связи понятны людям. Также авторы исследования показали, что слои сети, расположенные ближе к её входу, отвечают за более конкретные, «низкоуровневые» закономерности в тексте, а слои, расположенные ближе к выходу сети, кодируют более абстрактные, семантические зависимости[3326]. Более того, в наши дни уже разработаны методы, позволяющие выявлять веса трансформерной модели, отвечающие за хранение конкретных фактов, и затем вмешиваться в «память» модели, производя «подмену» фактологической информации[3327]^, [3328]. Однако в этом направлении многое ещё предстоит сделать, чтобы работа нейросетевых моделей стала ещё более понятной экспертам-людям.

Успехи бертологии вылились в возникновение новой отрасли машинного обучения, получившей название «инженерия представлений» (Representation engineering, RepE). Инженерию представлений можно считать частью ещё более общей дисциплины — нейрофизиологии искусственных нейронных сетей. Изучая внутренние представления [hidden states] нейросетевых моделей путём анализа активаций их нейронов в ответ на определённые стимулы, мы можем затем успешно влиять на поведение сети, «сдвигая» его в нужном нам направлении за счёт коррекции некоторых весов. Например, как выяснилось, можно выявить градиент изменения весов, соответствующий повышению «честности» ответов модели, и если немного «подвинуть» веса в этом направлении, модель будет в среднем меньше врать. Модифицированная таким образом модель Llama 2 смогла прибавить целых 10 процентных пунктов на тесте TruthfulQA. Теперь исследователи заняты анализом других «направлений», таких как эмоциональность, этичность и так далее.[3329]^, [3330]

Основным инструментом исследователей стал метод, получивший название «низкоранговая адаптация представлений» (Low-Rank Representation Adaptation, LoRRA), выявляющий нужные градиенты изменения весов на основе маленьких наборов, содержащих порядка сотни размеченных примеров.

Другое достижение нейрофизиологии искусственных нейронных сетей — обнаружение во внутренних представлениях Llama 2 ни много ни мало карты мира! Учёных давно интересовали вопросы о том, есть ли «внутри» языковых моделей модель мира или, например, чувство времени? Новое исследование Уэса Гёрни и Макса Тегмарка доказывает, что есть. «Нет, LLM — не просто стохастические попугаи: Llama 2 содержит в буквальном смысле подробную модель мира. Мы даже обнаружили „нейрон географической долготы“» — пишут исследователи[3331].

Впрочем, часто люди не в полной мере осознают, что означает неинтерпретируемость модели с практической точки зрения. В повседневной жизни человек буквально окружён объектами, принципы поведения которых он не понимает в полной мере. Обычный человек легко может жить, не понимая, как устроен телевизор или автомобиль, как функционирует живая клетка или система государственного управления. Наконец, мы не можем «залезть в голову» других людей, чтобы получить исчерпывающее объяснение их поступков. Конечно, люди нередко рассказывают, на чём они основывались, принимая то или иное решение, однако проблема заключается в том, что эти рассказы часто имеют мало общего с действительным процессом принятия решений. Для таких объяснений post factum существует даже специальный термин — [ретроспективная] рационализация. Согласно поговорке задним умом мы всегда крепки. Однако на деле цена подобных «объяснений» нередко оказывается небольшой — вспомним хотя бы попытки Ботвинника создать шахматную программу, воплощающую в себе алгоритм игры человека-гроссмейстера, — оказалось, что профессиональный шахматист не может объяснять свой способ принятия решения с точностью, достаточной для реализации в виде эффективного алгоритма. В ряде случаев поведение «неинтерпретируемых» нейросетевых моделей является куда более предсказуемым и контролируемым, чем поведение людей. В конце концов, эти модели обычно интенсивно тестируются на огромных тестовых выборках, а затем — если, например, речь о беспилотных автомобилях — в ходе испытаний на дорогах, километраж которых многократно превышает опыт большинства водителей. Некоторые люди заявляют, что их страхи перед автономными автомобилями связаны с «неинтерпретируемостью» действий последних, но аналогичным образом можно бояться и поездок на такси с незнакомыми водителями, чьё поведение тоже можно считать «неинтерпретируемым». Хотя вы можете спросить у попавшего в аварию водителя, почему он принял то или иное решение, но не факт, что он сможет объяснить свои действия. С практической точки зрения моделям обычно нужны масштабные и правильно выстроенные испытания (в том числе и в критических ситуациях), а вовсе не интерпретируемость, а «проблема чёрного ящика» на деле вряд ли может считаться вызовом, всерьёз угрожающим развитию ИИ.

8.5 Морально-этические вопросы применительно к ИИ

Развернувшаяся в последние годы гонка гигантских трансформерных архитектур — ещё один довод в пользу необходимости создания новых моделей. Исследователи в области глубокого обучения отлично это понимают, что и показывает активный поиск ими новых разновидностей разреженных трансформеров. Конечно, гонка больших моделей будет продолжена даже при появлении новых, более эффективных архитектур, но ведь возможности этих архитектур, умноженные на мощь новых аппаратных средств, сулят ещё больший прогресс в решении задач ИИ. Забавно, что революция трансформеров в NLP в некотором смысле вернула нас в эпоху мейнфреймов, только на совершенно новом технологическом уровне. Вновь для решения некоторых типовых для индустрии задач нужны машины, которые пока что слишком дороги, чтобы предоставить их в индивидуальное пользование. Рассказы родителей об их работе на компьютерах с терминальным доступом за пару лет из «преданий старины глубокой» превратились во вполне актуальный нарратив.

Ещё к одной интересной проблеме современного ИИ привлекли внимание общества французский исследователь Жан-Франсуа Боннфон и его коллеги. В 2016 г. Боннфон, Азим Шариф и Ияд Рахван опубликовали в журнале Science статью под названием «Социальная дилемма автономных транспортных средств» (The social dilemma of autonomous vehicles)[3333]. В ней они задались вопросом о том, что, хотя массовое внедрение автономного транспорта может сократить общее количество жертв на дорогах, в определённых ситуациях автопилотам придётся совершать выбор из двух зол, который непросто сделать и человеку. Речь идёт о ситуациях, напоминающих знаменитую проблему вагонетки (Trolley problem) — мысленный эксперимент, впервые сформулированный в 1967 г. английским философом Филиппой Фут. Фут использовала несколько формулировок своего эксперимента, вот одна из его современных формулировок: «Представьте себе, что тяжёлая неуправляемая вагонетка мчится по рельсам в направлении стрелки, которую вы можете переключить. В зависимости от положения стрелки вагонетка продолжит свой путь по одному из путей. На первом из них (по нему вагонетка пойдёт, если стрелку не переключить) лежит пятеро человек, привязанных к рельсам сумасшедшим философом. На другом пути к рельсам привязан лишь один человек».

Участникам этого мысленного эксперимента предлагается сделать выбор: либо остаться безучастными, что приведёт к гибели пяти человек, либо вмешаться — в результате чего погибнет только один несчастный. Также, для исключения юридического аспекта, иногда добавляют оговорку типа: «Вас никто не видит, и никто не узнает о принятом вами решении».

Выбор в пользу вмешательства обычно ассоциируют с утилитаристской (утилитарной) этикой, то есть такой этической системой, в которой моральная ценность поступка определяется его полезностью, под которой подразумевается суммарное удовольствие или счастье, полученное всеми сторонами. Исследования показывают, что большинство людей в наши дни выбирают именно этот вариант, но есть и те, кто предпочитают путь невмешательства: в конце концов, на первом пути могут быть привязаны пять условных Гитлеров, а на втором — условный Эйнштейн. «Кто мы, чтобы не дать свершиться божественному провидению и решать, кому жить, а кому умереть?» — могут сказать приверженцы какой-нибудь человеколюбивой религии. Однако таких в нашем обществе, похоже, всё-таки меньшинство. Ситуация перестаёт быть такой однозначной, если исходный эксперимент подвергнуть небольшой модификации, как это сделала философ Джудит Томсон. В её формулировке задача становится следующей: «Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Вы находитесь на мосту, который проходит над рельсами. У вас есть возможность остановить вагонетку, бросив на пути что-нибудь тяжёлое. Рядом с вами находится толстый человек, и единственная возможность остановить вагонетку — столкнуть его с моста на пути. Каковы ваши действия?»

Возможно, в силу того, что совершать насилие без посредника в виде механизма сложнее, а может быть, в силу того, что толстяк может оказать сопротивление, людям труднее совершить в такой ситуации утилитарный выбор. Будучи толстяком, в этом эксперименте я обладаю уникальной третьей возможностью — прыгнуть на рельсы самостоятельно, но по условиям эксперимента выбор следует сделать всё-таки из двух зол, а не из трёх. К настоящему времени специалисты по этике и просто шутники придумали множество собственных модификаций проблемы вагонетки. В Facebook мемам, связанным с проблемой вагонетки, посвящено целое сообщество — Trolley problem memes.

Какое всё это имеет отношение к автономному транспорту? Самое непосредственное. В случае отказа тормозов или в результате внезапно возникшей на дороге ситуации автопилот может быть поставлен перед выбором, аналогичным выбору в проблеме вагонетки. И если в ситуации выбора между, например, гибелью пяти пешеходов или одного решение более-менее очевидно, как осуществить выбор, например, между гибелью старика и гибелью ребёнка? А что, если выбор заключается в том, совершить ли наезд на пешеходов или принести в жертву пассажиров автомобиля ради спасения пешеходов (резко вывернув руль и направив транспортное средство в отбойник). Определение алгоритмов, которые помогут автономным транспортным средствам принимать такие этические решения, является сложной задачей. Авторы исследования обнаружили, что участники шести исследований на платформе Amazon Mechanical Turk в основном одобрили использование автономными транспортными средствами утилитарной этики (предполагающей принесение в жертву пассажиров транспортного средства в ситуациях, когда это позволяет спасти больше жизней), но хотели бы, чтобы такие автомобили покупали другие люди, в то время как сами предпочли бы ездить в машине, автопилот которой защищает пассажиров любой ценой. Соответственно, реализация в автопилотах утилитарных алгоритмов может привести к нежеланию людей ими пользоваться и парадоксальным образом увеличить количество жертв. В общем, простая система правил в духе азимовских «трёх законов робототехники» вряд ли поможет решить все этические проблемы, возникающие из-за использования систем ИИ. Вряд ли существует универсальный набор принципов, который устроил бы всех. Конечно, существуют правила дорожного движения, которые обязательны к соблюдению всеми его участниками, но они не регламентируют действия водителя транспортного средства во многих нештатных ситуациях, что оставляет пространство для этического выбора.

Исследование этических проблем автономных транспортных средств было позже продолжено расширенным коллективом авторов в рамках проекта Moral machine — «Моральная машина» (или «Машина морали»?)[3334]^, [3335]. Зайдя на сайт проекта, любой желающий может поучаствовать в выборе «правильных» решений автопилота в различных критических ситуациях с участием двух групп людей (или животных). Каждая из этих групп включает от одного до пяти персонажей, при этом, в зависимости от принятого решения, одна из групп обречена на смерть, а вторая будет спасена.

В каждой из дилемм у беспилотного автомобиля внезапно отказали тормоза, в то время как перед ним кто-то переходит дорогу (либо по правилам, либо нарушая их — на красный свет). В одних дилеммах выбор нужно осуществить между двумя группами пешеходов, в других — между группой пешеходов и группой пассажиров.

Участники групп различаются по возрасту (младенцы в колясках, дети, взрослые, пожилые), полу, физической форме (люди с избыточным весом, обычные люди и спортсмены), социальному статусу (бездомные, обычные люди и начальники). Кроме людей, участниками групп могут быть собаки и кошки. Система выбирает параметры дилеммы случайным образом, поэтому вероятность того, что участник исследования дважды столкнётся с одной и той же задачей, пренебрежимо мала.

Создателям проекта удалось собрать почти 40 млн решений дилемм от жителей 233 стран (при этом для 130 стран было не менее 100 респондентов). Участники исследования также заполняли анкету, в которой указывали свои возраст, пол, образование, ежегодный доход, отношение к религии и политические взгляды.

Исследователи стремились решить четыре основные задачи: 1) оценить значимость каждого из девяти факторов в среднем по всей выборке; 2) соотнести значимость факторов с индивидуальными характеристиками респондента; 3) сравнить результаты респондентов из разных стран и выделить кластеры стран со сходными моральными установками и 4) выяснить, можно ли по экономическим и/или культурным особенностям страны предсказать, как её жители предпочли бы программировать беспилотные транспортные средства.

В среднем респонденты сделали уверенный выбор в пользу спасения людей (а не животных) и больших групп (а не маленьких). Почти столь же уверенно они выступили за спасение молодых, законопослушных (переходящих дорогу на зелёный свет) и высокостатусных людей. Несколько менее значимыми, но всё же положительно влияющими на выбор признаками оказались хорошая физическая форма и женский пол. Кроме того, респонденты в среднем несколько чаще делали выбор в пользу пешеходов (а не пассажиров), а также в пользу того, чтобы транспортное средство продолжало ехать прямо, а не сворачивало на другую полосу.

Статистически значимого влияния анкетных данных респондентов на их выбор выявить не удалось, но при этом обнаружились интересные закономерности в распределении этических предпочтений по странам, которые распались на три больших кластера, условно названные исследователями «Западным», «Восточным» и «Южным». В Западный кластер попали США, Канада, а также многие европейские страны (католические, протестантские и православные). В Восточном кластере оказались сосредоточены страны с конфуцианской и мусульманской традицией. Южный кластер включает в себя две ветви, в одну из которых входят страны Латинской Америки, а во вторую — Франция и ряд стран, находившихся в прошлом под французским влиянием.

Для выделенных кластеров характерны весьма различающиеся представления о том, как должны вести себя беспилотные автомобили в критических ситуациях. Скажем, в Южном кластере люди чаще отдают предпочтение необходимости спасать прежде всего детей и женщин, в то время как респонденты из Восточного кластера в первую очередь отдают предпочтение законопослушным пешеходам и не ставят жизнь молодых намного выше жизни старших. Авторы также отметили, что в странах с высоким уровнем экономического неравенства люди чаще отдают предпочтение спасению людей, обладающих высоким социальным статусом («начальников»)[3336].

Конечно, исследование обладает рядом очевидных недостатков. Под вопросом репрезентативность выборок по странам, сами дилеммы имеют довольно искусственный характер (вероятность их возникновения на дороге очень мала; кроме того, не учитывается оценка вероятности выживания людей в различных сценариях, что может явно перевесить все другие соображения) и так далее. Однако сам вопрос машинной этики, безусловно, представляет не только теоретический интерес. По мере того как системы прикладного ИИ получают всё более широкое распространение, возникает всё больше случаев, когда машины должны совершать сложный этический выбор.

Вступление в эру широкого распространения генеративных моделей[3337] спровоцировало новый виток споров об этических проблемах искусственного интеллекта. Главным образом дискуссия возникла в отношении двух важных проблем. Первая — допустимость использования результатов творческой деятельности людей без их явного на то согласия. Многие художники, озабоченные возможной конкуренцией со стороны генеративных моделей, были неприятно удивлены тем фактом, что их работы (среди многих сотен миллионов других изображений, находящихся в открытом доступе) были использованы для обучения таких нейросетей, как Midjourney или Stable Diffusion. Не были в восторге и владельцы фотостоков. Сходные чувства испытали многие писатели и журналисты, понимая, что их тексты попали в обучающие выборки больших языковых моделей, которые наделали так много шума в некогда относительно спокойном мирке креативных индустрий. Результатом стало несколько судебных исков к компаниям — разработчикам генеративных инструментов[3338]^, [3339]. Основные аргументы сторон в данном случае понятны. Художники, писатели и владельцы фотостоков утверждают, что создатели генеративных моделей не имели права использовать опубликованные в интернете произведения для обучения нейросетей, поскольку не имели на то соответствующего разрешения от правообладателей. Основной контраргумент заключается в том, что размещение произведения в открытом доступе предполагает отсутствие ограничений на просмотр или прочтение — разглядывая картинку на интернет-странице или читая текст, расположенный в открытой части какого-либо сайта, вы не просите на это у автора отдельное разрешение. Мастерство тех же художников или писателей также основано на «насмотренности» или «начитанности», то есть на результатах просмотра или прочтения произведений других авторов. Художник, воспитанный на картинах Дали или Кандинского, избавлен от отчислений в пользу их наследников с продаж собственных картин. Произведения генеративных сетей не являются прямым плагиатом — в подавляющем большинстве случаев в них не содержится прямой репродукции изображений и текстов, используемых в процессе обучения (иногда такое всё же случается, например когда из обучающих выборок должным образом не удаляются многочисленные дубликаты одних и тех же произведений; впрочем, современные сервисы, основанные на генеративных моделях, обычно содержат специальные механизмы, предназначенные для недопущения «дословного» воспроизведения «учебных материалов»). Тем не менее в мире искусства нередки споры в ситуациях, когда создаются тексты или изображения, являющиеся продуктом переработки чужих прототипов. В таких случаях в ходе судебных разбирательств эксперты оценивают «глубину» переработки, объём творческого вклада каждой из сторон. В том, что генеративные сети способны создавать действительно новые тексты, изображения (и даже музыкальные произведения), несложно убедиться в эпоху поисковых систем и статистических методов анализа текстов. Ни один художник до DALL·E не рисовал иллюстрацию, на которой изображён ребёнок-дайкон в пачке, выгуливающий собаку, а произведения Нейропепперштейна не содержат сколь-нибудь длинных пересечений с текстами других авторов. Однако иногда здесь всё-таки возможен плагиат, и разработчикам генеративных моделей следует заботиться о том, чтобы таких случаев не возникало.

Ещё одно возражение противников свободного использования генеративных моделей машинного обучения заключается в том, что человек, в отличие от нейросети, физически не может в течение своей жизни ознакомиться с сотнями миллионов изображений и текстов. Следовательно, процесс обучения генеративной модели нельзя считать прямым аналогом знакомства людей с произведениями искусства. Ведь если вам разрешено ловить рыбу удочкой, это не значит, что вы можете в тех же местах использовать рыболовную сеть или динамит. Впрочем, если рыболовные сети при использовании уничтожают рыбу, то нейросети не уничтожают цифровые копии произведений искусства, на которых обучаются, поэтому в данном случае трудно усмотреть прямую аналогию.

В общем, теперь судам, как обычно, придётся разбираться в том, чья позиция в споре является более аргументированной, а обществу — в том, какой из взглядов на проблему является более этически приемлемым.

В конце октября 2023 г. суд удовлетворил ходатайство Midjourney, Stability AI и DeviantArt[3340] о прекращении дела о нарушении авторских прав трёх американских художниц. Основной причиной такого решения суда стало то, что истицы не зарегистрировали авторские права на каждую из своих работ. При этом судья отметил, что если художницы ограничат свои претензии теми работами, авторские права на которые были зарегистрированы, то они могут подать повторный иск[3341].

Вторая проблема, поставленная перед обществом революцией генеративных моделей, — массовое производство и распространение потенциально опасного или иного нежелательного контента. Опасная для жизни неправильная медицинская рекомендация от «галлюцинирующей» языковой модели, призыв к насилию или терроризму, повлиявший на чей-то неокрепший ум, систематическая дискриминация той или иной группы людей — это явно не те плоды генеративного ИИ, которые мы хотим с нетерпением вкусить. Именно поэтому сегодня огромные усилия исследователей направлены на то, чтобы уменьшить объёмы генерации потенциально вредного контента. Почти каждый пользователь ChatGPT или GigaChat хотя бы раз сталкивался с тем, что модель отказывается дать ответ на тот или иной вопрос или выполнить задание, ссылаясь на то, что это противоречит заложенным в неё этическим нормам и правилам. Иногда эти отказы обоснованны, а иногда — нет. Этика — сложная штука; в ней порой и людям-то за всю свою жизнь разобраться довольно непросто. Чего же ждать от экспериментальных моделей, появившихся совсем недавно? Для того чтобы сократить количество нежелательных ответов моделей, обучающие данные, собираемые в открытых источниках, подвергают фильтрации и балансировке (вспомним печальную судьбу датасета Tiny Images, описанную в разделе 6.2.1.2), в обучающие выборки добавляют наборы выверенных ответов на скользкие вопросы, генеративные сети окружают системами правил и дополнительными моделями, детектирующими ответы, которые не следует давать пользователю. Однако и эти барьеры при желании или по неосторожности можно преодолеть — мы уже обсуждали эту проблему в разделе 6.6.4, когда рассматривали возможные атаки на генеративные модели. Реалии сегодняшнего медиапространства заключаются в том, что всё, что сгенерирует выставленная на публику модель, будет всенепременно использовано против её разработчиков. Повсеместное увлечение проблемами этичности и безопасности ответов генеративных моделей приводит порой к обратному результату. Так, несколько групп разработчиков уже заявило о разработке намеренно неэтичных моделей-беспредельщиков. Например, известный в узких кругах ML-специалист и ML-видеоблогер Янник Килчер опубликовал[3342] в 2022 г. модель GPT-4chan с 6 млрд параметров, обученную на постах из раздела /pol/ популярного анонимного веб-форума 4chan (соответствующий датасет получил название Raiders of the Lost Kek [Налётчики Потерянного Кека][3343]). Этот раздел весьма популярен и известен своей особенной токсичностью (даже по меркам токсичного в целом 4chan). Раздел в изобилии содержит расистские, женоненавистнические и антисемитские сообщения, стилистику и идейное наполнение которых генеративный трансформер успешно научился воспроизводить. В своём видео, описывающем проект, Килчер охарактеризовал результат следующим образом: «Модель была хороша в самом ужасном смысле» [The model was good, in a terrible sense]. Публикация модели вызвала нешуточное возмущение[3344] — онлайн-петиция[3345] с осуждением действий Килчера собрала множество подписей (среди них, как и в случае обсуждавшихся нами ранее открытых писем, есть подпись Йошуа Бенджио).

Отдельный юмор ситуации заключается в том, что GPT-4chan заметно превосходит GPT‑3 и собственную «родительскую» GPT-J на популярном наборе тестов TruthfulQA[3346], предназначенном для оценки доли правдивых ответов языковых моделей.

FraudGPT, WormGPT, DarkGPT, DarkBERT, DarkBART, EVILdolly и так далее — число «неэтичных» моделей со временем множится[3347]^, [3348], несмотря на протесты многих ML-специалистов. Открытые письма, похоже, не могут остановить развитие тёмной стороны генеративных технологий, как не смогли они остановить военные применения ИИ. Похоже, что для борьбы со злом всё-таки нужны какие-то более действенные меры. Частью этих мер, вполне вероятно, должны стать другие модели машинного обучения, способные распознавать потенциально опасный контент. А для этого они должны «ознакомиться» с примерами такого контента на этапе обучения… Ирония заключается в том, что в конечном счёте ими могут оказаться те же самые «злые» модели, подобные GPT-4chan. Здесь круг замыкается: ведь то, как именно — во зло или во благо — будет применена та или иная модель, зависит от людей, от нас с вами.

8.6 Далеко ли до общего искусственного интеллекта (AGI)?

Появление больших трансформерных моделей, таких как GPT-3, способных без переучивания решать широкий спектр задач в области обработки естественного языка, подлило масла в огонь дискуссии о том, насколько мы приблизились к созданию систем общего искусственного интеллекта (AGI). В августе 2020 г. на arXiv.org был выложен препринт статьи двух молодых исследователей Джона-Кларка Левина и Маттейса Мааса под названием «Дорожная карта по созданию дорожной карты: как мы сможем определить, когда AGI окажется от нас на расстоянии „Манхэттенского проекта“?» (Roadmap to a Roadmap: How Could We Tell When AGI is a ‘Manhattan Project’ Away?)[3349].

В ней авторы задаются вопросом: по каким признакам можно понять, что задача создания AGI уже вышла на «взлётную полосу» и для её реализации достаточно лишь воплотить в жизнь соответствующий мегапроект (сопоставимый с проектом по созданию ядерного оружия или по отправке человека на Луну)?

Первым делом авторы задаются вопросом о том, что именно мы понимаем под мегапроектом. Манхэттенский проект и программа «Аполлон» по объёму ежегодных затрат достигали в пике 0,4% ВВП США, что для современного объёма ВВП США составило бы около 80 млрд долларов в год. Авторы показывают, что современные крупные проекты в области исследований и разработки имеют обычно значительно более скромные объёмы финансирования. Например, проект по созданию лазерно-интерферометрической гравитационно-волновой обсерватории (Laser Interferometer Gravitational-Wave Observatory, LIGO) довольствовался 300 млн долларов в год, проект по расшифровке генома человека — 400 млн долларов в год, Большой адронный коллайдер на этапе постройки обходился в 475 млн долларов в год, а на этапе эксплуатации — 1 млрд долларов в год. Пиковое значение годового бюджета Международного термоядерного экспериментального реактора (International Thermonuclear Experimental Reactor, ITER) составило 2 млрд долларов. Только проект по созданию F-35 (семейства малозаметных многофункциональных истребителей-бомбардировщиков пятого поколения), ежегодные предполагаемые расходы по которому авторы статьи оценивают в 16 млрд долларов, может в какой-то мере сравниться по этому показателю с «Аполлоном» и Манхэттенским проектом. Авторы предполагают, что теоретически мегапроект по созданию AGI может быть на один-два порядка дороже современных мегапроектов, что автоматически выводит его за пределы возможностей частного сектора.

Однако выделение столь большого бюджета вовсе не является достаточным условием успеха подобного проекта. Даже увеличение финансирования Манхэттенского проекта с 0,4% ВВП до 4% или даже 40% не могло бы позволить создать ядерную бомбу в 1935 г. Если одна женщина может родить ребёнка за девять месяцев, это вовсе не значит, что девять женщин смогут родить его за месяц. Можно сказать, что сложная научная задача сходна с перетаскиванием тяжёлого груза — чем больше у него площадь поверхности, тем больше людей может быть задействовано и тем проще будет переместить данный груз. Для научной задачи можно тоже ввести условную «площадь поверхности» [surface area], характеризующую, насколько хорошо задачу можно разделить на подзадачи для одновременной работы нескольких исследователей. При этом возможно и расширять саму «площадь поверхности» задачи, чтобы работы по ней могло вести большее число исследователей, тем самым ускоряя прогресс.

Авторы считают, что в реальности возможны три варианта состояния дел в области проектирования общего искусственного интеллекта (AGI):

1) у этой проблемы будет стадия «взлёта», но мы пока ещё не «вырулили на взлётную полосу»;

2) у этой проблемы будет стадия взлёта, и мы уже находимся внутри неё;

3) у этой проблемы в принципе не будет стадии взлёта, потому что последний шаг для создания AGI окажется невозможным реализовать как мегапроект (например, если AGI будет создан в результате неожиданного теоретического прорыва в другой области, который резко повысит возможности уже созданных систем).

В статье авторы озвучивают страхи в отношении того, что в силу своей возможности быстрой консолидации ресурсов авторитарные режимы могут продвинуться в задаче разработки AGI дальше, чем демократические, что создаёт угрозу глобального технологического превосходства первых.

Для оценки продвижения к стадии взлёта авторы предлагают мониторинг следующих областей:

1) запланированные подзадачи [Roadmapped sub-problems]: появление чётко сформулированного набора подзадач для проекта по созданию AGI;

2) производственная функция AGI [AGI production function]: появление производственной функции AGI, которая бы описывала взаимосвязь затрат ресурсов (времени обучения, данных, вычислений и других ресурсов) с производительностью ИИ;

3) капиталоёмкость [Capital intensiveness]: рост инвестиций в аппаратную инженерию и программное обеспечение;

4) параллелизм [Parallelism]: подзадачи решаются параллельно (а не последовательно) несколькими командами;

5) скорость обратной связи [Feedback speed]: более быстрая оценка результатов решения подзадач позволяет менять подходы на основе полученных результатов и более эффективно использовать ресурсы;

6) поведение ключевых действующих лиц [Behavior of key actors] — учёных, политиков, предпринимателей и так далее.

В конце исследования авторы делятся мнением о существующем положении дел и перспективах данного направления:

1) «площадь поверхности» проблемы AGI в настоящее время, по всей видимости, слишком мала, чтобы отдельные государства могли воспользоваться своими ресурсами и добиться успеха в создании AGI. Однако когда фундаментальные исследования в достаточной мере расширят эту «площадь», всё может резко измениться;

2) в связи с научными и геополитическими последствиями такого сдвига необходимы более точные метрики для оценки того, насколько исследования AGI близки к стадии взлёта;

3) предлагается дальнейшее уточнение и формализация показателей прогресса по продвижению к этой стадии.

Учитывая сказанное выше, можно сделать вывод, что перед ИИ сегодня стоит множество интересных проблем, решение которых может существенно изменить привычный нам мир. Причём список задач и направлений исследований, приведённый в этой главе, вовсе не претендует на полноту — в стремительно развивающейся области новые ответвления исследований возникают весьма быстро, и не всегда есть возможность уследить за всем, что происходит в университетских лабораториях и корпоративных исследовательских центрах. В качестве шагов по направлению создания AGI можно рассматривать и многозадачные мультимодальные фундаментальные модели, и новые модели в области обучения с подкреплением (такие, например, как MuZero), и новые подходы в области активного обучения (например, GFlowNets[3350]), и новые успехи в симуляции биологических нейронных сетей (такие, например, как проект лаборатории Rain Neuromorphics по моделированию работы мозга[3351]).

Более того, создание AGI может стать следствием сугубо прикладных исследований, ведь между текущими возможностями ИИ-систем и возможностями гипотетического общего искусственного интеллекта лежит множество интеллектуальных задач, решение которых необходимо для развития вполне конкретных продуктов и сервисов. И некоторые из этих задач могут оказаться AI-hard-задачами, то есть задачами, требующими для своего решения наличия у решающих их систем общего интеллекта. Исследование свойств стафилококков и череда совпадений привели Александра Флеминга и его коллег к одному из величайших научных событий XX века — открытию пенициллина. Работа над машинным переводом привела к появлению трансформерных архитектур и фундаментальных моделей — наиболее передовых инструментов современного ИИ. Не исключено, что очередное локальное, на первый взгляд, достижение откроет нам прямую короткую дорогу к AGI. Или, быть может, этот путь уже открыт и нам просто стоит правильным образом скомбинировать уже существующие методы, сдобрить полученную смесь огромными вычислительными мощностями, и, вуаля, золотой ключик у нас в кармане?! В конце концов, ChatGPT — это продукт именно такого подхода. Все основные предполагаемые ингредиенты (большие трансформерные модели, самообучение, дообучение на целевых данных, обучение с подкреплением) были хорошо известны ещё несколько лет назад.

Давайте окинем взглядом все кусочки имеющейся у нас мозаики, чтобы понять, все ли необходимые детали для создания будущего AGI имеются в наличии?

Начнём с критериев успеха. Поскольку под AGI-системой мы понимаем систему, способную выполнить любую интеллектуальную задачу, посильную для человека, то критерием создания такой системы станет невозможность нахождения такой задачи, которую люди будут решать статистически значимо лучше, чем созданная система. Мы уже подробно обсуждали историю и проблематику создания соответствующих процедур тестирования в разделах 1.2 и 6.3.4. В целом идеи Айера и Тьюринга сохраняют свою значимость даже спустя почти столетие. Конечно, в отношении оригинальных формулировок игры в имитацию существует ряд вполне резонных вопросов, которые при реализации подобной процедуры потребуют прояснения. Например, важно определиться, с какими именно людьми мы выполняем сравнение, кто входит в жюри (сколько людей, являются ли они специалистами?), каковы критерии завершения теста, каким образом оценивается статистическая значимость результата, как избежать ситуации, когда демаскирующим свойством системы-кандидата будет проявление её сверхчеловеческих способностей (например, способность быстро и точно выполнять арифметические расчёты), важно ли включать в тест задачи, требующие способности системы работать с разными модальностями, и так далее. Однако все эти нюансы, на мой взгляд, ничего не меняют существенным образом. Кроме того, в настоящее время создано множество наборов тестов, позволяющих с минимальными затратами в автоматическом режиме (без привлечения людей-оценщиков) получить приближённую оценку прогресса, мы подробно говорили о них в разделе 6.3.3.6 (например, наборы тестов из семейства GLUE, BIG-bench, MMLU). В общем, в области оценки возможностей систем ИИ ещё требуется дополнительная работа по расширению, систематизации и стандартизации, однако, кажется, нет никаких задач, выглядящих неразрешимыми. Если тезис о симуляции верен, то тест Тьюринга в его последней авторской формулировке теоретически в будущем сможет пройти большая тьюринг-полная языковая модель.

Но можно ли создать такую модель, используя уже имеющиеся у нас методы? Ключевым вопросом в данном случае является вопрос о том, можно ли создать AGI без активного обучения и воплощения, опираясь только на имеющийся массив цифровых данных, накопленный нашим обществом на данный момент, — так называемый «цифровой след человечества». Вопрос этот совершенно нетривиальный и, вероятно, может быть разрешён только экспериментальным путём. Система ИИ, обученная только на данных, являющихся продуктами чужой практики, подобна Жаку Паганелю — знаменитому герою романа «Дети капитана Гранта» Жюля Верна. В романе Паганель стал секретарём Парижского географического общества, членом-корреспондентом географических обществ Берлина, Бомбея, Дармштадта, Лейпцига, Лондона, Петербурга, Вены и Нью-Йорка, почётным членом Королевского географического и этнографического обществ, а также Института Ост-Индии, и всё это — не выходя из своего кабинета. Однако возможен ли такой искусственноинтеллектуальный Паганель на практике? Вот некоторые доводы за и против этой гипотезы (мы будем называть её гипотезой о выводимости [AGI из цифрового следа человечества]).

За:

1. Собранные человечеством цифровые данные — продукт масштабной социальной практики, в которой участвуют миллиарды людей. Цифровой след человечества — отпечаток столь масштабного и разностороннего опыта, что он на много порядков превосходит по объёму любой индивидуальный опыт человека. Отталкиваясь от продуктов этого опыта, можно построить подробную модель мира и без непосредственного выхода в этот мир в физическом теле. Проще говоря — миллиарды шишек, набитых другими, могут заменить машине несколько собственных.

2. Размер цифрового следа человечества растёт экспоненциальными темпами (см. раздел 5.4). Даже если данных не хватает в настоящий момент, очень скоро их будет ещё больше. Растёт разрешение цифровых камер, и увеличивается их доступность, всё больше данных накапливается в журналах систем, взаимодействующих с реальным миром, ежедневно люди пишут миллионы постов в социальных сетях — всё это пополняет копилку данных, полезных для обучения. И, рано или поздно, количество перейдёт в качество.

3. В конце концов мы уже стали свидетелями потрясающих успехов больших языковых моделей и генеративного ИИ. Большие модели оказались способны осуществлять обобщения, необходимые для возникновения у них новых удивительных возможностей. Таких, например, как написание содержательных текстов, генерация новых изображений по текстовым описаниям, сочинение музыки, создание новых молекул и т. д. Вполне возможно, что для нерешённых задач нам просто нужны более крупные модели, больше данных и больше вычислительных мощностей.

Против:

1. Насколько хороши результаты современных моделей за пределами распределений, присущих данным из обучающих выборок? Способны ли генеративные модели эффективно соревноваться с людьми в новых, неизведанных областях пространства и времени? Некоторые современные исследования[3352] показывают, что картина, возможно, не столь радужна, как может показаться на первый взгляд.

2. Цифровой след человечества содержит специфические перекосы, растёт его шумовая составляющая (проще говоря, в накопленных нами цифровых данных может расти доля «мусора», в том числе из-за современных практик применения генеративных моделей — действительно ценные данные могут тонуть в тоннах рекламной, а то и вовсе бессмысленной чепухи).

3. Огромный объём цифрового следа человечества не может компенсировать его невысокой «разрешающей способности» — в интернете, вероятно, можно найти фотографию вашего дома, но там вряд ли найдётся информация о носке-потеряшке, валяющемся под вашей кроватью. Кто знает — быть может, такие мелкие детали, ускользающие от существующих практик оцифровки, являются критически важными для построения качественной модели мира? Как бы ни был велик цифровой след, но количество возможных последовательностей действий человека в окружающем его мире на много порядков больше. Возможно, лишь активное взаимодействие с миром позволит получить критически важную для формирования универсального интеллекта обратную связь.

4. И наконец, а так ли мало количество данных, проходящих через мозг человека в процессе его жизни? Пропускная способность сетчатки человеческого глаза составляет порядка 8,75 Мбит в секунду[3353], что даёт нам около 720 экзабайт за 10 лет жизни. Это всего лишь примерно в 120 раз меньше, чем накоплено человечеством цифровых данных на 2023 год. А ведь мы взяли в расчёт только зрение, хотя есть ещё слух и другие чувства.

Вероятно, расширить возможности нашего Паганеля можно за счёт использования обучения с подкреплением (особенно с подкреплением от людей), создания интернет-воплощений системы ИИ (для её взаимодействия с людьми и другими системами через глобальную сеть с целью применения методов обучения с подкреплением и активного обучения), создания специальных обучающих сред, физических воплощений (пусть и ограниченных) и т. д. В той или иной мере эти подходы опробуются сегодня во многих упоминавшихся нами проектах и моделях — от Gato и Robotic Transformer до I-JEPA и MAToM-DM.

Так или иначе, современная дорожная карта движения от существующих моделей к AGI может включать в себя:

• развитие мультимодальных архитектур (прежде всего чтобы полностью использовать весь потенциал цифрового следа человечества);

• увеличение количества и качества используемых данных (в том числе исследование влияния данных на метрики моделей и создание высокоэффективных конвейеров по сборке, фильтрации и подготовке данных);

• дальнейшее масштабирование моделей и осуществление всё более крупных вычислительных экспериментов;

• создание эффективных методов постоянного дообучения и активного сбора данных;

• развитие методов RL/RLHF (обучение с подкреплением / обучение с подкреплением с обратной связью от людей);

• создание более эффективных рекуррентных архитектур и моделей с адаптивным временем вычисления;

• исследование более эффективных целевых функций обучения;

• развитие технологий интернет-воплощения и активного обучения;

• развитие новых аппаратных архитектур и методов оптимизации.

По мере продвижения в направлении создания AGI человечество сможет создавать новые полностью автоматизированные системы и процессы там, где мы этого пока не умеем. Но гораздо важнее то, что подобно тому, как развитие других инструментов и технологий позволило компенсировать ряд ограничений, свойственных человеческому телу (одежда и тёплые дома позволили компенсировать недостаточно густой мех и толстую кожу, ножи — недостаточно острые зубы и ногти и т. п.), технологии ИИ позволят нам всё дальше раздвигать границы возможного для человеческого разума. «Невооружённому» человеческому разуму свойственен целый ряд ограничений, которые вполне могут быть преодолены с помощью развитых технологий искусственного интеллекта. Вот некоторые из таких ограничений:

• ограничения по скорости;

• ограниченная надёжность (ошибки, связанные с утратой внимания, и т. п.);

• ограниченный параллелизм (при одновременном решении нескольких задач эффективность решения каждой из них снижается);

• коммуникативные ограничения (ограниченная пропускная способность сенсорной и моторной систем);

• барьеры физической хрупкости (люди способны работать лишь в узком диапазоне значений параметров окружающей среды);

• ограниченность ума, приводящая к невозможности анализа слишком сложных систем;

• ограниченность памяти;

• ограниченные экспертные навыки и знания отдельного человека;

• нехватка инициативы и креативности (ограниченная фантазия некоторых людей, прокрастинация);

• барьеры масштабирования (невозможность быстро изменять количество задействованных в решении задачи экспертов с требуемыми навыками).

Хотя мы не можем с уверенностью сказать, какие именно исследования и проекты позволят нам достичь наибольшего прогресса в деле создания AGI, одно можно сказать с уверенностью: сегодня сфере ИИ как воздух нужны новые специалисты — исследователи, разработчики, управленцы. Требуется постоянное повышение уровня грамотности людей, принимающих решения, влияющие на дальнейшее развитие этой сферы. Цена неправильного выбора, промедления, неверной расстановки приоритетов в области ИИ в наши дни может быть очень высокой, а верные стратегические и тактические решения могут привести к не меньшему успеху.