«Если», 2015 № 03

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ КАК ФАКТОР ГЛОБАЛЬНОГО РИСКА
Элизер Юдковский
_{Фрагменты из книги}

_{/экспертное мнение}

_{/гуманитарные технологии}

_{/искусственный интеллект}

До сих пор основной опасностью искусственного интеллекта (ИскИн) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена сферой ИскИнов. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает ее». Такая же проблема является чрезвычайно актуальной в области ИскИнов. Наука об ИскИне печально известна тем, что дает огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИскИн сложен, и это на самом деле правда. Критическим выводом является не то, что ИскИн сложен, а то, что по неким причинам людям очень легко полагать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

Систематическая ошибка,

связанная с антропоморфизмом

…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают — то есть ожидают человекоподобных качеств от того, что не является человеком.

Широта пространства возможных устройств ума

…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.

Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу — маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.

Предсказание и устройство

…Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте интеллектуальности кого-либо, — антропоморфизм продолжит генерировать предсказания, невзирая ни на что, в то время как ваш мозг автоматически будет ставить себя на место этой самой «интеллектуальности».

Один из путей к глобальной катастрофе — когда кто-то нажимает кнопку, имея ошибочное представление о том, что делает эта кнопка. И если ИскИн возникнет посредством подобного сочетания работающих алгоритмов в руках исследователей, не имеющих глубокого понимания того, как работает вся система, то…

Несомненно, они искренне верят, что ИскИн будет дружественным, но верят без ясного представления о процессе, лежащем в основе дружественного поведения, или какого-либо минимального понимания того, что они имеют в виду под дружественностью.

Незнание того, как сделать Дружественный ИскИн, не смертельно само по себе в том случае, если вы знаете, чего вы не знаете. Именно ошибочное убеждение в том, что ИскИн будет дружественным, предполагает очевидный путь к глобальной катастрофе.

Недооценка силы интеллекта

Мы склонны видеть вместо общечеловеческих качеств индивидуальные различия. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем об обычных людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известное как G-фактор Чарльза Спирмена. Он представляет собой довольно спорную интерпретацию экспериментальных фактов того, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими как суммарный доход за жизнь.

Мы не должны путать G-фактор Спирмена с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность — это и межвидовое различие, и комплексная адаптация, и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, еще нет академического согласия о природе интеллектуальности, но нет сомнения в существовании или силе этой «вещи-требующей-объяснения». Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.

Опасность перепутать общую интеллектуальность с G-фактором состоит в том, что ведет к колоссальной недооценке потенциального воздействия ИскИна. (Это относится к недооценке потенциально хороших, равно как и плохих воздействий.)

Способности и мотивы

Есть один вид ошибок, часто встречающийся в дискуссиях об ИскИнах, особенно об ИскИне со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, которую вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки — ватрушки размером с города — боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Подобное видение перепрыгивает от возможности прямо к реализации без осознания необходимого промежуточного элемента — мотива.

Все следующие цепочки рассуждений, рассматриваемые сами по себе без подтверждающего доказательства, являются примером Ошибочных Рассуждений В Духе Гигантской Ватрушки:

• Достаточно сильный ИскИн может преодолеть любое человеческое сопротивление и истребить человечество. (И ИскИн решит сделать это.) Поэтому мы не должны строить ИскИны.

• Достаточно сильный ИскИн может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИскИны.

• Когда компьютеры станут достаточно мощны и дешевы, огромное большинство работ будет выполняться ИскИнами более легко, чем людьми. Достаточно сильный ИскИн даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными. (И ИскИн решит выполнять эти работы.) Таким образом, после изобретения ИскИна людям будет больше нечего делать и мы будем голодать или смотреть телевизор.

Угрозы и перспективы

Пытаться предсказать, как именно благожелательный ИскИн поможет человечеству, или недружественный ИскИн повредит ему, — рискованное интеллектуальное предприятие. Здесь есть риск систематической ошибки: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают четкие добавленные детали[10]. Есть риск — почти наверняка — потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочных рассуждений в духе Гигантской Ватрушки, которые перескакивают от возможности к мотиву.

Тем не менее я попробую очертить угрозы и перспективы. Будущее имеет свойство совершать подвиги, которые прошлое считало невозможными. Цивилизации будущего даже нарушали то, что цивилизации прошлого считали законами физики. Если бы пророки 1900 года — и даже не думайте о 1000 годе — попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия (превращение свинца в золото, например). Поскольку мы помним, что цивилизации будущего удивляли цивилизации прошлого, то мы не можем накладывать ограничений на своих праправнуков. И все же в XX веке, в XIX веке и в XI веке мы все были людьми.

Можно различить три семейства ненадежных метафор для представления об ИскИне, превосходящим интеллектуальные возможности человека:

• Метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта людей. ИскИн будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

• Историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИскИн быстро создаст набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию, межзвездные путешествия, компьютеры, выполняющие 10²⁵ операций в секунду.

• Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИскИн овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческих гениях, а не о людях вообще. В историях о враждебном ИскИне G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счете, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида — пример хорошей истории, но Голиаф против мушки дрозофилы — нет.

Если мы рассматриваем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИскИн — не большая угроза, чем враждебный человеческий гений. Если мы предполагаем множественность ИскИнов, то тогда мы имеем метафору конфликта между племенем ИскИнов и племенем людей. Если племя ИскИнов выиграет в военном конфликте и истребит людей, то, согласно Нику Вострому, это глобальная катастрофа по типу Взрыва. Если племя ИскИнов будет экономически доминировать над миром и обретет эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИскИнов не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныканье или Хруст.

Но насколько вероятно, что ИскИн преодолеет весь огромный разрыв от амебы до деревенского дурачка, а затем остановится на уровне человеческого гения?

Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого без уменьшения размера, без работы при низких температурах и без квантового компьютера. Если человеческий ум будет ускорен таким образом, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, а тысячелетие пролетит за восемь с половиной часов. Вернор Виндж назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.

Предположим, что возникнет чрезвычайно быстрый ум, располагающийся в сердцевине существующей в это время человеческой технологической цивилизации. Провалом воображения было бы сказать: «Неважно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем приказывает работать человеческим рукам; поэтому быстрый ум — это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.

Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством медленных движений щупалец пришельца или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построения быстрых манипуляторов во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии — хотя могут быть и другие пути.

Как только ИскИн обретает быструю инфраструктуру, дальнейшие события происходят по шкале времени ИскИна, а не по человеческой временной шкале. (Кроме того случая, когда ИскИн предпочтет действовать в человеческой временной шкале.) С молекулярной нанотехнологией ИскИн может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.

Недружественный ИскИн с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширующих роботов, или шантаже, или тонких экономических вмешательствах. Недружественный ИскИн обладает способностью переделать все вещество Солнечной системы согласно своей цели оптимизации. Для нас будет фатальным, если этот ИскИн не будет учитывать при своем выборе то, как эта трансформация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИскИн ни ненавидит вас, ни любит, но вы сделаны из атомов, которые он может использовать как-то по-другому. ИскИн работает на другой временной шкале, чем вы; к тому моменту, когда ваши нейроны закончат думать слова «надо что-то делать», вы уже проиграли.

Последнее семейство метафор связано с видами и основывается на межвидовых различиях интеллекта. Такой ИскИн обладает магией — не в смысле заклинаний или снадобий, но в том смысле, как волк не может понять, как работает ружье, или какого рода усилия требуются, чтобы изготовить ружья, или природу человеческой силы, которая позволяет нам придумывать ружья.

Вернор Виндж пишет:

«Сильное сверхчеловечество будет не просто разогнанным до большой скорости эквивалентом человеческого ума. Трудно сказать, чем именно сверхчеловечество будет, но разница, вероятно, будет глубокой. Представьте себе ум собаки, работающий на огромной скорости. Дадут ли тысячелетия собачей жизни хотя бы один человеческий инсайт?»