Конец света: прогнозы и сценарии

Технологическая сингулярность

В мае 1997 года построенный специалистами компании IBM полуторатонный компьютер «Deep Blue», на 256 процессорах, работающих параллельно, обыграл в упорном шахматном поединке чемпиона мира Гарри Каспарова.

Перед началом чемпионата тогда еще чемпион на вопрос о возможном проигрыше смело заявил:

— Я не считаю уместным обсуждать, могу ли я проиграть. Я не проигрываю никогда. Ни разу в жизни я не проигрывал.

Первую партию выиграл Каспаров. Во второй гроссмейстер, желая заманить машину в ловушку, пожертвовал ей две пешки. Машина, рискуя свалиться в цейтнот, думала целых четверть часа, при том, что раньше тратила на обдумывание хода в среднем три минуты. В результате жертву она не приняла, а партию выиграла. Следующие три игры прошли вничью. Зато последнюю «Deep Blue» выиграла просто с блеском. Всего за час (до этого каждая игра продолжалась по 3–4 часа) суперкомпьютер просто разгромил супергроссмейстера. В турнире, со счетом 3,5 на 2,5 очка, победила бездушная машина. На церемонии закрытия Каспаров уже не выглядел столь уверенным, а проигрыш оправдывал необычностью ситуации. По его словам, если бы он встретился с «Deep Blue» на обычном чемпионате, то, несомненно, разгромил бы машину.

В словаре по общественным наукам интеллект описывается как «совокупность познавательных способностей человека, определяющих уровень его мышления и способность решать сложные задачи». Большая советская энциклопедия добавляет, что «в зоопсихологии под И. (или "ручным мышлением") высших животных понимаются такие доступные главным образом обезьянам реакции, которые характеризуются внезапностью решения задачи, легкостью воспроизведения раз найденного решения, переносом его на ситуацию, несколько отличную от исходной, и, наконец, способностью решения "двухфазных" задач». Научилась обезьяна мыть картофель перед едой в соленой воде (так он вкуснее становится), научилась сбивать бананы палкой, догадалась, как открыть щеколду на крышке, — стало быть, интеллект присутствует. Да что обезьяна, по телевизору как-то показали эксперимент: в наполненный водой резиновый бассейн бросили кусок мяса и подпустили к нему лису. Она мясо видела, но в воду лезть боялась. Покрутившись немного вокруг бассейна, она приняла очень верное решение (практически единственно верное в данной ситуации): прогрызла резиновую стенку бассейна, спустила воду и получила мясо в качестве законной добычи. Ну разве это не интеллект? Но если так, то и способность машины отказаться от сиюминутной реальной выгоды в виде пожертвованной гроссмейстером пешки (отказаться ради того, чтобы не победить, но увеличить свои шансы на последующую победу) также можно отнести к сфере интеллекта, только интеллекта искусственного, созданного человеком, в отличие от естественного интеллекта лисы.

Термин искусственный интеллект (ИИ) появился сравнительно недавно — в 1956 году. Уже не одно десятилетие существовало придуманное Карелом Чапеком слово «робот», уже вовсю работали в научных центрах вычислительные машины, но никто еще не предполагал, что машина может научиться думать. Решать поставленные человеком задачи — да, но не ставить задачи перед собой самостоятельно.

Хотя нет, я не совсем прав. Еще в самом начале XVII века знаменитый математик и философ Рене Декарт заявил, что животные — суть весьма сложное, но механическое создание. В его представлении любое живое существо, кроме наделенного божественным духом человека, можно было представить как систему весьма сложных передач, распределительных механизмов, комплексов шестеренок, противовесов и прочего. С точки зрения созданной им механистической теории, всякая нечеловеческая живность была всего лишь ладно скроенной машиной. Чуть позже, в 1623 году, немец Вильгельм Шикард построил первую механическую цифровую счетную машину. Теперь до построения машины мыслящей было уже рукой подать: посудите сами, если машина может складывать, вычитать, умножать и делить, то есть делать то, что из живых существ мог делать только человек, да и то не каждый, следовательно, по уму она уже превосходила кошек, собак и прочих друзей человеческих. Думающий агрегат должен был появиться со дня на день.

И он появился. Тут опять на арену вышли шахматы, как самая продвинутая из умственных игр. В 1770 году изобретатель и механик Вольфганг (Фаркаш) фон Кемпелен, советник австрийской императрицы Марии-Терезии, представил своей покровительнице удивительный автомат. Внешне он представлял собой тумбу с закрепленной на ней шахматной доской. Из тумбы торчала фигура одетого в халат турка с чалмой на восковой голове. Турок был полностью механизирован, он качал головой, двигал руками и вращал глазами. Но главное — он играл в шахматы, и не просто играл, а почти всегда выигрывал. Кемплен заводил свой аппарат специальным ключом, фигура приходила в движение и передвигала вперед королевскую пешку. Когда зрители выражали сомнение в том, что «ходит» автомат, а не спрятанный в нем человек, изобретатель открывал дверцы автомата и показывал, что внутри нет ничего, кроме многочисленных крутящихся шестеренок, двигающихся рычагов и вращающихся передач. Много лет он вместе со своим «турком» колесил по Европе и устраивал «шахматные сеансы». Поиграть с автоматом (за весьма солидные деньги) не гнушались самые богатые и знаменитые люди того времени. В 1782 году ему проиграл сам Бенджамин Франклин, возглавлявший тогда дипломатическое представительство Североамериканских колоний в Париже.

После смерти Кемплена аппарат перешел к другому австрийскому механику — Иоганну Непомуку Мельцелю. Уже под его руководством «турок» в 1809 году наголову разбил непобедимого Наполеона, объявив ему мат на 24-м ходу.

В 1956 году впервые словосочетание «искусственный интеллект» (artificial intelligence, AI) прозвучало на семинаре летней Дартмутской школы, проведенной 29-летним доцентом Стэндфордского университета Джоном Маккарти. Деньги на создание думающей машины Джону выделил фонд Рокфеллера. Чуть позже к нему подключился другой человек, кого сейчас принято считать отцом-основателем теории ИИ, профессор Масса-чусетского технологического института Марвин Мински. Именно М. Мински был научным консультантом фильма Стэнли Кубрика «Космическая одиссея: 2001», а несколько позже подсказал Стивену Спилбергу идею фильма «Парк Юрского периода». К началу 1960-х годов он был знаменит тем, что построил на базе нейронной сети первую обучающуюся машину SNARK (stochastic neural analog reinforcement calculator — «стохастический нейронный аналоговый усиленный калькулятор»).

К тому времени люди уже придумали, как можно отличить думающую машину от просто считающей. Удивительно простой способ решения проблемы предложил в самом начале 1950-х годов знаменитый математик Алан Тьюринг. Тест на разумность, по Тьюрингу, проводился так: некий человек, который обозначался как судья, в письменном виде общался с двумя субъектами, одним из которых был человек, другим — компьютер. Машина признавалась «разумной» в том случае, если судья за пять минут не мог определить, кто есть кто. Ни одной машине тест пройти не удалось. Хотя сам Тьюринг был уверен, что уже к 2000 году компьютеры с казавшейся тогда сумасшедшей памятью в 1 миллиард бит (чуть меньше 120 МБ) сумеют в 30 % случаев показать себя разумными созданиями.

Сейчас существует множество программ, с которыми уже можно неплохо «поболтать» на человеческом языке. Между ними даже проводятся ежегодные соревнования на приз Лёбнера. В 2008 году его получила программа Фреда Роберта «Elbot». Качество работы этих «программ-болталок» так высоко, что сегодня уже мало кто сомневается: тест Тьюринга рано или поздно (не позднее 2030 года) будет пройден.

В ноябре 2007 года ученые из компании IBM и Федерального технического Института Лозанны (Ecole polytechnique federale de Lausanne), пытающиеся в рамках программы проекта «Blue brain» («Голубой мозг») создать компьютерную модель мозга человека, объявили о том, что им удалось полностью имитировать часть мозга мыши. Полную модель мозга человека они планируют построить не позднее 2020 года. Правда, ученые не пытаются смоделировать сознание. По их словам, «сознание может получиться само собой. Но мы не можем в точности сформулировать, что есть сознание, поэтому трудно рассуждать о проблеме его моделирования».

В том же направлении работают компании Google, Sony, SIAI, CYC, Numenta и многие другие. Разработкой чего-то очень похожего на ИИ занимается даже российская компания ABBYY, известная своими программами распознавания текстов. Можно не сомневаться, что разработкой ИИ в совершенно определенных целях, только не так открыто, занимаются и военные.

В августе 2008 года на проходившем в Сан-Франциско форуме разработчиков компьютерной техники Джастин Раттнер, технический директор корпорации Intel, заявил: компьютеры в ближайшее время не просто догонят человека по уровню интеллекта, но и перегонят его. За «ближайшее время» он взял период до 2050 года, а в доказательство верности своих слов продемонстрировал двух роботов, один из которых мог, пользуясь исключительно вмонтированными видеокамерами (глазами), изучать различные трехмерные предметы, идентифицировать и классифицировать их; второй робот довольно легко угадывал на лицах людей эмоции и умел выполнять несложные поданные голосом команды, различные по форме и лексическому составу, — робот одинаково хорошо реагировал и на просьбу «стереть эту пыль», и на требование «убери грязь».

Некоторые ученые называют и более определенные даты. Известный американский изобретатель и футуролог Рэй Курцвайль, имя которого включено в список 18 выдающихся мыслителей современности, считает, что искусственный интеллект, равный человеческому, и даже способный испытывать эмоции, похожие на наши, появится к 2029 году. Его коллега, футуролог Джеймс Мартин, также говорит, что искусственный разум, правда, сильно отличающийся от человеческого, появится в ближайшие десятилетия. Ему можно верить: пока что большинство прогнозов, которые он сделал еще в середине 1970-х годов, сбываются.

«Закон Мура», сформулированный в 1965 году одним из основателей компании Intel Гордоном Муром и гласящий, что производительность компьютеров удваивается за полтора — два года, до сих пор действует неукоснительно. И нет никаких признаков того, что в ближайшем будущем закон этот устареет. Напротив, люди уже сейчас находятся на пороге создания «квантового компьютера», который одним скачком сможет обогнать наших современных электронных помощников сразу на несколько порядков по многим параметрам.

Но если мы создадим искусственный разум, равный человеческому, то что может помешать нам создать разум, превосходящий человеческий? Разум, для которого проблемы, кажущиеся нам сейчас сложными и даже нерешаемыми, будут простыми и понятными. Дальше получается еще интереснее. Если человек создаст разум, более совершенный и мощный, чем его собственный, ничто не помешает этому созданному разуму создать еще более мощного искусственного собрата. Причем произойдет это не только при молчаливом согласии, но и при непосредственной поддержке человечества, которому все увеличивающаяся мощность компьютеров для решения своих, человеческих задач просто необходима. Ведь чем мощнее компьютеры, тем лучше наша жизнь. В сущности, для человечества компьютер — это такой относительно безопасный наркотик, дозу которого постоянно хочется увеличивать. Вреда от этого наркотика мы не ощущаем. Пока.

Я не собираюсь никого пугать ни «бунтом машин», ни появлением «терминаторов», истребляющих людей, ни наступлением эпохи «матрицы». Во-первых, предотвратить такой бунт совсем не сложно. И дело тут даже не в «трех законах робототехники», хотя и в них тоже. Три закона, целью которых является защита человека от возможных действий разумных машин, были сформулированы известным американским фантастом русского происхождения Айзеком Азимовым в рассказе «Хоровод» еще в 1942 году. Вот эти законы, намертво закрепленные в любом искусственном интеллекте.

Первый закон: робот не может причинить вреда человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Второй закон: робот должен выполнять приказы человека в той мере, в какой это не противоречит первому закону.

Третий закон: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.

Кроме того, значительно позже, уже в 1986 году, Азимов дополнил этот свод нулевым законом: робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.

Так вот, дело не в том, что человек способен в любой момент выключить «зарвавшийся» компьютер (это может оказаться непросто сделать), а в том, что рядом с суперинтеллектом человек окажется существом более низкого порядка. Даже самое минимальное отставание уже приведет к стойкому непониманию происходящего. Компьютер будет сам ставить перед собой задачи и сам будет их решать, причем методами, которые человек не сможет (или не будет успевать) постигнуть. Вокруг нас появятся объекты, тайну работы которых нам не под силу будет понять.

Нельзя сказать, что при ИИ человечеству будет жить плохо. Кошка не представляет, и, наверное, не пытается представить, по какому принципу работает электрообогреватель, но это не мешает ей греться около него.

Обогнать наш разум, кажущийся нам совершенным, вовсе не сложно. Нейрофизиологи говорят, что вычислительные способности человеческого мозга составляют 1014 (сто триллионов) операций в секунду. При этом современные суперкомпьютеры уже оперируют скоростями 1015 операций в секунду. По оценке физика Ричарда Кэрригена из Национальной американской лаборатории ускорения Ферми (US Fermi National accelerator laboratory) в Иллинойсе, объем сознательной памяти человека составляет всего 2,5 гигабайта. Это маловато даже по сравнению с обычными компьютерами, у которых только оперативная память уже сейчас иногда зашкаливает за 4 гига, а уж про жесткий диск с его минимально-стандартными 60 гигабайтами и говорить нечего. Нейрофизиологи установили, что в каждый конкретный момент человеческий мозг может «оперировать» не более чем пятью — девятью объектами (средний человек обычно держится на уровне семи объектов). Поэтому большинство телефонных номеров на Земле состоит из семи цифр: человек «на ощупь» определил наиболее продуктивное количество предметов. Число семь считается чуть не священным. Даже в поговорках внимание к нему отражено: «Семеро с ложкой, один с сошкой», «Семеро одного не ждут», «За семь верст киселя хлебать». Мы ходим за семь морей, поднимаемся на седьмое небо и т. д. Для нас просто то, что до семи, дальше начинаются сложности.

Нам сложно понять принцип решения дифференциальных уравнений, сложно взять в уме не только интеграл, но даже извлечь квадратный корень из трехзначного числа, так как при этом надо оперировать с большим количеством цифр. Для компьютера таких проблем не нет. Для него тот же интеграл — задача на уровне «У Васи было три яблока. Одно он съел, сколько яблок у Васи осталось». Для ИИ будет довольно сложно объяснить человеку вещи, кажущиеся ему элементарными, а уж со сложными он и заморачиваться не будет, успокоив себя тем, что это человеческому разуму без надобности.

Итак, с 2027 года, или с любого другого, в котором будет наконец создан искусственный интеллект, превышающий по возможностям интеллект человеческий, вокруг нас начнут происходить события и будут появляться предметы, смысла и устройства которых нам не удастся постичь. А поскольку ИИ, в отличие от нашего мозга, будет иметь реальную возможность самосовершенствоваться, все новое будет происходить с возрастающей скоростью. Появятся машины, приборы, установки, непонятно что делающие и неизвестно как работающие.

Такую точку в истории человечества, когда мы перестанем понимать, что происходит вокруг нас, ученые назвали технологической сингулярностью. Обычно этот термин приписывают американскому математику и писателю-фантасту Вернору Винджу, в 1993 году на симпозиуме, проводимом Центром космических исследований (НАСА) и Аэрокосмическим институтом Огайо, представившему статью, которая так и называлась «Технологическая сингулярность». В действительности впервые это словосочетание употребил еще в середине прошлого века Джон фон Нейман. По воспоминаниям друзей, великий ученый часто говорил «о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела в том виде, в каком мы их знаем, не смогут продолжаться». В математике «сингулярностью» называется точка, в которой функция «уходит» в бесконечность. Единица, деленная на ноль, с точки зрения среднего человека — бессмыслица.

О том, как именно наступит эта сингулярность, писал в 1960-х годах другой известный ученый, британский статистик Ирвинг Джон Гуд: «Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умен тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить еще более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного. <…> Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем… И вероятность того, что в XX веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится».

Еще в 1904 году, когда не было даже слова «компьютер», американский историк Генри Адамс (1838–1918) написал эссе «Закон ускорения», в котором вывел «квадратичный закон истории». В соответствии с ним, каждый новый период в истории человечества по продолжительности примерно равнялся корню квадратному из длительности периода предыдущего. Чуть позже, в 1909 году, он опубликовал другой труд на эту тему — «Закон фазового перехода применительно к истории». По Адамсу, вслед за длившимся 90 тысяч лет «религиозным периодом» следовал 300-летний «механический период». На смену ему пришел 17-летний «электрический период», который должен был перейти в «эфирный период» продолжительностью 4–5 лет. Окончание последнего периода обозначало достижение человечеством предела своих возможностей, после чего должен был произойти фазовый переход на некий новый уровень развития. Так как точно установить даты прошедших периодов было невозможно, Адамс определил «вилку» этого перехода в промежутке между 1921 и 2025 годами. А во второй половине XX века американский философ и историк техники Льюис Мамфорд составил график роста количества значимых изобретений. Получилась довольно четкая гипербола, уходящая в конце 2020-х годов в бесконечность, то есть — в сингулярность. Согласно Мамфорду, техника постепенно «перестает быть простым инструментом, но сама становится активным субъектом реальности, трансформирующим человека по своему образу и подобию».

Конечно, многие возразят, что никакой катастрофы в этом нет. Наоборот, ИИ сделает нашу жизнь максимально комфортной. Человечество всю жизнь стремилось создать мир, в котором вареники сами летели бы в рот, а проблемы решались бы еще до их возникновения. Что ж, возможно. Но это уже будет не человеческая цивилизация. Мы не будем работать в современном смысле этого понятия, поскольку нашему хозяину это просто не будет нужно. Все, что можем выполнить мы, машины будут делать значительно лучше. Наверное, у нас останется какая-то своя культура, которая будет гораздо беднее культуры компьютерной, а ее мы не сможем постигнуть. Мы будем рисовать картины, сочинять музыку, писать стихи, но компьютер будет творить лучше, чем мы. Слоны тоже, как уверяют зоопсихологи, любят рисовать.

Есть еще надежда, что искусственному разуму не удастся превзойти человеческий, поскольку «ученик не может быть умнее учителя». Некоторые футурологи надеются, что человек с помощью генной инженерии сможет поднять свой разум на новый, сопоставимый с компьютерным, уровень. Или что он объединится с машиной, в результате чего получится некий Ногтю 8ирег8ар1еш, существо с мозгами, напрямую подключенными к некой всемирной информационно-вычислительной сети. Однако это уже будет не человек.

Мнение эксперта

Олег Петрович Кузнецов — доктор технических наук, профессор, заведующий лабораторией Института проблем управления РАН, председатель научного совета Российской ассоциации искусственного интеллекта.

Может ли машинный разум превзойти человеческий? В принципе, может, но пока до этого далеко — лет тридцать-сорок, не меньше. Мне кажется, что дата, называемая многими учеными (вторая половина 2020-х годов), — это слишком оптимистично. С такой грандиозной задачей, как построение полноценного интеллекта, не уступающего человеческому, мы вряд ли сумеем справиться столь быстро. Ведь, кроме прочего, его создание должно сопровождаться разработкой систем контроля. Человек сможет контролировать интеллект, превосходящий его по уровню, есть возможность это делать. А сценарий захвата власти роботами пока представляется нереальным, хотя предоставление машине слишком большой самостоятельности может привести к тому, что она будет сама ставить перед собой задачи и сама решать их, не заботясь о том, насколько это нужно и нужно ли вообще человеку. Если вдруг искусственный интеллект выйдет из-под контроля, то потом сделать что-то будет очень трудно. Но если контролировать весь процесс постепенной эволюции, то, я думаю, есть способы обезопасить себя. Дело ведь не только в том, умнее ли нас машина. Контроль не требует превосходства интеллекта. Умные всегда были на службе у сильных, хотя и тяготились этим. Проблема контроля — это проблема допуска к возможностям: к ресурсам, принятию решений и т. д.

Еще многих беспокоит такой вопрос: насколько реально человечеству свалиться после появления искусственного сверхинтеллекта в технологическую сингулярность, когда мы перестанем понимать, что творится вокруг нас. Да мы и сейчас уже не все понимаем, что творится вокруг нас, и никогда этого не понимали. Суть — в объеме этого непонимания. Мы считаем себя очень умными, а все ли мы знаем даже о своем организме? Как он работает, что мы там можем выключить, а что нет, способны ли мы предусмотреть все последствия своих действий. Точно так будет и с искусственным интеллектом. Рядовой человек даже и не заметит этого «сваливания». Если мы будем держать искусственный интеллект под контролем, ничего страшного не произойдет. И потом, у человечества нет другого пути. Мы в любом случае будем стараться делать все более мощные и умные машины. Сценарий с луддитами, ломавшими на английских фабриках станки, на которых вязали дешевые чулки, не пройдет сейчас так же, как он не прошел в XIX веке. Уж слишком прочно наша жизнь связана с машинами. Говорят, что искусственный интеллект будет следующей за нами ступенью эволюции, займет оставленный нами трон «царя природы», опустив человечество до уровня наших домашних собачек и кошечек. Думаю, такой сценарий в далекой перспективе возможен, только если, повторю, человечество будет недооценивать проблемы контроля. Это касается не только искусственного интеллекта, но и генной инженерии, и биотехнологий, и прочего. Надо вести себя разумно и почаще перечитывать «Войну с саламандрами» Карела Чапека.