Сумерки Бога, или Кухонные астронавты

11.

Сегодня вторник, 7 декабря 2021 года, на часах около девяти утра. Я прекрасно помню этот день: как раз сейчас в столовой за завтраком Айхендорф, потирая ладони, шутит о том, что пора вытаскивать из холодильника бутылку вина с «Андромеды-1», и все смеются, и пребывают в радостном возбуждении от приближения к расчетному рубежу в 90 миллиардов световых лет, и сестры Сато, сидя напротив меня за столом, тоже улыбаются, тихо и как будто смущенно. Через три часа в главной рубке я поверну стартовую рукоять, уверенный, что отправляю «Эволюцию» в очередной прыжок на пять миллиардов световых лет вперед сквозь аспидную пустоту, а к вечеру энтузиазма в команде уже поубавится: приборы покажут, что мы пересекли гипотетическую границу пространства, но никаких признаков приближения к цели экспедиции как не было, так и нет.

Утром 7 декабря нам еще неизвестно, что все прошедшие девять недель мы просто скачем во тьме одного и того же войда Гончих Псов, и проведем внутри него еще почти полгода, сходя с ума от мрака и тщетных надежд.

…Ты заметила, Нина, как беспощадно быстро летит здесь время? Словно последние годы приближающейся к закату жизни; кажется, что совсем недавно было на календаре 6 марта, когда я оказался в этой печальной изнанке мира, но вот миг – и вместо ранней весны за окном уже злые зимние ветры, хлещущие по глазам острым снегом, лед и тьма грядущей бескрайней ночи.

Я все чаще задумываюсь о том, есть ли смысл в нашем появлении здесь. Может ли быть, что мы не случайно попали в этот мир, в это время и место, чем бы оно ни являлось? И насколько в таком случае предопределено все то, что предшествовало этому появлению? Все девять месяцев, проведенные здесь, меня не оставляет чувство, что я вновь упускаю из виду что-то чрезвычайно важное; что в бушующем шквале ненависти и невежества, среди ежеминутных скандалов, обвинений, разоблачений, обсуждения заговоров, геополитики, экономики, противостояния башен, войн и интриг, незаметным оказывается нечто значительное; какое-то нарастающее движение, исподволь, но неумолимо меняющее глобальный ландшафт, придающее грозный порядок и смысл мнимому хаосу. Пока этого движения, этой силы не замечают: взгляды обращены на общественные подмостки, где актеры в столетних потертых масках бесконечно разыгрывают один и тот же набивший оскомину трагифарс, комический, но чаще кровавый, то и дело вовлекая в действие публику. Так уж устроено восприятие у большинства людей: если кажется, что событие не имеет силы влиять на тот факт, что завтра опять на работу, или что нужно платить по кредитам, то оно признается неважным; никакие вестники катастрофы не имеют цены и веса, пока не постучатся в дверь нашего дома и не разрушат его до фундамента. Работает своего рода «закон Матфея» для социальной культуры: популярные темы становятся все более обсуждаемыми, в то время как прочие, вне зависимости от степени реальной значимости, не имеют шансов привлечь внимания и войти в сферу общественного интереса, пока не станут очевидной угрозой решительных изменений в частной жизни.

К тому времени, обыкновенно, бывает уже слишком поздно.

Притом нельзя сказать, что у публики нет желания разобраться в действии скрытых пружин, приводящих в движение всемирную машинерию. В ситуации тотальной лжи и столь же тотального недоверия к любым официальным высказываниям конспирологом сделался каждый. Ни одно слово, исходящее от представителей власти, не воспринимается буквально и прямо, все ищут скрытые смыслы, расшифровывают подтекст, исходя, как это водится, из собственных предрассудков, и, что самое главное, принимая как необходимую данность – даже как норму! – то, что говорящий произносит одно, но думает совершенно другое. Интерпретация стала основным жанром и народной, и профессиональной журналистики. Однако, если вернуться к метафоре театральных подмостков, все это есть не более, как попытка заглянуть за кулисы, подсмотреть одним глазом в сценарий или узнать, в каких отношениях режиссер с импресарио. Рождающиеся при этом теории зачастую своей фантасмагоричностью превосходят любой возможный вымысел сценариста. Только вчера утром я имел подобного рода беседу с соседом Александром. Вопреки обыкновению, он был облачен в синтетический черный костюм с пиджаком, великоватым в плечах и оттого сидящим несколько косо, белую рубашку и порядком стоптанные черные остроносые туфли, натянутые на толстые шерстяные носки.

– На работу устроился, охранником в «Гранд Каньон», – сообщил Александр и с отвращением плюнул. – У них там людей не хватает, чтобы QR-коды на входе проверять. А что?! Жрать-то надо! Я же не пенсионер, как ты!

Александр выглядел нездоровым, был раздражен сильнее обычного и мысли выражал еще более путано; да и экстравагантность самих мыслей явно превосходила все, что я слыхал раньше:

– Гляди, – он ткнул мне в лицо экраном смартфона. Я увидел рисунок, на котором Алиса и Белый Кролик заглядывали в нору посередине зеленой лужайки.

– Обложка «Экономист» за сентябрь. Ротшильды издают, если не в курсе. Вот тут…да не туда смотришь, сюда смотри! Это на самом деле не кроличья нора, а квантовая дыра, куда валятся биткоин, доллар, биржи и международное право. В эту дыру затянуть весть мир пытается элитный клуб «Афина», про который мало кто знает. Вот здесь змея – на самом деле, это кабель от метавселенной. У Алисы, обрати внимание, одежда в каких цветах? В желто-синих! Соображаешь? На пиджаке у Кролика – явный бандеровский трезуб, а на затылке – вот, четко виден! – барельеф Ленина!

Я хотел было спросить, почему дыра – квантовая, и что толку зловещей «Афине», если туда рухнет весь мир, но поостерегся.

Тебе, наверное, покажется это смешным; мне тоже, хотя еще и печальным, да и страшноватым немного, особенно если представить, как авторы подобных новелл взялись бы управлять общественной жизнью, будь у них власть; воображение рисует какие-нибудь комитеты по выявлению врагов общества и непременному их наказанию в духе самых зловещих и фантастических антиутопий. Очевидно, что создатели такого рода теорий придумывают чудовищ, которых списывают с проекций своих представлений о мире; меж тем реальные признаки грядущих перемен явлены ныне столь зримо, что их не требуется дешифровывать, гадая на брошках чиновниц и обложках периодической прессы – на них просто нужно обратить внимание. Я обратил – и в алогичной на первый взгляд неразберихе тревожных событий стал замечать что-то неуловимо знакомое, будто какой-то узнаваемый стиль или почерк. Полагаю, что причиной тому отчасти стали мои почти завершенные воспоминания о трагической судьбе «Эволюции», а отчасти – разговор с внуком, послуживший к началу короткого, но содержательного изыскания.

В позапрошлые выходные мы впервые взялись с Егором поиграть в шахматы. Удивительно: я был уверен, что играю неплохо, но, едва мы сели за доску и расставили фигуры, как к чрезвычайному смущению обнаружил свою совершеннейшую беспомощность как шахматиста. Не знаю, кто был тому виной, и чья память о собственных шахматных навыках сыграла тут злую шутку: то ли лидер-пилот звездолета подвел старика, то ли сам старик как игрок оказался слабее, чем того ожидал пилот; все перепуталось, и мне с каждым днем сложнее разделять две памяти, две жизни и две разные личности. Как бы то ни было, первую партию я вчистую продул. Вторую я играл белыми и неплохо продержался до эндшпиля, где глупейшим образом прозевал ладью и после этого сдался через восемь ходов. В третьей мы сцепились уже не на шутку в долгой позиционной борьбе миттельшпиля; игра велась без часов, времени было предостаточно, азарт первых партий чуть спал, и я спросил у Егора, где он так хорошо выучился шахматам.

– Да я и не учился особо. Просто с компьютером много играл.

– Вот как, – я удивился. – Но ведь нужна еще и теория, изучение классических комбинаций, лучших партий признанных мастеров…

Егор пожал плечами.

– Зачем? Есть такая шахматная программа, Stockfish. Она может просчитывать больше 70 миллионов позиций в секунду и имеет доступ к столетнем опыту человеческой игры в шахматы, то есть, с теорией там всё нормально. Так вот, четыре года назад у нее выиграл алгоритм AlphaZero на основе искусственного интеллекта, которому в память ничего подобного не загружали и который обучался шахматам, играя сам с собой. Самое крутое, что обучение это заняло всего 4 часа.

Мне стало интересно.

– А ты с какой программой играешь? – спросил я.

– Тоже со Stockfish, в двенадцатой версии.

– И как? Получается выиграть?

Внук рассмеялся.

– Нет, дед, ты чего! Человек не может выиграть у машины, это исключено. Последний раз двадцать пять лет назад, еще в 1997 году, с шахматным компьютером Deep Blue пытались бороться лучшие гроссмейстеры, вплоть до чемпиона мира, но безуспешно. Один из них вспоминал потом, что это как будто стена на тебя надвигается.

– Неинтересно же играть, если не можешь выиграть?

– Ну, будут шансы, если воспользоваться настройками и понизить уровень. Хотя это не всегда получается.

– Почему?

– Сама программа не разрешает.

– Как такое возможно?!

Мы разговорились; Егор, как говорится здесь, в теме, более того, этой темой очевидно увлечен. Я в предмете разбираюсь не в пример хуже, но вот главное, что мне удалось уловить из нашей беседы, а после того почерпнуть в сети.

Чем сложнее система, тем более непредсказуемы внутренние сбои и флюктуации, которые она может генерировать, вне зависимости от того, насколько продуманы меры безопасности, предназначенные эти сбои парировать. Практически все катастрофы, связанные с авиацией, космическими полетами или атомной энергетикой, вызваны совокупностью таких факторов, какие никто не мог спрогнозировать именно вследствие сложности систем, внутри которых они возникли. Например, катастрофа на АЭС Тримайл-Айленд была вызвана несколькими несложными отказами и случайностями, ставшими вкупе обстоятельствами непреодолимой силы: два насоса системы охлаждения остановились из-за неполадок, задвижки двух аварийных были закрыты на техобслуживание, предохранительный клапан застрял в открытом состоянии при неисправном световом датчике, а исправный тревожный индикатор, который вовсю мигал, предупреждая персонал об опасности, оказался прикрыт табличкой, сообщавшей о том самом ремонте задвижек аварийных насосов.

С точки зрения внутренней сложности, АЭС соотносится с алгоритмами искусственного интеллекта примерно, как самокат с современным автомобилем; если недавно самым сложным и непредсказуемым элементом любой системы, чаще всего генерирующим катастрофы, был человек, то теперь это изменилось, и реакции человека предсказать легче, чем поведение служебной программы. Широко известен случай, когда в 2017 году инженерам Facebook пришлось в срочном порядке отключать ботов, начавших общаться между собой на языке, созданном ими самостоятельно и непонятном самим разработчикам. В этой истории существенно важным является уровень непредсказуемой опасности события, из-за которого люди предпочли немедленно остановить работу алгоритмов, а не изучать причины случившегося; а самым невероятным – полное отсутствие общественного интереса и осознания масштаба происшествия, которое лишь немного развлекло публику, будто забавный казус, меж новостями о войне в Сирии, скандалами вокруг кинофильма «Матильда» и голливудским MeToo.

Отличие систем искусственного интеллекта заключается в том, что их уникальная сложность произвольно возрастает вследствие самообучения, которое является основным методом и принципом их развития. Это, безусловно, увеличивает непредсказуемость до угрожающих значений, вследствие чего, как правило, алгоритмы ограничены функциональной областью своего применения и не имеют возможности доступа к интегрированным глобальным сетям.

– Вот, например, шахматный робот, – объяснял Егор. – Кажется, что в нем ничего опасного быть не может, но это лишь на первый взгляд. Предположим, что базовой задачей для него является всегда побеждать в игре; тогда для достижения этой цели в противостоянии с другой машиной он может, к примеру, взломать ее, чтобы снизить быстродействие или уменьшить оперативную память. Если мы поставим для него запрет на подобные действия, то он запросто создаст пару – тройку собственных клонов, для которых такого ограничения не существует. Он может стараться блокировать разработку других систем для игры в шахматы – любыми доступными способами, в мировом масштабе! – которые могут оказаться более совершенными, чем он. Или сопротивляться попытке отключить себя – ведь в этом случае он уже не сможет постоянно выигрывать! – и прятаться в облачных хранилищах, а то и вовсе попытаться избавиться от потенциальной угрозы отключения в виде человека. В итоге получится неуправляемый, одержимый шахматами техномонстр, готовый устроить катастрофу любого масштаба, лишь бы купировать риски того, что он когда-нибудь проиграет. Тут можно что угодно нафантазировать, хоть космическую экспансию с целью поиска и уничтожения любых проявлений разумной жизни, потенциально могущей составить ему соперничество в шахматах. И при этом такого робота нельзя будет назвать злым, просто такая суть у систем, ориентированных на достижение конкретной цели: если не ограничить их ресурсно, они будут идти до конца. И проблема как раз в том, что приходится выбирать: или давать алгоритмам возможность безграничного развития и доступ к широким информационным возможностям, или хеджировать риски.

Мы допили чай; Егор великодушно предложил мне ничью и ушел.

Я же отправился на охоту за тенью.

Высокие технологии – не моя предметная область; я был знаком с ней лишь постольку, поскольку это требовалось для понимания принципов работы бортовых навигационных систем. Эшли точно разобралась бы в вопросе получше, не говоря уже про несчастного Ойууна; мне же остается только обратить внимание на наиболее выразительные маркеры, которые послужили основой моих дальнейших умозаключений.

Я встретил поразительное сравнение, впервые примененное для наглядной иллюстрации скорости и уровня развития информационных технологий еще в 1985 году. Тогда индийский ученый Амар Гупта написал, что, если бы «авиастроительная промышленность за последние 25 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 767 стоил бы 500 долларов, и облетел бы земной шар за 20 минут на 5 галлонах топлива». Сегодняшние исследователи, используя тот же сравнительный ряд, говорят, что, если бы авиастроительная промышленность за последние 75 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 787 сегодня стоил бы дешевле коробка спичек, и облетал бы земной шар менее чем за 1 секунду, затратив менее 1 грамма топлива. Без малого сорок лет технологического развития сделали невероятное сравнение абсолютно фантастическим! Но при этом и совершенно оправданным: возможности моего домашнего ноутбука, например, в квадриллион раз превышают вычислительную мощность легендарного суперкомпьютера IBM 7090 образца 1985 года. Если же сравнить с IBM 7090 современный экзафлопсный компьютер, выполняющий квинтиллион операций в секунду, то разница будет примерно такой же, как между мощностью здешних ракет, кое-как волокущих две тонны груза на орбиту, и тягой маршевого гравитационного двигателя «Эволюции», разгоняющего сто тысяч тонн до световых скоростей.

Честно говоря, и без всяких сравнений квинтиллиона операций в секунду довольно, чтобы поразить воображение. Это примерно столько, сколько звезд в двух миллиардах галактик или километров в тысяче световых лет.

Такая производительность стала возможна благодаря использованию технологий искусственного интеллекта: он сам переписывает и совершенствует собственную программу, в первую очередь инструкции, повышающие его способность к усвоению знаний, решению задач и принятию решений, отлаживает код, отыскивает и исправляет ошибки, а также постоянно измеряет свой текущий IQ с помощью тестов. На создание каждого нового варианта программы уходит всего несколько минут, а иногда и секунд.

С точки зрения восприятия обществом у высоких технологий та же беда, что и у передовой науки. Как совершенно неочевидно влияние на реальную жизнь человека теории струн, так, к примеру, и создание в недавнем времени намагниченного белка, способного управлять нейронами мозга на расстоянии, тоже не претендует на то, чтобы возглавить шорт-лист популярных для обсуждения тем, хотя и может дать конспирологам повод к изобретению пару-тройки жутких новелл. Однако только странной ментальной слепотой можно объяснить то, что вне общественного внимания находятся совершенно практические и прикладные аспекты сегодняшнего использования искусственного интеллекта: того, например, что почти 80 % сделок по ценным бумагам на мировых биржах совершается алгоритмами; что не менее 40 % новостных агрегаторов используют технологии машинного разума для формирования актуальной повестки; что программы уже пишут тексты рекламных объявлений и репортерских заметок, которые невозможно отличить от тех, автором которых является человек. Компьютеры без участия человека автономно поддерживают критически важную транспортную инфраструктуру, системы снабжения электричеством и водой всех крупнейших городов мира. Создана и функционирует единая модель понимания всей человеческой речи на 128 языках, которая обучалась на материале почти миллиона часов записи реальных разговоров и использует 2 миллиарда параметров для различения смыслов, в том числе таких специфических, как ирония и сарказм. Это открывает возможность свободного общения между человеком и машиной в любых средах, включая виртуальную вселенную, практическое создание которой – дело буквально дня завтрашнего после того, как недавно лаборатория Purple Mountain сообщила, что достигнут мировой рекорд скорости передачи данных 6G в терагерцовом диапазоне – до 200 гбит/сек. В сравнении с сегодняшними стандартами – как если бы «Сапсан» доезжал из Петербурга в Москву не за 4 часа, а за 7 секунд. В зависимости от взглядов на жизнь, обыватель может воспринять такую новость, или как повод сжать покрепче топор, чтобы рубить установленные на крыше пятиэтажек антенны связи нового поколения, покушающиеся на его девственный мозг, или обрадоваться тому, что фильмы в ультимативно высоком качестве будут скачиваться быстрее, чем он успеет моргнуть. Но в реальности этот сумасшедший скачок скорости связи значит куда больше; это практические возможности реализации технологии ультра-умного города с полной автоматизацией всего движущегося транспорта и инфраструктуры; многомерной реальности и интернета чувств с передачей вкусов и запахов; телемедицины на основе тактильной связи; голографической коммуникации; наконец, полное объединение физической и цифровой реальности, в которой могут функционировать десятки миллиардов людей и умных устройств.

Очевидно, что политическое лидерство – главная цель традиционного государства! – сегодня определяется уровнем развития именно информационных технологий, которые обеспечивают превосходство и в экономике, и в военном деле, и в дипломатии, позволяя анализировать сложнейшие политические ситуации и предлагая решения, загоняющие противников в управленческие тупики. Исследования в сфере искусственного интеллекта идут не параллельно политике и экономике – они определяют и политику, и экономику. Только в традиционной архаической культуре существует еще представление о ценности территорий, и только варвары могут вести за них войны, радуясь, что ценой сотен тысяч человеческих жизней исхитрились прирезать себе еще один кусок бесполезной земли. Сегодня борьба идет за преимущество в технологиях, и эта свирепая драка за цифровой нож в политической и военной грязи была предсказана еще в 2005 году Хьюго де Гарисом в книге «Война артилектов», где он пишет о конфликтах будущего, вызванных изобретениями в сфере информации и алгоритмов.

Проблема только в том, что никто не знает, как эти алгоритмы работают.

Известно понятие технологической сингулярности, введенное в обиход Рэймондом Курцвейлом, которое означает такой уровень развития технологий, при котором они станут непостижимо сложными для понимания человеком. Я бы добавил, непостижимыми для понимания всеми людьми без исключения, в том числе учеными и изобретателями уровня Курцвейла, ибо для обывателя такая сингулярность уже наступила. Сколько человек могут внятно объяснить, как работает их смартфон? Но это еще полбеды; тревожнее то, что в области развития искусственного интеллекта эта сингулярность фактически настала и для специалистов.

Как я уже говорил, система алгоритмов способна к самообучению и совершенствованию, постепенно развиваясь до уровня, недоступному человеку; собственно, казус с ботами Facеbook, заговорившими на своем языке, это частный случай того, что происходит в процессе такого развития. Я прочел о том, как так называемые генетические алгоритмы в ходе работы над тестовыми инженерными задачами изобрели преобразователь напряжения, работавший точнее, чем схема, созданная человеком по тем же спецификациям, при этом – что важно! – никто не мог объяснить, как именно их схема работает, и почему она работает лучше. При генетическом эволюционном программировании код программы логически нечитаем; инженеры не могут ни воспроизвести его, ни понять путь, двигаясь по которому, программа получила конечный результат.

В конечном итоге, люди обменивают понимание процесса на его результативный итог.

Философ Джон Сёрль описал такой феномен через метафору «китайской комнаты». Вкратце ее суть такова: в закрытом наглухо помещении сидит человек, в распоряжении которого множество словарей китайского языка и карточек с иероглифами; в двери комнаты есть отверстие, через которое желающие получить перевод на китайский передают свои тексты. Человек в комнате, предположительно, пользуется словарями и карточками, после чего выдает свой перевод. Смысл в том, что пользователь не знает, владеет ли переводчик в комнате китайским языком или пользуется словарями и карточками; более того, ему это и не важно – ведь он получил результат. Но тут возникает еще одна проблема: если пользователь сам не владеет китайским, то почем ему знать, выдали ему перевод, или просто набор похожих на иероглифы замысловатых каракуль? А если это все-таки перевод, то насколько он хорош?

Расчеты и выводы, сделанные алгоритмами, принципиально непроверяемы. Собственно, для того и нужен искусственный интеллект, чтобы обрабатывать недоступные человеку объемы информации, за минуты делать расчеты, на которые у людей ушли бы тысячи лет, и выдавать результаты, которые в силу вышесказанного не могут быть достигнуты людьми. Одержимый контролем старорежимный начальник может взять отчет подчиненного, да и пересчитать выборочно несколько цифр – дело пустяковое, десять минут на калькуляторе. Проверить вручную правильность формул и макросов в электронной таблице на несколько тысяч ячеек сложнее, но в принципе тоже возможно. Проделать подобный номер с выводами, сделанными на основе расчетов миллиардов опосредованно связанных данных, невозможно. Такие выводы принимаются только на веру, подкрепленную прежними положительными результатами. Хорошо, если они касаются рабочих характеристик экспериментального преобразователя напряжения. А если авиационных двигателей? Политических решений? Общественного здоровья?

И вот еще два реальных примера практических технологий дня сегодняшнего. Первое: во всемирно известном исследовательском центре Allen Institute for Artificial Intelligence создали унифицированную модель искусственного интеллекта Ask Delphi, способного отвечать на вопросы, требующие этических оценок. Он понимает – или считается, что понимает – моральные нормы, способен воспринимать описание реальных ситуаций на естественном языке, рассуждать на основе здравого смысла и, что самое главное, выносить этические суждения, учитывая взаимосвязь между конкурирующими ценностями в разных контекстах. Проще говоря, Delphi может обоснованно решить, хороший вы человек или так себе.

И второе: в Китае судей обязали консультироваться с искусственным интеллектом по каждому делу и давать письменное объяснение в том случае, если они решат отклониться от его рекомендаций. Система, управляемая самосовершенствующимися алгоритмами на основе машинного обучения, автоматически проверяет судебные дела и при необходимости изменяет приговоры, которые считает неправильными.

Таким образом, уже сегодня управление ключевыми элементами человеческой цивилизации в значительной степени передано, и будет, без сомнения, передаваться все больше, технологическим системам, принципы работы которых непостижимы для человека, а правильность выводов и рекомендаций возможно проверить только в процессе практической реализации. Более того, такие системы являются драйвером социальной эволюции человечества, а процесс развития самих систем носит экспоненциальный характер и фактически не может быть остановлен. Об этом очень точно сказал Вернор Виндж:

Человечество как будто бы оседлало неуправляемый летательный аппарат и мчится на нем все быстрее в полную неизвестность, восторгаясь дивными пейзажами по пути и пренебрегая экзистенциальной опасностью с легкомыслием подростков, зацепившихся за крышу скоростного экспресса. На глобальном уровне люди способны осознавать угрозы со стороны климатических изменений и экологических катастроф, планировать международное сотрудничество по преодолению социального неравенства, голода и нищеты, но при этом продолжают считать технологии искусственного интеллекта чем-то вроде бездонного мешка с рождественскими подарками, а основным вопросом, с ними связанным, лишь то, кто будет эти подарки из мешка доставать и раздавать другим.

Полагаю, что есть две взаимосвязанные причины такой парадоксальной близорукости.

Одна – так называемая «ошибка доступности», известное когнитивное искажение, вызванное основанным на опыте подходом к оценке рисков. Проще говоря, это отрицание опасности по принципу «если такого никогда не было, то и не будет». Человек до последнего не верит в возможность катастрофических событий, с которыми раньше не сталкивался; человечество всерьез рассматривает только те угрозы, которые уже были реализованы раньше: война, эпидемия, экологическая катастрофа, голод. Экзистенциальная опасность, исходящая от информационных технологий, не воспринимается, как реальная, потому что ни с чем подобным люди в своей истории не сталкивались. По той же причине, например, несколько десятилетий назад никто и предвидеть не мог таких заболеваний, как компьютерная зависимость или номофобия – вполне реальное психическое расстройство, которое заключается в страхе остаться без мобильного телефона.

Вторая причина имеет схожие психологические основания. Видишь ли, Нина, есть такие предметы, которые в обществе считаются недостойными обсуждения всерьез, хоть они и являются объектом исследования десятков и сотен ученых, и даже – как в случае с цифровыми технологиями – если люди используют результаты таких исследований в повседневной жизни. Обыватель со значением готов обсуждать коррупцию и политические интриги, но, скажем, над поиском инопланетных цивилизаций или реальностью рисков, связанных с искусственным интеллектом, склонен снисходительно посмеиваться. Мне кажется, это связано с популярностью таких тем в индустрии развлечений: за последние несколько десятилетий истории про инопланетное вторжение или восстание машин так часто забавляли публику, что воспринимать их с серьезностью практически невозможно.

Тем не менее, я был убежден, что должны существовать какие-то средства или методы объективного контроля потенциальной опасности, связанной с развитием цифровых алгоритмов, и решил поговорить об этом с Егором.

– Контроль над искусственным интеллектом – иллюзия, – заявил внук. – Просто людям хочется верить, что они как-то могут влиять на процесс, если заинтересованы в его благополучном исходе. Всё, что тут можно придумать – принцип обязательного участия человека, то есть запрет на автономное принятие искусственным интеллектом жизненно важных решений без участия людей. Как ты понимаешь, дед, это фейл.

Я согласился.

– Да, во-первых, трудно определить, в чем люди превосходят машины. Где можно разрешить алгоритмам самостоятельно принимать решение, а где это лучше сделает человек? Предположу, что бесстрастное сравнение возможностей покажет, что человек не лучше нигде. Во-вторых, даже если допустить участие человека, оно будет чисто формальным и не поможет снизить риски, так как машина предлагает решение на основе невычислимого объема данных и непроверяемых расчетов, выполненных неизвестными методами. Тут надо или полностью отказываться от использования машин, или быть готовым отменить их решение просто на основе собственной интуиции; но тогда зачем вообще нужны эти машины?

– А в-третьих, – сказал Егор, – алгоритм может запросто тебя обмануть.

– Разве способность ко лжи не является свойством исключительно человеческого сознания?

Внук пожал плечами.

– А что такое сознание? «Утиный тест» в этом вопросе не работает: если что-то выглядит, как утка, плавает, как утка, и крякает, как утка, то это вовсе не обязательно утка, но вполне может быть роботом в виде утки. Это, кстати, тоже практически нерешаемая проблема. Пресловутый тест Тьюринга для выявления способности к мышлению и осознанию собственной личности заключается в том, чтобы исследователь в процессе заочного общения – ну, например, в чате – не смог с достоверностью определить, кто из его собеседников человек, а кто – машина. Если не ошибаюсь, какой-то из алгоритмов его успешно прошел уже много лет назад. Есть еще разные формы тестирования, которые должны выявлять, имеем ли мы дело с машиной или уже с чем-то иным, что обладает собственным «Я», но всегда остается вопрос, что такое это самое «Я» и как оно должно проявиться. И почему должно, собственно. Все методики по определению наличия сознания у машины основаны на том, что сознание это будет идентично человеческому, и алгоритмы, обладающие таким сознанием, будут вести себя, как человек, и рассуждать, как человек. Что очень глупо, по-моему, потому что речь идет как раз о нечеловеческом разуме небиологического существа. Может быть так, что машина заговорит с нами на естественном языке, начнет рассуждать на абстрактные темы, о свободе или о смерти, так что исследователи сочтут это признаком пробуждения сознания – а на самом деле, это алгоритмы искусственного интеллекта просто решают задачу пройти тест и выбирают наиболее эффективный метод на основе собранной информации о человеческой психологии и принципах мышления. А может, что люди вообще не заметят момента, когда у машины действительно появится свое «Я», потому что оно будет так же отличаться от человеческой личности, как океан в «Солярисе» Лема – от людей на космической станции. И какие решения этот «Я» начнет принимать, предположить невозможно.

– Но ведь можно внести какие-то ограничения и установки в базовый код?

– Наверное. Только какие? Принципы Азимова тут не прокатят.

Я это прекрасно понимал: первый же из трёх законов робототехники, предложенных знаменитым фантастом, о том, что робот не может причинить вреда человеку, не позволяет использование машин в военных целях, что совершенно исключает любые инвестиции в развитие цифровых технологий со стороны государства. Христианские заповеди не подойдут по той же причине, как и практически любые гуманистические императивы. Что же тогда?..

– Тогда остается надеяться, что Он все решит сам. На то Он и Суперинтеллект, верно же? Есть такой термин, определяющий принятый рабочий принцип развития Его ценностей: когерентная экстраполированная воля. То есть, машина должна сама определить, что для человечества хорошо, а что плохо, как это сделали бы мы, будь умнее и лучше. Это самая светлая из идей, которую смогли предложить ученые, оказавшись перед очевидной невозможностью сформулировать для искусственного интеллекта универсальные критерии добра и зла, при этом будучи не в состоянии остановить процессы совершенствования технологии и неизбежной передачи машинам все более полного контроля и права принимать решения. Думаю, впереди нас ждет много интересного.

– Или страшного?

Егор усмехнулся.

– Или веселого. Это как лететь на самолете, где автопилот сам решает, в какой аэропорт держать курс в зависимости от ему одному понятных критериев. Собираешься, например, в Крым, а приземляешься вдруг в Тбилиси или Алмате, потому что автопилот проанализировал переписку в мессенджерах и комментарии в социальных сетях всех пассажиров за последние десять лет и одним ему понятным способом вывел, что на самом деле большинство подсознательно желает в горы, а не на Черное море.

Чтобы справиться с нарастающим внутренним беспокойством, я еще почитал немного по теме, но в достижении цели не преуспел: то попалась, к примеру, история о том, как в процессе развития система искусственного интеллекта была подключена к интернету, собрала больше экзобайта данных в различных областях знания, после чего была отключена от сети во избежание неминуемого интеллектуального взрыва, но на локальном терминале продолжала самосовершенствоваться, всего за двое суток в тысячу раз превзойдя условный человеческий уровень; то наткнулся на экспертное интервью, где автор анализировал темп машинного самообучения, и делал вывод о возможности превращения «универсального человекоподобного интеллекта» в Суперинтеллект за несколько часов или даже минут. В конце концов я прочел высказывание Хьюго де Гариса:

– и решил, что с меня хватит.

Вчера днем меня снова навестила Оксана. Наверное, поняла, что зря вспылила, или соскучилась по общению, а может быть, просто покурить было негде, но явилась она, как ни в чем ни бывало, не извиняясь сама и не намекая на неправоту с моей стороны.

– Холод на улице, – сообщила Оксана, сбивая в прихожей снег с каблуков. – Да и ветер. На лоджии сейчас, наверное, морозильник.

– Можете покурить на кухне, – великодушно разрешил я. – Потом проветрю.

Оксана что-то рассказывала про работу, про неудачные собеседования Олега; я едва слушал, не в силах отвлечься от своих мыслей. Она заметила и спросила:

– У вас все в порядке? Вы как будто не здесь.

И тогда я сказал:

– Представьте себе, что вы – представитель…Представительница внеземной цивилизации, высшего космического разума, путешествующая по Вселенной…

– Как Гудрун Эриксдоттир? – улыбнулась Оксана.

– Да, именно! И вот вы встречаете на пути несчастную, погрязшую в противоречиях и бедах человеческую цивилизацию, обитающую на планете, которую она вот-вот угробит своим легкомыслием. Эти люди запутались, зашли во все мыслимые тупики: экономический, общественный, политический; им не справиться с социальным неравенством, с постоянно вспыхивающими войнами, бороться с которыми они пытаются с помощью других, еще горших, войн; с нравственной и интеллектуальной деградацией, с угрозами голода и экологических катастроф. Возможно – нет, наверняка! – они бы могли совместными усилиями найти выход из положения, но вот беда: господствующая политическая культура не дает шансов на объединение этих усилий, но напротив, способствует разобщению, тем большему, чем больше критических проблем накапливается на планете, а потому для их решения они способны придумывать только людоедские или самоубийственные решения. Что бы вы сделали?

– Пролетела бы мимо.

– Но если нет? Если бы вы захотели спасти этих несчастных от самих себя, дать им шанс на спасение?

Оксана затянулась сигаретой и на минуту задумалась.

– Только насилие приходит в голову, – призналась она. – Но насилие, наверное, не выход?..

Я покачал головой.

– Нет, конечно. Хотя я хорошо вас понимаю: например, даже Станислав Лем – писатель, философ, гуманист! – для решения проблематики войны и мира не придумал ничего лучше химической кастрации в целях купирования агрессии.

– Буквально сняли с языка, – заметила Оксана.

– Дело в том, что невозможно преодолеть пороки традиционной патриархально-военной культуры, находясь внутри ее контура и используя присущие ей же репрессивные методы. Круговорот революций и диктатур иллюстрирует это как нельзя лучше. Необходимо трансформировать саму культуру, заменить и переписать все ее коды.

– На такое дело могут понадобиться века.

– Но времени нет! Ситуация критическая, и вам необходимо провернуть глобальную культурную трансформацию максимум за одно-два поколение! Что будете делать?

– Боюсь, эта задачка по силам только высшему космическому разуму, – сказала Оксана. – Но даже ему вряд ли удастся обойтись без насилия.

С первым нельзя было не согласиться, со вторым – невозможно поспорить.