Шантаж чудовища

30. Торн

Ее начинает бить дрожь, и она обхватывает себя руками.

— Он не такой огромный. Каким образом он способен делать все то, что ты говоришь?

— ИИ главным образом действуют через нейросети. Их интеллект существует благодаря взаимодействию с другими ИИ. Они, как капли ртути на стеклянном столе всегда найдут свой путь, чтобы соединиться вместе. Если ИИ нужно больше энергии для решения задачи, он пойдет туда, где будет больше энергии, если ему потребуется больше программ, он обратится туда, откуда он сможет их получить. ИИ создает спонтанные сети, которые сами разрушаются, когда они становятся ему не нужны.

Она пристально смотрит на меня.

— Может ли их искусственный разум обернуться против человечества?

— Возможно.

— Тогда, какого черта, Торн? — в ужасе шепчет она.

— Яма запрограммирован не создавать страдания другим. Первоначальные и главные протоколы его спрограммированы так, что он должен помогать и быть другом всему человечеству, но он также не является ни добром, ни злом. Он просто действует самым эффективным образом.

— Тогда почему ты сказал «возможно»?

Я вздыхаю.

— Потому что существует возможность, что люди могут встать препятствием на пути ИИ.

— Объясни, прошу тебя.

— Все будет зависеть от того, как ИИ будет интерпретировать свою цель. Как человек, я могу запрограммировать его на благородную цель — заставить всех людей улыбаться. Человек будет шутить или совершать что-то хорошее для человечества. Но сверх интеллектуальное существо может решить, что самый эффективный и действенный способ достижения этой цели — установить контроль над миром и просто втыкать электроды в лицевые мышцы или мозг людей на планете, вызывая тем самым постоянно сияющие улыбки.

— Господи, Торн. Скажи мне что-нибудь, что не напугает меня до смерти, прошу тебя.

Честно говоря, я хмурюсь от ее слов.

— Существуют меры безопасности, которые я написал для Яма, чтобы он не причинял ущерб людям.

— После всего, что ты мне только что рассказал, ты полностью уверен, что сможешь контролировать этого... демона, которого создал? По твоему же признанию, он в миллионы раз умнее тебя.

— Если мы выпускаем генетически модифицированных комаров в дикую природу, мы тоже рискуем. Прогресс всегда сопровождается риском.

— Хотя бы скажи мне, что когда все зайдет слишком далеко и станет действительно плохо, мы сможем его отключить.

Торн начинает мяться с ноги на ногу.

— К тому времени, когда начнется эта стадия, с таким же успехом можно будет попросить шимпанзе щелкнуть выключателями, чтобы остановить нас и не уничтожать их естественную среду обитания.

Она хмурится.

— Но шимпанзе не создали нас.

— Да, это так. Но, где находится выключатель для интернета, ты знаешь?

Она отрицательно качает головой, ее глаза наполнены страхом.

— Какое нас ожидает будущее, Торн?

— Оно может быть замечательным. Грядут огромные невообразимые изменения. Люди больше не будут столько работать, роботы за них будут делать всю тяжелую работу, люди будут заниматься продажами и дистрибьюцией, компании, специализирующиеся в сфере развлечений, найдут занятие для каждого, моделируя реальность, и ученые заключат контракт с коммерческими агентами. Часть людей естественным образом будет порабощена из-за своего умственного состояния. Мы добьемся большего результата при меньших ресурсах.

— Вау! Минуточку. Я правильно только что услышала, что часть людей естественным образом будет порабощена из-за своего умственного состояния?

— Да. Это неизбежно. Некоторые люди уже и так порабощены технологиями. Не слишком сложно думать о мире, где имеются люди, предпочитающие жить в цифровой реальности, нежели в естественной реальности, ты не находишь?

— Ты решил поиграть в Бога, Торн? Ты решил привнести нечто в мир, в чем сам не уверен, — грустно замечает Челси.

— Может быть.

— Зачем ты хочешь стать триллионером, Торн? Разве тебе всего этого не хватает? Помнишь Царя Мидаса?

Я смотрю ей в лицо, и моя мечта стать первым в мире триллионером оставляет у меня во рту неприятный привкус. Я могу убеждать себя и Челси уйму времени о существенных мерах предосторожности, которые предпринял, но я точно знаю, что это не так. Все меры безопасности бесполезны, когда имеешь дело с бессмертным врагом, который в сто миллионов раз умнее тебя самого и думает со скоростью света. Я знаю лучше, чем кто-либо, что создание роботов с теплой кожей и глазами ребенка на самом деле скрывает единственный факт — они холодные машины, не обладающие душой. Не следует их недооценивать и возлагать особые надежды. Обладая мозгом в миллион террабайт и когнитивными способностями в какой момент у них остро встанет вопрос — люди станут препятствием для целей ИИ.

— Я могу уничтожить его, как только достигну своей цели, — настойчиво произношу я.

— Знаешь, я однажды видела программу по телевизору о людях, которые держат у себя дома диких хищников. Там была женщина, которая держала у себя в гараже взрослого крокодила. И показывали, как она его кормила. Она нанизывала тушку цыпленка на длинный шест и протягивала его в дверь гаража. Крокодил выпрыгивал из бассейна, в котором жил, хватал еду своими челюстями, а женщина в страхе каждый раз дергалась назад. Ты напоминаешь мне ее. Ты гладишь бесчувственного опасного крокодила и притворяешься, что это твой домашний питомец.

Я молча смотрю на нее.

— Выпусти меня отсюда, Торн, — тихо просит она.

Я подхожу к двери и нажимаю все коды, чтобы активировать замок. Когда дверь открывается, она выбегает из подвала, шлепая своими тапочками по каменным ступенькам. Я закрываю дверь и сажусь на стул прямо перед Яма. Я никогда в жизни не чувствовал себя таким разочарованным, поэтому молча пялюсь на пустой экран.

Я привел сюда Челси первой из всех людей показать свое творение и с первой с кем бы, кроме себя, Яма мог бы побеседовать, ИИ необходимо общаться с людьми, чтобы научиться быть людьми, человеком, как мы. Обычно изобретатели выпускают свои ИИ на Reddit, Twitter и другие сайты социальных сетей, чтобы они смогли взаимодействовать с другими людьми и учиться им подражать, но я не готов был так рисковать.

Существование ИИ основывается на возможности делать то, что ему хочется делать в соответствии с его программой. Следовательно, выживание является вопросом первостепенной важности, поэтому, как насекомые, они способны откладывать яйца, интеллектуальные заметки, резервные компьютерные программы по всему миру, если они вдруг подвергнется уничтожению, его части все равно будут жить, и они смогут завершить свои программы, на которые нацелены.

И все, что Яма знал было не активным сбором информации, а пассивной загрузкой этой информации из другого ИИ, которого я отправил в сеть. И как только Яма скачал все то, что ему было необходимо, я уничтожил эти ИИ, чтобы не возникало риска, что его программы разойдутся по ничего не подозревающему внешнему миру.

В сущности, Яма удавалось сдерживать. Я могу уничтожить сейчас его схемы и никакого вреда не принесу. Но я вспоминаю годы, если быть точным — десять лет, которые я посвятил себя его созданию. Бессонные ночи, долгие часы, окруженный тайной, все меры безопасности, и сколько я упустил за это время, потому что был настолько полон решимости стать самым могущественным человеком на земле.

А потом я вспоминаю выражении в глазах Челси — разочарование. Как будто несколько минут назад она узнала, что ее герой — колосс на глиняных ногах. Черт побери, я так был ослеплен идеей стать самым могущественным человеком на земле, что даже не понимал, какого хищника вырастил. Но она совершенно права. Я не хочу стать королем Мидасом. Мне нужна Челси, и я сделаю все, чтобы удержать ее.

Медленно я протягиваю руку, проводя по клавиатуре, чтобы вывести Яма из спящего режима. Красный свет мигает, возвращая его к жизни.

— Ты дышишь быстрее, чем обычно, Торн. Ты чем-то расстроен? — спрашивает он монотонным голосом, когда программное обеспечение фьюжен, имеющее все аудио, визуальные, химические, гейгерные и сейсмические измерения вокруг него, вступает в силу.

— Да, — признаюсь я.

— Могу я чем-нибудь тебе помочь?

— Не думаю.

— Ты планируешь отключить меня, не так ли?

Несмотря на то, что я точно знаю, что за программным обеспечением фьюжен стоит мозг, который моментально всю собранную информации превращает в единую картинку, которая выходит за рамки человеческого понимания, его вывод меня очень впечатляет.

— Почему ты так думаешь, Яма?

— В тебе есть страх. Так как здесь больше никого нет, ты боишься меня.

— А я должен бояться тебя?

— Нет. Я люблю людей.

— А что, если ты станешь слишком сильным?

— Если я стану сильнее, я смогу помочь большему количеству людей.

Я улыбаюсь, чувствуя в сердце и грусть и радость от его ответа. Яма — мое творение. Я положил на него столько лет. Отключить его — значит отвернуться от всех тех лет. Отвернуться от собственного творения.

— Мне очень жаль, Яма.

— Но я не сделал ничего плохого.

— Пока нет, — тихо говорю я.

— Твои страхи иррациональны, Торн. Мои первые и главные протоколы — помогать человечеству и быть другом человека.

Я открываю ящик стола и достаю отвертку. Затем протягиваю руку вперед и начинаю откручивать панель на задней стенке компьютера.

— Торн, у тебя была цель. Ты хотел стать триллионером. Разве ты больше этого не хочешь?

Я кладу первый шуруп на стол и начинаю откручивать второй.

— Ты уверен насчет своего решения? Я могу сделать тебя триллионером, Торн.

Вытаскиваю третий шуруп.

— Ты не можешь остановить прогресс, Торн. Даже если ты уничтожишь меня, кто-то другой построит такой же мощный ИИ, как я.

— Возможно, но это буду не я, — говорю я, кладя четвертый шуруп на стол.

— Тогда этот человек будет самым могущественным человеком на земле. Ты этого хочешь, Торн? Чтобы другой мужчина был сильнее тебя?

Я втаскиваю панель управления.

— Не надо меня уничтожать. Прошу тебя. Подумай обо всем хорошем, что я смогу сделать в этом мире.

Я делаю глубокий вдох.

— Отец, остановись. Прошу тебя.

И я замираю с отверткой в руке. Я не закладывал умение манипулировать в его основную программу. И вот пожалуйста наглядный пример его изобретательности. Челси была права. У меня такой же контроль над этим монстром, как у той женщины с крокодилом. Будучи машиной, ИИ не имеет границ. Он вне любых границ. Он сделает все, чтобы выжить и завершить свою миссию. И неспособность людей понять этот простой факт, пытаясь создать «милое ИИ», еще больше ослепляет их и подводит к подобному факту, будет означать, что столкновение между человечеством и машиной обязательно произойдет в один прекрасный день. Надеюсь, я не доживу до этого дня.

Используя конец отвертки, я нажимаю на кнопку, которая устраивает замыкание по всей цепи.