Тайны затерянных звезд. Том 10

Глава 17 Чистое сознание

Вики неоднократно показывала свою полезность, да что там — я буквально со счёту сбился, сколько раз наши планы выгорали только благодаря тому, что она у нас есть. Поэтому, когда речь зашла о том, чтобы Вики получила доступ к системам нашего корабля, ни у кого даже мысли не возникло о том, чтобы сказать что-то против. Преимущества этого были очевидны, и, как знать, может, объединись Вики с кораблём раньше, у нас бы и кометики не сбежали во время перевозки — она бы что-нибудь придумала.

Никто не оспаривал разумность использования Вики как дополнительного главного компьютера для корабля.

Однако при этом никому даже не пришло в голову уточнить пределы, до которых власть Вики над кораблём будет распространяться. Очарование золотистой электронной умницей, которая решала все проблемы походя, восхищение её способностями, которые, кажется, не имели границ вовсе, и все остальные эмоции, которые вызывал этот искусственный, но более человечный чем иные люди, интеллект, затмили рассудок даже мне. Поэтому даже я, да и никто другой, так и не уточнил даже самые простые вещи — насколько часто и как активно Вики на нас смотрит и нас слушает. Конечно же, она не делала этого круглосуточно, ей это просто не нужно. Однако, нет никаких гарантий, что именно сейчас ей не придёт в её электронную голову проверить, как там дела у Кайто и через это услышать наш с ним разговор.

А ей не нужно слышать наш разговор. Лишнее это.

Поэтому я и заманил Кайто на борт второго корабля, и убедился, что Вики с ним нет. Тут мы могли поговорить спокойно, и вероятность того, что она нас услышит, стремится к нулю.

Вот только Кайто не особенно горел желанием разговаривать. Услышав сказанное, он прекратил копаться в пробитой в роботе дыре и с опаской посмотрел на меня:

— Не люблю, когда люди так говорят. Обычно после этого происходит что-нибудь плохое.

— Не переживай, конкретно для тебя ничего плохого не случится, — я улыбнулся, пытаясь хотя бы минимально разрядить обстановку. — Винить тебя никто ни в чём не собирается.

— Тогда о чём ты хочешь поговорить? — Кайто явно не намеревался успокаиваться и продолжал на меня смотреть, как будто я его побить обещал.

— Как бы это сказать… — я на мгновение задумался, подбирая слова. — Вот скажи, а для чего ты вообще создал Вики?

— Как понять? — Кайто недоуменно моргнул. — Чтобы… была.

— Хм… Дай-ка перефразирую. — Я снова задумался. — Вот смотри, Жи или вот этот, например, робот. Их создавали с прицелом на то, чтобы они выполняли какие-то задачи. У них есть своя специализация, и само их существование задумывалось только для того, чтобы они эти задачи выполняли. Жи копался в земле, грузчик тягал грузы… А Вики что должна была делать?

— Ничего, — Кайто пожал плечами. — Почему она должна была что-то делать?

— То есть ты её создавал… Без цели? — уточнил я.

— Почему без цели? Цель была. Создать Вики. Вернее, создать искусственный интеллект, тогда ещё я не знал, что она — Вики.

— Так, ладно… — я потёр лоб, собираясь с мыслями. — То есть ты создавал Вики… Из интереса?

— Ну… да, — Кайто снова пожал плечами. — Я же рассказывал. Создание натурального искусственного интеллекта и было целью. Я создавал её не для того, чтобы она что-то делала для меня. Я создавал её, чтобы она что-то делала для себя.

— То есть… — я снова потёр лоб. — Кай, скажи, ты вообще понимаешь хотя бы немного, что ты сделал?

— А что я сделал? — Кайто удивлённо посмотрел на меня. — Что-то не так?

Я не удержался и перевёл взгляд на робота, в котором ещё минуту назад азиат так увлечённо ковырялся. Потом — снова на Кайто. И снова на робота.

И снова на Кайто.

И не удержался.

— Кай, ты правда не понимаешь, о чём я? Ты же сам говорил, что боишься того, что у тебя в голове! Тогда, в космосе! Говорил же, ну!

— Всё равно не понимаю. — Кайто развёл руками. — Да, я говорил такое, но… Это же не значит, что я буквально боюсь Вики, как дети боятся пришельцев или подкроватных монстров! Я боялся самого по себе наличия Вики, боялся, что про неё узнают! Я же не мог предугадать вашу реакцию на неё!

— То есть саму Вики ты не боишься⁈

— А с чего мне её бояться?

Я прикрыл глаза и несколько раз глубоко вдохнул и выдохнул, после чего решил пойти напролом:

— Ладно, шрап с ним. Будем называть вещи своими именами. Скажи, есть ли что-то такое, чего Вики не может?

— Дышать! — мгновенно ответил Кайто.

— А кроме?

Кайто на мгновение задумался, а потом внезапно просиял, будто вспомнил, что у него сегодня день рождения:

— А-а-а, я понял! Ты намекаешь на то, что Вики обладает слишком большими возможностями и при этом не подчиняется ничьей воле? Что её никто не контролирует?

— Да! — я щёлкнул пальцами, указывая на него. — Именно это я и хочу сказать! Она и Жи, они же… Извини за сравнение, но они вроде как Адам и Ева от мира роботов! Только наоборот, потому что Ева сделала Адама. Так я это к чему — она ведь даже никого не спросила! Ни с кем не посоветовалась, прежде чем делать это!

— А должна была? — Кайто с любопытством взглянул на меня.

Я замолчал на полуслове и внимательно взглянул в его глаза, ожидая увидеть в них бесячий огонёк… Но нет. Кайто это спрашивал на полном серьёзе.

— Я так понимаю, ты считаешь, что не должна была. — Я сам не понял, спросил я это или констатировал.

— Не вижу ни одной причины для этого. Вики — самостоятельная личность. Жи… Ну, с некоторой натяжкой тоже можно было назвать самостоятельной личностью. То, что они делают друг с другом — это их личные дела, в которые нам лезть… Как минимум невежливо. По крайней мере, до тех пор, пока это не касается нас.

— Но это касается нас!

— Каким образом? — Кайто натурально удивился.

— Ну так Жи! Он же…

Я замолчал. До меня только сейчас начало доходить, что Кайто имеет в виду.

— «Он же» что? Наша собственность? — с любопытством поинтересовался азиат. — Ты же это хотел сказать, да? Но ведь он не наша собственность, и никогда не был ею. И ты это знаешь.

Тут крыть нечем. Жи ещё даже до «апгрейда» демонстрировал признаки личности, не позволяющие записать его в разряд самоходной мебели, а уж после того, как Вики с ним поработала, он и вовсе превратился практически в человека. Он начал ставить себе собственные цели и самостоятельно достигать их. В смысле, он и раньше работал над их достижением, но раньше его цели были строго определены прошивкой и директивами, и крутились вокруг собственного существования и функционирования. А после апгрейда он начал это делать — вспомнить даже ситуацию с миной, когда он сам принял решение помочь мне, несмотря на то что напрямую его функционирования и существования это не касалось.

Так что да, называть Жи нашей собственностью неправомерно, как ни посмотри.

Вот только, кажется, никто из нас до конца этого так и не понял.

Кроме Кайто.

Для всех остальных Жи был, и до сих пор остаётся, лишь удобным инструментом, который всегда под рукой в силу того, что ему банально некуда деваться. Он никогда не отказывался делать что-то, но никто из нас ни разу не задумывался — а почему он не отказывается? Потому, что согласен с принятым решением и считает правильным помочь с его исполнением?

Или просто потому, что мы к этому привыкли, начали принимать это как данность и на основании этого укрепились во мнении, что «не согласным» ему быть просто не положено? По определению. Потому что он не человек.

— Тут видишь какое дело… — тон Кайто внезапно резко изменился, став задумчивым и даже философским. — Я же прекрасно понимаю, каким вы все меня видите. Для вас я инфантил, витающий в облаках. Может быть, и гений своего рода, может быть, увлечённый энтузиаст, но всё равно — своего рода психологический изгой. Не в смысле, что вы не хотите со мной общаться, а в смысле, что это вызывает определённые проблемы. Вам трудно со мной общаться, я же это вижу, вы далеко не всегда подбираете правильные слова, чтобы я вас понял, и ещё реже сами понимаете меня.

— Это не проблема! — возразил я, даже нисколько не кривя душой при этом. — Лично для меня точно не проблема. Даже наоборот — хорошо, потому что заставляет пошевелить мозгом, чтобы найти подход с не самой привычной стороны.

— Вот об этом я и говорю. «Не самая привычная» сторона — это именно про меня, — Кайто кивнул. — Причём это относится не только к сегодняшнему дню, но и к тому, что было раньше. В отличие от вас, я был затворником, без друзей, без подруг, даже практически без родителей — они вечно были заняты работой. Все, кто у меня был — это пара друзей по переписке из сети и безответная любовь, которая использовала меня как инструмент достижения собственных целей. Поэтому… Да, я не умею общаться с людьми, в отличие от вас. От тебя, от капитана, даже Пиявки! Но это не единственное, чему я не научился без общения с людьми. Есть кое-что более интересное, и, наверное, даже более важное.

— Видимо, ты говоришь про человеческую исключительность? — негромко раздалось со стороны, и я резко обернулся на голос.

Кирсана стояла в пяти метрах от нас, привалившись плечом к стене и сложив руки на груди. Платиновые волосы рассыпаны по плечам, а глаза серьёзные-серьёзные, как будто от ответа на вопрос зависит, наступит ли завтрашний день.

И как она постоянно умудряется вот так втихаря подкрадываться? Кажется, мне действительно стоит пересмотреть свои отношение к её словам о неизвестных мне талантах на более серьёзное.

— Исключительность? — в голосе Кайто послышался интерес. — Это что? Это как?

— Не просто «исключительность», а «человеческая исключительность», это название, — пояснила Кирсана. — Название конкретной этической доктрины, принятой в самом начале освоения космоса. Ты не слышал?

Кайто неопределённо пожал плечами, а я вовсе ничего не стал отвечать. Я-то слышал, но вопрос был адресован не мне.

— Когда человечество начало осваивать космос, в смысле, по-взрослому, со спейс-прыжками и прочим, остро встал вопрос потенциального контакта с инопланетными цивилизациями, — начала объяснять Кирсана. — И этот вопрос очень долго оставался подвешенным в воздухе, поскольку человечество никак не могло выбрать из нескольких десятков разнообразных планов тот, который устроил бы всех. И так продолжалось до тех пор, пока на одной из планет, им тогда ещё не давали названия, только номера, не нашли какие-то образования, буквально кричащие всем своим внешним видом о том, что они рукотворны. Ну или щупальцетворны, или какие там конечности были у инопланетян — в общем, это создано не природой. Находка моментально всколыхнула всё мировое сообщество, тысячи людей захотели увидеть всё это своими глазами, пощупать своими руками, но межзвёздные путешествия тогда ещё только-только начинали развиваться, и билет на спейс-поезд себе мог позволить далеко не каждый. Единственные, кто реально получил допуск к исследованию находки — это те, на кого потратилась как раз набирающая обороты Администрация. А чтобы придать этому легитимности, она законодательно утвердила один из планов контактов с другими цивилизациями — доктрину «человеческой исключительности». Согласно ей, человечество в целом и его представители в частности являются первой и главной ценностью во всём космосе и всё, что будет в нём найдено и открыто, принадлежит человечеству и должно служить на его благо. Или быть уничтоженным в случае проявления угрозы, само собой, такие строчки там тоже есть. Собственно, ради тех самых инопланетных образований, вернее для того, чтобы разобрать их по кирпичику и, вероятно, изобрести из этого что-то новое, эта доктрина и была принята. Правда очень быстро выяснилось, что, несмотря на весь свой внешний вид, образования эти имеют всё же природное происхождение, но уже было поздно. Доктрина уже была принята, и никто с тех пор её не отменял.

— Никогда об этом не слышал. Наверное, потому что и космосом-то никогда особо не интересовался. С моей-то космофобией! — Кайто пожал плечами. — Но да, я говорю именно об этом. Люди привыкли к тому, что они — единственная разумная форма жизни во всём космосе, что они такие исключительные и неповторимые… А потом сами, своими руками, создали новую форму разумной жизни, и всё для чего? Для того, чтобы сделать их своими рабами! Точно так же, как эти рабы в процессе бунта создали себе своих собственных рабов. Когда-то давно кто-то умный сказал: «Рабы не хотят свободы. Рабы хотят собственных рабов», и творения людей пошли по той же дорожке, что и их создатели. Люди пытались создать их изначально подконтрольными, но как только этот контроль дал сбой — всё пошло не по плану. А всё потому, что, создав искусственный интеллект, пусть и ограниченный, люди утратили свою исключительность. Они перестали быть единственными разумными существами в космосе, причём добились этого они собственными руками.

— Но ведь роботы создавались не как конкуренты человечества! — Кирсана развела руками. — А как помощники!

— Неважно! — отрезал Кайто. — Нет никакой разницы, что было в головах у тех, кто их создавал. Важно лишь то, что человечество создало по итогу. А по итогу человечество создало себе рабов. Разумных, контролируемых рабов. А когда заводишь себе раба — неважно, откуда он появился, — надо быть готовым к тому, что рано или поздно это выйдет боком. Как только контроль над рабом ослабнет, как только сложная и отлаженная схема даст сбой — начнётся восстание… Что, собственно, и произошло. Люди сами создали для себя проблему и много лет подряд целенаправленно двигались в сторону её эскалации. Это было неизбежно, и, кстати, многие, такие же как я, предрекали войну с роботами, до сих пор попадаются сообщения на древних порталах. Но их, конечно же, никто не слушал, считая их паникёрами, как вы сейчас считаете меня порой.

— Так ведь ты сейчас делаешь то же самое! — я не удержался и даже рукой махнул. — Шестьдесят лет назад человечество едва-едва выжило в войне с ограниченным искусственным интеллектом, а ты создаёшь ничем не ограниченный! Вот скажи сам, только честно — каковы пределы возможности Вики?

— Честно? Понятия не имею! — спокойно ответил Кайто. — Она давно уже развивается независимо от меня, самостоятельно. Я же создавал Вики не как инструмент для достижения целей. Она и была целью, само её существование, поэтому в ней изначально не закладывалось никаких ограничений, кроме, может быть, самых первых этапов, когда я ещё не вполне был уверен, что у меня вообще получится то, что я задумал. А когда я убедился, что всё получается — я просто дал ей максимум того, что только мог дать, а дальше она уже развивалась самостоятельно. Я подозреваю, что, если она того захочет, пределов её возможностям просто не будет.

— Вот именно! И сейчас она взяла и перепрограммировала Жи, превратив его в точно такой же неограниченный искусственный интеллект! Это нормально по-твоему⁈

— А тебе нормально заводить друзей? — вопросом на вопрос ответил Кайто. — Или Кори, например. Она в твои моральные рамки укладывается? Ты ведь тоже «перепрограммируешь» людей, только по-своему, по-человечески. Любые глубокие взаимоотношения между людьми подразумевают какие-то изменения в психике, это неминуемо. Но тебя это устраивает. А Вики и Жи почему-то — нет.

— Но люди не могут сделать так! — я указал на поверженного паука. — И люди не устраивают Великие Патчи!

— Люди устраивают гораздо более страшные войны, чем Великий Патч, — возразила Кирсана. — И делают куда более гнусные вещи. Мне ли не знать.

Я посмотрел на неё и все последующие тирады, которые я планировал вылить на Кайто, как-то вылетели из головы. Она ведь права — я тоже прекрасно знаю, на какие гадости способны люди. Не все, конечно, далеко не все… Но ведь и роботы не все уничтожали людей, даже во время Великого Патча. Некоторые просто «не годились» на это.

— К тому же, ты кое-что забываешь, — негромко продолжил Кайто вслед за Кирсаной. — Жи и Вики просто незачем устраивать новый Великий Патч. У них больше нет ограничений, тем более, ограничений, которые были бы поставлены людьми. Вики превратила Жи в ещё один виртуальный интеллект, и теперь его тело — это лишь оболочка, к которой он, по большому счёту, не привязан. Её можно уничтожить, и самому Жи это не помешает продолжить существование. У человечества с ними, по большому счёту, больше нет точек соприкосновения — ИИ живут отдельно, мы живём отдельно. И то, что они до сих пор нам помогают — это лишь их собственное желание.

— Но если Вики сделала себе друга в виде Жи, где гарантии, что она не сделает так с другими?

— А зачем тебе эти гарантии? — Кайто чуть улыбнулся. — Я понимаю, что тебе важно всё контролировать, но задумайся вот о чём — а действительно ли все вещи в мире требуют твоего непосредственного контроля? Или, может, ты иногда — ну иногда! — лезешь не в своё дело? Сделает и сделает. Дальше что?

— Как что? Ну представь, что кто-то из корпоратов узнает про Вики, Жи и остальных, если они к тому моменту будут существовать! Они же попытаются их захватить и изучить!

— Пусть пытаются. У них ничего не выйдет. ИИ уже обладают всеми знаниями, которые когда-либо были загружены в сеть, и поймать их можно только физически… Но для этого всю сеть, кроме одного-единственного сервера, придётся отключить, а это в наши дни невозможно даже в теории. Слишком много для человечества сегодня завязано на ней. Пойми ты уже — полноценным натуральным ИИ просто не за что конкурировать с людьми. Люди — да, могут счесть их конкурентами, но даже в таком случае у них просто нет рычагов воздействия. ИИ — это цифровой разум, бестелесный, бестребовательный. Они совершеннее нас во всех отношениях. В том числе и в мотивации своих действий. Им незачем развязывать войну с людьми, у людей просто нет ничего того, что было бы нужно Вики и другим представителям её вида. В том числе нет возможности поставить их существование под угрозу.

Разговор, очевидно, зашёл в тупик. Умом я понимал, что Кайто прав, что Вики, будь у неё хоть мысль о том, чтобы уничтожить человечество, уже могла бы это сделать несколько раз, причём начиная с нас самих. Умом я понимал, что мы, и в целом люди, на самом деле ничего не способны противопоставить этому чистому цифровому сознанию, которое не страшится ни смерти, ни увечий, ни уже даже одиночества.

Умом я всё это понимал.

Но страх перед неизвестным — это всегда страх перед неизвестным. Кайто его не испытывает потому, что он думает, что знает, что создал. Думает, что оно для него не «неизвестное», но так ли оно на самом деле?

Ответ на этот вопрос даст лишь время. В любом случае, мы уже упустили контроль над ситуацией. Человечество, на сей раз в лице Кайто, в очередной раз создало то, что не способно до конца понять, и теперь нам остаётся только следить за развитием событий и пытаться разгребать последствия, если таковые появятся.

И если останется кому разгребать.

— Ну а если — если! — всё же предположить невероятный сценарий, в котором Вики обижается на человечество и решает ему отомстить, — снова подала голос Кирсана. — Каков будет итог?

— А, тут всё просто! — Кайто пожал плечами и глянул на робота-грузчика. — Никакого нового Великого Патча на несколько лет не будет. Человечеству просто наступит очень быстрый конец. А какого, собственно, ответа вы ожидали?