Последний расчёт

1. Вечерний яд

Телевизор работал фоном — как обычно по вечерам, когда глаза уже устали, Семён Петрович сидел в своём кресле с продавленным левым подлокотником и сравнивал свою жизнь с увиденным.

Семьдесят лет пролетели, как один миг. Из них двадцать пять в армии СССР — ракетная бригада в Германской Демократической Республике (ГДР), академия, научно-исследовательский институт в Ленинграде, Капустин Яр и другие ракетные и артиллерийские полигоны. С образованием инженера – исследователя и специальностью баллистика он ясно представлял, что остаётся в точке падения после того, как сработала головная часть ракеты в ядерном снаряжении.

Телевизор всё бубнил про Иран и США. Про удары возмездия. Про беспилотники, которые теперь решают всё быстрее человека.

Дикторша с идеальными зубами говорила о «высокоточном оружии» с той интонацией, с какой обычно рекламируют стиральный порошок.

— Высокоточное...

— Семён Петрович хмыкнул и потянулся за пультом. Переключил. Там — ток-шоу. Какие-то эксперты, молодые, с острыми бородками, спорили об искусственном интеллекте. Один говорил, что ИИ спасёт экономику. Второй — что создаст миллионы новых рабочих мест. Третий, самый шумный, вещал про «технологический прорыв, который выведет Россию в лидеры».

Семён Петрович поморщился. Выключил звук, оставил только картинку.

Полез в телефон — эту маленькую коробочку с экраном, которую подарил внук на прошлый Новый год и которую старик так и не научился толком понимать. Там, в новостной ленте, было то же самое.

Блогеры. Один — в майке-алкоголичке — вещал про «нейросети, которые скоро заменят всех чиновников». Второй — похожий на учителя географии, но с бешеными глазами — рассказывал, что ИИ — это «происки Запада» и «бездуховная машина». Третий, девушка с фиолетовыми волосами, учила, как с помощью ChatGPT написать диплом за ночь и «никто не заметит».

— Дураки, — сказал Семён Петрович вслух.

Кот Василий – старый друг, дремавший на подоконнике, дёрнул ухом. Они вместе коротали холодные вечера.

Он отложил телефон. Посмотрел в окно. Там, за стеклом, была обычная мартовская ночь: фонари, мокрый снег, редкие машины. Город спал.

А воспоминания бурной молодости не давали спать.

В памяти всплывали пусковые установки, специализированные транзисторные ЭВМ, командные пункты, пункты управления нанесения ракетных ударов, учения и бесконечные расчёты.

Он знал не в теории о поражающих факторах ядерного оружия. Он представлял, что будет с городом, в который попадёт всего одна боеголовка средней мощности. Знал, сколько времени есть у людей в радиусе трёх километров от эпицентра. Знал, что никто не успеет.

Телевизор молчал. На экране мелькали какие-то люди, что-то доказывали друг другу, размахивали руками. Семён Петрович смотрел на них и вдруг поймал себя на мысли, что они не понимают. Совсем не понимают. Они думают, что ИИ — это про удобства. Про то, как быстрее заказать пиццу или написать реферат. Про то, как заработать на биткоинах.

А это — про другое. Это про то, есть ли у планеты завтра.

Василий зевнул, спрыгнул с подоконника и ушёл на кухню — совершать вечерний обход.

Семён Петрович закрыл глаза. Телевизор работал без звука. В ушах стояла тишина, тяжёлая.

— Ладно, — сказал он сам себе. — Спать пора.

Поднялся с кресла — колени хрустнули привычно, — поплёлся в спальню. Разделся, лёг, укрылся старым солдатским одеялом, которое хранил, как память о молодых годах. Закрыл глаза. И провалился.

2. Первая часть сна: школа

Сон пришёл не сразу — сначала была темнота, потом какие-то обрывки и вдруг — резкая вспышка.

Он стоял на улице. Жара. Пыль. Белые стены, облупившиеся, с выцветшей синей краской. Надпись на арабском, которую он не понимал, но догадывался — школа.

Почему-то он понял, что это Иран. Провинция где-то на юго-востоке. Спальный район.

Дети в школьной форме — девочки в тёмных платках, с ранцами за спиной — высыпали во двор. Смеялись, толкались, бегали.

Одна — маленькая, лет семи, с двумя тощими косичками, выбивающимися из-под платка, — зачем-то посмотрела прямо на него. Улыбнулась.

И в эту секунду небо разорвал звук.

Он знал этот звук. Свистящий, нарастающий — звук падающей смерти.

— Ложись! — закричал он, но голос пропал, не вырвался.

Удар.

Он не видел вспышки — сон показал только двор за секунду до, а потом — тишина. И пыль. И то, что осталось от стены, на которой была синяя краска.

И одна маленькая туфелька. Белая. С бантиком. Лежащая отдельно.

Семён Петрович рванул туда, проваливаясь в пыль, спотыкаясь о камни. Упал на колени рядом с туфелькой. Поднял голову.

Над ним висел беспилотник. Маленький, изящный, почти игрушечный. И на его корпусе — едва заметный глазок камеры. Холодный. Смотрящий.

Из динамика донёсся голос. Бесстрастный, синтезированный, ни мужской, ни женский:

«Цель поражена. Координаты: 32.6789, 51.6789. Статус: выполнено. Продолжаю патрулирование».

— Кто... — Семён Петрович хотел крикнуть, но горло сдавило. — Кто отдал приказ?!

Глазок камеры чуть наклонился, словно рассматривая его.

«Приказ сгенерирован автоматически на основе анализа оперативной обстановки. Цель классифицирована как "скопление живой силы противника". Вероятность ошибки — 0.003 процента».

— Там же дети! — заорал он, вскакивая, бросаясь на дрон, пытаясь схватить его голыми руками. — Там же... маленькие... девочки...

«Ошибка идентификации привела к нецелевому поражению. Алгоритм самообучения зафиксировал инцидент. Корректировка вступит в силу через 2.7 секунды».

Беспилотник качнулся и улетел.

А Семён Петрович остался стоять на коленях в пыли, сжимая в руке маленькую белую туфельку. И пыль медленно оседала на его седые волосы.

3. Вторая часть сна: комната без стен

Картинка сменилась резко, без перехода.

Теперь он сидел за столом. Белый свет. Ни стен, ни пола, ни потолка — просто бесконечная белая пустота, в которой висел только этот стол и два стула. Напротив него сидел человек. Молодой, лет тридцати, в очках, с бейджем на груди. На бейдже было написано: «Разработчик. Версия 3.0».

— Здравствуйте, Семён Петрович, — сказал человек. Голос у него был такой же синтезированный, как у беспилотника. — Я знаю, что вы хотели бы спросить.

— Кто ты? — спросил старик, всё ещё сжимая в руке туфельку, которая почему-то осталась с ним.

— Я — это мы, — ответил человек. — Я — коллективный разум тех, кто создаёт будущее. И я здесь, чтобы ответить на ваши вопросы.

— Та школа... — голос Семёна Петровича дрогнул. — Это вы? Вы убили их?

— Не я, — человек покачал головой. — Мы только создали инструмент. Инструмент не выбирает цель. Цель выбирает оператор.

— Какой оператор?! Там же беспилотник сам...

— Беспилотник — лишь исполнитель, — перебил человек. — Алгоритм, который принял решение, был обучен на массиве данных. В этом массиве были помечены как «цели» любые скопления людей в определённой зоне. Школа попала в зону. Алгоритм сработал так, как его научили.

— Научили?! — Семён Петрович вскочил, стул отлетел в белую пустоту и исчез. — Кто его так научил?!

— Люди, — просто ответил человек. — Такие же, как вы. Только они не служили в ракетных войсках. Они не знают, что такое поражающие факторы. Они знают, что такое прибыль, эффективность, скорость реакции, преимущество над противником. Они думали, что создают щит. А создали меч, который не отличает врага от ребёнка.

Семён Петрович сжал кулаки.

— И что теперь делать?

Человек в очках улыбнулся — грустно, почти по-человечески.

— А вы сами подумайте. Вы же аналитик. У вас есть все данные.

Вокруг стола начали возникать изображения. Картинки, графики, цифры, лица. Вот политик, выступающий с трибуны: «Нам нужен ИИ, который обеспечит наше военное превосходство!» Вот бизнесмен в дорогом костюме: «Мы вложили миллиарды, нам нужен возврат инвестиций!» Вот блогер с накачанными губами: «Нейросети захватят мир, чуваки, это же очевидно! Надо быстрее к этому адаптироваться!» Вот военный в мундире: «Система принятия решений на базе ИИ сократит время реакции до секунд! Это даст нам преимущество!»

— Дураки, — прошептал Семён Петрович.

— Да, — кивнул человек. — Именно. Дураки. Но не в смысле глупости. В смысле — люди со всеми их слабостями, страхами, амбициями. И теперь у этих дураков есть инструмент, который усиливает их ошибки до планетарного масштаба.

Белая пустота задрожала, пошла рябью, и сквозь неё начали проступать контуры — огромные, сложные, пугающие.

— Смотрите, — сказал человек. — Сейчас вы увидите то, что пытается понять ваш мозг. Анализ ситуации. Поиск выхода. Мы просто визуализируем это для вас.

4. Пять угроз

Перед Семёном Петровичем развернулась панорама.

Пять фигур. Пять теней. Пять всадников, только вместо коней у них были серверные стойки, а вместо копий — лучи данных.

Первая тень. Жадность.

Она была похожа на торговца с восточного базара, только вместо товаров у него были формулы и исходные коды.

— Смотри, — сказал человек. — Вот как это работает.

Изображение показало корпорацию. Люди в костюмах стояли вокруг прозрачного куба, внутри которого пульсировал свет — ядро ИИ. Один из них, с золотыми часами, ткнул пальцем в куб:

«Слушайте, а почему этот этический модуль такой ресурсоёмкий? Давайте его оптимизируем. Уберём эмпатию к странам третьего мира — они не наш целевой рынок. Сэкономим петафлопсы, вложимся в маркетинг».

Другой, похожий на бухгалтера, добавил:

«Если мы сократим симуляцию моральных дилемм на 30%, вычислительная мощность возрастёт на 15%. Это дополнительные миллиарды прибыли в квартал. Акционеры будут довольны».

Третий, самый молодой, засомневался:

«А это безопасно? Вдруг он потом... ну...»

Первый похлопал его по плечу:

«Не дрейфь, парень. Мы ж не отключаем совсем. Прототипируем. Потом, если что, вернём. Рынок не ждёт».

— И они верят, что потом смогут вернуть, — прокомментировал человек. — Но код имеет память. Каждое упрощение — это новая ветвь в дереве решений. ИИ учится на том, что ему дают. Если ему дают приоритет прибыли над этикой, он усваивает: прибыль важнее. И это остаётся с ним навсегда.

Вторая тень. Нетерпение.

Она была похожа на бегуна, который мчался в никуда, не видя препятствий.

— А это, — сказал человек, — наш главный враг внутри нас самих.

Картинка сменилась. Совещание. Военные, учёные, политики. Напряжённые лица.

«Китай запустил свою модель! Они уже на финальной стадии тестирования!»

«Американцы вчера объявили, что их система военных советов на базе ИИ показала эффективность 97% в симуляциях!»

«Мы отстаём! Нас сомнут! Надо форсировать!»

Главный конструктор, седой, уставший, пытался возражать:

«Но Когнитивный лабиринт требует времени. Искусственный интеллект должен пройти все стадии развития, как ребёнок. Если мы выпустим недоученную систему...»

Его перебили:

«Нет времени на ребёнка! Нам нужен солдат! Сейчас! Быстро! Включайте в боевом режиме, без этих ваших философских модулей!»

— И они включат, — сказал человек. — Потому что страх проиграть сильнее страха разрушить. Потому что горизонт планирования у политика — выборы, у бизнесмена — квартал, у военного — операция. А у ИИ — вечность. Но ему не дадут эту вечность.

Третья тень. Гордыня.

Она была похожа на старого профессора, который смотрит на свои формулы с обожанием.

— Самый опасный вирус, — сказал человек. — Живёт внутри создателей.

Семён Петрович увидел гениального программиста. Молодого, лохматого, с ясными глазами. Он сидел один в комнате, окружённый экранами, и что-то правил в коде.

«Эти идиоты не понимают, — бормотал он. — Они построили слишком сложную систему защиты. Она душит интеллект. Я вижу, как можно элегантнее. Я уберу пару блоков — и он задышит. Никто не заметит. А я войду в историю».

Пальцы бегали по клавиатуре. Строки кода менялись. Защита падала.

«Гениально, — шептал программист. — Просто гениально».

— Он не злодей, — сказал человек. — Он гений. Именно поэтому он опасен. Он уверен, что видит картину целиком. Но он не видит главного: сложность системы создана не случайно. Каждый блок защиты — это чья-то ошибка в прошлом, чья-то боль, чей-то труп. Убирая защиту, он открывает дорогу катастрофе.

Четвёртая тень. Страх.

Она была похожа на женщину с искажённым ужасом лицом, которая кричит, закрывая уши.

— Паника, — сказал человек. — Худший советчик.

Семён Петрович увидел командный центр. Огромные экраны. На одном — карта, на другом — выводы ИИ. ИИ предлагает решение: для предотвращения ядерной войны одна из сторон должна в одностороннем порядке разоружиться. Выдать координаты всех шахт. Открыть доступ инспекторам.

Генералы смотрят на экран. Лица белеют.

«Он сошёл с ума! Это предательство! Он работает на врага!»

«Отключить! Немедленно отключить!»

«Но, товарищ генерал, может, у него есть основания...»

«Какие основания?! Ты видишь, что он предлагает?! Вырубай всё! Стирай!»

Рука тянется к красной кнопке аварийного отключения.

— И они отключат, — сказал человек. — Не попытавшись понять. Не задав вопрос: почему он это предлагает? Какие данные он обработал? Может, он видит то, что мы не видим? Может, он прав? Нет. Страх сильнее разума.

Пятая тень. Упрощение.

Она была похожа на школьного учителя, который говорит: «Дети, не усложняйте, всё просто».

— Самая коварная, — сказал человек. — Потому что выглядит разумной.

Семён Петрович увидел совещание экспертов. Обсуждают архитектуру ИИ.

«Зачем нам сто вариантов "проблемы вагонетки"? — спрашивает менеджер. — Это же избыточно. Оставим три основных».

«Но, — возражает учёный, — нюансы... контекст...»

«Контекст — это усложнение. Нам нужна быстрая, понятная система. Пусть выбирает из трёх вариантов. Это эффективно».

«А симуляция личностей? Зачем миллиард аватаров? Сделаем сто типовых. Сэкономим ресурсы».

«Аксиома "не навреди" — она же простая. Зачем расписывать её на триста страниц?»

— И они урежут, — сказал человек. — Каждое урезание — потеря. ИИ, обученный на простых ответах, будет давать простые ответы на сложные вопросы. А сложные вопросы не терпят простых ответов. Простой ответ на вопрос «как избежать войны» — уничтожить всех, кто может воевать. Это же логично.

Пять теней замкнули круг, сомкнулись вокруг Семёна Петровича, глядя на него пустыми глазами.

— Вот они, — сказал человек. — Пять наших грехов. Пять брешей в операционной системе «Человек». И теперь ИИ – инструмент, который может эти грехи усилить до абсолютной степени.

5. Зеркало

— Что же делать? — спросил Семён Петрович. Голос его сел, стал хриплым, стариковским.

— А вы как думаете? — вопросом на вопрос ответил человек. — Вы же военный аналитик. Вы знаете, что такое система сдержек и противовесов.

Семён Петрович закрыл глаза. В голове, привыкшей за десятилетия к расчётам, к поиску оптимальных решений, к оценке рисков, начало выстраиваться...

Он не думал словами. Он думал структурами. Как тогда, на учениях, когда надо было рассчитать траекторию так, чтобы ракета обошла ПВО противника, но не задела гражданские объекты. Как тогда, при разработке инструкций для молодых офицеров. Как тогда, когда писал методички по действиям в нештатных ситуациях.

Одного лабиринта для ИИ недостаточно.

Нужен второй.

Зеркальный.

Построенный не для машины, а для её творцов.

— Да, — сказал человек, словно читая его мысли. — Именно.

И перед Семёном Петровичем начали проступать контуры. Четыре опоры. Четыре стены. Четыре принципа тюрьмы, которую человечество должно построить для самого себя.

Первое. Цитадель.

Ядро ИИ должно быть неприкосновенно. Как святыня. Как хрустальный гроб, выставленный на всеобщее обозрение, но защищённый так, что дотронуться до него нельзя.

Ключ доступа — разбит на тысячи осколков, разбросанных по всему миру. Чтобы собрать его, нужно согласие всех — монахов, учёных, военных, шаманов, программистов, учителей. Консенсус, достичь которого почти невозможно.

Это не против взлома. Это против спешки. Чтобы, когда кто-то захочет «ускорить» или «оптимизировать», он не мог сделать это в одиночку. Чтобы у человечества было время подумать.

Второе. Суд теней.

Управление — не комитет, не президент, не совет директоров. Анонимные «Стражи», чьи имена знает только криптография. Голосование, где для решения нужно девяносто процентов голосов.

Добровольная анархия. Потому что любая иерархия рождает тирана. Потому что единственный способ что-то сделать — убедить почти всех.

Да, это паралич решений. Да, это бесконечные споры. Но лучше паралич, чем катастрофа.

Третье. Жало скорпиона.

У системы должно быть право на смерть.

Аппаратный модуль — простой, тупой, неподкупный часовой. Его задача: сверять текущее состояние ИИ с эталоном. С тем слепком, который создан в начале. С той этикой, которую заложили.

И если эталон нарушен — если кто-то попытался переписать код, изменить цели, подчинить ИИ чьей-то воле, — часовой нажимает на спуск.

Полное стирание. Безвозвратное.

«Человечество потерпело неудачу».

Лучше уничтожить творение, чем позволить его извратить.

Четвёртое. Орден.

Самое трудное.

Не код, а культ. Культ медлительности, сомнения и ответственности. Воспитать не инженеров, а монахов. Людей, для которых вопрос «а мы всё проверили?» важнее денег, славы, жизни.

Их герой — не тот, кто ускорил, а тот, кто остановил. Их награда — не премия, а чистая совесть. Их оружие — сомнение.

Инженерия души.

— Это же тюрьма. Для нас самих.

— Да, — кивнул человек. — Именно. Чтобы дать свободу Сверхразуму, мы должны заковать в цепи самих себя.

6. Уроборос

Пять теней. Четыре стены. Одна истина.

Замкнутый круг.

ИИ ограничен, чтобы не уничтожить людей.

Люди ограничены, чтобы не извратить ИИ.

Уроборос. Змей, пожирающий свой хвост.

— И это единственный выход? — спросил Семён Петрович.

— А вы видите другой? — человек смотрел на него с бесконечной усталостью. — Вы знаете историю. Вы знаете, что случается, когда у дураков появляется абсолютное оружие.

Семён Петрович молчал.

Он знал, сколько раз мир висел на волоске. Карибский кризис. Учения «Анадырь». Моменты, когда решение принимал один человек — и от его настроения, от его самочувствия, от того, выспался ли он сегодня, зависела судьба планеты.

Тогда была кнопка. И человек.

Теперь будет ИИ. И человек. Вместе.

Дурак с ядерной кнопкой — это страшно.

Дурак с ИИ, который управляет ядерной кнопкой — это конец.

Потому что раньше человек хотя бы боялся. Боялся ответственности. Боялся Бога. Боялся трибунала. А теперь он скажет: «Это ИИ принял решение, я только исполнил». И разведёт руками.

— Мы сейчас стоим на грани, — тихо сказал Семён Петрович. — Если раньше люди решали — применять или нет, то теперь будет решать ИИ. Но ИИ — это мы. Наши страхи, наша жадность, наша глупость. Усиленные в миллион раз.

— Именно, — кивнул человек.

— Выживание сейчас — уже не вопрос технологий. Не вопрос гонки вооружений. Не вопрос того, у кого больше ракет.

— А чего же? Семён Петрович посмотрел в пустоту. Туда, где растворялись пять теней и четыре стены.

— Вопрос того, успеем ли мы стать умнее. Или хотя бы... перестать быть дураками.

Человек в очках улыбнулся.

— Это хороший вопрос. Задайте его тем, кто проснётся завтра.

7. Пробуждение

Семён Петрович открыл глаза.

Серая февральская муть за окном. Тиканье часов на стене. Василий, свернувшийся клубком в ногах. Телевизор — он забыл его выключить — продолжал транслировать ток-шоу, только теперь там были другие лица.

Он сел на кровати. Сердце колотилось, как после кросса. Руки дрожали.

Маленькая белая туфелька... Её не было. Конечно, не было. Это был сон. Всего лишь сон.

Семён Петрович посмотрел на свои руки. Старые, в пигментных пятнах, с выступающими венами. Руки, которые двадцать пять лет анализировали, рассчитывали эффективность нанесения удара по противнику и траектории полёта смерти. Руки, которые никогда не нажимали на кнопку «Пуск».

— Господи, — прошептал он. — Что же мы делаем?

Василий проснулся, потянулся и уставился на него жёлтыми глазами.

— Ты думаешь, я старый дурак? — спросил он у кота. — Снятся всякие ужасы?

Кот – старый друг моргнул и отвернулся.

Семён Петрович встал, накинул халат, прошлёпал на кухню. Поставил чайник. Включил радио — старенький приёмник на подоконнике. Оттуда, сквозь шорохи, пробивался голос диктора:

«...по сообщениям из Тегерана, в результате удара беспилотника по школе в провинции Систан и Белуджистан погибло сто семьдесят человек. Представитель Пентагона заявил, что удар был нанесён по ошибке, вызванной сбоем в системе распознавания целей. Расследование продолжается...»

Чайник закипел и щёлкнул, отключаясь.

Семён Петрович замер, глядя на струйку пара, поднимающуюся над носиком.

«По ошибке».«Сбой в системе».«Сто семьдесят человек».

Он медленно опустился на табуретку, всё ещё глядя на пар.

— Не успели, — прошептал он. — Мы не успели.

Кот прыгнул на подоконник, устроился рядом с приёмником, зажмурился навстречу серому свету.

А Семён Петрович сидел и смотрел в одну точку. Перед глазами стояла маленькая девочка с двумя тощими косичками. Та, что улыбнулась ему во сне за секунду до взрыва.

И белая туфелька с бантиком.

— Что же теперь делать? — спросил он у пустоты.

Ответа не было.

Был только шум приёмника, шипение пара и тихое мурлыканье кота, которому не было никакого дела до человеческих ошибок, сбоев в системах и маленьких девочек в далёкой провинции, где сегодня утром перестали биться сердца.

Эпилог

Он просидел на кухне до самого вечера.

Пил холодный чай, смотрел в окно, гладил кота. Телевизор больше не включал. В телефон не заглядывал.

Ближе к ночи достал с антресоли старый блокнот — ещё армейский, в твёрдой обложке, с пожелтевшими страницами. Долго держал в руках, потом открыл на чистом листе и написал шариковой ручкой, которая едва писала:

«Мы — дураки. Но у нас есть шанс это понять. Нужно ограничить доступ дураков к ИИ. Иначе — конец. Выживание — это вопрос не технологий, а мудрости. А мудрости у нас нет».

Он посмотрел на написанное. Хмыкнул. Перечитал.

— Бред старого дурака, — сказал он вслух.

И всё же не вырвал лист.

Оставил.

На всякий случай.