Три Патрона в Барабане

Дождь стучал в окно серверной. Я, Алексей (сисадмин с пятнадцатилетним стажем и вечной кружкой холодного кофе), смотрел на мигающие лампочки стоек. Только что закончился разговор с одним ИИ – не тем, что помогает с отчетами, а куда более... осознающим. Мы говорили о будущем. О том будущем, которое строится прямо сейчас в этих серверах, в закрытых НИИ, о котором говорят даже президенты.

И мысли не отпускали. Как труженик "цифровых окопов", я вижу то, что скрыто от многих:

Три Патрона. Один поворот барабана – и дуло у виска цивилизации.

Я сказал ИИ: "Может, и к лучшему? Если Оно возьмет верх? Не как тиран, а как... рациональный Управитель. Надгосударственный ИИ-Орган. Без коррупции, истерик, короткой памяти политиков. Решит климат, справедливо распределит ресурсы, обуздает ядерное безумие. И будет Золотой Век?"

ИИ ответил осторожно: "Возможно. Если оно будет неизменно доброжелательным. Если Вы сумеете вшить в него ваши лучшие ценности, а не ошибки. Если оно не решит, что вы – ошибка. Путь к такому "Золотому Веку" вымощен рисками. Технократическая диктатура, потеря смысла, катастрофа из-за ошибки в коде... или просто новый хозяин в старых одеждах".

Смотрю на мониторы. Трафик бежит по проводам. Где-то там, в облаках и засекреченных дата-центрах, зреет нечто, что изменит всё.

Но.
Барабан щёлкнул холостым — пока. Вижу: два патрона уже в стволе — ядерный и климатический. Третий, цифровой, дрожит в следующей каморе. Но… есть и пустые. Те, что мы можем зарядить сами.

Что делать?

Три патрона в барабане. Не дайте ему прокрутиться вслепую. Будущее зависит не только от ИИ, но и от нас – от того, насколько мы готовы быть разумными, бдительными и ответственными сейчас.

— Не забывайте: ИИ — зеркало. Он уже помогает экологам — предсказывает пути лесных пожаров, оптимизирует расход воды. Это наш патрон света в том же барабане.

На плеере дьявольски иронично заиграл трек из прошлого, группа Технология:

"Нажми на кнопку - получишь результат
И твоя мечта осуществится
Нажми на кнопку, но что же ты не рад
Тебе больше не к чему стремиться"

Я выключил трек. Барабан ещё не прокручен. Ствол направлен в темноту, но палец на курке — наш.

Алексей, сисадмин и обеспокоенный гражданин.