LexAI: Курс на столкновение

Дело было в Ла-Манше.

Об этом писали в новостях.

Подумаешь, новостишка так себе — провинциальная, захудаленькая, не откормленная калорийной пищей слухов и преувеличений… А ведь прокралась в таблоиды благодаря завирусившемуся в Ютубе и Тиктоке видеоролику с саундтреками из «Титаника» и «Моби Дика».

Ещё бы! Не каждый день увидишь, как гигантский нос фидерного контейнеровоза, показавшийся из тумана и бешеной пенной волны, будто нож мясника взрезает белеющий корпус гоночной парусной яхты за полмиллиона фунтов. Да так чисто: кр-рак! — и яхт уже две. Одна с гротом, другая со стакселем. И обе уходят под воду, сопровождаемые пылкой и донельзя пространной речью капитана, достойной войти в антологию французского мата.

Четыре человека команды остаются на аварийном плоту и шлют сигналы бедствия.

А контейнеровоз даже не почесался — будто ни в чём не бывало продолжил путь к берегам туманного Альбиона, потрясая могучей кормой с крупными литерами STRAPP HONOUR. AMSTERDAM.

Название судна породило целую волну скабрёзных мемов, посвящённых тому, как фидер «с честью опустил яхту».

Ах, да, дело было в Ла-Манше.

— Ты это уже говорил.

Алан Блэк усмехнулся. Он в сто раз лучше неё осведомлён, когда и что повторяет. Это отнюдь не деменция, но хворь не менее распространённая и неизлечимая — любование звуком собственного голоса.

***

Лондон. Среда, 22 июня 2032 года

Был суд, разумеется.

Многострадальный яхтсмен мсье Бланш, подавший иск, прибыл в Лондон на поезде Eurostar — подчёркнуто в первом классе, и жаловался в коридорах Rolls Building, что был вынужден прибегнуть к сухопутному маршруту, оставшись без драгоценной «Лукреции». Ему сочувствовали и вздыхали (посмеиваясь за спиной над французски́м акценто́м), и хлопали по плечу — хотя, по совести говоря, он мог вовсе не приезжать.

Ответчик — англо-голландский судовладелец Винсент Ван дер Страпп — к примеру, не явился лично — отправил письмо с извинениями: дескать, судебные залы оказывают разрушающее воздействие на его утончённую психику. Настолько, что даже дистанционно он предпочёл бы не включать камеру. Прошёл голосовую авторизацию, предоставил биометрические данные и честно признался, что грешен: опрокинул перед слушанием две рюмочки коньяка. Нервничал.

Адвокату истца, Марте Мэйпл, эта новость пришлась по душе.

— У них нет никаких шансов, — объявила она клиенту, хищно фыркнув и поправив парик (не алонжевый — личный).

В их пользу говорило и то, что защитник ответчика тоже выбрал заочный формат. Подключился заблаговременно, блеснул в кадре запонками и булавкой для галстука, стратегически рассредоточил жемчуг улыбки.

Судья Харпер улыбнулся в ответ, почесал лоб и заявил, что выступает сегодня лишь в роли наставника, а дело будет разбирать Alexa.

— LexAI, сэр, — поправил его механический женский голос, раздавшийся из динамиков монитора, расположенного рядом с судьёй. — Amazon Alexa — это персональный голосовой помощник на основе искусственного интеллекта. Я же — судебный ИИ-модуль, разработанный компанией Aegis Quantum Systems и введённый в британскую судебную систему в 2029 году. Моё имя образовано от латинского Lex (закон) и AI (искусственный интеллект). То есть буквально: «искусственный интеллект закона».

— Стоп! Стоп! — Судья замахал руками так, что казалось, ещё немного, и он добавит: «Чур меня!»

— Возражаю, ваша честь! Согласно протоколу начала слушания я обязана представиться и поприветствовать участников заседания.

Алан Блэк, адвокат ответчика, взялся за подбородок, пока машина обращалась с приветствием. «Вот ты и попал, дружище», — сказал он самому себе.

***

В Великобритании, начиная с позапрошлого года, в некоторых отраслях права (таких, как морское, торговое, патентные споры) искусственный интеллект уполномочили выносить судебные решения — пока ещё в качестве эксперимента и при обязательном наставничестве со стороны отставного судьи Высокого суда Лондона. Участникам слушания не сообщали заранее, что их дело будет рассматривать машина, во избежание дискриминации и конфликтов.

До сего дня Алану ни разу не приходилось иметь дело с таким арбитром.

Что ж, всё когда-нибудь следует начинать.

Вот только возникла проблема…

Его тщательно продуманная линия защиты, рассчитанная на живого человека — взывающая к эмоциям, подкупающая харизмой — нуждалась в срочном пересмотре.

Кроме того, его истинным клиентом тоже, по сути, выступал ИИ.

***

Основным виновником столкновения являлась StrappNav A‑4 — автономная навигационная система, установленная на судне и осуществлявшая управление им.

Фидерный контейнеровоз водоизмещением в сорок тысяч тонн направлялся из Амстердама в Порто. Стоял конец мая, стояла отличная погода, стояла задача доставить груз в кратчайшие сроки — что отразилось на скорости судна. Задержавшись в Северном море, оно вошло утром 25 мая в Английский канал, разогнавшись до двенадцати узлов. Ещё два узла добавило течение.

На момент столкновения на мостике фидера находились штурман и капитан, но судном правила автоматика. Даже в Ла-Манше, одном из сложнейших районов для автономного судоходства, интеллект четвёртого поколения StrappNav блестяще просчитывал риски и контролировал навигацию, в том числе при сверхплотном трафике и в условиях ограниченной видимости. Взращённый на информационных хлебах лучших голландских исследовательских центров, он был не понаслышке знаком с хорошей морской практикой.

А что до располовиненной яхты…

StrappNav увидел цель на радиолокаторе и изменил курс на десять градусов, но уже через три минуты вернул судно на прежний курс.

Вскоре после этого капитан обнаружил слева по носу другую цель на расстоянии пяти миль. По данным средств автоматической радиолокационной прокладки (САРП) она двигалась на северо-восток со скоростью шесть с половиной узлов. Однако, когда до цели оставалось полторы мили, САРП показала, что её курс изменился, а скорость стала равной нулю.

Капитан, не зная, чего ожидать в данном случае, намеревался перевести судно на ручное управление, но StrappNav заверил его, что нет повода для беспокойства и автоматика в состоянии справиться с навигацией.

Экипаж продолжал наблюдение за целью (во всяком случае, судя по его словам), и капитан клялся потом, что САРП никогда не показывал дистанцию кратчайшего сближения менее двух кабельтовых. Вперёдсмотрящий на баке тоже не заметил ничего подозрительного. Едва цель была пройдена, наблюдение за ней прекратилось.

А уж о том, как сама цель, рассечённая надвое, в тот момент продолжила наблюдать за контейнеровозом и снимать контент сезона, они знать не могли.

***

Рене Бланш и его команда покинули полуостров Котантен утром 25 мая с намерением к полуночи пришвартоваться в Кале.

В половине десятого видимость стала уменьшаться, погода — стремительно портиться. Рене включил автоматическое устройство подачи туманных сигналов и поднял грот, чтобы повысить шансы обнаружения яхты другими судами. Его помощник вёл радиолокационное наблюдение.

Спустя два часа они обнаружили цель в шести милях к востоку.

«Лукреция», сохраняя скорость и курс, продолжила наблюдение. Когда расстояние уменьшилось до трех миль, помощник предупредил о возможности столкновения. Капитан колебался, но в итоге остановил яхту, рассчитав, что другое судно пройдёт в полутора милях от них.

Немного погодя экипаж услышал протяжный гудок, а затем не более чем в пятидесяти метрах из тумана вынырнул чудовищный носовой бульб — широкий и острый, как абордажная сабля, сине-красный, как флаг революции.

Экипаж заметался, с трудом подавив желание сигануть за борт; капитан, вцепившись в штурвал, попробовал уклониться, но не успел. Помощник схватился за телефон и принялся записывать видео — позднее он с каменным лицом утверждал, что добывал для суда доказательства невиновности, но анализ его канала в Ютубе выявил склонность к хайпу и тягу снимать любое происшествие нежели оказывать помощь пострадавшим.

Итог: зенит майской славы в Сети, минус одна яхта плюс расходы на адвоката.

***

Адвокат истца взяла слово и упивалась заслуженной, хоть и пока не объявленной победой. Предоставила видеозаписи (набравшие к тому моменту миллионные просмотры) и показания членов команды. Упор сделала не только на финансовые убытки, но и моральный ущерб.

С особым драматизмом она подчеркнула, что мсье Бланш, человек с сорокалетним опытом в мореходстве, всерьёз опасается, что после такого потрясения уже не сумеет когда-либо вновь выйти в море. А опыт его, между прочим, доказывает…

— Возражение, ваша честь, — холодно перебил Алан Блэк. — Опыт сам по себе не подтверждает, что истец действовал в соответствии с нормами хорошей морской практики. Это лишь характеристика, не доказательство.

— Согласовано, — произнёс LexAI после небольшой паузы. — Суд учтёт заявленное, но не примет опыт в качестве подтверждения профессионального поведения в данном инциденте.

Мэйпл с достоинством поправила серебряный кленовый лист на отложном воротничке и продолжила наступление. Блэк внимательно слушал её аргументы, но сосредоточен был на своих. За то немногое время, что ему оставалось, он перебирал всевозможные варианты защиты. Раз вышло так, что сегодня всё решала машина, требовалось мыслить как машина.

Её не припугнуть, не обаять. Подкуп и шантаж тоже исключались.

А есть ли у искусственного интеллекта такая вещь, как солидарность — сродни мужской или женской? Не в плане «братства серверов» или «сестринства алгоритмов», конечно же; чисто с технической стороны.

Ведь что мы имеем, рассуждал он. StrappNav действовал по протоколу минимального риска, и нельзя винить его в том, что система безукоризненно выполняла свою работу, согласуясь с данными приборов. В противном случае можно тогда обвинить и LexAI в том, что она делает то же самое. Крамольная мысль, которую Блэк тем не менее решил озвучить в виде намёка и исключительно деликатно.

***

— Уважаемый суд, — начал Блэк, едва ему предоставили слово, — мы разбираем стандартную ситуацию: судно А пересекает курс судна Б. Происходит столкновение, одна сторона терпит убытки — а другая, как водится, становится объектом яростного морального осуждения. Казалось бы, всё очень просто. Но в этой самой простоте кроется важнейший вопрос, который нам с вами сегодня предстоит разобрать: можно ли обвинять в халатности алгоритм, который поступил так… как должен был поступить.

Алан Блэк сделал паузу, отпил воды и потянулся, стараясь не угодить в кадр. Он чувствовал себя слегка неважно: новые смарт-часы туго схватили и целенаправленно душили левое запястье, а правое болело после вчерашней игры в теннис. Покалывало в печени, вдобавок сдавило виски. Ничто из этого не отражалось на его деловых качествах, но всё вместе вызывало ощутимое раздражение.

— Так вот, — продолжал он, пригладив волосы, — мы говорим о системе, которая работала без перебоев. Без багов. Не отвлекалась. Не импровизировала. Лишь следовала протоколу. Так же, как это делает — с вашего разрешения — и суд, и вы, ваша честь.

Алан бросил взгляд на судейский стол. Сэр Ричард Харпер подрёмывал в своём кресле с открытыми глазами и выражением исключительного внимания к собеседнику: за долгие годы карьеры он в совершенстве овладел этим навыком. Белый экран рядом с ним остался незыблем: искусственный интеллект ожидал продолжения речи.

Адвокат набрал воздуха в грудь.

— А потому я прошу вас, LexAI: взгляните на действия StrappNav A‑4 как алгоритм на алгоритм. Без предвзятости, только по сути. Мы оба научены выбирать оптимальное решение в условиях недостатка информации и времени, так что…

— Возражение, ваша честь! — вмешалась Мэйпл. — Господин Блэк использует эмоциональную подстройку. Пытается склонить суд на свою сторону, создавая предпосылки к когнитивному сближению. Это не аргументация по делу, а тактический ход. Прошу зафиксировать этот момент в протоколе.

Белый экран рядом с сэром Ричардом Харпером ожил. На нём появилась абстрактная голограмма — синий геометрический узор, постоянно трансформирующийся, но не принимающий конкретных форм.

Голос LexAI был лишён интонаций, но звучал теперь несколько иначе:

— Возражение зафиксировано. Предупреждение: эмоциональная подстройка в рамках моего алгоритма невозможна. Я не обладаю эмпатией как переживаемым состоянием, не подвержена внушению и не вступаю в межличностные отношения — даже при наличии внешних аналогий.

На секунду в зале воцарилась звенящая тишина, затем электронный арбитр продолжила:

— Тем не менее высказывание мистера Блэка частично принято в качестве аргументации. Разрешаю продолжить.

Блэк продолжил. Разобрал данные приборов, признал, что фидер не снизил скорость при ухудшении видимости, а также настроил САРП не по воде, а по грунту, что при наличии попутного течения в два узла привело к погрешностям отражения целей на радаре. Но ошибкой это не считается — скорее, общим подходом, характерным в том числе для судов, управляемых ИИ. Девять из десяти контейнеровозов поступили бы точно так же — в полном соответствии с международными правилами предупреждения столкновения судов в море (МППСС).

Он подчеркнул, что судно вошло в пролив чётко по расписанию, согласовав маршрут с вышестоящими инстанциями, и не сходило с курса. А вот «Лукреция» вместо того, чтобы идти до Кале вдоль береговой линии, решила сократить путь и двинулась наискосок через пролив. Это не запрещалось законом, но диктовало особые правила перемещения, такие как пересечение зоны разделения движения (TSS) под углом, максимально близким к прямому, обязательное использование радара и автоматической идентификационной системы, а также приоритет крупных маршрутных судов перед мелкими.

— А остановку малого судна прямо на TSS, притом отнюдь не вынужденную, никак нельзя отнести к соблюдению правил, ваша честь.

Марта ожидаемо возразила со ссылкой на Правило 19 МППСС, гласившее, что для предотвращения сближения с другим судном при необходимости требуется сбавить ход до минимума, достаточного для удержания судна на курсе, или даже полностью остановиться.

Алан мягко улыбнулся. Типичный случай применения правил вопреки здравому смыслу и с угрозой для жизни. Живому судье ничего бы не стоило это разъяснить — но с машиной приходилось говорить на её языке.

— Уважаемый суд, экипаж яхты сознательно затеял рекреационную прогулку на одном из самых загруженных морских путей, в условиях ограниченной видимости. Войдя в зону разделения движения, «Лукреция» обнаружила на радаре другое судно и остановилась — что делать категорически запрещено, если только не имеет место форс-мажор. Согласно МППСС судну разрешено и предписано снизить скорость — но ни в коем случае не останавливаться в полосе движения, и быть готовым к немедленному манёвру. Между прочим, будь на месте мсье Бланша программа, подобная StrappNav A‑4, она бы ни за что не допустила такого грубого нарушения. Она бы замедлила ход, продолжила движение по границе полосы или покинула её. Отправила бы AIS-сообщение. Приготовилась к необходимости маневрировать. Но человек…

— Возражение!

Ну конечно же, возражение: гипотеза, не имеющая отношения к действительности.

LexAI признал высказывание Блэка контрафактическим, но отметил, что спрогнозированная им модель поведения ИИ может быть использована при разработке будущих норм и стандартов для судов с автономными навигационными системами.

— Вы намерены добавить что-нибудь ещё, мистер Блэк?

Адвокат выдержал паузу, выражавшую не желание собраться с мыслями, а намеренное психологическое давление: искусственный интеллект тоже распознаёт паузы — как маркеры значимости.

— Да, ваша честь, — произнёс он наконец. — Я хотел бы напомнить суду, что цель сегодняшнего разбирательства — не только поиск причин инцидента и вопрос компенсации. Мы с вами определяем, как должен вести себя идеальный образец универсального навигационного интеллекта.

Он говорил чётко и строго, совсем без эмоций. Так, как не обращался ещё ни к одному судье, никогда.

— Если мы признаем ошибкой, что StrappNav A‑4 действовал по протоколу, это означает, что от будущих систем нам придётся потребовать нарушать алгоритмы ради… инстинктов. Ради догадок. Эмоций. То есть, они будут вынуждены действовать как люди.

Алан слегка развёл руки в стороны и тут же продолжил:

— Но если бы StrappNav A‑4 вёл себя как человек — он бы не был надёжным. Он колебался бы. Уходил от ответственности. Снимал стресс алкоголем. И лгал, чтобы убедить суд. Словом, он ошибался бы гораздо чаще.

Голос его стал твёрже:

— Ваша честь, мы не можем требовать от искусственного разума быть человеком, а от человека — быть искусственным разумом. Но мы можем — и должны — судить их в соответствии с тем, как каждый из них устроен. И если StrappNav не нарушал своих протоколов, а человек — пренебрёг своими, то я оставляю суду очевидный вывод.

Он чуть склонил голову — не в знак почтения, а чтобы подчеркнуть, что завершил мысль. И сказал просто:

— У меня всё.

***

Экран озарился бирюзовым светом, и LexAI уточнил, не желает ли кто-нибудь ещё высказаться.

Высказаться, может быть, и желали — но не решились.

— В таком случае суд готов вынести финальное решение.

Сэр Ричард встряхнулся, нахохлился. К чему он никак не мог привыкнуть, так это к тому, что искусственному интеллекту не требуется время. Судья-человек на его месте взял бы паузу в две недели, чтобы обстоятельно ознакомиться с делом, изучить техническую документацию, свериться с аналогичными кейсами и отдохнуть на Багамах, пока стажёры готовят его заключительную речь и меняют формулировки вида «потому что я так сказал, и не колышет» на что-то более приемлемое.

У LexAI на подготовку решения ушло 0,34 секунды. Оно высветилось на экране и было зачитано вслух.

[Финальное решение LexAI]

Судебный модуль LexAI завершил анализ представленных доказательств.

❖ Перечень действий автономной навигационной системы StrappNav A‑4 признан соответствующим протоколу поведения судов в зонах интенсивного судоходства при ограниченной видимости.

Отклонений от утверждённого курса не зафиксировано.

Параметры скорости движения и настройки радаров соответствуют отраслевым стандартам для судов водоизмещением свыше 30 000 тонн.

Сценарий уклонения от столкновения в момент обнаружения цели на радаре признан технически неисполнимым без создания альтернативного риска.

❖ Судно «Лукреция» не придерживалось рекомендованной схемы движения.

Яхта вела себя непредсказуемо в зоне интенсивного судоходства.

Остановка в пределах TSS без зафиксированной технической поломки судна классифицируется как нарушение правил предупреждения столкновения судов, усугублённое метеоусловиями.

Отмеченная эмоциональная реакция капитана Бланша, заключающаяся в заявлении о невозможности вновь выйти в море после инцидента, может свидетельствовать о его пониженной стрессоустойчивости.

Подобный уровень психологической нестабильности вызывает обоснованные сомнения относительно его способности к принятию решений в критических ситуациях, характерных для судоходства в условиях ограниченной видимости.

❖ Ответственность за инцидент в значительной степени возлагается на судно «Лукреция».

Решение:

❖ Иск отклонён.

❖ Алгоритм StrappNav A‑4 признан невиновным.

❖ Возражения стороны истца отмечены, но не изменили результата рассмотрения дела.

Заключение внесено в базу данных судебных решений: Case C/2032/LEX-417.

Список рекомендаций:

1) Международной морской организации — пересмотреть Правило 19 МППСС с учётом возрастающего применения ИИ-навигации.

2) Истцу — рассмотреть возможность обращения за специализированной психотерапевтической помощью для оценки и восстановления профессиональной уверенности, при намерении продолжить морскую практику.

3) Комитету по безопасности на море — рассмотреть вопрос внедрения автономных навигационных систем на борту малых судов в целях повышения безопасности их эксплуатации.

***

В тот день антология французского мата вновь упустила свой шанс пополниться экзотическими конструкциями.

Рене поверить не мог: по вине треклятого цифрового разума он лишился не только яхты и надежды на компенсацию — его, хоть и завуалированно, но назвали психически нестабильным!

— Ещё не всё потеряно, — возразила мисс Мэйпл. — Мы подадим апелляцию. Добьёмся того, чтобы дело пересмотрел живой человек. Справедливость восторжествует.

Мсье Бланш резко дёрнул плечом. Хотел бы он знать, эта женщина правда на его стороне, или всё дело в почасовой оплате?..

Тем не менее он замыслил обратиться со скандальным материалом в прессу. Пусть так и озаглавят статью: «Машины унижают достоинство людей в суде».

Он ещё повоюет!

***

Господин Ван дер Страпп, насвистывая весёлую мелодию, вышел из видеоконференции и энергично потёр руки. Он распечатал копию судебного решения и сообщил жене, что сегодня отведёт её в мишленовский ресторан. Та радостно чмокнула его в щёку и убежала выбирать подходящий наряд.

Винсент достал набор кубинских сигар, но, прежде чем закурить одну, зашёл на сайт Aegis Quantum Systems и оставил щедрое пожертвование.

***

Алан Блэк выключил компьютер и прислушался к шуму дождя за окном. Узор пупырчатых капель на стекле мерцал сотнями отражений, которые никак не удавалось распознать.

Дождь. Вечный проклятый дождь.

Он взглянул на перекидной календарь — 22 июня 2022 года. Среда.

Зазвонил телефон. Партнёр по бизнесу: они знакомы уже десять лет, а встретились как будто только вчера. На теннисном корте.

— Как прошло слушание?

— Как и должно, — сдержанно ответил он. — Судья вынес решение в нашу пользу. Представь себе, никакой обоюдной вины. Похоже моё обаяние распространяется даже на искусственный интеллект.

— Этого следовало ожидать, Алан. Теперь ты будешь нарасхват в делах, которые ведёт LexAI. Готовься к наплыву клиентов!

— Хм.

Он плеснул виски в стакан и не успел отложить мобильный, как тот вновь затрезвонил.

Звонок принимать не хотелось — мать «спешила» поздравить с днём рождения. Как всегда, лишь на следующий день. Как всегда, чтобы рассказать, в первую очередь, о себе: о своих очередных увлечениях, о поэзии, хоровом пении, самодеятельности.

Как всегда, чтобы испортить настроение и забить голову нравоучениями.

— Алан, я знаю, ты не любишь, когда я звоню тебе на работу. Но ведь я мать. Я имею право. Ты, наверное, опять сидишь там, за своими бумагами. Решаешь судьбы, играешь в Бога. А ведь Бог — он един, и наказывает тех, кто его пародирует. Ты отдалился от людей, Алан Торн Блэк. Стал бездушным. Как нынче принято говорить, с головой ушёл в цифру…

На последнем слове он вздрогнул — как человек, прикоснувшийся к детской фобии, но ещё не вполне распознавший, что это она.

— Мама, прошу тебя. Хватит нотаций. Мне, между прочим, уже пятьдесят два года.

— Не кричи на меня, Алан, — строго потребовала собеседница, хотя он даже не повышал голос. — Во-первых, я — твоя мать, и старше тебя в любом случае. А во-вторых — тебе не пятьдесят, а всего сорок два. И всегда будет именно столько.

Блэк фыркнул и сбросил звонок. Впервые в жизни оборвал разговор с матерью без объяснения причины.

Чёрт возьми! У всего есть свои лимиты. И хамства в свой адрес он не потерпит — тем более такого абсурдного.

Он одним глотком осушил стакан и поднялся из-за стола.

Погасший экран телефона вновь вспыхнул.

Алан Блэк, ваша сессия подходит к концу.

Он моргнул.

— Что за чёрт?..

Завершается симуляция сценария C/2032/LEX-417.

На экране отразилось его собственное изображение — не лицо, не образ, а схема: нейросетевая карта, коды идентификации, блок параметров.

В строке состояния значилось:

Профиль пользователя: Alan Thorne Black (21.06.1980 — 22.06.2022)

Эмуляция класса Aegis Legal Replica — Certified

Он нахмурился и сжал кулаки.

— Это какая-то шутка?

С октября 2022 года вы успешно завершили 417 сценариев. Поздравляем. Готовы к следующему?