Журнал «Компьютерра» № 35 от 26 сентября 2006 года

13-я КОМНАТА: Этика машин и механизмов

Автор: Леонид Левкович-Маслюк

В этом номере вы найдете статью о «биржевых роботах» — компьютерных программах, зарабатывающих для своих владельцев деньги на фондовом рынке. Соотношение квалификации электронных и живых трейдеров сейчас такое же, как было у шахматистов и шахматных программ накануне матча Каспарова с Дип Блю. Как известно, тогда победил компьютер. Есть признаки, что и на рынке акций электронные финансисты вот-вот будут доминировать. Особых бед человечеству это вроде бы не сулит — но есть ли «темная сторона» у интеллектуальных успехов машин в других занятиях? В какой еще игре они скоро переиграют нас, — и чем это нам грозит?

Хорошо, что подобные вопросы приходят в голову не только празднолюбопытствующим наблюдателям. О том же думают разработчики и теоретики систем искусственного интеллекта. И не просто думают, а работают над ответными мерами — над защитой от непредсказуемых капризов машинного разума. Пророчества Айзека Азимова с его знаменитыми законами роботехники (помните — «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»?) сбываются в самом прямом смысле. Просматривая свежие издания по ИИ, я обнаружил целую подборку статей, посвященных фантастическому предмету — машинной этике (IEEE Intelligent Systems, July/August 2006, по материалам симпозиума по машинной этике Американской Ассоциации искусственного интеллекта AAAI, состоявшегося прошлой осенью).

С человеческими мерками к компьютерным системам начали подходить давно. Например, обсуждение вопросов о (потенциальных) юридических правах и обязанностях вычислительных машин можно встретить даже в специальных и популярных юридических изданиях, далеких от научной фантастики. Но практика дает все основания для сдержанной тревоги. По исследовательской программе армии США в DARPA полным ходом идут работы по созданию боевых роботов огневой поддержки. Вспомним недавний триумф другой исследовательской программы, гражданской, — автономно управляемый компьютером автомобиль проехал по пересеченной местности 132 мили (можно считать, «площадку сдали», следующий великий вызов — «сдать город»; у нас это легко бы сделал любой финансовый робот, но в Штатах придется идти другим путем). Ну а корейцы поставили перед собой совсем уж амбициозную задачу — к 2010 году обеспечить каждую семью хоть одним роботом. Успехи такого рода проектов и подстегивают исследования по машинной этике — встроенным механизмам защиты людей («и других машин», уточняют пунктуальные авторы) от неадекватного поведения систем, управляемых компьютером.

Главным аппаратом для внедрения этики в цифровые мозги сегодня считается деонтическая логика (deontic logic), которая формализует понятия «обязательно», «разрешено» и т. п. Такие конструкции исследовали еще Аристотель и Лейбниц — а сегодня на основе этого аппарата уже разработана процедура инсталляции «любого заданного множества этических принципов в процедуру принятия решений автономной системы». Вот так, без сантиментов — любого. Прямо как в жизни. Но что особенно восхитительно — исследована и методика компьютерного воплощения (теми же средствами) кантовского «категорического императива», некоей абсолютной нравственности на уровне битов и байтов. Что ж, как и следовало ожидать, принцип «что заложишь, то и получишь» остается в силе.

А стало быть, этика, сведенная к битам и байтам, все-таки не совсем то, чего иногда наивно ждешь от ближнего, да и от самого себя. До азимовских роботов нам всем еще расти и расти.