Творец и робот

II

С этими предварительными замечаниями обратимся к собственно теме этой небольшой книги.

В кибернетике существуют по крайней мере три узловые проблемы, которые, мне кажется, относятся также к предметам религиозных споров. Первая относится к обучающимся машинам, вторая – к машинам, способным к самовоспроизведению, и третья – это проблема координации машины и человека. Я могу сказать с достаточным основанием, что такие машины действительно существуют. Д-р А. Сэмюэль из «Интернейшнл бизнес мэшинз корпорейшн» составил для вычислительной машины программу, которая позволяет ей играть в шашки, причем в ходе игры машина обучается или по крайней мере создает впечатление, что обучается, улучшая свою игру на основе накопленного ею опыта[4]. Здесь уже содержатся определенные утверждения, нуждающиеся в доказательстве или по крайней мере в разъяснениях, которым я посвящу часть этой книги.

Обучение есть свойство, которое мы часто приписываем исключительно системам, обладающим самосознанием, и почти всегда живым системам. Этот феномен в своей наиболее характерной форме проявляется у человека, образуя один из атрибутов, который обычно легко связывается с его религиозной жизнью. В самом деле, трудно представить себе, как существо, не поддающееся обучению, смогло бы приобщиться к религии.

Существует, однако, другой аспект жизни, который обычно связывается с религией. Бог, учит религия, создал человека по своему образу и подобию, и точно так же размножение человеческого рода можно интерпретировать как процесс, который позволяет одному живому существу воспроизводить другое по своему образу и подобию. Стремление людей возвысить Бога над человеком, а Человека над материей, естественно, приводит к предположению, что машина не может создавать другие машины по своему образу и подобию; это свойство в какой-то мере связано с резким различием живых и неживых систем и в еще большей степени с дихотомией другого рода – с различием между творцом и его творением.

Однако так ли это? Один из разделов этой книги я посвящу изложению некоторых соображений, которые, по моему мнению, показывают, что машины вполне способны создавать другие машины по своему образу и подобию. Тема, о которой я буду здесь говорить, сугубо специальна и в то же время очень деликатна. Ее не следует принимать слишком серьезно, как реальную модель процесса биологического воспроизведения и еще меньше как полную модель божественного творения; но в то же время к ней нельзя относиться с пренебрежением, так как она проливает свет на обе эти концепции.

Эти две части книги могут рассматриваться как дополняющие друг друга.

Обучение индивида – это процесс, который протекает на протяжении его жизни, в рамках онтогенеза. Биологическое воспроизведение – это явление, которое протекает на протяжении жизни человеческого рода, в рамках филогенеза; однако человеческий род в целом обучается в какой-то мере так же, как это делает индивид. Дарвиновский естественный отбор – разновидность процесса родового обучения, который протекает в границах, обусловленных воспроизведением индивидов.

Третья группа тем этой книги также относится к проблемам обучения. Они касаются взаимоотношений машины с живым существом, а также с системой, включающей механо-биологические элементы. Здесь речь идет об аспектах нормативного или, точнее, этического характера. Их рассмотрение выявляет наиболее серьезные моральные ловушки, в которых может оказаться современное поколение. Они также тесно переплетаются со множеством человеческих традиций и легенд, соприкасающихся с магией и тому подобными вещами.

Возвращаясь к обучающимся машинам, введем прежде всего понятие организующихся систем, под которыми мы будем понимать системы, преобразующие в соответствии с определенным принципом некоторое входное сообщение в выходное. Если этот принцип преобразования подчиняется некоторому критерию эффективности и если способ преобразования может регулироваться так, что система стремится повысить свою эффективность в соответствии с указанным критерием, то о такой системе говорят, что она обучается. Очень простой тип системы с легко интерпретируемым критерием эффективности представляет собой игра, которая должна вестись по определенным правилам, причем критерием эффективности является конечный выигрыш, достигаемый в соответствии с этими правилами.

Среди таких игр существуют игры с совершенной теорией, которые не представляют интереса. Примерами подобных игр являются «ним», по Бутону, и «крестики и нолики». В этих играх можно не только найти теоретически наилучшую стратегию, но и разработать ее во всех деталях. Играющие в эту игру (первый или второй игрок) всегда могут выиграть или, во всяком случае, добиться ничьей, придерживаясь избранной стратегии. Теоретически любая игра может быть доведена до такого уровня – такова идея покойного Джона фон Неймана. Однако, как только какая-либо игра действительно доводится до подобного уровня, она становится совершенно неинтересной и более не может рассматриваться даже как развлечение.

Такое всезнающее существо, как Бог, нашло бы, что шахматы и шашки являются примерами игр в указанном фон Нейманом смысле, но человек их полной теории еще не создал, и поэтому они все еще представляют собой вдохновенные состязания в силе интуиции и изобретательности. Однако эти игры не всегда ведутся в духе теории фон Неймана. А она сводится к тому, что, играя, мы делаем наилучший из возможных ходов в предположении, что противник сделает наилучший из возможных ходов в предположении, что мы, в свою очередь, сделаем наилучший из возможных ходов, и т.д., до тех пор, пока один из игроков не выиграет или игра не закончится повторением ходов. В самом деле, способность вести игру в духе стратегии фон Неймана означает, по существу, овладение полной теорией игры, а это низводит ее до уровня тривиального занятия.

Проблема обучения, в частности в ее приложении к машинам, способным обучаться играм, может показаться несколько далекой от религии. Тем не менее существует теологическая проблема, к которой вышеприведенные рассуждения имеют отношение. Это проблема игры между Творцом и его творением. Это тема книги Иова и «Потерянного рая».

В обоих этих сочинениях Дьявол ведет игру с Богом, причем ставкой является душа Иова или вообще души людей. Но, согласно ортодоксальным иудейским и христианским воззрениям, Дьявол – одно из творений Бога. Любое другое предположение привело бы к моральному дуализму с привкусом зороастризма и того отпрыска зороастризма и христианства, которое называется манихейством.

Но если Дьявол – одно из творений Бога, то игра, составляющая содержание книги Иова и «Потерянного рая», представляет собой игру между Богом и одним из его творений. Подобная игра с первого взгляда представляется чрезвычайно неравноправным состязанием. Вести игру против всемогущего, всезнающего Бога – занятие глупое, а между тем известно, что Дьявол – тонкий мастер козней. Любое восстание ангелов обречено на поражение. Чтобы доказать это, нет нужды в мятеже Сатаны, изображенном в «Манфреде». Да и Всемогущество, которое для своего самоутверждения мечет с небес молнии, вовсе не Всемогущество, а лишь очень большая сила, и восстание ангелов могло бы закончиться восхождением Сатаны на небесный трон и ниспровержением и вечным проклятием Бога.

Таким образом, если мы не запутаемся в догмах Всемогущества и Всезнания, конфликт между Богом и Дьяволом предстанет перед нами как реальный конфликт, а Бог – как нечто меньшее, чем абсолютное Всемогущество. Бог действительно вовлечен в конфликт со своим творением, причем он легко может проиграть. И, однако, это его творение создано им по его собственной воле и, по-видимому, приобрело всю свою способность действия от самого Бога. Может ли Бог вести серьезную игру со своим собственным творением? Может ли любой творец, даже ограниченный в своих возможностях, вести серьезную игру со своим собственным творением?

Изобретатель, конструируя машины, с которыми он может вести игру, присвоил себе в определенных пределах функции творца, какова бы ни была природа создаваемых им игровых устройств. Это в особенности верно в отношении играющих автоматов, которые обучаются на своем опыте. Как я уже упоминал, такие машины существуют. Как же они функционируют? Какого они достигли успеха?

Оказывается, что их действия в значительно большей степени напоминают манеру обычного игрока, чем стратегию, соответствующую теории фон Неймана. На каждой стадии игры выбор очередного хода подчинен установленным правилам, а из ряда возможных очередных ходов должен быть выбран один – согласно некоторому нормативному критерию хорошей игры.

Опыт игры, накопленный человеком, представляет нам разнообразные способы выбора такого критерия. В шахматах (или шашках) обычно невыгодно терять свои фигуры (шашки) и, напротив, обычно выгодно брать фигуры (шашки) противника. Игрок, который сохраняет подвижность своих фигур и право выбора ходов и в то же время держит под боем большое число полей на доске, обычно играет лучше своего противника, не придающего значения этим элементам игры.

Эти критерии хорошей игры сохраняют свою силу на протяжении всей партии, но есть и другие критерии, которые относятся к отдельным ее стадиям. В эндшпиле, когда на доске остается мало фигур, сближение с противником и взятие его фигур все более затрудняется. В дебютной стадии игры – и это более важный фактор в шахматах, чем в шашках, – фигуры расставлены так, что они лишены своей полной подвижности и силы. Вследствие этого требуется развитие фигур, позволяющее расширить их поле действия, необходимое как для нападения, так и для защиты. Далее, в шахматах, с их большим разнообразием фигур по сравнению с шашками, есть множество специальных критериев хорошей игры, важность которых доказана многовековым опытом.

Сочетая такие критерии (аддитивно или более сложным способом), можно для оценки очередного хода игрового автомата получить некоторый числовой показатель эффективности. Это может быть сделано до известной степени произвольно. Тогда машина, сравнив между собой показатели эффективности возможных очередных ходов, выберет ход, соответствующий наибольшему показателю. Это один из методов автоматизации выбора очередного хода.

Такая автоматизация выбора очередного хода в большинстве случаев не обязательно обеспечивает оптимальный выбор, но все же это какой-то выбор, и на его основе машина может продолжать игру. Для оценки такого способа механизации игры следует отрешиться от всех представлений о механизируемом объекте, используемом в известных нам технических устройствах, или от физического образа человека, соответствующего обычному игроку. К счастью, выполнить это нетрудно, так как именно это и делают шахматисты, играющие друг с другом по переписке.

При игре по переписке партнеры посылают свои ходы друг другу по почте, так что единственной связью между игроками служит письменный документ. Даже при таком способе игры опытный игрок вскоре вырабатывает определенные представления о личности своего противника, вернее, о его шахматной индивидуальности. Он узнает, тороплив или осторожен его противник, легко ли его провести, проницателен ли он и способен ли усвоить трюки своего противника или может быть снова и снова «пойман» при помощи той же самой элементарной стратегии. Все это узнается, я повторяю, не из какой-либо дополнительной информации, а в ходе самой игры.

С этой точки зрения любой игрок – будь то человек или машина, – пользующийся простым набором качественных признаков, избранных раз и навсегда, создает впечатление «жесткой» шахматной индивидуальности. Если вам удалось найти у такого игрока слабое место, то вы нашли это слабое место навсегда. Если вы разработали против него стратегию, она всегда окажется эффективной. Для выявления его техники достаточно сыграть с ним очень небольшое количество партий.

Все это относится к механическому игроку, который не обучается в ходе игры. Однако ничто не мешает ему научиться играть более разумно. С этой целью он должен сохранять в своей памяти записи прошлых игр. Затем в конце каждой игры или каждой серии игр определенного типа его механизм должен перестраиваться на совершенно иной образ действий.

При формировании показателя эффективности (оценочной функции) в него вводятся некоторые константы, которые можно выбирать различным образом. Так, например, соотношение констант, соответствующих относительной силе фигур, их подвижности и эквивалентному числу, может составлять 10:3:2 вместо 9:4:4. Новый способ применения регулируемой машины состоит в изучении проведенных игр, с тем чтобы, учитывая их исход, найти соответствующие им показатели эффективности (оценочные функции), отражающие динамику этих игр.

Таким образом, оценочная функция подвергается непрерывной переоценке, при которой более высокое значение этой функции присваивается позициям, характерным для выигранных партий, и меньшее значение – позициям, свойственным большей частью проигранным партиям. Игра должна продолжаться уже с новым значением оценочной функции, которая может быть определена различными способами, отличающимися лишь в деталях. В результате этого игровой автомат будет непрерывно преобразовываться в некую отличную от исходной машину в соответствии с историей развертывающейся игры. В этом случае как для машины, так и для ее противника – человека будут иметь значение их прошлые опыт и успех.

При игре с такой машиной, которая часть своей игровой индивидуальности перенимает от своего противника, эта игровая индивидуальность не остается абсолютно неизменной. Противник может вдруг обнаружить, что стратегии, которые в прошлом приводили к успеху, оказываются несостоятельными. Машина может вырабатывать, таким образом, своеобразную бесхитростную хитрость.

Можно сказать, что весь этот неожиданно возникший машинный интеллект был сообщен машине ее конструктором и программистом. В некотором смысле это верно, но не всегда справедливо утверждение, что все новые приемы машины ее конструктор предвидел до малейших деталей. Если бы это было так, то ему было бы не трудно нанести поражение собственному творению. Однако это не соответствует действительной истории машины д-ра Сэмюэля.

В самом деле, в течение значительного периода времени машина Сэмюэля была в состоянии довольно регулярно наносить ему поражения после примерно однодневной тренировки. Следует сказать, что Сэмюэль, по его собственным утверждениям, не был опытным шашистом и что после небольшой практики и тренировки он уже смог обыгрывать свое творение. Однако не надо и преуменьшать значение того факта, что был период, когда машина довольно регулярно выходила из состязания победительницей. Она выигрывала не сразу, она научилась выигрывать, причем методы ее обучения принципиально отличались от методов обучения человека игре в шашки.

Выбор стратегии, доступной машине, играющей в шашки, почти наверняка более ограничен, чем выбор стратегии, доступной человеку, но верно также и то, что выбор эффективной стратегии, доступной человеку-шашисту, тоже не безграничен. Диапазон его выбора определяется только возможностями его разума и воображения, но они, естественно, весьма ограниченны, и притом в такой мере, которая не слишком отличается от предельных возможностей машины.

Таким образом, машина, играющая в шашки, уже сейчас довольно хорошо овладела этой игрой, если же она «изучит» несколько глубже стадию эндшпиля и приобретет навык в применении coup de grace[5], то она начнет приближаться к уровню мастера. Если бы интерес к шашечным турнирам уже не был бы значительно ослаблен «ничейной» природой обычной человеческой игры, то можно было бы утверждать, что машина, играющая в шашки, полностью уничтожила бы интерес к этой игре. Не удивительно поэтому, что уже теперь люди начинают спрашивать, а не случится ли то же самое с шахматами? И когда следует ожидать этой катастрофы?

Машины, играющие в шахматы или по крайней мере способные провести значительную часть шахматной партии, уже существуют, но они играют сравнительно слабо. В лучшем случае их игра не превосходит уровня квалифицированных игроков, не претендующих на звание мастера; такие игровые автоматы действительно очень редко превосходят этот уровень. Это в значительной степени объясняется гораздо большей сложностью шахмат в сравнении с шашками как в отношении разнообразия фигур и ходов, так и в отношении большего различия в стратегии, применяемой на различных этапах игры. Относительно небольшое число параметров, необходимых для автоматизации игры в шашки, и небольшая степень различия между разными стадиями этой игры резко отличают ее от шахмат.

Тем не менее, по общему мнению моих друзей, довольно опытных шахматистов, дни шахмат как интересной человеческой игры сочтены. Они считают, что за период от десяти до двадцати пяти лет класс игры шахматных автоматов достигнет уровня мастеров, а тогда – если только эффективные, но несколько машиноподобные методы русской школы позволят шахматам просуществовать столь долго – они перестанут вообще интересовать людей как игра.

Пусть так, но еще останется много других игр, которые привлекают внимание инженеров, занятых конструированием игровых автоматов. К этим играм относится игра «го», популярная на Дальнем Востоке, в которой различают семь или более различных уровней мастерства.

Развивая эти идеи, можно сказать, что война и бизнес представляют собой конфликты, напоминающие игры, и вследствие этого они могут быть формально сведены к своеобразным играм с определенными правилами. И в самом деле, у меня нет оснований отвергать предположение, что формализованные варианты таких «игр» уже создаются в качестве моделей, имеющих целью определить стратегию нажатия Большой Кнопки, стратегию, которая, по замыслу ее создателей, должна сжечь нашу Землю дотла ради нового порядка вещей, менее зависимого от ненадежности человеческого поведения.

В общем случае игровой автомат может быть использован для автоматической реализации любой функции, если этот процесс подчинен четко выраженному критерию эффективности. В шашках и шахматах этот критерий сводится к выигрышу, достигаемому согласно установленным правилам. Правила эти, в корне отличные от норм доброжелательности, просты и безжалостны. Это не вызывает сомнений даже у тех одаренных детей, которые способны уловить дух этих правил, мимолетно прослеживая события, развертывающиеся на шахматной доске. Игрок может порой испытывать сильные сомнения относительно выбора лучшего пути к победе, но у него нет ни малейших сомнений в том, нужно ли выигрывать или проигрывать.

Основной критерий, позволяющий выразить поведение человека в терминах игры, зависит от того, существует ли объективно различимый критерий этого поведения. В противном случае игра становится столь же неопределенной, как игра в крокет из «Алисы в стране чудес», где шарами были ежи, которые не могли катиться, молотками служили фламинго, дужками – игрушечные солдатики, маршировавшие по полю, а судьей в игре была Королева Червей, все время менявшая правила игры и отсылавшая игроков к Палачу, который рубил им головы. В этих обстоятельствах понятие выигрыша теряет всякий смысл, а успешной тактике нельзя обучиться, так как критерия успеха не существует.

Однако если объективный критерий успеха задан, можно построить игру с использованием самообучения, причем ее методы будут гораздо ближе к тем приемам, которые мы применяем, когда учимся играть, нежели к игре в духе теории фон Неймана. Безусловно, методика игр с применением самообучения должна быть использована в самых различных сферах человеческой деятельности. Тем не менее, как мы увидим ниже, установление точных критериев эффективности того или иного действия поднимает много проблем, связанных с играми, в которых применяется самообучение.