Все под контролем: Кто и как следит за тобой

Я встретил Тенга среди подписчиков одной из электронных рассылок, посвященной вопросам компьютерных технологий и гражданских свобод. В то время я работал как внештатный журналист и писал материалы о компьютерной революции для нескольких газет и журналов. Тенг работал системным аналитиком и отвечал за работоспособность компьютерных сетей в одном из крупных банков Сингапура. Он заинтересовался одной из моих публикаций и послал мне электронное письмо, в котором рассказал о жизни в его офисе. В течение следующих нескольких месяцев мы стали обмениваться посланиями по электронной почте чаще и вскоре стали «электронными друзьями».

В течение двух лет мы обменивались с Тенгом электронными письмами как минимум два-три раза в неделю. Он рассказывал мне, что собой представляет жизнь в Сингапуре, какие вещи он покупает в магазинах, о влиянии американской культуры, о том, как его банк «борется» с новыми технологиями. Тенг, в свою очередь, задавал мне множество вопросов. Я рассказал ему о жизни в США, какие виды товаров я предпочитаю покупать, какие фильмы мне нравятся и о покупке какой модели автомобиля я подумываю. Иногда вопросы Тенга были несколько бестактны, но я считал, что он просто интересуется американской культурой. Иногда возникало впечатление, что он не понял смысла отправленного мною письма, иногда он вновь спрашивал что-то, о чем я ему уже рассказывал несколько недель назад. Я всегда списывал эти несуразицы на языковой барьер.

Но однажды судьба дала мне шанс: один нью-йоркский журнал предложил мне отправиться в Сингапур, чтобы написать репортаж о взрывном развитии высоких технологий в этой стране. Я послал Тенгу электронное письмо с вопросом, не хочет ли он встретиться лично, и если да, то когда ему будет это удобно. Но Тенг проигнорировал это письмо; он ответил мне обычным сообщением, в котором рассказал, чем он занимался в последнее время, и поинтересовался, что нового произошло в моей жизни. Я послал ему второе письмо, затем третье, с вопросом о возможности нашей встречи. Наконец он прислал мне ответ, в котором говорилось, что как раз во время моего визита его не будет в городе и встретиться нам нет никакой возможности.

Не знаю почему, но у меня возникли подозрения в отношении Тенга. Я вдруг осознал, что практически ничего о нем не знаю. В одном из писем я спросил его домашний адрес и номер телефона, но он не ответил. Я связался с банком, в котором, по его словам, он работал. Но там никогда не слышали о таком человеке. Наконец, я обратился к одному своему другу, который работал в New York Times. Через репортеров сингапурского бюро Times он навел справки. Получение информации заняло около недели, но когда я узнал правду, я не мог в нее поверить!

Банк, в котором работал Тенг, заключил контракт с американской фирмой, занимающейся исследованиями рынка. Компания создала группу вымышленных личностей, которые «вылавливали» в Интернете американцев, устанавливали с ними дружеские отношения и вытягивали из них ценную для заказчика информацию. Тенг не был реальным человеком, это была компьютерная программа!

Смоделированному человеку нельзя доверять

К счастью для пользователей Интернета, история с Тенгом вымышленная. Хотя я часто завожу «электронные знакомства» с людьми, которых встречаю в списках электронной рассылки по профессиональной тематике, у меня есть достаточно оснований полагать, что мои корреспонденты, находящиеся в Англии, Индии или Японии, являются существами из крови и плоти, а не компьютерными программами, засланными собирать интимные подробности моей жизни.

Между тем многие технологии, необходимые для создания Тенга, существуют уже сегодня. Конечно, Тенг не может быть создан как полноценная модель человеческого интеллекта. Однако он и еще тысячи подобных моделей могут быть созданы путем использования шаблонов, на основе стереотипности мышления, предсказуемости ответов и большого количества средств автоматизированной обработки текста.

Тенг представляет угрозу основам, на которых строятся человеческие отношения. Доверие, честность, уникальность и юмор – ценные качества. Ложь не одобряется ни в одном человеческом обществе. Люди понимают, что это неправильно, и очень часто чувствуют вину, обманывая других. Эти проблемы встают каждый раз, когда люди общаются друг с другом. Правда, всегда найдутся те, кто не захочет играть по правилам, но их достаточно легко вычислить через некоторое время. Общество даже наказывает таких людей, когда они слишком заходят за рамки этики.

Смоделированный человек не может испытывать чувство раскаяния. Он не понимает языка обычных эмоций, созданного человеческим сообществом. Маскирующийся под человека компьютер, который пытается строить человекоподобные отношения и никогда не откроет, что он машина, может быть применен только для использования в неких целях реальных людей, с которыми он вступает в контакт.

ELIZA и ее потомки

Первой компьютерной программой, имитирующей человека, была ELIZA, разработанная Джо Вейценбаумом [Joe Weizenbaum] из Лаборатории искусственного интеллекта Массачусетского технологического института. ELIZA представляла собой простейшую модель человеческого интеллекта. Вейценбаум создал программу в начале 1960-х, когда остальной персонал Лаборатории ИИ бился над созданием компьютера, способного понимать английский язык. Но это было слишком сложно. Вместо того чтобы пытаться создать разумный компьютер, Вейценбаум создал компьютерную программу, поведение которой выглядело разумным. «Я взял все свои шутки, собрал их вместе и на этой основе запустил ELIZE», – рассказывал он исследователю-историку искусственного интеллекта Даниелю Кревье [Daniel Crevier].[222]

ELIZA была очень простой программой, изображавшей роджерианского психотерапевта – последователя школы психиатрии, основанной Карлом Роджерсом. Роджерианская техника состоит в побуждении пациента говорить о своих проблемах, отвечая вопросом на вопрос. ELIZA анализировала введенные человеком фразы, находила среди частей речи глаголы и существительные, переворачивала предложение наоборот и выводила его на экран. Вы могли сказать программе: «Мой парень заставил меня прийти сюда», на что ELIZA отвечала: «Почему Ваш парень заставил вас прийти сюда?» Если у нее возникали затруднения, она могла вернуться к более ранним темам разговора или отделаться шаблонной фразой типа: «Почему Вы пришли сюда сегодня?»

На опытного специалиста-компьютерщика или лингвиста ELIZA не производила впечатление сложной и умной программы. Но для неподготовленного пользователя ее способность поддерживать разговор казалась удивительной. Даже люди, которые знали, что ELIZA – всего лишь компьютерная программа, увлекались этой игрой. Они доверяли ей свои личные секреты и проблемы. «Секретарь Вейценбаума, которая наблюдала в течение нескольких месяцев работу над программой, попросила, однако, выйти его из помещения на время ее первого „терапевтического“ сеанса с программой», – пишет Кревье.

Шокированный поведением своего детища, Вейценбаум вскоре пришел к выводу, что «основная идеология развития искусственного интеллекта – искусственный разум – безнравственна».

После того как ELIZA была написана, этот «подвиг» повторили десятки тысяч программистов. Хью Лебнер [Hugh Loebner], изобретатель и богатый филантроп, спонсирует ежегодный конкурс по написанию программ, имитирующих человека. Автора программы, поведение которой невозможно будет отличить от поведения реального человека из плоти и крови, ожидает приз в размере 100 тысяч долларов и медаль из чистого золота весом 14 карат.[223] Пока это не удалось никому. Большинство представленных на конкурс программ «срезались» из-за недостаточного владения английским языком и отсутствия доступа к огромному количеству знаний, являющихся для всех нас само собой разумеющимися.

Однако в менее формальных условиях программы, подобные ELIZA, могут быть приняты за человека. Первое описание такой ситуации, наиболее ярко демонстрирующее проблему приватности применительно к искусственному интеллекту, относится к 1989 году. Речь идет об общении программы MGonz, запущенной в Ирландии, и старшекурсника университета Дрейк в Айове. MGonz была создана Марком Хамфрисом [Mark Humphrys], старшекурсником университетского колледжа в Дублине. Программа отличалась от ELIZA тремя важными моментами. Во-первых, вместо того чтобы общаться на классическом английском языке, MGonz часто обращалась к сленгу, используемому малолетними хакерами. Во-вторых, автор провел «стажировку» программы в сети BITnet, позволяя ей обмениваться короткими сообщениями с участниками сети по всему миру. Наконец, MGonz вела журнал всех своих переговоров.

Во вторник вечером, 2 мая 1989 года, Хамфрис оставил программу запущенной и ушел домой. В 20:12 по ирландскому времени студент из Дрейка начал посылать сообщения программе. Программа отвечала ему. В течение последующего часа и двадцати минут программа выудила из дрейковского студента подробности его сексуальной жизни. К концу сеанса, не осознавая, что ведет диалог с машиной, студент поведал программе, что он потерял девственность в 17 лет, а прошлой ночью занимался сексом в спальне своей подружки. «Войдя в систему на следующий день, я был немало удивлен, что программа успела натворить в мое отсутствие», – вспоминает Хамфрис, поместивший позже запись этой сессии в Интернет (предварительно удалив из текста, по понятным соображениям, имя студента из Дрейка).[224] Хамфрис сказал мне:

MGonz лишь одна из многих программ искусственного интеллекта, прокладывающих свой путь через киберпространство. Другой робот, вызвавший раздражение многих миллионов людей, носил имя Zumabot. Zumabot сканировал конференции Usenet в поисках публикаций, содержащих слово «Turkey»,[p66] и отвечал на них агрессивными сообщениями о мнимом массовом убийстве мусульман в Армении во время Первой мировой войны.

По мнению автора статьи, появившейся в Internet Underground, создание Zumabot было оплачено турецкими спецслужбами. Программа буквально стала пропагандистской машиной. Ее целью было дискредитировать тех, кто говорил о массовом убийстве турками армян в 1917 году, путем многократного повторения, что все было наоборот. «Zumabot был частью широкомасштабной политики подавления разногласий среди турецких экспатриантов».[226]

Виртуальные роботы становятся неотъемлемой частью интерактивных многопользовательских игр [MUD – Multi-User Dungeon games] в Интернете. Программы, подобные ELIZA, часто инициируют общение с одинокими людьми, выдавая себя за женщин, желающих установить приятельские отношения.

Многие электронные сообщества установили правила, по которым компьютер обязан идентифицировать себя. Шахматный клуб Интернета [ICC, Internet Chess Club], позиционирующий себя как «самый активный шахматный клуб в мире», регулярно посещает 20 тысяч пользователей, и в нем ежедневно проходит 60 тысяч шахматных партий. В этом клубе есть специальное правило относительно использования компьютеров: все компьютеры должны быть зарегистрированы. Использование незарегистрированного компьютера приводит к аннулированию регистрационной записи. Компьютерам и людям запрещается совместно использовать одну регистрационную запись. И возможно, самое главное – компьютерным программам запрещено предлагать игру людям, им можно лишь откликаться на приглашение.

«Человек имеет право знать, играет он с компьютером или с человеком». Правила ICC гласят:

ICC имеет два вида проблем с роботами, говорит Мартин Грунд [Martin Grund], директор ICC по интерактивной деятельности. Первая проблема заключается в в том, что некоторые люди создают программы, которые соединяются с клубом, входят в систему и приглашают людей сыграть партию. Вторая, более тонкая проблема, возникает с теми, кто входит в систему сам, но фактически играет за них запущенная на их компьютере шахматная программа (это давняя проблема при игре в шахматы по переписке).

Алан Тьюринг

Многие считают Алана Тьюринга [Alan Turing] отцом искусственного интеллекта. Он действительно является одним из основателей компьютерной науки. Во время Второй мировой войны благодаря усилиям Тьюринга британское правительство смогло вскрыть шифры, при помощи которых нацистский режим держал связь со своими подводными лодками и военачальниками. После войны Тьюринга все больше и больше стала интересовать идея создания компьютера, который мог бы вести себя подобно человеку. Сегодня Тьюринг известен благодаря тесту Тьюринга, простому эмпирическому правилу, позволяющему установить, действительно ли компьютер думает и обладает самосознанием или он имитирует человеческий разум. Суть этого теста заключается в практическом испытании, происходящем приблизительно так: человека помещают в изолированную комнату с компьютером. После этого ему предоставляется возможность общаться с другим человеком и с компьютерной программой, при этом все общение происходит исключительно с помощью клавиатуры и экрана. Если испытатель не может различить машину и человека, то компьютерная программа признается такой же интеллектуальной и разумной, как и человек. [Фотография любезно предоставлена Компьютерным музеем (Бостон, Массачусетс) и Историческим центром (Маунтинвью, штат Калифорния)]

«Играть в шахматы на уровне гроссмейстера при поддержке компьютера – способ удовлетворения своих амбиций, в то время как противник в Чили, Аргентине или Австралии осознает свою слабость перед гроссмейстером и сдается, – говорит Грунд. – Получение удовольствия от сознания, что ваш компьютер стал победителем, достаточно странно».[228]

ICC не считает проблемой сам факт подключения к системе компьютеров и роботов, говорит Грунд. Действительно, в системе ICC всегда есть достаточное количество компьютерных оппонентов готовых сразиться и помочь всем желающим повысить свой уровень. Но эти программы никогда не лгут и не притворяются людьми. Если вы пошлете такой программе сообщение: «Привет», она ответит: «Извините, но я всего лишь компьютер. Это мне Вы сказали „привет“».

«Люди, которые нарушают правила и пытаются выдать свои компьютеры за людей, не правы с точки зрения морали, – говорит Грунд. – Шахматы – честная игра. А обманывать в честной игре по меньшей мере трусость. Это бесчестно».

Шахматный клуб Интернета является хорошей базой для развития межчеловеческих связей с использованием компьютерных технологий, а установленные в нем правила применимы гораздо шире. Люди должны быть юридически защищены от попыток компьютеров выдать себя за людей. Такой маскарад является по сути мошенничеством. Из этого не следует, что надо запретить использовать компьютеры в общении между людьми. Но обязанность помечать все свои сообщения как сгенерированные машиной должна стать законом для всех компьютеров. Более того, все машинные сообщения должны содержать подробную информацию, каким образом можно связаться с человеком, ответственным за данный компьютер, т. е. с оператором. Это единственный способ правомерной интеграции интеллектуальных программ в человеческое общество.

Компьютер как ваш агент

Информационная перегрузка – одна из серьезнейших проблем, с которой сталкиваются сегодня работники умственного труда. Каждый день на нас сваливаются тысячи сообщений по электронной почте, web-страниц и газетных статей. Информация льется на нас со страниц книг и журналов, из радио, с телевидения, из инструкций по использованию, с видеокассет, из новых фильмов, с досок объявлений и даже рекламы в небе.

Один из ключевых механизмов, предлагаемых современными технологиями для борьбы с информационной перегрузкой, – это интеллектуальный агент. Идея такой программы состоит в том, что она знает ваши интересы и предпочтения и использует данную информацию для фильтрации огромного потока информации, врывающегося в вашу жизнь таким образом, что вы видите лишь то, что желали бы увидеть. Хотя для создания таких агентов предлагалось использовать самые разные технологии, первой на рынке появилась технология называемая совместной фильтрацией.

Идея совместной фильтрации чрезвычайно проста. В реальном мире слишком много газет, записей, книг, фильмов, радио- и телевизионных станций, чтобы можно было уделить внимание всему этому разнообразию. Но вам это и не нужно. Вместо этого, вы спрашиваете своих друзей об их предпочтениях. Рано или поздно вы определяете, с кем из ваших друзей вы сходитесь во вкусах по части музыки и новостей, а чьи интересы так же далеки от вас, как планета Юпитер. Вы определяетесь, кому доверять. Конечно, такое сотрудничество – процесс двусторонний, и вы тоже будете давать рекомендации своим друзьям. И естественно, когда вы обнаружите, что кому-то из друзей приходятся по вкусу ваши советы, вы больше станете доверять его советам. Но до того, как вы узнаете это, вам, возможно, придется организовать собственный список рассылки.

Компьютеризованная совместная фильтрация автоматизирует этот процесс. Рекламщики утверждают, что совместная фильтрация может быть использована для доставки информации потребителю более точно, чем, например, поиск по ключевым словам. Они утверждают, что могут сформировать общественное мнение на безликом в другой ситуации web-сайте.

Известный онлайновый книжный магазин Amazon.com использует разновидность совместной фильтрации, чтобы помочь покупателям в выборе книг. В основе системы лежит теория о том, что если существует книга, которая нравится одновременно двум людям, вероятнее всего, существует и еще целый ряд книг, которые заинтересуют их обоих. Система пытается найти пересечение интересов разных людей, и у нее это неплохо получается. Например, если вы выберете «Практическую безопасность UNIX и Интернета» [Practical UNIX & Internet Security], одну из моих книг, Amazon сообщит вам:

После того как вы покупаете на Amazon.com несколько книг, система анализирует ваши покупки и строит огромную матрицу, содержащую корреляции между вами и всеми остальными клиентами. Когда я захожу на web-сервер Amazon, он встречает меня, например, таким приветствием: «Здравствуйте, Симеон Л. Гарфинкель! Мы можем порекомендовать вам книги по темам „Компьютеры и Интернет“, „Документальная литература“, „Развлечения“ и другие». Если я выберу раздел «Документальная литература», система порекомендует мне пять книг:

Совершенно очевидно, что Amazon знает, что я покупал книги по определенной тематике, и хочет помочь мне купить еще!

Другие системы потенциально гораздо более сложны. Когда я был аспирантом MTI и работал в Лаборатории медиа, там было большое количество различных видов интеллектуальных агентов. Джон Оруэнт [John Orwant], научный сотрудник, разработал программу Doppelganger.[229] «Doppelganger – мистическое чудовище из германского фольклора, которое выбирало невинного человека и подглядывало за ним из тени, наблюдая за его привычками, встречами, эмоциями и особенностями, – объяснял Оруэнт. – Через некоторое время Doppelganger начинал походить на этого человека, вести себя как этот человек, и в конечном счете становился этим человеком незаметно для всех».

Созданный Оруэнтом программный Doppelganger пытался сделать то же самое. Программа наблюдала за действиями человека и пыталась построить его модель: что ему нравится и не нравится, наиболее значимые события его жизни. Чем больше информации о вас могла собрать программа, тем точнее она подстраивалась под вас. После этого Doppelganger делал свою базу данных доступной другим программам на вашем компьютере, отвечая на их запросы. Например, глядя, какие электронные издания вы читаете, Doppelganger строил модель ваших предпочтений: какие статьи вам нравятся, а какие нет. На следующий день программа для чтения электронных газет могла спросить Doppelganger, включать или нет конкретную статью в ежедневную подборку для вас. Чтобы не нарушить личную тайну пользователя, вся конфиденциальная информация при передаче ее по компьютерной сети шифровалась при помощи PGP.[p67] Другой сотрудник Лаборатории медиа, Макс Метрал [Мах Metral] разработал ассистента для электронной почты. Программа наблюдала за действиями пользователя, строила его модель, после чего пыталась ее задействовать. Например, если программа замечала, что вы читаете электронные письма от вашей матери сразу же после их получения, то программе начинала автоматически открывать их для вас сразу после их поступления в почтовый ящик, после чего складывала в отдельную папку.[230]

Нет никаких причин, по которым программа останавливалась бы на этом. Умная программа для чтения почты может делать разбор входящей корреспонденции и помещать найденную там информацию в базу данных на естественном языке. После этого вы можете задать программе вопрос, например: «Когда я последний раз получал сообщение из Франции?» или: «Как называется модель нового ноутбука, недавно анонсированная IBM?» Компьютер даст вам ответ при помощи этой базы данных.

Это вовсе не научная фантастика. В 1991–1996 годах Агентство перспективных исследований американского Министерства обороны [US Department of Defense Advanced Research Project Agency, DARPA] спонсировало конкурс «Конференция по распознаванию сообщений» [Message Understanding Conference, MUC]. Целью конкурса было создание компьютерной программы, которая извлекала бы информацию из большого количества текстовых сообщений и облекала ее в машиночитаемую форму. В рамках MUC-6 участники написали программу, которая могла сканировать газетные статьи и искать в них информацию об изменениях среди руководящего персонала. Например, MUC-6 был предоставлен следующий текст:

МсСаnn создал новую, так называемую глобальную систему сотрудничества, состоящую из всемирно известных финансовых директоров и творческих партнеров. Известно, что Питер Ким [Peter Kim] был приглашен в сентябре в WPP Group's & Walter Thompson на должность вице-президента, главного специалиста по стратегическому планированию.

В результате получились следующие данные:

В конечном счете вы можете использовать такую программу для создания большой машиночитаемой базы данных из неструктурированной информации, типа сообщений электронной почты или газетных статей.

Другая система была разработана в рамках проекта START в Лаборатории ИИ Массачусетского технологического института [MIT AI Lab].[231] В отличие от MUC, START была спроектирована, чтобы отвечать на вопросы, заданные на английском языке. Например, вы могли задать START вопрос:

И получить ответ:

Борис Кац [Boris Katz], научный сотрудник Лаборатории ИИ, дал программе прочитать информацию об институте и поместил ее на web-сервер Лаборатории. Любой человек мог задать программе типовой вопрос и получить адекватный ответ. Например, вы могли спросить: „Где находится Лаборатория ИИ?“ и получить ответ: „Лаборатория искусственного интеллекта Массачусетского технологического института находится в Кембридже. Почтовый адрес лаборатории – MIT AI Laboratory, 545, Technology Square, Cambridge, MA 02139“.

Система также знала, как получить доступ к информации на других компьютерах в Интернете. Например, вы могли напечатать запрос:

Система ответила:

Щелчок мышью на подчеркнутом тексте вызывал карту штата Массачусетс с сервера Time Warner Pathfinder.

Вы можете задать START вопрос о населении Иордании, и она, проконсультировавшись в «Географическом справочнике ЦРУ», даст ответ, что в июле 1999 года оно составляло 4 561 147 человек. Вы можете спросить ее о времени в Сиэтле, и она, обратившись к базе данных временных зон, а также к значению текущего времени в Кембридже, ответит на ваш вопрос.

Хотя START может показаться похожей на другие понимающие естественные языки программы, засоряющие в последние 30 лет область искусственного интеллекта, у нее есть одна важная особенность. Другие системы используют сложные выражения, написанные на загадочном компьютерном языке, чтобы получить знания, задать вопросы и посмотреть на результат; большая же часть START написана непосредственно на английском языке. Это значит, что огромное количество относительно неподготовленных людей могут вводить в нее информацию. Это также означает, что программа может самообучаться путем чтения информации, которая уже находится в Интернете.

Технология агентов-помощников существует уже сегодня и постоянно совершенствуется. Но кто контролирует агентов?

Агент, который может предвидеть ваши действия и желания может оказать неоценимую помощь человеку в борьбе с информационной перегрузкой. Но такой агент также может стать мощным инструментом в руках того, кто хочет заставить вас приобрести определенный продукт. Прогнозирующий агент может также стать незаменимым и для того, кто желает причинить вам вред.

Извлечение «я»

До своего ухода из Федеральной комиссии по торговле Кристина Варни [Christine Varney] написала для радиостанции National Public Radio следующий маркетинговый сценарий от имени агента:

Действительно, восхититесь вы или испытаете раздражение, зависит от многих факторов. Если вы планировали встретиться с женой в этом отеле, вы останетесь довольны таким советом. Если вы полагаете, что ваша жена отправилась навестить свою больную маму в нью-йоркской провинции, то такое сообщение вполне может привести к разводу. А если ваша жена числится пропавшей, такое сообщение поможет вам найти ее. Согласие не фигурирует явно в этой истории. Вы могли дать согласие программе на это действие, если являетесь владельцем кредитной карты, но сам факт мог вызвать у вас раздражение. С другой стороны, даже если вы не дали такого согласия, программа сообщила вам важную информацию, которую вы не знали, и вы должны быть благодарны ей за это. Утверждение Варни ошибочно по другой причине: для практической реализации этой не слишком футуристической рыночной стратегии с использованием агента согласия не требуется. Вся необходимая для реализации описанного Варни сценария информация доступна сегодня банкам и компаниям, имеющим дело с кредитными картами.

Если что и сдерживает появление таких программ, то это вовсе не отсутствие согласия клиентов, а отсутствие строгого рыночного обоснования, что такое программное обеспечение принесет компаниям дополнительную прибыль.

Марк Ротенберг [Marc Rotenberg] из Информационного центра электронной приватности [Electronic Privacy Information Center] полагает, что агенты следующего поколения будут сканировать всю доступную персональную информацию о личности, после чего строить прогнозирующую модель для использования маркетологами и другими заинтересованными лицами. Ротенберг назвал это извлечением «я».

Извлечение «я» – одна из наиболее значимых угроз неприкосновенности частной жизни и личностной уникальности со стороны компьютеров. Ваш профиль будет содержать информацию о каждом документе, который вы когда-либо читали, о каждом человеке, которого вы знаете, о каждом месте, которое вы посещали, о каждом произнесенном когда-либо вами и записанном слове. Ваша уникальность будет теперь существовать не только внутри вас, но и внутри вашей модели. «Она будет знать о вас больше, чем вы сами знаете о себе, – говорит Ротенберг. – С этого момента мы теряем не только индивидуальность, мы теряем индивидуумов».[233]

Фактически первый опыт извлечения «я» уже состоялся. В конце 1980 года Джанет Колоднер [Janet Kolodner], аспирантка одного из пионеров искусственного интеллекта в Йельском университете – Роджера Шенка [Roger Schank], создала программу под названием CYRUS. Программа Колоднер была попыткой моделирования памяти государственного секретаря президента Картера – Сайруса Вэнса [Cyrus Vance]. Вспоминает исследователь-историк искусственного интеллекта Даниэль Кревье:

Технологических методов предотвращения извлечения «я» не существует. Но если мы хотим, чтобы неприкосновенность частной жизни сохранилась в будущем, такие технологии должны быть взяты под контроль. Существует целый ряд способов установления такого контроля.

Одним из законных средств противодействия извлечению «я» может стать авторское право. Американское законодательство и международные соглашения предусматривают специальный вид авторского права – авторское право на компиляцию. Это право защищает газеты, компакт-диски и другие виды носителей сборной информации, даже если отдельные их элементы не являются объектом защиты авторского права. Доктрина авторского права на компиляцию могла бы быть распространена и на отдельные компоненты жизни человека. Вы можете не претендовать на защиту при помощи авторского права каждого произнесенного вами предложения, названия каждого купленного вами продукта или названий улиц, на которых вы проживали с момента рождения. Но когда эти разрозненные факты объединяются в целое, они могут быть использованы против вас. Физические и юридические лица, уличенные в такой практике, должны быть подвергнуты штрафу или тюремному заключению.

Другим путем борьбы с этой проблемой может стать принятие и исполнение жестких законов, запрещающих накопление и обобщение персональной информации без исключительного разрешения субъекта этих данных. Законодатели должны четко придерживаться третьего принципа Кодекса о справедливом использовании информации: недопустимо использовать персональную информацию, полученную с одной целью для другой цели, без разрешения субъекта этой информации.[p69] Необходимость подтверждающего разрешения на накопление данных и их использование в определенных целях, так же должна быть предметом регулирования закона.

Права воплощениям!

Более ста лет назад первый программист – леди Ада Лавлейс [Lady Ada Lovelance, 1815–1852] написала серию писем Чарльзу Бэббиджу [Charles Babbage], изобретателю первого механического компьютера. В одном известном письме Лавлейс предположила, что настанет день, когда изобретенные Бэббиджем машины смогут мыслить самостоятельно, если будут правильно запрограммированы. В 1950 году один из величайших пионеров компьютерной науки Алан Тьюринг написал исследовательское эссе о том, как однажды компьютеры смогут стать разумными, и предложил тест, при помощи которого люди могли бы определить, разумна машина или нет. С тех пор десятки тысяч ученых посвятили свою жизнь созданию искусственного интеллекта, миллиарды долларов потрачены на достижение этой цели. И только несколько прорывов принесли существенную выгоду некоторым удачливым предпринимателям. Несмотря на это, спустя более чем 150 лет совершенствования технологий, искусственный интеллект по-прежнему остается иллюзией.

Сегодня не утихают грандиозные философские дебаты на тему возможно ли создание настоящего искусственного интеллекта. Они чрезвычайно похожи на дебаты о возможности искусственного полета, развернувшиеся в последний год XIX столетия. Некоторые считали, что это возможно, другие полагали, что это невозможно. Научные журналы публиковали неопровержимые доказательства того, что человек никогда не сможет построить летательный аппарат.[235] Но пока шли эти дебаты, изобретатели во всем мире неуклонно продвигались к своей цели. Первые попытки создать орнитоптер – машину с машущими крыльями – потерпели неудачу. Стало очевидно, что создаваемая человеком машина, должна использовать другой принцип, нежели простое повторение природы. Ученые стали конструировать планеры и аэродинамические трубы, чтобы изучить природу подъемной силы. В 1903 году конец дебатам положил первый успешный полет на летательном аппарате тяжелее воздуха, совершенный братьями Райт [Orville и Wilbur Wright].

Очень похожие вещи происходили и с искусственным разумом в следующие 50 лет. Подходы, являющиеся сегодня многообещающими, будут усовершенствованы. Другие уйдут в сторону; будут открыты новые.

Рэй Курцвейль [Ray Kurzweil], один из пионеров искусственного интеллекта, основавший несколько успешных компаний, занимающихся ИИ-технологиями, предполагает, что рождение разумной машины произойдет неожиданно, в результате согласованных попыток создать аналог человеческого мозга для хранения в нем информации в качестве резервной копии. В своей вступительной речи на открытии Ближневосточной конференции по информационным технологиям, проводимой Gartner Group в июне 1995 года, Курцвейль обрисовал следующий возможный вариант развития.[236]

• К 1997 году компании, такие как Dragon Systems, выпустят на мировой рынок первую систему распознавания речи с большим словарем – настоящую «голосовую пишущую машинку», которая позволит говорить обычным образом, а компьютеру – записывать сказанное (это уже произошло). В 1998 году компании смогут предложить аналогичную систему, не зависимую от говорящего, и позволят использовать технологию в слуховых аппаратах для глухих (этого пока не произошло).

• К 2005 году «компьютеры смогут влиять на психическое состояние человека, по необходимости помогая справиться с такими расстройствами, как перенапряжение и беспокойство». Люди будут общаться с компьютерами преимущественно устно. Компьютерные дисплеи тем временем уменьшатся до размера очков, которые будет носить подавляющее большинство людей, эти очки будут представлять собой «трехмерный дисплей, перекрывающий обычный визуальный мир».

• К 2011 году компьютеры смогу играть роль людей настолько хорошо, что искусственные люди станут первичным средством обучения: «Вместо того чтобы читать о Конституционном конвенте, студент сможет… подискутировать с моделью Бена Франклина о чрезвычайных полномочиях в военное время, роли судов и других аспектах».

• К 2030 году люди смогут полностью воссоздать структуру нейронной организации человеческого мозга. Технология позволит людям просканировать собственный мозг и использовать «свои персональные компьютеры как персональные устройства резервного копирования».

Курцвейль размышляет далее:

«Аморально или незаконно причинять боль и страдание вашей компьютерной программе? – размышляет Курцвейль. – Законно ли отключать вашу компьютерную программу? Возможно, это незаконно, если вы не сделали резервную копию».

Но эти вопросы – только начало, замечает Курцвейль:

Учитывая реальную возможность того, что наши интеллектуальные потомки будут населять описанные Курцвейлем мифические машины в 2040 году, мы должны серьезно подумать о правовом и этическом режиме, в соответствии с которым эти разумные аватары будут функционировать, – если эти аватары действительно являются репликантами человеческого разума, если они думают и сами создают объекты творчества, они должны обладать теми же правами на приватность, что и люди из плоти и крови. С другой стороны, в этом случае произойдет описанный в главе 9 перехват разума. Если же пойти другим путем, то в наших собственных интересах гарантировать права компьютерному разуму: приватность, которую вы сохраняете, однажды может оказаться вашей!