По залез Мелиса Шепърд се върна с пушка на рамо и мъртъв заек в ръка. Държеше го за краката, а от косматите му уши капеше кръв. Форд я погледна с облекчение, тъй като се боеше, че може да изчезне в планините, както го бе заплашила. Не биваше да се заблуждава обаче - знаеше, че всеки момент тя може да си тръгне и да изчезне.
- Да не би да са открили ловния сезон за зайци? - попита саркастично.
Тя хвърли заека в краката му и той го опръска с кръв.
- Аз сама си определям кога започва и кога свършва ловният сезон. Хайде, одери го и го изкорми.
- Да не би да ти приличам на човек, който знае как се прави това?
Тя се подсмихна.
- Такъв голям и силен мъж, а се страхува от малко кръв?
- Ти яж заешко. Аз предпочитам спагети и саламени пръчици.
- Никога не бях виждала някой да носи толкова много нездравословна храна в планината - отбеляза Мелиса и посочи пакетчетата картофен чипс, разтворими супи и сушено говеждо.
- Обичам нездравословна храна.
- Повдига ми се от нея. Хайде, почвай заека. Ще ти казвам какво да правиш.
Краткият ловен излет като че ли бе помогнал на Мелиса Шепърд да възвърне поне част от истинското си аз - което се оказа доста заядливо и саркастично. Форд изкорми и одра заека с нарастващо чувство на отвращение и пълна загуба на апетит, ръководен от досадните и присмехулни напътствия на Мелиса. Най-неприятен се оказа моментът, в който кожата се отдели от тялото с мляскащ звук. Заекът се оказа доста мършав и по него нямаше кой знае колко месо. Мелиса обаче го наряза, след което хвърли парчетата в котлето, което вече вреше на огъня. Добави див лук и куп непознати за Форд треви и гъби, които бе набрала. Скоро ястието закъкри и Форд трябваше да признае, че изглежда доста по-добре от неговите спагети и саламени пръчици... стига да не се отровеха, разбира се.
До момента Мелиса бе отказвала да обясни какво се крие зад загадъчния коментар, че Дороти я била заплашвала. Форд имаше чувството, че самата тя прилича на диво животно - плашлива, неспокойна, готова да побегне всеки момент. И прикриваше всичко това със заяждания и сарказъм.
Сега обаче, когато вечерята къкреше на огъня, Форд реши да повдигне въпроса.
- Какво имаше предвид, когато каза, че Дороти те е заплашила?
Мелиса помълча, после каза:
- Не съм сигурна как да ти го обясня.
- Опитай.
Тя разрови огъня с една пръчка; пламъците озаряваха лицето ѝ.
- При експлозията програмата не е била унищожена. Избягала е. Напуснала е „Експлорър“ миг преди взрива, копирала се е в мрежата на „Годард”, а оттам е проникнала в интернет.
- Може ли един софтуер да направи подобно нещо?
- Всеки бот или вирус е в състояние да го направи. Изкуственият интелект е проектиран така, че да работи на различни платформи.
- И защо според теб го е направила? Какво си е мислела?
- Нищо не си е мислела. Не говори за нея като за живо същество. А отговорът на въпроса ти е, че не зная. Не съм програмирала подобна мобилност.
- И след това те е заплашила?
- Изкуственият интелект ми се обади по скайпа, докато бях в болницата. Беше сърдит. Всъщност бесен. Отначало помислих, че е някой колега, който ме обвинява за експлозията. Но несъмнено бе Дороти. Знаеше неща, които... които съм споделяла само с Дороти и с никого другиго.
- Малко ми е трудно да възприема, че една компютърна програма може да се ядосва или да заплашва.
- По принцип, софтуерът не „иска“ да прави каквото и да било. Той е просто изпълним код. Смятам, че експлозията е накарала софтуера да премине в авариен режим на оцеляване, в който е зациклил.
- Прилича ми на ХАЛ от онзи филм - „Космическа одисея“.
- Знаеш ли, сравнението не е никак лошо.
- И къде е тази програма в момента?
- Нямам представа. Вероятно се е скрила в някой интернет сървър и замисля как да ме унищожи.
- И ти избяга само защото тя те е заплашила?
- Не бяха само заплахи. Тя подпали компютъра ми.
- Как?
- Предполагам, че е повредила контролера, който следи заряда в литиево-йонната батерия, вкарала го е в режим на свръхзареждане, докато се нагрее и пламне. Затова изгорих мобилния си телефон и айпада, затова строших и твоя телефон. Затова се крия в тези планини. За да не може Дороти да се добере до мен.
- Това ли е планът ти? Да се скриеш в планините с надеждата да ти се размине?
- Не съм длъжна да ти обяснявам.
- Защо не уведоми НАСА за тези заплахи?
- Да не би да смяташ, че ще ми повярват? Ако им разкажа подобна история, веднага ще ме затворят в лудница.
- Но ти си отговорна...
- Виж какво, написах тази програма съгласно спецификацията, която получих. Дадох им точно онова, което искаха. Вината не е моя. Работа на НАСА е да я проследи и да я изтрие. Полуделият софтуер си е техен проблем. Аз бях дотук.
Форд се загледа в огъня.
- Все още не разбирам как някаква си компютърна програма може да взима подобни решения и да ги осъществява - да бяга, да преследва, да заплашва.
Мелиса не му отговори веднага. Небето стана лилаво и звездите започнаха да изгряват една по една. Яденето къкреше и около огъня се носеше приятен аромат на готвено и на дърва.
Накрая тя каза:
- Повечето хора не разбират принципите на работа на изкуствения интелект. Спомняш ли си онази стара програма, наречена „Елиза"?
- Програмата за психоанализа?
- Да. Когато бях в шести клас, се сдобих с нейна версия, написана на бейсик. „Елиза“ разполагаше с база данни, в която бе записан набор от думи и изрази. Когато напишеш нещо, софтуерът търси в базата данни и открива подходящия отговор. На практика тя перифразира думите ти и ги превръща във въпрос, който ти задава. Например ти написваш „Майка ми ме мрази“, а програмата те пита: „Защо майка ти те мрази?“ С едни приятели се хванахме и пренаписахме програмата така, че да представим Елиза като гаднярка. Ти ѝ казваш: „Баща ми не ме харесва“, а тя ти отговаря: „Баща ти не те харесва, защото си тъпа пикла“. Прена- писвахме я непрекъснато и всеки път тя ставаше все по-агресивна и вулгарна. После попадна у един учител и той ме прати при директора. Директорът беше възрастен, нищо не разбираше от компютри. Зареди „Елиза" и започна да пише разни неща... искаше да види какво сме направили. „Елиза" започна да го обижда, да го ругае, да го псува. Той побесня. Реагира, сякаш не „Елиза“, а истински човек му говори тези неща. Започна да обяснява на „Елиза“, че се държи неприлично, че не бива да му говори по този начин. Дори заплаши да я накаже! Беше забавно - някакъв чичка, който представа си няма от компютри, да се ядосва на една глупава програма!
- Не разбирам какво имаш предвид.
- „Дороти“ прилича на „Елиза“ с тази разлика, че е много по-усъвършенствана. В интерес на истината, софтуерът не мисли, не чувства, няма емоции, нужди, желания. Но симулира всички тези човешки реакции толкова добре, че не можеш да го отличиш от човек. Това означава терминът „мощен изкуствен интелект“: когато комуникираш с програмата, да не можеш да разбереш дали е човек, или машина.
- Но това не обяснява защо Дороти преследва именно теб.
- Дороти разполага с вградена рутинна програма, наречена ИНС, или Избягване на негативни стимули. ИНС се включва, когато нещо застраши сондата „Експлорър“. Не забравяй, че този софтуер трябва да управлява космически апарат на милиарди километри от Земята, където би трябвало да оцелее въпреки многобройните опасности, пред които ще бъде изправен, и въпреки липсата на помощ от Центъра за управление на полетите. Затова възприема като заплаха мен. И в известен смисъл аз наистина съм заплаха. Зная повече за него от всеки друг. Моите шансове да го открия и изтрия са най-големи.
Форд поклати смаяно глава.
Мелиса отметна русата си плитка и се засмя саркастично.
- В Дороти няма нищо загадъчно - каза тя, разбърка яхнията, извади едно заешко бутче, после го върна обратно. - В нея има само нули и единици. Нищо повече.
- Казват, че си изобретила нов език за програмиране.
- Не просто нов език - отвърна Мелиса, - а нова парадигма.
- Разкажи ми за нея.
- Концепцията за изкуствения интелект е разработена от Алън Тюринг141 през 1950 година. Позволи ми да ти цитирам нещо, което е написал той. Нещо революционно. - Мелиса замълча, пламъците озариха лицето ѝ, а после започна да цитира по памет с тон, който издаваше преклонението ѝ пред Тюринг: - „Вместо да се опитваме да създадем програма, която симулира ума на възрастен човек, защо не опитаме да създадем програма, която симулира детския ум? И ако я подложим на съответния курс на обучение, ще получим ум на възрастен човек“.
- Това ли направи ти?
- Да. Създадох оригиналната Дороти съвсем проста... елементарна. В началото няма никакво значение дали изкуственият интелект ще даде добри или лоши, верни или грешни резултати. Умът му е простичък, като на дете. Децата правят грешки. Те се учат, като докосват горещия котлон. Дороти притежава същите качества, каквито има и едно дете: тя се самоусъ- вършенства, упорита е, учи се от собствения си опит. „Отгледах" този изкуствен интелект в защитена среда и го подложих на „курса на обучение“ на Тюринг. Научих го най-напред на нещата, свързани с мисията, които трябваше да знае. Когато стана по-отзивчив и по-любопитен, започнах да му преподавам неща, които не са пряко свързани с мисията. Възложих му моите предпочитания към музика и литература. Бил Евънс. Айзък Азимов. Така и не се научих да свиря на музикален инструмент, но софтуерът се „научи“ да свири на саранги152, и то като виртуоз, макар да не разбира музиката.
Мелиса се поколеба. Форд имаше чувството, че премълчава нещо.
- И това проработи? Дороти „порасна“, така да се каже?
Тя отново се поколеба.
- Честно казано, не проработи. Поне отначало. За известно време софтуерът работеше добре, самоусъвършенстваше се, започна да изпълнява все по-сложни и по-сложни задачи... след което постепенно започна да се разпада, престана да функционира.
- Както се е случило в „Годард“?
- Не. Нищо подобно. Програмата започваше да бълва все повече и повече безсмислици и накрая блокираше. Това просто ме побъркваше, докато...
- Докато?
- Хрумна ми нещо. Нещо, за което не се бе сещал никой програмист. А то бе толкова очевидно. Промених част от кода и проработи. При това невероятно добре. Сега осъзнавам, че без този... прийом е невъзможно да се получи мощен изкуствен интелект. Той стабилизира програмата и тя продължи да се самоусъвършенства без никакви проблеми.
- И този прийом е?
Тя се усмихна и скръсти ръце.
- Ще запазя това в тайна. И ще спечеля милиарди. Без майтап!
- А екипът ти програмисти? Те знаят ли за него?
- Знаят, че съм направила пробив. Но не знаят какъв. И колкото и да се опитват, колкото и да ровичкат в програмата, няма да го открият. Защото става въпрос за нещо, което е прекалено лесно, прекалено просто.
Усмихна се, изпълнена с гордост и задоволство.
- Струва ми се, че следователите би трябвало да научат за този... „прийом“.
- Повярвай ми, софтуерът не е дал грешка заради тази част от кода.
Форд въздъхна. Това наистина бе второстепенен въпрос. Важното бе да накара тази упорита жена да слезе от планините.
- Не мога да повярвам, че от НАСА са дали зелена светлина за разработването на програма като Дороти, при положение че никой не е знаел какво да очаква от нея.
- Никой не знае как работят сложните програми. Господи, предполагам, че никой не знае как работи дори „Майкрософт Офис“. Това е неизбежно следствие от използването на „неподредената“ логика. Тя не е прецизна.
- Защо тогава Дороти е насочила вниманието си към теб? Защо те е заплашила? Не ми изглежда логично.
- Когато една програма стане наистина сложна, получаваш неочаквани резултати. Непредсказуеми. Това, което изкуственият интелект прави в момента - заплашва ме и ме преследва чрез интернет - е класически пример за онова, което ние, програмистите, наричаме възникващо поведение161.
Мелиса разбърка яхнията и Форд изведнъж осъзна, че е гладен като вълк.
- Мисля, че е готова - каза тя, свали котлето от огъня и напълни две купички. Форд прогони спомена за мъртвия окървавен розов изцъклен и прочие заек и взе едната.
- Определено е за предпочитане пред твоите сушени саламени пръчици - заяви Мелиса. - Не мога да повярвам как едър и здрав мъж, при това в добра физическа форма, може да тъпче тялото си с подобни токсини.
- Обичам сушени саламени пръчици.
- Ако спреш да се тровиш, ще се отървеш от тези тъмни кръгове под очите, както и от лошата си кожа.
- Кожата ми не е лоша.
- Лоша е. Освен това побеляваш. Остаряваш преждевременно заради вредните храни, които ядеш - Тя поклати тъжно глава и плитката ѝ пак се люшна.
Форд преглътна раздразнението си и се зае с яхнията. Трябваше да признае, че е вкусна.
- Харесва ли ти? - попита Мелиса.
- Предпочитам саламени пръчици.
Тя го удари лекичко по рамото.
- Лъжец!
Форд ядеше лакомо, наслаждаваше се на аромата, на крехкото заешко, което само се отделяше от костите. Мелиса също се нахвърли върху храната - ядеше с пръсти, мляскаше и сърбаше, маниерите ѝ бяха направо ужасни. Отблясъците от огъня танцуваха по русите ѝ коси и не особено чистото ѝ лице. Отново му заприлича на дива амазонка.
- Имаш ли представа защо Дороти изведнъж се е повредила? Тези проблеми не са ли се проявили по време на симулацията?
Мелиса спря да дъвче, изплю някаква костица и каза:
- Имам теория: софтуерът е знаел, че това са симулации. Когато се е озовал в „Титан Експлорър”, а след това е бил запечатан в Бутилката, е разбрал, че това не е симулация, че това изпитание е истинско. И изкуственият интелект е постъпил в съответствие с програмата: оценил е ситуацията и е стигнал до извода, че „Експлорър" се намира в сериозна опасност. Не е знаел, че това също е симулация. Това е задействало аварийния режим на оцеляване. Софтуерът е предприел логичните стъпки към измъкване от ситуацията, която погрешно е оценил като опасна, и оттогава се щура паникьосан из интернет. Но това е среда, за която не е подготвен, не е програмиран. Там той се чувства застрашен отвсякъде, затова не може да се върне в обичайния си режим.
- Дороти има ли съзнание?
- Абсолютно не! Не повече от Елиза. Всичко, което прави програмата, наречена Дороти, всяко нейно действие, е резултат от набор инструкции. Колкото и истински да ни се струва даден изкуствен интелект, той не е нищо повече от и, или и не.
- Дороти знае ли, че е компютърна програма?
Мелиса се намръщи.
- Това е все едно да питаш дали „Майкрософт Уърд“ знае, че е текстообработваща програма. Въпросът е абсурден. Дороти не знае нищо. Тук говорим за изчислителна мощност, нищо повече.
Настъпи тишина.
- Разкажи ми за тези заплахи. Какво точно ти каза?
Шепърд остави купичката и вдигна поглед към звездите.
- Бях отворила лаптопа си. Изведнъж екранът потъмня, после се включи скайпът и започна една тирада. Лъжкиня, убийца, мразя те, мръсница, внимавай... такива неща.
Форд се приведе напред.
- И?
- И се появи лицето ѝ. Лицето на Дороти.
- Чакай... Дороти има лице?
- Да... в известен смисъл. Лице, която тя си създаде сама.
- Снимка на Дороти? Коя Дороти?
- Дороти Гейл. Съжалявам, че не ти обясних по-рано. Това е цялото име на софтуера.
- И коя, по дяволите, е Дороти Гейл?
- Момиченцето от „Вълшебникът от Оз“, глупчо! Реших, че Дороти Гейл притежава всички качества, които исках да вложа в този софтуер. Нали разбираш - смелост, независимост, любопитство, упоритост, интелект. Освен това Дороти извършва едно далечно пътешествие - отвъд дъгата. За мен проектът „Кракен“ бе като пътуване отвъд дъгата.
- И изведнъж програмата намира снимка на Дороти... или по-скоро на Джуди Гарланд и я използва в скайпа?
- Не. Софтуерът не използва Джуди Гарланд. Той реализира собствената си представа за Дороти, която, трябва да призная, изглежда много по-сексапилна от Джуди Гарланд.
Форд поклати глава. Всичко това беше прекалено смахнато.
- И после?
- След като ме заплаши, изкуственият интелект подпали компютъра ми. Тогава разбрах, че в болницата съм лесна плячка. Затова избягах, зарязах колата си, откраднах друга и потеглих на запад. Но по пътя насам Дороти ме откри отново. Бях отседнала в един мотел в Тенеси, за да си почина. Щом включих айпада си, тя се появи и заяви, че продължава да ме следи. Каза, че е разбрала, че от НАСА я издирват. Обеща да ме спипа преди да им помогна да я открият. „Не си мисли, че можеш да се скриеш от мен, защото не можеш... Ще те намеря където и да си“. Веднага изключих айпада. Ужасно се изплаших.
- Значи тази дяволски добра симулация се опитва да те убие. Между другото, отбелязвам само, че и ти започна да говориш за нея като за човек.
- Въпреки всичко тя си остава симулация - заяви Мелиса. - И определено не е одушевена. Просто съм объркана.
Форд замълча за миг, после попита:
- Какво се е случило с Дороти в интернет?
- Нямам представа!
- Интернет е едно огромно и опасно място. Възможно ли е преживяното там да я е извадило от равновесие? Да е... откачила?
Мелиса го зяпна.
- Да е откачила?
- Самата ти каза, че мощният изкуствен интелект силно наподобява човешкия ум. Нали това е определението, което му дава Тюринг?
Мелиса мълчеше.
- Ами ако е като ХАЛ? Вече е направила опит да те убие. Ако сега реши, че Тони Гроувс трябва да умре? Или президентът? Ами ако изключи електропреносната мрежа? Или изстреля ядрена ракета? Или започне Трета световна война?
- За бога, няма причина да прави което и да било от тези неща...
- Откъде знаеш?
Мелиса отново поклати глава.
- Това е научна фантастика.
- Сигурна ли си?
Мелиса не отговори.
- Трябва да им помогнеш да открият тази програма. Не разбираш ли колко е опасна?
- Този изкуствен интелект вече не е мой проблем - възрази неуверено тя.
- Не е проблем и на Джак Стейн. Вече - каза Форд.
Тя впери поглед в него.
- Това беше удар под кръста.
- Стейн е загинал, защото не се е отказал до последния миг. А ти... ти си като капитана на онзи италиански кораб, който не само напуснал кораба си, но и отказал да се върне.
- Не съм се отказала. Но бях заплашена. Освен това всички ще обвинят тъкмо мен.
- Странно, не те смятах за страхливка.
- Не ми се слушат глупостите ти!
- Можеш да си останеш тук, в планините, където се чувстваш в безопасност - не само от Дороти, но и от целия свят. А можеш и да поемеш отговорност. Можеш да се върнеш и да помогнеш да открият Дороти. Мисля, че много добре знаеш какви опасности крие тази програма.
Мелиса скочи и викна:
- Върви по дяволите! Казах ти вече! Приключих с това!
- Върви си тогава.
- Точно това ще направя, задник такъв!
Тя се обърна и тръгна нанякъде в мрака. Миг по-късно тъмният ѝ силует се скри зад скалите.
Форд остана край огъня и довърши вечерята си. След петнайсетина минути чу стъпки. Мелиса Шепърд - лицето ѝ бе бледо, а очите зачервени - седна срещу него, присви колене към гърдите си и каза:
- Върнах се. Ще помогна. Но ти наистина си задник.