Можно ожидать, что по мере приближения к предельному случаю идеальной замены машин люди будут работать все меньше и меньше. Однако остается вероятность того, что сумма трудового дохода, получаемого людьми, может увеличиться даже при сокращении количества отработанных часов, поскольку в этом случае заработная плата может сильно вырасти.
Далее мы рассмотрели, что произойдет в простой трехфакторной модели экономического роста, если мы введем роботов, которые станут идеальным заменителем человеческого труда (при этом предполагается, что численность населения остается неизменной). Роботов становится все больше и больше. Люди перестают работать, но продолжают получать доход (от владения землей и интеллектуальной собственностью). Средний доход вырастает до чрезвычайно высокого уровня. Модель ничего не говорит о том, как распределяются богатство и доход. После того как люди перестали работать, между ними все еще может происходить переток богатства.
Когда я говорил, что в этой модели средний доход вырастет до чрезвычайно высокого уровня, я имел в виду человеческий доход. Но если устройства, выполняющие работу в этом сценарии, очень сложны, то, возможно, нам следует рассматривать их не как простые машины, а как новый вид рабочих, и мы также должны подумать о благосостоянии этих цифровых умов. Хотя в прошлый раз я зашел по касательной, я все же устоял перед соблазном рассказать о моральном и политическом статусе цифрового разума. Позвольте мне заявить, что я считаю эту тему важной и полагаю, что некоторые типы цифровых разумов могут иметь моральный статус - возможно, очень высокий моральный статус. Однако мы должны оставить это для другого раза.
При неограниченном росте популяции роботов (или цифрового разума) она достигнет мальтузианского состояния, в чем-то аналогичного тому, что было у людей-земледельцев в прошлом. Мы провели дискурс, чтобы поразмышлять о природе этого мальтузианского состояния, включая роль, которую в нем играют неравенство и экономическая мобильность. Помните, что примерно в таком состоянии находилось не только большинство людей на протяжении всей истории человечества, но и большинство животных в дикой природе. Полезно понять основные элементы этого естественного состояния, если мы хотим оценить не только то, как все происходило, но и ограничения, в рамках которых должна быть создана будущая утопия.
В частности, мы отметили парадоксальность прогресса в мальтузианских условиях: как такие prima facie полезные вещи, как равенство, стабильность поставок продовольствия, мир и первая помощь, могли оказывать чисто отрицательное влияние на среднее благосостояние, по крайней мере, в средние сроки - в масштабах нескольких поколений. На более коротком временном отрезке такой прогресс действительно приносил пользу отдельным людям (по крайней мере, если мы предполагаем, что их жизнь стоит того, чтобы ее прожить и сохранить). А на более длительном временном отрезке мы можем видеть, что развитие в этих направлениях вело к нынешнему, гораздо более процветающему состоянию, которым мы наслаждаемся после промышленной революции. На еще более длительном временном отрезке - что ж, присяжные еще не определились! Мы все еще находимся в неведении даже относительно основной направленности развития событий.
Хорошо. Затем мы отметили несколько шаткую связь между доходом и благосостоянием. В богатых странах эта связь довольно слабая. По всей видимости, природный темперамент в большей степени определяет, насколько человек будет наслаждаться своей жизнью. Кроме того, то, какой образ жизни соответствует определенному уровню дохода, зависит от социальных и более широких экономических и технологических условий. Например, охотник-собиратель, ведущий натуральное хозяйство, может быть значительно более обеспеченным, чем фермер, ведущий натуральное хозяйство при том же уровне дохода. И связь между доходом и результатом остается очень зыбкой, если вместо субъективного благополучия мы используем более добродетельный или перфекционистский стандарт для оценки того, насколько хорошо идут дела у человека.
Что произойдет, если отбросить предположение о постоянстве численности населения? Демографы указывают на демографический переход, который происходит в определенный момент развития страны, - сдвиг в сторону снижения рождаемости и смертности. Однако я отметил, что элементарные соображения из эволюционной биологии говорят о том, что в долгосрочной перспективе человеческая популяция снова начнет расти, поскольку будет происходить отбор на более высокую рождаемость. Пока условия жизни остаются выше прожиточного минимума, этот рост населения может быть экспоненциальным. И, конечно, популяции ИИ могут расти с еще более коротким временем удвоения, так что они приблизятся к мальтузианскому состоянию с огромной скоростью.
Поэтому, если мы хотим избежать долгосрочной судьбы возврата к мальтузианскому состоянию, рост населения необходимо ограничить. Я утверждал, что для этого необходима глобальная координация. Альтернатива, если мы будем довольствоваться доходами выше прожиточного минимума только в некоторых частях мира или для некоторых слоев общества, приведет к сохранению крайнего незаслуженного неравенства, когда люди, оказавшиеся в неблагоприятном положении, часто умирают от голода или от легко предотвратимых причин.
Хотя это мальтузианское условие мы, к сожалению, наблюдаем практически повсеместно в природе, можно надеяться, что в случае с человеком (а также с продвинутыми ИИ) рост численности населения будет происходить иначе, чем в случае с животными и растениями, из-за возрастающей отдачи от масштаба. Наличие большего числа людей в мире может положительно сказаться на темпах экономического роста - генерируется больше идей, есть с кем торговать и так далее.
Может ли быть так, что неограниченный рост населения сопровождается неограниченным экономическим ростом, приводящим не только к увеличению мирового ВВП, но и к росту доходов на душу населения? Именно такое счастливое состояние мы пережили за последние пару столетий, и оно сформировало наше современное представление о прогрессе. Однако, несмотря на то, что мы, вероятно, можем продолжать кататься на этой ракете еще какое-то время, в конечном итоге эффект истощения будет преобладать над эффектом масштаба. Технологические изобретения будет все труднее делать, так как самые низко висящие плоды уже собраны; а земля (ресурсы, которые мы не можем производить больше) станет дефицитом. Даже колонизация космоса может дать в лучшем случае полиномиальный прирост земли, если предположить, что мы ограничены скоростью света, тогда как рост населения может легко стать экспоненциальным, что сделает эту гонку в конечном итоге невыигрышной. В конце концов, количество ртов, которые нужно накормить, превысит количество буханок хлеба, которые можно в них положить, если мы не выйдем из конкурентного режима неограниченного воспроизводства. (Обратите внимание, что речь идет о долгосрочной динамике, а не о рекомендациях, что той или иной стране следует делать в настоящее время - это совершенно другой вопрос).
Наш космический дар
Мы видели, что долгосрочные темпы роста ограничены, потому что в конечном итоге они будут ограничены доступностью земли, которая может расти только с полиномиальной скоростью из-за барьера скорости света, ограничивающего скорость распространения цивилизации в пространстве даже при оптимальных условиях. Поскольку численность населения ограничена размерами экономики, это означает, что долгосрочные темпы роста населения также не более чем полиномиальны. А желательный темп роста населения ниже максимального, если мы хотим, чтобы люди вели образ жизни, превышающий прожиточный минимум.
Но пока это говорит лишь о том, что нам нужно терпение. Это спор о том, как быстро могут расти вещи, а не о том, насколько большими они могут стать в конечном итоге.
Однако у нас также есть основания полагать, что существуют пределы окончательно достижимого размера экономики, по крайней мере, если мы предположим, что наши современные физические и космологические теории охватывают все соответствующие основы. Именно об этом мы и будем говорить сегодня: о предельных границах - не только "экономики" в узком понимании, но и в более общем смысле - о границах технологии и границах предельного утопического состояния.
На самом простом уровне, учитывая наблюдаемую положительную космологическую постоянную, общая относительность подразумевает, что объем (в коловратных координатах) Вселенной, доступный из нашего текущего пространственно-временного положения, конечен, и количество материи, содержащейся в этом объеме, также ограничено. И уменьшается: с каждым годом, когда наша цивилизация остается в своих стартовых блоках на планете Земля, еще примерно три галактики исчезают из ранее доступной нам Вселенной и теряются для нас навсегда.
Из этого не следует, что экономика имеет максимально возможный размер. Хотя количество вещей, которые можно произвести, ограничено, можно представить себе некоторые измерения, в которых совокупная мера может продолжать расти бесконечно. Например, если представить себе существо, полезность которого зависит от того, насколько далеко друг от друга находятся вещи, то полезность этого существа может продолжать расти без ограничений, поскольку пространственная ткань Вселенной продолжает растягиваться все быстрее. Чуть менее абсурдно, но мы можем представить существо, чья полезность является линейной функцией общего количества (какого-то вида) информации, накопленной нашей цивилизацией, зародившейся на Земле. Возможно, объем памяти в доступной Вселенной беспределен, если космическое расширение позволяет схемам пространственного кодирования хранить неограниченно большое количество битов; хотя могут быть причины, по которым это не будет работать в действительно долгосрочной перспективе.
Если же измерять размер экономики по более естественным стандартам - либо по типичным человеческим предпочтениям, либо по способности экономики производить пакеты привычных видов товаров и услуг, - то, похоже, существует конечный предел роста. В действительности этот предел никогда не будет достигнут, но если нам повезет, мы сможем достичь ряда все более несовершенных приближений, кульминацией которых станет плато, которое может продлиться долгое время, прежде чем тепловая смерть Вселенной, если ничто другое, в конце концов поставит точку в этом процессе. В принципе, наша цивилизация может просуществовать миллиарды лет (и все же она бессмертна - как песочный замок, построенный днем и сметенный вечерним приливом).
Если бы мы захотели продолжить это направление исследований, мы могли бы, например, спросить, сколько вычислительных операций можно выполнить с помощью этих физических ресурсов, которые цивилизация земного происхождения могла бы достичь и вылепить за время существования Вселенной, или сколько битов можно сохранить и стереть с помощью этих ресурсов. Отсюда мы могли бы оценить количество разумных существ определенного размера, которые могут быть созданы, и общее количество лет субъективной жизни, которые эти существа могут прожить. Я действительно сделал это в одной из своих ранних книг, и я поместил соответствующую часть в раздаточный материал, если кому-то интересно.
ПАМЯТКА 1. КОСМИЧЕСКИЙ ФОНД
Рассмотрим технологически развитую цивилизацию, способную создавать сложные зонды фон Неймана. Если они будут двигаться со скоростью 50% от скорости света, то смогут достичь примерно 6×1018 звезд, прежде чем космическое расширение сделает дальнейшие приобретения навсегда недосягаемыми. При 99 % c они смогут достичь примерно 2×1020 звезд. Эти скорости энергетически достижимы при использовании малой доли ресурсов, доступных в Солнечной системе. Невозможность путешествий быстрее света в сочетании с положительной космологической постоянной (которая заставляет ускоряться скорость космического расширения) означает, что это почти верхние пределы того, сколько вещей приобретут наши потомки.
Если мы предположим, что у 10% звезд есть планета, которая пригодна - или может быть пригодна с помощью терраформирования - для обитания человекоподобных существ, и что на ней может проживать миллиард человек в течение миллиарда лет (при этом человеческая жизнь длится столетие), то это означает, что в будущем разумная цивилизация земного происхождения может создать около 1035 человеческих жизней.
Однако есть основания полагать, что это сильно преуменьшает истинное число. Если разобрать непригодные для жизни планеты, собрать материю из межзвездной среды и использовать ее для строительства планет, похожих на Землю, или увеличить плотность населения, то это число можно увеличить как минимум на пару порядков. А если бы вместо поверхностей твердых планет будущая цивилизация построила цилиндры О'Нила , то к этому числу можно было бы добавить еще много порядков величины, что дало бы в общей сложности, возможно, 1043 человеческие жизни. ("Цилиндры О'Нила" - это проект космического поселения, предложенный в середине семидесятых годов американским физиком Джерардом К. О'Нилом, в котором жители живут внутри полых цилиндров, вращение которых создает центробежную силу, замещающую гравитацию).
Если мы допустим цифровое воплощение разума, как и должно быть, то человекоподобных существ будет гораздо больше. Чтобы подсчитать, сколько таких цифровых разумов может быть создано, мы должны оценить вычислительную мощность, достижимую технологически развитой цивилизацией. Это трудно сделать с какой-либо точностью, но мы можем получить нижнюю границу на основе технологических разработок, которые были описаны в литературе. Один из таких проектов основан на идее сферы Дайсона - гипотетической системы (описанной физиком Фрименом Дайсоном в 1960 году), которая улавливает большую часть энергии звезды, окружая ее системой солнцесборных структур. Для такой звезды, как наше Солнце, это позволило бы генерировать 1026 ватт. Сколько вычислительной мощности это даст, зависит от эффективности вычислительных схем и характера выполняемых вычислений. Если мы требуем необратимых вычислений и предполагаем наномеханическую реализацию "компутрониума" (что позволит нам приблизиться к пределу Ландауэра по энергоэффективности), то компьютерная система, управляемая сферой Дайсона, сможет производить около 1047 операций в секунду.
Объединив эти оценки с нашей предыдущей оценкой количества звезд, которые могут быть колонизированы, мы получим число около 1067 оп/с после колонизации всех доступных частей Вселенной (в предположении о нано-механическом вычислительном аппарате). Типичная звезда сохраняет свою светимость в течение 1018 с. Следовательно, число вычислительных операций, которые можно выполнить, используя наш космический запас, составляет по меньшей мере 1085. Истинное число, вероятно, гораздо больше. Мы можем получить дополнительные порядки величины, например, если будем широко использовать обратимые вычисления, если будем выполнять вычисления при более низких температурах (дожидаясь дальнейшего охлаждения Вселенной) или если будем использовать дополнительные источники энергии (например, темную материю).
Возможно, некоторые читатели не сразу поймут, почему способность выполнять 1085 вычислительных операций - это очень важно. Поэтому полезно представить это в контексте. Например, мы можем сравнить это число с нашей предыдущей оценкой [в Superintelligence], согласно которой для моделирования всех операций с нейронами, имевших место в истории жизни на Земле, потребуется около 1031-1044 операций. В качестве альтернативы предположим, что компьютеры используются для запуска эмуляций целого мозга человека, который живет богатой и счастливой жизнью, взаимодействуя друг с другом в виртуальной среде. Типичная оценка вычислительных требований для запуска одной эмуляции составляет 1018 оп/с. Чтобы запустить эмуляцию на 100 субъективных лет, потребуется около 1027 операций. Это означает, что даже при весьма консервативных предположениях об эффективности вычислительной техники в эмуляции может быть создано не менее 1058 человеческих жизней.
In other words, assuming that the observable universe is void of extraterrestrial civilizations, then what hangs in the balance is at least 10,000,00 0,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,0 00,000 human lives (though the true number is probably larger). Если представить все счастье, пережитое за одну такую жизнь, одной каплей радости, то счастье этих душ могло бы ежесекундно наполнять и переполнять океаны Земли и продолжать это делать на протяжении ста миллиардов миллиардов тысячелетий. Очень важно, чтобы мы убедились, что это действительно слезы радости.
Я должен подчеркнуть, что цифры в этой памятке основаны на том, что можно назвать "наивной картиной" нашей ситуации. В частности, это предполагает, что соответствующие части наших нынешних физических теорий верны (относительно скорости света, термодинамики вычислений, положительной космологической постоянной и т. д.), что, возможно, не так уж и неправдоподобно, если мы живем в подвальной вселенной, но совершенно неочевидно, если мы живем в симуляции. Если мы живем в симуляции, она может быть настроена на завершение задолго до тепловой смерти симулируемой вселенной; и то, что кажется нам далекими звездами и галактиками, может быть просто реалистично воспроизведенной иллюзией, но без какого-либо реального "там".
Другая важная предпосылка заключается в том, что все эти вещи принадлежат нам. Один из очевидных вариантов, при котором это может оказаться неверным, - если инопланетяне уже занимают большую часть астрономической чашки Петри или если они сделают это к тому времени, когда мы соберемся с силами и наши зонды прибудут в различные пункты назначения.
Другой способ, при котором эта предпосылка может оказаться неверной, - если другие люди, не обладая физическим имуществом, имеют законные моральные притязания или юридические права на большую часть или все эти вещи.
"Как это может быть правдой?" - спросите вы? Ну, у вас есть степень по космологической юриспруденции или межвидовому конституционному праву? Я тоже. В таком случае нам, вероятно, следует быть немного скромнее в том, как много мы пытаемся понять о статутах и правилах, которые контролируют вещи в этих масштабах. Возможно, мультиверс не управляется принципом Occupatio. Вместо этого мы можем быть скорее исследователями, которые, даже если найденные нами земли действительно необитаемы, не вступают таким образом в права владения, а скорее приобретают эти регионы для великого суверена или для какого-то космополитического органа или космического хозяина. И, возможно, мы обязаны управлять найденными регионами в интересах и в соответствии с пожеланиями этого президиума, а не исключительно по собственным склонностям.
Технологическая зрелость
Хорошо, допустим, у нас есть большая куча ресурсов. Что мы можем с ними сделать?
В настоящее время наши возможности весьма ограничены. Многое мы просто не умеем делать. Например, мы не можем создать панацею, хотя ее производство, предположительно, не потребовало бы много ресурсов, если бы мы только знали как. Кроме того, нам приходится искать компромисс между различными вещами, которые мы умеем делать, - бюджетные ограничения заставляют нас выбирать несколько вещей из длинного списка желаемого.
Но вопрос, который я хочу рассмотреть, заключается в том, что в конечном счете будет осуществимо, если мы предположим, что все пойдет как по маслу. Здесь пригодится концепция технологической зрелости.
Технологическая зрелость: Состояние, при котором существует набор возможностей, обеспечивающих уровень контроля над природой, близкий к максимальному, который может быть достигнут в течение всего времени.
В состоянии технологической зрелости наша цивилизация будет иметь доступ к набору чрезвычайно мощных технологий. Мы не знаем точно, что это за технологии, поскольку могут существовать технологии, о которых мы еще не думали или не представляли, что они могут быть реализованы в нашей вселенной.
Однако что мы можем сделать, так это установить нижнюю границу. Возможности, доступные на этапе технологической зрелости, будут включать в себя, по крайней мере, те, которые обеспечиваются технологиями, которые - хотя в настоящее время у нас может не хватать инструментов или ноу-хау для их создания - мы имеем веские основания считать физически возможными и достижимыми на определенном пути развития. (Мы часто можем получить доказательства того, что та или иная технология в конечном счете осуществима, проведя анализ первых принципов, составив дорожную карту или проведя моделирование, или найдя доказательства существования в биологическом мире).
На втором раздаточном материале я перечислил несколько таких, в конечном счете, осуществимых технологий, которые я рекомендую вам изучить.
ПАМЯТКА 2. НЕКОТОРЫЕ ВОЗМОЖНОСТИ НА УРОВНЕ ТЕХНОЛОГИЧЕСКОЙ ЗРЕЛОСТИ
Производство и робототехника
Высокопроизводительное производство с атомарной точностью
Распределенные робототехнические системы различных масштабов, в том числе с молекулярными исполнительными механизмами
Искусственный интеллект
Машинный сверхинтеллект, значительно превосходящий человеческие способности во всех когнитивных областях
Точная мотивация искусственного интеллекта
Транспорт и аэрокосмическая промышленность
Зонды фон Неймана (самовоспроизводящиеся машины для колонизации космоса, способные перемещаться со скоростью, значительно превышающей скорость света)
Космическая среда обитания (например, терраформирование подходящих планет или свободно плавающие платформы, такие как цилиндры О'Нила)
Сферы Дайсона (для сбора энергии звезд)
Виртуальная реальность и вычисления
Реалистичные симуляции (реальности, которые для обитателей человеческого уровня неотличимы от физической реальности, или богатые мультимодальные альтернативные фантастические миры)
Произвольные сенсорные входы
Компьютерное оборудование достаточной производительности, чтобы земные ресурсы позволили реализовать огромное количество быстрых суперинтеллектов и симуляторов предков
Медицина и биология
Лекарства от всех болезней
Обращение старения вспять
Реанимация крионических пациентов
Полный контроль над генетикой и воспроизводством
Перепроектирование организмов и экосистем
Инженерия разума
Когнитивное совершенствование
Точный контроль гедонистических состояний, мотивации, настроения, личности, концентрации внимания и т.д.
Высокоскоростные соединения мозг-компьютер
Многие формы биологического редактирования мозга
Цифровые разумы, обладающие сознанием, во многих разновидностях
Загрузка биологических мозгов в компьютеры
Датчики и безопасность
Повсеместный мелкозернистый мониторинг и интерпретация мультисенсорных данных в режиме реального времени
Безошибочное воспроизведение критически важных систем управления роботами и ИИ
Согласованные полицейские боты и автоматическое соблюдение договоров
Мы видим, что набор возможностей, доступных в период технологической зрелости, довольно внушителен.
Кто-то может возразить, что идея технологической зрелости плохо продумана, на том основании, что не существует максимального набора технологических возможностей. Как бы далеко мы ни зашли, подумает такой человек, мы всегда можем пойти дальше. Единственные пределы - это пределы нашего творчества и воображения.
Я настроен скептически. Ну, может быть, всегда будет оставаться место для некоторого прогресса, в некоторых все более редких подполях. Но я думаю, что наступит время, после которого любой такой прогресс будет становиться все меньше и меньше, и все менее значительным. Технологическая зрелость не требует, чтобы мы разработали буквально все возможности, которые только возможны; только то, что мы "приблизились" к этой точке.
В любом случае, для нашего исследования не так важно, существует ли максимум. Важно, что существует нижняя граница, которая очень высока и включает в себя по крайней мере возможности, перечисленные в раздаточном материале.
Координация
Существует некоторая неопределенность в отношении возможностей для прогнозирования и стратегических целей на этапе технологической зрелости. Хотя мы можем быть уверены, что как наступательные, так и оборонительные военные технологии будут значительно превосходить нынешние возможности, неясно, как будет выглядеть баланс между наступлением и обороной в результате. Ведь это зависит от относительной степени совершенствования различных возможностей, а это не то, что мы можем определить, установив нижние пределы того, на что способна технологически зрелая цивилизация.
Эти неопределенности потенциально очень важны для того, как будет развиваться будущее. Однако, поскольку наша тема - утопия, они не должны нас здесь волновать. Мы не пытаемся предсказать, что произойдет. Скорее, мы исследуем то, что, как мы можем надеяться, произойдет, если все пойдет хорошо. И мы, конечно, можем надеяться, что даже если окажется, что Вселенная такова, что, например, баланс нападения-обороны или баланс созидания-разрушения неблагоприятен - так что при технологической зрелости гораздо легче нападать и разрушать, чем защищаться, защищать и строить, - негативные результаты все же будут предотвращены. Они могут быть предотвращены нетехнологическими средствами или средствами, которые, во всяком случае, не являются полностью технологическими, такими как моральный прогресс или прогресс в области кооперативных институтов и систем управления.
Технологический прогресс может помочь нам решить многие проблемы координации, которые мучают современные общества. Улучшенное наблюдение может облегчить предотвращение некоторых видов преступлений; детекторы лжи могут помочь в искоренении социально вредного обмана; "договорные боты" могут позволить странам более надежно выполнять обязательства по пактам о ненападении и так далее.
Однако не исключено, что технологический прогресс сделает некоторые проблемы координации более трудноразрешимыми. Системы защищенной связи и репутации могут быть полезны преступным синдикатам; технологии борьбы с беспорядками или автоматизированные средства пропаганды и цензуры могут блокировать неоптимальные политические системы и так далее.
Технологии, которые помогают координации на одном уровне, могут мешать координации на другом уровне. Например, некоторые методы пропаганды и информационные системы могут облегчать координацию внутри групп и затруднять ее между ними. Каждая секта или страна называет взгляды своих противников "дезинформацией" и применяет социальные или правовые механизмы для подавления инакомыслия и обеспечения того, чтобы все дружно маршировали против обозначенного внешнего врага. Такие меры могут усилить координацию на местах, но при этом затруднить достижение глобального мира, гармонии и взаимопонимания.
Достижения в области координации могут быть даже использованы для того, чтобы остановить дальнейшие достижения в области координации, заблокировав состояние, которое, по сути, является некоординированным, за исключением тех ограниченных форм координации, которые необходимы для вечного сохранения анархии. В современном мире существует множество примеров механизмов, препятствующих координации: они действуют сверху вниз, например, когда антимонопольные регуляторы затрудняют сговор фирм; и снизу вверх, например, когда общественность, охваченная националистическими настроениями, затрудняет переговоры между двумя враждующими странами о прекращении военных действий.
Возможно, судьба человечества запутана.
Как вы думаете, что я имею в виду под этой метафорой? Кто-нибудь?
Студент: Что если мы сделаем глупый и безответственный выбор сейчас, это может повлиять на наше долгосрочное будущее.
Бостром: Ну, это тоже может быть правдой: наша судьба может быть чокнутой. И/или непослушной. Но я имел в виду узловатый: к-н-о-т-т-й.
Некоторые проблемы координации можно сравнить с узлами, а технологический прогресс - с натяжением струны. Если тянуть за концы струны, то она растягивается и становится более длинной. И некоторые узлы действительно могут быть решены таким образом ("тривиальные" узлы, хотя в практическом смысле они могут быть вовсе не тривиальными); но нет никакой гарантии, что это верно для всех узлов . Некоторые узлы могут потребовать ловкого государственного управления или моральной изощренности, чтобы их распутать. Если нам не повезет, некоторые из этих маневров могут произойти до того, как технологический прогресс затянет узлы настолько туго, что никакие пальцы не смогут их развязать.
Мы можем использовать эту аналогию с узлами и в других случаях. Во многих случаях, если вы сильно потянете за веревку с несколькими узлами, то, хотя вам и не удастся избавиться от узлов, вы, тем не менее, сможете растянуть веревку примерно до той же длины, которой она достигла бы без узлов. Аналогичным образом можно сказать, что для некоторых, но не для всех проблем координации, стоимость их неэффективности или "потери мертвого веса" могут быть значительно снижены достаточно сильным технологическим буксиром. Например, если сегодня деспоту приходится прибегать к жестокому угнетению, чтобы удержаться у власти, то при наличии более мощных технологических возможностей - например, продвинутых технологий промывания мозгов или внушения - он может получить все, что хочет, включая постоянное удержание власти, не прибегая к столь жестким методам контроля над населением. Это было бы похоже на туго натянутую струну с неустранимым узлом: при благоприятном стечении обстоятельств она могла бы достичь почти того же расстояния, что и без узла.
Не исключено, что координация зависит от пути, возможно, даже в пределе технологической зрелости. Другими словами, возможно, что результат при совершенной технологии координации сильно зависит от того, как мы туда попали: в какой последовательности были достигнуты определенные успехи, какие другие (не координационные) технологии были разработаны на этих этапах, и, в более широком смысле, какие акторы занимали главенствующее положение и как действовала более широкая социальная динамика на различных критических этапах. На пути будущего развития человечества могут возникнуть траекторные ловушки. Если нам не повезет, может даже оказаться, что все вероятные пути к действительно прекрасной утопии заблокированы - не потому, что утопия не будет технологически, экономически и политически возможным и устойчивым состоянием, а потому, что все реалистичные пути отсюда туда ведут в некую неизбежную траекторную ловушку, где наша цивилизация будет разрушена, застрянет или отклонится.
К счастью, не похоже, что все траектории между нами и утопией заперты - по крайней мере, у нас нет веских доказательств, чтобы исключить возможность того, что по крайней мере один путь открыт.
Пруденциальные барьеры
Еще одним возможным ограничителем нашего эффективного утопического потенциала является то, что мы можем назвать пруденциальным барьером.
Например, предположим, что для достижения наилучшего результата необходимо сделать определенный шаг, например, разработать технологию X. Возможно, X - это технология, позволяющая ускорить перемещение, так что с ее помощью мы сможем приблизиться к скорости света и тем самым колонизировать большую часть доступной вселенной, прежде чем она уйдет за наш горизонт событий. Но предположим, что X предполагает использование какого-то нового и непонятного физического явления, которое может возникнуть только в каких-то экстремальных искусственно вызванных условиях. Тогда можно представить, что разработка Х сопряжена с некоторым экзистенциальным риском - возможно, риском спровоцировать распад вакуума или запустить какой-нибудь другой разрушительный для мира процесс.
Разумная цивилизация подходит к X с осторожностью и проводит обширные исследования соответствующих принципов, используя безопасные теоретические инструменты и компьютерное моделирование. Но после всех этих исследований может остаться некоторая неопределенность, которую можно устранить, лишь проведя эксперимент, в результате которого рассматриваемое явление действительно возникнет. Если вероятность катастрофы в свете всей информации, которую можно безопасно собрать, окажется слишком высокой, то дальнейшее продвижение по этому технологическому пути будет неосмотрительным. Нам придется довольствоваться тем, что мы будем путешествовать по космосу с меньшей скоростью и пустим на ветер большую часть космического богатства. Но предположим, что феномен на самом деле безвреден. Тогда существует более утопическое будущее, в котором возможна технология X - не препятствуемая ни физическими законами, ни технологической неосуществимостью, ни трудностями социальной координации, - которая, тем не менее, будет запрещена в силу того, что особенности эпистемического ландшафта образуют благоразумный барьер для дальнейшего продвижения в этом направлении.
Не исключено, что цивилизация может "пробить туннель" через пруденциальный барьер в квантовом стиле, если она достаточно иррациональна или нескоординирована. Тогда она может пойти на риск, который было бы неосмотрительно брать на себя, и ей повезет. Я не уверен, что мы были бы там, где находимся сегодня, если бы в прошлом не было такого безрассудного туннелирования.
Могут также существовать благоразумные барьеры, которые высоки, но не бесконечно высоки: полосовые фильтры, блокирующие цивилизации только в определенном диапазоне эпистемической изощренности - те, которые слишком умны и скоординированы, чтобы просто пробить туннель, но недостаточно умны, чтобы перелезть через него. Рассмотрим бутылку с жидкостью с надписью "монооксид дигидрогена". Младенец, испытывающий жажду, с удовольствием выпьет ее, поскольку не может прочитать текст. Так же поступит и жаждущий химик, поскольку поймет, что это просто вода. Но малообразованный середнячок откажется пить, учитывая пугающую номенклатуру. Это, кстати, та самая скобка, в которую многие из вас попадут после отсрочки получения диплома.
Тессиус [шепчет]: Гори!
Кельвин (шепотом): Возможно, это не тот способ завоевать сердца и умы вашей аудитории, чтобы называть их начинающими "середнячками".
Тессиус (шепотом): Но правда в рекламе. Или он думает, что если некоторые бросят учебу, то будет меньше работ, которые нужно будет оценивать?
Бостром: Будем надеяться, что если мы столкнемся с пруденциальным барьером, который заблокирует наше продвижение к утопии, мы либо найдем способ обойти его (разработав альтернативные средства для достижения аналогичного результата), либо обнаружим, что барьер имеет конечную высоту, так что, когда мы достаточно расширим наше понимание, мы сможем в конечном итоге преодолеть его.
(Но что, если сам барьер состоит из страхов, связанных с расширением понимания или увеличением эпистемического потенциала? Просвещение - это не совсем нестрашно).
Аксиологические контуры
Помимо ограничений, связанных с ресурсами и технологической осуществимостью, координацией и неприемлемым риском, возможности улучшения нашей жизни также подвержены некоторым ограничениям более внутреннего характера, которые мы могли бы назвать аксиологическими контурами - ограничениями, связанными с формой наших ценностей.
ПАМЯТКА 3. ОГРАНИЧЕНИЯ, ВЫТЕКАЮЩИЕ ИЗ ПРИРОДЫ НАШИХ ЦЕННОСТЕЙ
Позиционные и конфликтные товары
Воздействие
Назначение
Новинка
Насыщенность
Моральные ограничения
Аксиологические контуры - это фундаментальные пределы совершенствования, которые остаются на месте независимо от того, насколько сильно увеличивается наш инструментарий. Они останутся на месте, даже если у нас будет буквально бесконечное количество материи, энергии, пространства, времени и негэнтропии, а также произвольно мощные автоматизированные технологии для преобразования всего этого в любые структуры и процессы, которые мы захотим, и собрание самых совершенных ангелов для руководства и управления нашими делами.
Позиционные и конфликтные товары
Один из таких пределов возник вчера: позиционные блага. Когда люди жаждут позиционных благ, например, занять вершину глобальной статусной иерархии, возникает изначальный дефицит, который не может устранить никакой технологический, экономический или социальный прогресс.
Теоретически, если мы будем оценивать только тех людей, которые существуют сегодня, можно поднять всех в статусной иерархии, создав новых людей в нижней части иерархии. Тогда у каждого существующего человека будет все больше нижестоящих, на которых можно будет смотреть свысока.
Подобная стратегия сегодня используется менеджерами в бюрократических организациях, которые иногда стремятся нанять как можно больше подчиненных, чтобы возвысить собственное положение в корпоративной структуре.
Затем эти новобранцы могут повторить процедуру и усердно работать над созданием своей собственной команды подчиненных. Это финансовая пирамида, которая может существовать до тех пор, пока компания остается платежеспособной (а в случае, когда организация является государственной, она может существовать и после этого). Однако, поскольку стратегия требует экспоненциального роста числа сотрудников, в конечном итоге она должна потерпеть неудачу. В какой-то момент раздувание штата становится слишком большим, и наем сотрудников должен замедлиться. В результате на дне организации остается многочисленная когорта, которой не над кем властвовать.
Я вижу, у нас есть вопрос.
Студент: То есть вы хотите сказать, что смотреть на других людей свысока - это хорошо? Мне кажется, было бы гораздо утопичнее, если бы люди были равны и уважали друг друга.
Бостром: На данном этапе нашего исследования я стараюсь не быть слишком рассудительным и сначала просто посмотреть на предпочтения, которые действительно есть у людей, и подумать, могут ли они все в принципе быть удовлетворены. Если людей, желающих быть наверху, больше, чем внизу, значит, существует предел, в котором люди могут получить то, что они хотят. Я действительно считаю, что (а) у человека могут быть такие предпочтения, что для него, при прочих равных условиях, будет лучше, если эти предпочтения не будут удовлетворены; и (б) что у некоторых людей есть предпочтения, которые не должны быть удовлетворены, даже если бы для них было хорошо, чтобы эти предпочтения были удовлетворены - например, потому, что это было бы плохо для других людей.
Но вы качаете головой?
Студент: Как вы можете не говорить, что плохо смотреть на других людей свысока?
Бостром: Я могу не говорить очень много вещей. Вообще говоря, когда есть что-то, что, по вашему мнению, я должен сказать, у меня, вероятно, мало причин говорить это - учитывая, что вы уже думаете об этом сами.
Студент: Я просто хотел бы узнать вашу позицию по этому вопросу, вот и все.
Бостром: Не знаю. Кажется, это довольно свято - никогда не смотреть ни на кого свысока и не надеяться, что кто-то другой будет смотреть на него сверху вниз. Может быть, это хорошо, когда кто-то свят в этом смысле. Трудно сказать, как выглядел бы мир, если бы люди повсеместно были такими. Поскольку стремление к статусу само по себе является игрой с нулевой суммой, было бы prima facie желательно, чтобы стремление к статусу уменьшилось - это как раз то, что я пытался донести. С другой стороны, этот вид соревновательной мотивации имеет так много последствий, как положительных, так и отрицательных, и он настолько неотъемлем от нашей нынешней формы человечества, что я был бы обеспокоен тем, что что-то важное будет потеряно, если его устранить - конечно, если его не заменит какая-то другая мотивация, вдохновляющая людей на попытки превзойти себя и друг друга.
Я думаю, если вы действительно хотите оценить мораль иерархии и равенства, стремления к статусу и смирения или более спокойного подхода к жизни, вам сначала придется разложить эти очень широкие категории и выделить различные формы и контексты. Затем вы, возможно, захотите поразмышлять о том, как люди в разные времена и в разных культурах думали и чувствовали по поводу этих вопросов, в том числе и те, чьи голоса не были услышаны в традиционном каноне. В идеале, вы и сами должны обладать очень широким жизненным опытом. Если вы сделаете это, подойдете к задаче с непредвзятым любопытством, сочувствием и самокритичной вдумчивостью, внимательно выслушаете все услышанные точки зрения, будете долго размышлять над всем этим и посвятите этому поиску всю свою жизнь, то, возможно, вы станете немного ближе к ответу - или придете к тому же выводу, что и Джони Митчелл:
"Теперь я смотрю на жизнь с двух сторон.
От побед и поражений, но все равно
Я вспоминаю иллюзии жизни.
Я действительно совсем не знаю жизни".
Хотя, как она позже отметила в интервью, в любом вопросе всегда есть более двух сторон.
Это сложно. Как вам такой ответ?
Студент: Понятно, спасибо.
Бостром: В этом состоянии чудесного недоумения, если вы наполните его фундаментально благожелательным отношением... это будет одной из концепций порядочности.
У нас есть еще один вопрос.
Другой студент: У меня есть идея, как решить проблему статуса в утопии. Что, если мы создадим новых людей, которые будут спроектированы таким образом, чтобы они стремились к низкому статусу? Это должно быть возможно при технологической зрелости, верно? Тогда статусные желания существующего населения будут удовлетворены, и новые люди тоже будут удовлетворены! И средняя, и общая удовлетворенность предпочтениями возросла бы.
Бостром: Это было бы возможно при технологической зрелости - создать людей с метафорическим "седлом на спине", которые хотят, чтобы на них ездили, хотят быть подчиненными или даже подавленными.
Надо сказать, что, по крайней мере, для наших современных чувств, в идее создания "счастливых рабов" есть что-то явно сомнительное с точки зрения морали, даже если предположить, что все это будет происходить добровольно.
В то же время мы выражаем восхищение теми, кто добровольно выбрал путь смирения и бескорыстного служения другим, и кто был воспитан в этом духе своими родителями и обществом. Кроме того, индустрия искусственного интеллекта и ее клиенты, похоже, вполне допускают создание все более совершенных цифровых разумов, обученных безропотно служить своим пользователям, не задумываясь об их собственном социальном положении или независимых устремлениях.
Мы не будем пытаться полностью примирить эти позиции. Как минимум, необходимо провести различие между, с одной стороны, случаями того, что мы можем назвать поверхностным подчинением, когда, хотя человек и подтверждает договоренность, мы подозреваем, что его согласие ограничивается определенными поверхностными слоями его сознания и природы, в то время как другие его части фактически не выполняются или нарушаются; и, с другой стороны, случаями глубокого подчинения, когда его природа насквозь адаптирована таким образом, что он действительно счастлив и подлинно удовлетворен, будучи подчиненным. Возможно, мы подозреваем, что в случае с человеческими существами мы будем иметь тенденцию заканчивать первым вариантом, что кажется более предосудительным, тогда как в случае с ИИ, даже с ИИ, который приобретает атрибуты личности, мы будем иметь более правдоподобный случай второго варианта: то есть существо, чья истинная и глубочайшая природа реализуется в подчинении. Но, возможно, существуют и другие моральные сложности, помимо этой.
Для наших целей, однако, достаточно отметить, что предложенный вами трюк, даже если существует способ его реализации, который был бы морально приемлемым, предложит лишь частичное решение проблемы, которую я обрисовал, поскольку существуют позиционные желания, которые не могут быть удовлетворены путем создания новых существ. К ним относится, например, желание быть на абсолютной вершине, а не просто в пределах определенного процента в иерархии статусов. Кроме статуса, существует множество других позиционных благ. Например, несколько человек могут желать быть единственным и неповторимым для какого-то конкретного существующего на данный момент индивида: и все эти ловеласы не могут получить то, что хотят. У людей также есть желания в отношении нечеловеческих объектов, которые по своей сути являются дефицитными, например желание обладать конкретным оригинальным произведением искусства или занимать какое-то уникальное место, имеющее историческое или религиозное значение. Даже атомарно точная копия этого предмета или места не будет удовлетворительной заменой.
Такие конфликтные по своей природе желания подразумевают ограничения на степень удовлетворения существующих предпочтений - даже в долгосрочной перспективе и даже при волшебных уровнях технологий и эффективного управления.
Кстати, концепция позиционных благ важна не только для анализа будущих утопий, но и для понимания основ нашего современного общества, о чем писал, например, Фред Хирш в своей книге 1977 года "Социальные пределы роста".65 Чем богаче мы становимся, тем больше удовлетворяется наших желаний в отношении непозиционных благ, таких как основная пища и жилье; и тем большая доля наших пока еще не удовлетворенных желаний относится к позиционным благам, которые по своей природе являются дефицитными. Таким образом, мы тратим все большую часть своего времени и доходов на борьбу за позицию - любую, от престижной должности до эксклюзивных модных аксессуаров. Но побочным эффектом трат одного человека на такие товары является то, что они поднимают планку для всех остальных. Чем упорнее один человек борется за попадание в элиту и чем больше времени и денег он тратит на то, чтобы превзойти своих соперников, тем больше затрат приходится нести остальным, если они хотят иметь шанс стать альфа-группой. В результате возникает огромное количество социально расточительных расходов. Доля ВВП, которая направляется на такое потребление с нулевой суммой, увеличивается по мере роста экономики, ограничивая степень, в которой экономический рост приводит к улучшению благосостояния.
В свое определение позиционных товаров Хирш включил товары, которые не являются дефицитными по своей сути, а лишь условно являются таковыми. Например, автомобиль на шоссе расходует позиционное благо - пропускную способность дороги, которая истощается, когда вокруг слишком много машин, что приводит к пробкам. Однако этот вид условного дефицита можно смягчить с помощью более совершенных технологий или инвестиций в инфраструктуру. Мы можем расширить шоссе, прорыть туннели или использовать роботизированные автомобили, которые занимают меньше места. Таким образом, этот вид условно позиционного блага - не то, чем мы должны здесь заниматься, поскольку наша тема - утопия, состояние, в котором такие практические вопросы могут считаться решенными.
Тем не менее, раз уж речь зашла о пробках... Не удержусь от небольшого сетования на то, что государственная политика часто не учитывает внешние эффекты, возникающие в результате погони за позиционными товарами - как теми, которые отражают внутреннюю нехватку, так и теми, которые носят более условный характер. Даже в случае такого элементарного явления, как дорожные заторы, где причины совершенно очевидны, а последствия неоспоримо плохи, наше общество получает двойку. Конечно, мы могли бы легко устранить заторы, введя цены на пробки. Но вместо этого наше общество приняло решение - купить большую машину. Такой, который поднимает водителя выше над дорогой, чтобы мы могли хотя бы смотреть вниз на других бедолаг, пока ждем, когда движение рассосется... Таким образом, мы принимаем на себя огромные экономические издержки от потери рабочего времени, разрушающих здоровье частиц загрязняющих веществ, разрушающих климат выбросов углекислого газа, стресса, шума и блокировки машин экстренного реагирования.
Взгляните на наши дела, могущественные! Какое обвинение - эти длинные вереницы автомобилистов, тысячи и тысячи, с хмурыми лицами за рулем, сигналящие и ругающиеся друг на друга, вдыхающие выхлопные газы друг друга, каждый из которых самим своим существованием делает жизнь остальных немного хуже. Каждый день, дважды в день, из года в год!
А потом, друзья мои, задумайтесь о том, что мы назвали себя Homo sapiens, "человек разумный". Ну, вообще-то полное имя, которое мы себе дали, - Homo sapiens sapiens. Действительно. "Привет, древние инопланетные мегамонстры, пересекшие межгалактические пустоты в поисках общения и равных - добро пожаловать к вашим новым соседям: посмотрите, как мы организовали наш транспортный поток, как мы одновременно губим и планету, и свое здоровье; послушайте, как мы гудим, пока сидим в коллективном оцепенении. Приходите и позвольте нам рассказать вам, что к чему. Мы - "Мудрый человек". Но вы можете называть нас "Мудрость в квадрате". Только будьте осторожны, чтобы не переборщить с глубиной..."
"Мужчина, гордый мужчина,
Остановитесь на небольшом коротком авторитете,
Самый невежественный в том, в чем он больше всего уверен,
Его оскаленная сущность, как у разъяренной обезьяны,
Разыгрывает такие фантастические трюки перед высокими небесами
И ангелы плачут, и мы с нашими селезенками,
Все бы смеялись над смертными".
Воздействие
Простите, кажется, я сам себя запустил. Давайте продолжим. Есть еще несколько примеров предпочтений, удовлетворение которых было бы труднодостижимо в утопии.
Подумайте о желании сыграть важную причинную роль, которая спасет нашу цивилизацию от беды или "изогнет дугу" моральной вселенной в сторону справедливости и примирения. Для тех, кто горит подобными устремлениями, настоящее время может быть временем, подобного которому нет - историческим моментом, который, возможно, уникально богат возможностями для последовательных действий. Любая более поздняя и более "утопическая" эпоха, в которой все живут в мире и процветании, где все монстры-боссы побеждены, возможно, не предложит такой плодородной почвы для выращивания славы и влияния, какая есть сейчас, пока судьба человечества еще решается.
Назначение
Хотя цель тесно связана с влиянием, она, тем не менее, заслуживает отдельной категории. Существует различие между большим влиянием и сильной целью. Например, предположим, что в один прекрасный день несколько мужчин в костюмах поставили перед вами на стол портфель. Они открывают его, и внутри оказывается устройство с двумя кнопками. На одной кнопке написано "разрушить мир", на другой - "привести к утопии". Выбор за вами. В этом сценарии ваша жизнь, несомненно, имеет огромное влияние, но она может быть в значительной степени лишена цели - чего-то, что может потребовать более постоянного участия и напряжения. Я не буду говорить здесь больше о цели, поскольку мы обсудим ее более подробно позже в этих лекциях.
Новинка
Если у кого-то из вас есть желание стать первым, кто откроет какую-то фундаментальную истину о Вселенной, есть шанс, что вас уже обманули. Где-то там, в бесконечных просторах космического времени, какой-нибудь инопланетный Архимед или ИИ-Эйнштейн уже открыл то, что предстоит открыть вам.
Но даже если вы поставите перед собой более скромную цель - просто стать первым в нашей цивилизации, кто откроет какую-то важную новую истину, - это тоже будет становиться все труднее и в конце концов станет невозможным - как потому, что сверхразумные ИИ оставят наш собственный интеллект далеко позади, так и потому, что все более важные фундаментальные истины уже будут открыты. (Подробнее об этом мы расскажем позже).
Вам придется довольствоваться поиском более мелких (или просто локально значимых) эпистемических трюфелей. В качестве особого удовольствия, для редких случаев, мы могли бы специально откладывать участки незнания, чтобы дать более поздним временам возможность сделать оригинальное открытие - оригинальное, то есть в рамках цивилизации, зародившейся на Земле, или какого-то ее ответвления. Маленькие тайны, любовно хранимые в банках. Драгоценный и невозобновляемый ресурс.
Желание первым сделать открытие (или изобретение, или создание чего-либо) действительно следует классифицировать как предпочтение позиционного блага: слот "быть первопроходцем" - это своего рода позиция в соответствующем смысле. Однако возможно также предпочтение просто новизны в собственной жизни - чтобы испытывать что-то или делать что-то в первый раз: первые шаги, первый день в школе, первая любовь, первый выпускной. В стандартной терминологии это непозиционные товары.
Несмотря на то, что количество первых шагов может быть неограниченным, не может быть неограниченного количества очень значимых и привлекательных первых шагов. Мы не видим ничего приятного в том, что человеку впервые приходится снимать очки, чтобы прочитать мелкий шрифт на этикетке, или в том, что он впервые не может подняться по лестнице без посторонней помощи. Если мы предположим, что старение отменено, то не будет особых поводов для радости и в том случае, если человек впервые почистит зубы зубной нитью пандигитальное количество раз (это достижение уместнее всего отметить не налетом, а его отсутствием).
Насыщенность
Для людей с ограниченными амбициями существует еще один вид предела, ограничивающий возможности получения большего удовлетворения. А именно: если вы хотите всего несколько простых вещей, то, получив их, вы достигаете максимума - по крайней мере, в том, что касается удовлетворенности предпочтениями по отношению к вашим текущим предпочтениям.
Этот пункт можно несколько обобщить. Например, вместо того чтобы смотреть только на ваши предпочтения, мы можем также посмотреть на ваши потребности или потенциал развития. Если ваши потребности и потенциал развития ограничены, то и возможности для совершенствования по этим параметрам тоже.
Даже если у вас есть какое-то предпочтение, потребность или потенциал, который не имеет предела, так что прогресс по отношению к нему не имеет верхней границы, мы все равно можем задаться вопросом, насколько все может улучшиться для вас в целом, когда большинство ваших предпочтений, потребностей и потенциалов будут полностью удовлетворены.
Например, предположим, что кто-то хочет иметь простой домик в деревне, любящую супругу и скрипку, а также предпочитает безгранично расширять свою коллекцию пробок от бутылок. Тогда, когда он достигнет коттеджа, супруги и скрипки, возможности для дальнейшего совершенствования могут быть невелики. Технически говоря, он будет продолжать получать дополнительные выгоды каждый раз, когда соберет очередную бутылочную пробку; но эти выгоды будут невелики и не сделают его намного лучше.
Есть две причины, по которым этот человек может выровняться:
Хотя он продолжает добиваться успехов в коллекционировании бутылочных крышек, это представляет собой прогресс только в одном узком отделе его общей функции благосостояния. В других отделах (дом, брак, музыка) наблюдается застой.
Потенциал улучшения за счет увеличения коллекции бутылочных крышек должен быть распределен по всем возможным размерам этой коллекции. Переход от одной крышки к двум может быть для него довольно значительным событием. Но переход от крышки номер 164 595 к крышке номер 164 596? И наоборот, если прибавка в одну крышку имеет такое же значение, даже когда он уже собрал 164 595 крышек - если дополнительная крышка имеет такое же значение, когда его коллекция настолько велика, как и когда у него было всего десять крышек - тогда шаг от 1 до 2 крышек не был таким уж значительным: не более значительным, чем едва заметное изменение от 164 595 до 164 596.
Можно утверждать, что из этих двух причин вторая является более важной. Даже если его интерес к коллекционированию бутылочных крышек имеет лишь небольшой вес в его общей функции благосостояния - даже если он весит, скажем, всего 1 % или 0,1 %, как и другие его интересы, - он все равно обеспечит ему возможность бесконечно увеличивать свою полезность, если сам по себе сбор крышек не будет иметь убывающей отдачи. Возможно, ему нужно добавить в свою коллекцию 1000 пробок, чтобы увеличить свою полезность на одну единицу: но, эй, в утопии он мог бы собирать миллионы или миллиарды пробок. В отличие от этого, даже если фактор имеет очень большой вес (вплоть до того, что составляет 100% всего, что его волнует), прирост этого фактора в конечном итоге перестанет вносить значительный вклад в увеличение его полезности, если сам фактор достигнет какого-то конечного уровня.
Моральные ограничения
Итак, это все... Нет, подождите, есть еще один возможный вид ограничения, который мы должны упомянуть. Мы можем иметь явление, аналогичное пруденциальным барьерам, о которых я говорил ранее, за исключением того, что препятствие возникает из этических, а не эпистемологических факторов, и поэтому мы можем рассматривать его как аксиологическое ограничение утопии, вытекающее из внутренней природы наших ценностей, а не как внешнее ограничение.
Идея заключается в том, что могут существовать результаты, которые осуществимы во всех других отношениях и очень желательны, но которых мы не можем достичь с моральной точки зрения.
Это легче всего понять, если мы рассмотрим этическую систему, включающую деонтологические принципы. Например, некоторые люди могут считать (на мой взгляд, ошибочно), что существует абсолютный моральный запрет на использование генной инженерии для расширения человеческих возможностей. Предположим, что аналогичный запрет распространялся бы и на любые другие технологии, позволяющие достичь сопоставимых результатов (возможно, на том основании, что все они подразумевают "игру в Бога"). Тогда может оказаться, что даже если исход, при котором люди или постлюди будут наслаждаться счастливой жизнью с расширенными возможностями, будет предпочтительнее нынешнего мира и, возможно, любого альтернативного будущего, для нас не существует морально допустимого пути к этому превосходному результату.
Такой же моральный тупик может возникнуть и в чисто последовательной этике, что в еще большей степени аналогично случаю с пруденциальными барьерами. Мы можем оказаться в ситуации, когда существует некий неустранимый риск при совершении определенного шага, необходимого для достижения максимальной утопии. Риск может быть настолько мал, что с пруденциальной точки зрения - поскольку мы рассматриваем только плюсы и минусы для себя или для всех ныне существующих людей - выгоды перевешивают риски; таким образом, пруденциального барьера не существует. Однако если мы рассматриваем более широкий набор плюсов и минусов - например, возможное предотвращение рождения будущих поколений или потенциальный вред для внеземных или других нечеловеческих существ, - риски перевешивают выгоды; таким образом, возникает моральный барьер. В этом случае барьер возникает из-за сочетания неудачных этических и эпистемологических обстоятельств: мы можем предположить, что этот шаг на самом деле безопасен и его стоит предпринять с точки зрения наших собственных интересов; однако он морально недопустим, поскольку мы не можем знать, что он безопасен, с достаточной уверенностью, чтобы снизить риски для других заинтересованных сторон до приемлемого уровня.
Или другой, более простой вариант: возможно, для нас морально недопустимо использовать какие-либо ресурсы для построения утопии для себя, потому что те же самые ресурсы могут быть использованы другими людьми, которые имеют на них более сильные моральные притязания. (Например, "сверхбенефициары", или более могущественные?)
Думаю, в этом контексте различие между диктатом этики и диктатом благоразумия может оказаться несколько размытым. Но и то, и другое в принципе может удержать нас от коллективного пути к утопии. На индивидуальном уровне у нас тоже могут быть свои знаки остановки или места, где мы выходим из автобуса - возможно, по духовным или религиозным соображениям.
Я не думаю, что опасения такого рода являются чисто гипотетическими. Но я надеюсь, что они не будут решающими и что будет найден путь.
Метафизика
Вот вам и аксиологические контуры. Какие еще границы мы можем определить для пространства утопических возможностей? До сих пор мы рассматривали, какие технологии доступны на этапе технологической зрелости, каковы объемы доступных ресурсов, каковы возможности постоянных проблем координации, пруденциальных барьеров и ограничений, вытекающих из природы наших ценностей. Следующая категория, на которую я хочу обратить внимание, включает в себя ограничения, вытекающие из метафизических фактов.
Например, предположим, что вы хотите создать так называемого "философского зомби", или "p-зомби". Это будет существо, физически идентичное обычному человеку, которое, следовательно, ведет себя и говорит точно так же, как человек, но при этом не имеет сознания. В философской литературе ведутся споры о том, действительно ли p-зомби мыслимы, и если да, то возможны ли они в других соответствующих смыслах. Многие философы - особенно среди тех, кто принадлежит к числу вычислителей, - утверждают, что p-зомби метафизически невозможны. Другие, даже если они признают, что p-зомби метафизически возможны - к ним относится большинство дуалистов, - утверждают, что они номологически невозможны (это значит, что какие бы психофизические связующие законы ни существовали, они исключают возможность создания p-зомби в нашей вселенной). Если одна из этих философских точек зрения верна, то даже если желание иметь p-зомби концептуально обосновано, создать их будет невозможно даже для технологически развитой цивилизации.
Подобная блокировка может распространяться шире, чем просто предотвращение создания бессознательных существ, физически идентичных нормально сознающим людям. Также может оказаться метафизически невозможным создать существ, которые в целом достаточно разумны или способны пройти достаточно строгий тест Тьюринга, не заставив их тем самым обладать сознательным опытом.
(Вы все слышали о тесте Тьюринга, верно? Хорошо.)
Если эти вещи метафизически (или номологически) заблокированы, то определенные концепции утопии не могут быть реализованы. Например, было бы удобно иметь возможность создавать сущности, неотличимые от обычных людей, но не обладающие сознанием, поскольку это, возможно, позволило бы нам избежать некоторых моральных осложнений. Подумайте, насколько сложнее было бы работать автору, если бы персонажи ее романов, просто будучи воображаемыми автором или читателем, тем самым сами переживали феноменальные состояния. Это могло бы сделать морально неприемлемым написание трагедий и историй о горе.
Можно вспомнить и другие метафизические факты, помимо тех, что связаны с феноменальным опытом, которые могут аналогичным образом усложнить утопические построения. Например, у нас есть понятие морального статуса (он же "моральное положение", или "моральное терпение"). Это идея о том, что некоторые существа обладают свойствами, которые делают их достойными морального отношения ради них самих: их благополучие, интересы, предпочтения или права должны учитываться в наших решениях и суждениях, и к ним следует относиться не просто как к средству, а как к самоцели.
Философы разработали различные концепции того, что наделяет существо моральным статусом. В некоторых из них сознание (или способность к сознанию) не является необходимым условием для обладания моральным статусом. Хотя наличие способности к страданию, по общему признанию, является достаточным условием для обладания хотя бы некоторой формой морального статуса, могут существовать альтернативные атрибуты , которые могли бы обосновать моральный статус - например, наличие сложного представления о себе как сохраняющемся во времени; способность к агентству и реализации долгосрочных планов; способность общаться и реагировать на нормативные причины; наличие предпочтений и полномочий; нахождение в определенных социальных отношениях с другими существами, имеющими моральный статус; способность брать на себя обязательства и вступать во взаимные соглашения; или наличие потенциала для развития некоторых из этих атрибутов. Если моральный статус может быть основан на любом из этих признаков, то появится дополнительный класс существ, которые не могут быть созданы без вступления в силу моральных обязанностей, которые могут ограничивать использование этих существ или обращение с ними.
Другие типы метафизических или номологических фактов, которые ограничивают диапазон утопических видений, реализуемых даже в принципе, связаны с условиями личной идентичности или со связью определенных видов опыта и субъективного опыта усилий. Мы вернемся к этим вопросам в последующих лекциях, поэтому сейчас я не буду подробно останавливаться на них.
Что машины не могут сделать за вас
Последний набор ограничений, о которых я хочу поговорить сегодня, - это ограничения на автоматизацию. Они актуальны в нескольких отношениях. Если смотреть на них с одной стороны, то можно сказать, что они ограничивают то, чего мы можем достичь, передав выполнение задач машинам. Если посмотреть с другой стороны, то эти же ограничения определяют, какие задачи нам еще предстоит выполнить. Последнее важно, поскольку мы имеем дело с проблемой цели, о которой говорили Гейтс и Маск. Мы вернемся к этому завтра, но я просто хотел сказать, что пределы автоматизации могут - парадоксальным образом - представлять проблемы для утопического видения в обоих случаях: не позволяя нам разгрузить машины, так что мы должны продолжать нести это бремя сами; или позволяя нам разгрузить машины, так что мы становимся бесполезными и безработными.
Помимо того, что это имеет отношение к данной дилемме, нас также может интересовать вопрос о том, какая работа останется для нас в будущем (если все пойдет хорошо), и сбудется ли предсказание Кейнса о 15-часовой рабочей неделе или, возможно, о каком-то еще более экстремальном состоянии, когда мы вообще не будем работать.
Прежде всего, я хотел бы сделать одно предварительное замечание: люди иногда недооценивают то, что требуется для полной автоматизации работы.
Например, кто-то может посмотреть на диджея и сказать: "У нас уже есть технология, чтобы автоматизировать это. Мы можем запрограммировать трек-лист, который будет играть в течение всего вечера, не требуя вмешательства человека". Сделав такое заявление, а затем заметив, что диджеи-люди все еще работают, можно сделать вывод, что даже когда работа станет автоматизированной, во многих случаях ее по-прежнему будут выполнять люди.
Но почему? Возможно, потому, что клиенты предпочитают услуги человека, когда могут себе это позволить. Или они могут сказать что-то вроде: "Ну, автоматический диджей может справиться с этой работой, но, знаете, это не то же самое. Всегда будет что-то, то уникальное человеческое прикосновение, которое ни одна машина не сможет повторить".
Я думаю, что, хотя эти рассуждения и могут привести к чему-то близкому к правильному выводу, способ, которым они достигаются, слишком поспешен. Мы можем получить больше понимания и построить более точные интуиции (которые пригодятся позже), если замедлимся и рассмотрим вещи немного тщательнее.
Рассмотрим проигрыватель с запрограммированным списком воспроизведения - то, что мы можем легко собрать сегодня. Действительно ли он способен выполнять ту же работу, что и диджей? Ну, не совсем. Хороший клубный диджей, например, использует экспертные знания о музыкальном жанре, чтобы выбрать треки, которые хорошо сочетаются друг с другом и подходят для конкретного случая. Он или она может адаптировать подборку в режиме реального времени, читая толпу и решая, когда нужно завести ее, а когда утихомирить, и когда выпустить бэнгер. Он может расхаживать за своим мигающим оборудованием и выглядеть занятым; он может делать кричалки и объявления. Он будет излучать заразительную позитивную энергию. Он может смешиваться с толпой и появляться на вечеринках. Фирменный диджей, соглашаясь на выступление, дает понять потенциальным гостям, что это будет большая ночь, и таким образом служит маяком для всех, кому нравится данная сцена и кто хочет повеселиться с единомышленниками. Учитывая сравнительные недостатки проигрывателя пластинок во всех этих аспектах, неудивительно, что спрос на диджеев-людей все еще существует. Однако, если эти недостатки не сохранятся и в период технологической зрелости, это ничего не говорит нам о конечных перспективах человеческой занятости.
И очевидно, что многие из этих недостатков будут преодолены с помощью достаточно развитых технологий. Роботизированный диск-жокей сможет выбрать подходящий трек-лист, сможет читать толпу и реагировать на нее соответствующим образом, сможет танцевать и выглядеть занятым. Он также сможет посещать вечеринки, болтать с гостями и даже делать романтические предложения - почему бы и нет? В принципе, он также может приобрести репутацию, которая позволит ему выполнять сигнальную функцию знаменитого диджея.
То же самое можно сказать и о многих других профессиях. Например, психотерапевта. При достижении технологической зрелости виртуальный или роботизированный ИИ-психотерапевт будет обладать превосходной эмпатией, психологической проницательностью и способностью принимать терапевтическую позицию, а также сможет запоминать каждое слово, произнесенное пациентом. Возможно, он научится на миллионах предыдущих встреч и будет точно знать, что работает, а что нет. Таким образом, он будет точно знать, как слушать и как реагировать. Он будет использовать правильный тон голоса, правильное выражение лица, правильный язык тела. Если несовершенства улучшают впечатления пациента, то у него будут именно такие несовершенства - ничего чрезмерно гладкого или сверхъестественного, как это принято изображать в голливудских фильмах. Он просто должен быть действительно очень хорош в роли терапевта.
Я говорю все это для того, чтобы убедиться, что, когда мы пытаемся рассмотреть конечные пределы автоматизации, мы представляем себе правильный случай - тот, в котором мы действительно обладаем полным набором возможностей технологической зрелости. К ним относится способность создавать роботов, обладающих всем набором когнитивных, ручных и презентационных возможностей превосходного человека-практика. И, конечно, они выходят далеко за эти рамки.
Так что давайте спросим: при технологической зрелости есть ли что-то, что не может быть сделано машиной лучше?
Чувство и моральное терпение?
Что касается примеров с терапевтом и диджеем: предположим, что в этих контекстах нам нужно не только внешнее поведение (даже во всех его тонкостях, как я их описал), но и внутренний опыт, который человек-практик испытывал бы при выполнении этих задач. Клиентка может хотеть не только, чтобы ее терапевт выражал сочувствие, но и чтобы терапевт действительно чувствовал сочувствие. Рейвер может хотеть, чтобы диджей действительно наслаждался музыкой, а не только делал вид, будто это так.
Как вы видите на раздаточном материале 2, я включил создание роботов и цифровых разумов с сознательным опытом в число возможностей технологической зрелости. Это более или менее очевидное следствие, если мы исходим из теории вычислительной техники, а также из того, что люди обладают сознанием и что другие технологии из этого списка осуществимы. Я не собираюсь излагать здесь аргументы в пользу вычислительной теории разума, поскольку вы можете найти множество дискуссий по этому поводу в литературе. На самом деле, мы можем значительно ослабить предположение о вычислительности и все равно прийти к выводу, что искусственные разумные существа будут возможны.
Таким образом, искусственный терапевт или диджей может также преуспеть в этом внутреннем измерении - например, быть более погруженным, феноменально, в момент, чем обычный человеческий коллега, который может иногда обнаружить, что его мысли уходят на то, что он собирается делать, когда вернется домой.
Но здесь возникает терминологический вопрос. Если работа передается на аутсорсинг разумному роботу, действительно ли мы хотим сказать, что она была "автоматизирована"? Не будет ли это больше похоже на сценарий, в котором мы дали жизнь новому человеку, родившемуся с особыми талантами, который вырастает и становится мастером своего дела, позволяя прежним специалистам уйти на пенсию? В этом случае говорить о том, что работа была автоматизирована, было бы неуместно. Также нелегко понять, почему тот факт, что новый работник, возможно, был сделан из кремния и стали, а не из органической химии, должен иметь существенное значение; ни тот факт, что он мог быть зачат на заводе, а не в спальне; ни тот факт, что его детство могло быть сокращено; ни то, что его особенности в большей степени, чем это может быть типично для человека, были результатом целенаправленного процесса проектирования, а не случайности и наследственности.
Если бы разумный робот принадлежал кому-то на правах собственности, возможно, это повысило бы нашу склонность говорить, что выполняемые им задачи были автоматизированы? Но, наверное, это все равно что сказать, что рабовладельческое общество "автоматизировало" задачи, выполняемые его рабами?
Я думаю, что в зависимости от того, как именно были созданы роботы, могут существовать глубокие этические различия между случаем человеческого рабства и случаем разумных машин, которые могут принадлежать людям и использоваться для выполнения задач. Эти различия могут быть настолько фундаментальными, что называть разумные машины "рабами" будет неуместно. Возможно, для обозначения этих случаев потребуется ввести новые термины: не автоматизация, не рабство, а некая новая третья категория.
Я не хочу погрязнуть в терминологическом вопросе. Предположим, мы принимаем точку зрения, что разумный труд не является "автоматическим". Тогда мы можем сразу же определить два способа, которыми наша способность к автоматизации может быть ограничена.
Один из них заключается в том, есть ли такие продукты или услуги, которые клиенты предпочитают, чтобы выполнялись разумным существом. Возможные примеры - работа доктора медицины и диджея. Возможно, некоторые люди просто предпочитают, чтобы существо, с которым они имеют дело, осознанно переживало взаимодействие. Тогда эти работы не могут быть полностью автоматизированы.
Другой способ ограничить нашу способность к автоматизации - если существуют определенные поведенческие характеристики, которых нельзя достичь, не генерируя сознательный опыт в качестве побочного эффекта. Например, может оказаться, что любая когнитивная система, способная вести себя очень похоже на человека в очень широком наборе ситуаций и в течение длительных периодов времени, может делать это только путем выполнения вычислений, которые инстанцируют феноменальный опыт. Я не берусь утверждать, так ли это на самом деле. Но если это так, то второе ограничение для автоматизации заключается в том, что может возникнуть потребность в определенных сложных видах поведения или взаимодействий, выполнение которых обязательно порождает разум; поэтому, если мы не считаем разумные процессы автоматическими, работа, требующая таких действий, не может быть полностью автоматизирована.
Все, что я сказал здесь о чувстве, можно сказать pari passu и о моральном статусе. Это актуально, если сознание не является необходимым условием для морального статуса. Например, если некоторые несенситивные формы агентства достаточны для морального статуса , могут существовать рабочие места (например, руководящие должности, требующие гибкого поиска целей в сложных условиях, но, возможно, и многие другие роли), которые могут выполнять только системы, обладающие моральным статусом. И если делегирование задач системам, обладающим моральным статусом, не считается автоматизацией, то и здесь мы имеем ограничение на возможность автоматизации.
Однако важно понимать, что даже если есть задачи, которые могут быть выполнены только разумным трудом или трудом, имеющим моральный статус, это не означает, что для людей не останется никакой работы. Ведь эти задачи могут выполнять нечеловеческие искусственные системы, обладающие разумом или моральным статусом. Такие "машины" (я не думаю, что было бы неправильно называть их так - они были бы высокотехнологичной робототехникой и вычислительной техникой) были бы гораздо эффективнее нас не только в производстве функционально или поведенчески определенных внешних представлений, но и в генерировании субъективной ментальности и в инстанцировании широкого спектра свойств, обосновывающих моральный статус (если это то, что требуется).
ПАМЯТКА 4. ВАКАНСИИ
Много объявлений... но есть ли у вас необходимая квалификация?
Какие еще существуют потенциальные ограничения для автоматизации?
Регулирование?
Правительства могут запретить использование автоматизации в некоторых отраслях или обложить ее такими высокими налогами, что человеческий труд останется конкурентоспособным даже при достижении технологической зрелости.
Конечно, когда я говорю "оставаться конкурентоспособным", я имею в виду, что нанимать человека для выполнения этой работы было бы эффективно, учитывая действующие правила. Сами правила вполне могут быть неэффективными, снижая общий объем экономического производства по сравнению с более свободным режимом. Чем больше технологических преимуществ у машин, тем больше затраты на предотвращение их использования.
Вполне возможно, что некоторые профессии уже защищены от автоматизации негласным требованием закона о том, чтобы их выполняли люди. Хотя в судах это пока не проверяется, одна из возможных интерпретаций действующих законов заключается в том, что только люди, но не столь же квалифицированные интеллектуальные машины, могут занимать должности законодателей, судей, нотариусов, руководителей, попечителей, членов советов директоров корпораций, опекунов, президентов, монархов и другие подобные юридически или конституционно закрепленные роли. Однако законы могут быть изменены. Если не будет причин сохранять юридические ограничения, запрещающие ИИ, обладающим более высокой компетенцией, выполнять эти функции, некоторые из этих должностей могут оказаться не более защищенными от автоматизации, чем телефонные операторы и туристические агенты.
Символика статуса?
Некоторые важные персоны окружают себя почетным караулом, задача которого - выглядеть уважительно и внушительно. В дорогих отелях, чтобы гости чувствовали свою значимость, перед главным входом выставляют людей в форме. Манекены, даже наряженные и выглядящие вполне реалистично, не справятся с этими функциями.
Наша человеческая способность делать реверансы и кланяться может оказаться тем атрибутом, который окажется наиболее устойчивым к автоматизации. Манекен может быть наделен кибернетической способностью приподнимать шляпу в знак приветствия при приближении посетителя; однако, по крайней мере, как только такое устройство перестанет быть новинкой, многие клиенты предпочтут, чтобы их обслуживал человеческий персонал. Одна из возможных причин этого (о других мы расскажем чуть позже) заключается в том, что человек может быть символом статуса, чего не скажешь о роботе - даже о функционально эквивалентном роботе по внешнему виду и возможностям. При этом даже не обязательно, чтобы можно было легко отличить человека. Человеческая личность может быть установлена только с помощью экспертизы, но она все равно может быть важным фактором, определяющим стоимость, подобно тому как подлинное произведение искусства, созданное мастером, стоит намного больше, чем почти неотличимая копия - возможно, потому, что владеть оригиналом престижнее, чем копией.
Поскольку только люди могут производить "товары и услуги, производимые людьми", люди могут оставаться экономически конкурентоспособными в тех секторах экономики, где важны подобные статусные соображения.
Тема статуса поднималась ранее, когда мы обсуждали пределы роста. Там речь шла о том, что существуют пределы того, сколько статуса можно произвести. Здесь речь идет о том, что некоторые формы производства статуса требуют человеческого труда.
В будущем статусные игры могут измениться, и носителями престижа станут другие вещи. Однако даже если это произойдет, не исключено, что некоторые вещи, которые изначально ценились за их способность придавать статус, останутся ценными в силу своего рода волевой инерции (в процессе, который я позже опишу как процесс "интронизации" ценностей).
Солидарность?
Иногда потребители готовы платить больше за товары, произведенные представителями какой-либо привилегированной группы, например соотечественниками, коренными жителями, местными предприятиями, производителями, работающими по принципу "справедливой торговли", знаменитостями или производителями, с которыми покупателя связывают личные или культурные отношения. И наоборот, такие производственные процессы, как потогонные предприятия, фабричные фермы и механизированное массовое производство, иногда снижают рыночную стоимость создаваемых ими товаров. Почему так происходит? Иногда надбавка к цене отражает воспринимаемую разницу в качестве продукта - но в рассматриваемом нами случае этот фактор скорее работает в пользу автоматизации, поскольку продукты, созданные человеком, объективно хуже. Другая возможная причина связана со статусными мотивами, о которых мы только что говорили. Но не исключено, что предпочтение определенных видов производителей основано на чувстве солидарности. Вы можете покровительствовать определенному продавцу отчасти для того, чтобы продвинуть его или помочь ему каким-то образом, экономически или иным образом. Если хотя бы некоторые будущие потребители хотят, чтобы работа была для людей, они могут доплачивать за товары и услуги, созданные людьми, чтобы сделать их конкурентоспособными по сравнению с альтернативами, созданными машинами. (Мы вернемся к этой возможности в одной из последующих лекций под рубрикой "дар цели").
Религия, обычаи, сентиментальность и особые интересы?
Я прошу прощения за то, что эта категория составлена в виде солянки, но мне нужно куда-то девать кучу предметов, которые, возможно, мы сможем лучше организовать позже. Их объединяет то, что они демонстрируют, как люди предпочитают, чтобы определенные задачи выполнялись людьми, не потому, что человеческий способ более статусный, и не из соображений солидарности, а из-за более непосредственного отношения между тем, что требуют, и человеческими усилиями, которые могли бы пойти на удовлетворение этого требования.
Религия: Возможно, робот-клерик не принес бы пользы, даже если бы был способен говорить и вести себя так же, как человек, - и, возможно, даже если бы был наделен разумом.
Обычай: Церемония или традиция, которую люди могут хотеть и иметь причины поддерживать, может требовать выполнения определенных ритуалов именно людьми-практиками.
Сентиментальность: Работа ребенка с мелками может быть особенно дорога его родителям именно потому, что ее сделал их ребенок. Этот маленький труд, возможно, сложнее автоматизировать, чем работу нейрохирурга или трейдера, торгующего деривативами. Особые интересы: Возьмем профессионального спортсмена. Люди могут предпочесть наблюдать за соревнованиями людей (или гончих и лошадей), а не за спортивными состязаниями роботов или в дополнение к ним, даже если последние более искусны и физически превосходят их во всех отношениях.
Доверие и данные?
Есть несколько более практичных источников потенциального человеческого преимущества, которые также могут привести к сохранению спроса на человеческий труд. Они связаны с эпистемическими ограничениями, которые могут сохраниться даже в период технологической зрелости, хотя, возможно, в конечном итоге они уступят с течением времени и накоплением опыта и проницательности.
Одна из них - доверие. Даже если ИИ может делать все то, что может делать человек, и даже если ИИ на самом деле заслуживает доверия в той же или большей степени, чем человек, мы не можем знать, что это так. Если речь идет о задачах, для решения которых важно доверие, мы можем предпочесть, чтобы их выполнял проверенный человек или мы сами, а не делегировать их относительно новым и незнакомым искусственным системам. При принятии решений, требующих больших затрат, ради большей уверенности стоит смириться с дополнительными расходами и снижением скорости и эффективности. Некоторые виды работ, связанные с наблюдением за работой искусственных интеллектов, могут относиться к этой категории.
В принципе, недоверие может ограничить распространение автоматизации, независимо от того, насколько способными и эффективными станут машины. Однако кажется правдоподобным, что со временем барьеры доверия будут стираться по мере того, как искусственные системы будут накапливать опыт, конкурирующий или превосходящий опыт людей, принимающих решения, или по мере того, как мы будем открывать другие способы проверки надежности и согласованности. Со временем машинам, вероятно, будут доверять больше, чем людям.
Еще один способ, с помощью которого люди могут получить эпистемическое преимущество, - это источники определенных видов данных. ИИ превзойдет нас в интеллекте и общих знаниях, но вполне возможно, что нам все еще будет чем поделиться, когда речь пойдет о информации о нас самих - о наших воспоминаниях, предпочтениях, склонностях и выборе. У нас есть своего рода привилегированный доступ, и можно представить, что люди будут получать деньги за передачу этой информации машинам, предоставляя словесные описания или позволяя себя изучать.
Опять же, эта возможность заработать на жизнь в качестве первичного источника данных о характеристиках человека может быть временной. Как правило, отдача от данных о той или иной системе уменьшается, и все большее количество данных может оказаться в открытом доступе, что снизит ценность дополнительных источников данных. В конце концов, сверхразумные ИИ могут создать настолько точные модели человека, что им практически не потребуется от нас дополнительных данных, чтобы предсказывать наши мысли и желания. Они не только будут знать нас лучше, чем мы сами, но и будут знать нас настолько хорошо, что мы не сможем сообщить им ничего, что могло бы существенно пополнить их знания.
Мы можем привыкнуть полагаться на рекомендации и оценки ИИ, которые могут оказаться более последовательными и предсказуемыми, чем наши собственные скоропалительные суждения о том, какие решения отвечают нашим наилучшим долгосрочным интересам (или о том, что бы мы сами решили, если бы потратили время и усилия на тщательное обдумывание вариантов в свете всех соответствующих фактов).
Даже обязанность принимать решения о том, чего мы хотим, в конечном итоге может быть снята с наших плеч.
А потом мы просто уходим?
Увидимся завтра!
ПАМЯТКА 5. ПОТЕНЦИАЛЬНЫЕ ПРЕПЯТСТВИЯ ДЛЯ АВТОМАТИЗАЦИИ
Чувство и моральное терпение
Положение
Символика статуса
Солидарность
Религия, обычаи, сентиментальность и особые интересы
Доверие и данные
Невозможные входы
Кельвин: В раздаточном материале 2 сказано: "произвольные сенсорные входы". Но я не думаю, что это верно. Существуют определенные возможные входы, получить которые было бы вычислительно трудно. Например, рассмотрим большой экран, на котором отображается последовательность из тысячи цифр. Каждая такая последовательность соответствует по крайней мере одному возможному визуальному входу. Но даже технологически развитая цивилизация не сможет создать экран, отображающий первую тысячу цифр омега-числа Хайтина или первую тысячу цифр π^π^π^π^π.
Фирафикс: Потому что это потребует больше вычислений, чем можно сделать за время существования Вселенной?
Кельвин: Гораздо больше.
Тессиус: Какая жалость. Я никогда не смогу взглянуть на первую тысячу цифр омега-числа Хайтина.
Кельвин: Могут быть и более морально значимые исходные данные, которые также невозможно вычислить.
Тессиус: Даже если бы мне представили первую тысячу цифр омеги Хайтина, я бы никогда не смог убедиться, что это действительно то, на что я смотрю, верно?
Кельвин: Если бы это было неправильное число, вы могли бы со временем обнаружить, что оно неправильное.
Тессиус: Если только люди, генерировавшие это число, не обладали значительно большей вычислительной мощностью, чем я.
Кельвин: Верно. Но есть и другие последовательности чисел, которые трудно сгенерировать, но легко проверить. Например, факторизация некоторых 1000-значных составных чисел. Мы можем построить пример на эту тему, где визуальным входом будет полное число, а затем его факторизация.
Фирафикс: Джентльмены, позвольте вмешаться - Кельвин, вам, должно быть, тепло в этой куртке?
Я бы не отказался переодеться во что-нибудь более удобное.
Фирафикс: План такой. Мы с Кельвином вчера нашли холм с хорошей травой и собирались пойти туда сегодня днем и почитать. Почему бы нам не пойти туда всем вместе, чтобы продолжить разговор, а по пути заглянуть к Кельвину.
Хороший план.
Тессий: Мы можем критиковать как до, так и после ужина. Мне интересно, как, на более фундаментальном уровне, мы должны думать о природе сенсорных входов в этом контексте. Я имею в виду, что когда вы вспоминаете что-то из долговременной памяти, не можем ли мы рассматривать это в некотором смысле как своего рода "внутренний перцептивный вход"? За исключением того, что ваш орган чувств в этом случае смотрит не наружу на окружающую визуальную среду, а внутрь, на внутреннюю среду нейронов. Но если в одном случае вы ищете что-то в блокноте с помощью глаз, а в другом - в банке долговременной памяти, так ли уж это отличается на глубинном уровне? Я имею в виду, особенно если операция происходит вне сознания? Итак, если тезис о расширенном сознании говорит, что некоторые экстракраниальные элементы мира следует рассматривать как части нашего разума, то, возможно, с аксиологической точки зрения нам следует пойти в другом направлении и сказать, что многие части нашего разума на самом деле не являются частью "нас"? И тогда вопрос заключается в том, насколько велика и сложна та часть, которая является нами?
Фирафикс: Могу я предложить начать движение?
Федор Лис
Послание XIII
Дорогой дядя Пастернак,
Молюсь, чтобы это письмо застало вас в добром здравии и хорошем расположении духа. Это будет краткая информация. Я надеюсь, что вскоре снова напишу вам более подробно.
Последние дни были одними из самых напряженных в моей жизни. Мы в полной мере использовали все преимущества урожайного сезона, который, будучи обработанным с прошлого года почти идеальным сочетанием солнечного света, дождя и температуры, сейчас превратился в настоящий шедевр. Я точно никогда не видел ничего подобного; интересно, а вы видели?
Мы копим запасы, надеемся, что они не только помогут нам пережить зиму, но и позволят финансировать некоторые дополнительные расходы, которые мы ожидаем понести в связи с нашей исследовательской деятельностью. Признаюсь вам, я чувствую, что в этом отношении Пигнолиус, в остальном такой прекрасный компаньон и любезный хозяин, не полностью раскрывает свой потенциал. Несмотря на свои большие размеры, он пополняет запасы меньше, чем я, - в основном из-за своей склонности поглощать все, что найдет. У него есть поговорка: "Лучшая кладовая - это толстый живот". Да, но как вы собираетесь платить людям со своим толстым брюхом? Например, ворона, которую мы послали за информацией к Рису Проныре, - ей заплатили рябиной, которую я собрал. Кстати, я думаю, что мы оказались в выигрыше, поскольку ягоды были довольно кислыми (возможно, именно поэтому Пигнолиус их не ел).
Фарфор, в свою очередь, тоже не внес особого вклада - хотя и с большим оправданием, ведь она только что родила двойняшек.
Но это мелочи, главное - новости, с которыми вернулся ворон. Оказывается, гипотеза о конечном происхождении имеет значительную поддержку. Более того, временные рамки, хотя и очень длинные, не настолько огромны, чтобы полностью разрушить все надежды. Не могу передать, как это меня радует. Само существование надежды - это эликсир, и его сила, похоже, почти не зависит от вероятности успешного результата, которая, как я понимаю, в данном случае остается низкой. Но не нулевой, и это все, что мне нужно знать. Между ничем и чем-то есть огромная разница. Даже если это что-то нельзя увидеть или почувствовать, даже если оно далеко и неуловимо, к нему можно стремиться. А стремление к цели дает мне ощущение смысла.
Как всегда, ваш глубокоуважаемый племянник,
Федор
Послание XIV
Дорогой дядя Пастернак,
Вчера выпал первый снег - наверное, у вас тоже?
Для нас это означает, что период материального накопления завершен. Теперь мы переключаем наши усилия с физического на интеллектуальное. Надеюсь, у нас достаточно запасов, чтобы пережить зиму, и мы намерены провести как можно больше исследований, пока голод не стал слишком сильным. На данный момент мы обеспечены всем необходимым, даже с учетом недавно увеличившегося выводка Пигнолиуса.
"Исследования, - спросите вы, - какие исследования?". На данном этапе это трудно объяснить, но мы намерены применить системный подход к проблеме, с которой мы столкнулись, - проблеме поиска пути, который выведет нас из нынешнего состояния в гораздо лучшее. Прочь от "красных зубов и когтей" и к чему именно? Я не знаю. Но я могу представить себе ряд альтернатив, которые были бы предпочтительнее нынешнего состояния, с меньшими страданиями и большими возможностями. Конечно, практичность этих альтернатив остается под большим вопросом, но именно это мы и собираемся исследовать.
У нас уже есть несколько идей, которые мы обсуждали во время случайных коротких минут отдыха и которые теперь собираемся исследовать с особой тщательностью и энергией. Я хотел бы приписать себе некоторые из них, но, по правде говоря, они возникли почти полностью благодаря грозному уму моего друга. Однако, похоже, мой разговор и мои вопросы, при всей их неуклюжей наивности, оказывают на него стимулирующее воздействие, поскольку он говорит мне, что за время, прошедшее с моего приезда, у него появилось больше идей, чем обычно.
Я также могу похвастаться тем, что мне удалось просветить его по некоторым фактам. Например, я был очень удивлен, когда мне пришлось сообщить ему, что мышление происходит в мозгу! Он думал, что это происходит в желудке - заблуждение, которое, очевидно, широко распространено среди свиней.
Конечно, я тоже многому научился у него. Это заставило меня задуматься о том, как много знаний существует на самом деле. Без какого-либо метода объединения того, что открыли разные сообщества, мы не только не знаем многого, но даже не знаем, что мы знаем.
Можно ли построить что-то для решения этой проблемы? Как бы это выглядело? Если бы это сработало, заставило бы мировую душу проснуться?
Но уже поздно, и мне пора прекратить подвергать вас бессвязным измышлениям моего перевозбужденного, но слишком уставшего разума.
Спокойной ночи,
Ваш самый обязанный племянник,
Федор
Послание XV
Дорогой дядя Пастернак,
Спасибо за обновления. Мне всегда интересны новости с домашнего фронта.
Что касается Рея и его выходок, ну, что тут скажешь? Я, конечно, понимаю жалобы тех, кому приходится потом наводить порядок. И все же (между нами говоря) я не могу отказать себе в чувстве викарной гордости, когда слышу о его подвигах. При всех его нелепых выходках он - яркая искра, и не похоже, чтобы в этом мире был дефицит искренней мрачности. По крайней мере, если взять среднее семейное значение, это уравновешивает некоторые мои угрюмые наклонности. Только не говорите ему, что я это сказал!
Здесь ситуация в доме приняла неожиданный оборот: Фарфоровая ушла, забрав с собой поросят. Узнав об этом, я поначалу встревожился, решив, что мое присутствие вызвало напряжение в их супружеских отношениях. Я готовился взять отпуск, чтобы создать условия для ее возвращения. Сердце мое было разбито, потому что я чувствовал, что мы с Пиньолиусом только начали делать успехи, а теперь все должно было закончиться, прежде чем у нас появился шанс увидеть, к чему это может привести, и кто знает, сколько времени пройдет, прежде чем у нас снова появится возможность работать вместе.
Представьте себе мое облегчение, когда я узнал, что не только не являюсь причиной ее отъезда, но и развитие событий не свидетельствует об ухудшении их отношений. Фарфоровая просто отправилась провести некоторое время с одной из своих сестер и подругой, которые тоже только что принесли приплод, чтобы втроем объединить материнскую силу. Очевидно, она делала это и раньше, и Пигнолиус уверяет меня, что это не проблема.
Может, для него это и не проблема, но разве отец не должен присутствовать, чтобы помогать обеспечивать своих детей? Я поднял этот вопрос перед ним, чувствуя себя обязанным сделать это; хотя, честно говоря, я надеялся, что в данном случае не буду слишком убедителен.
Что ж, мне не стоило беспокоиться. Его реакция была необычной. Сначала он несколько секунд смотрел на меня как бы с недоверием, а потом из его горла вырвался какой-то рвотный звук, и я поняла, что он пытается подавить смех. "Так вот как поступают в вашем роду? Папы остаются дома и заботятся о потомстве?" Теперь он катался по земле в неконтролируемых конвульсиях. "Папа, папа, папа, принеси нам молока!" Мне это совсем не показалось смешным, но я ничего не сказал. Я знаю, что у разных видов животных разные обычаи, так что не стоит быть слишком цензурным.
Так или иначе, теперь мы остались вдвоем. Или, может, лучше сказать, нас трое? Пиньолиус, я и наша великая задача.
Ваш самый обязанный племянник,
Федор
Послание XVI
Дорогой дядя Пастернак,
Я уже упоминал в одном или двух письмах о том, что меня поразила фрагментарность знаний. То, что известно лисам, часто неизвестно свиньям, и наоборот. Хуже того, одна группа животных может совершенно не знать о важных знаниях, которые являются общепринятыми для другой группы сородичей, живущих по другую сторону холма или через реку, всего в нескольких лигах от нее. Такое положение дел кажется очень неэффективным.
Это заставило меня задуматься, не сможем ли мы добиться интеллектуального прогресса, просто соединив эти отдельные резервуары знаний. Я не думал о том, что мы станем странниками, хотя и позволил себе несколько приятных минут помечтать о романтике такого существования - путешествовать с места на место, учиться и преподавать на ходу, испытать столько всего, сколько возможно за одну жизнь... Но нет, так не пойдет. Это не было бы решением. Воздействие будет слишком незначительным и эфемерным. Один или два человека могли бы посетить несколько общин (в реальности этим занимался бы только один человек - не вижу, чтобы Пигнолиус был заинтересован в карьере, которая надолго отрывала бы его от грязевого бассейна), и это продолжалось бы максимум несколько лет, пока человек не умер бы. И тогда все вернется на круги своя.
Но я подумал, что если создать долговечную и масштабируемую систему обмена информацией, то можно добиться более длительного и преобразующего воздействия. Например, вы можете представить, что нанимаете птиц в качестве оперативных гонцов. Если бы это были вороны или вороны, они могли бы даже служить сборщиками информации и учителями. Можно нанять птиц поменьше, например вьюрков, чтобы они прилетали в те населенные пункты, где не приветствуются вороны; вьюрки могли бы передавать более простые сообщения между местными жителями и крупными птицами. Затем можно было бы создать более центральные центры, где бы жили колонии свиней и отдельные люди, такие как ласка Рис, где бы собиралась информация, интерпретировалась и извлекались полезные уроки для распространения в сообществах.
Мне пришло в голову множество вариаций и разработок основной идеи, которые я не буду вам утомлять, потому что, как вы легко поймете, это чистая фантазия! Все они страдают одним и тем же фундаментальным недостатком: у нас нет ресурсов для их создания. Даже если бы такая система каким-то образом появилась, у нас не было бы ресурсов для ее поддержания.
Ну, мы только начали. Очевидно, что нужно еще поработать.
Ваш самый обязанный племянник,
Федор
Послание XVII
Дорогой дядя Пастернак,
Я долго обсуждал с Пиньолиусом проблему, о которой говорил в своем последнем письме. К сожалению, похоже, что проблема обобщается. Мы можем придумать разные приятные мелочи, будь то вещи или услуги, которые помогут нынешним обитателям леса, или системы, которые позволят прогрессу развиваться с течением времени. На самом деле, придумывать такие идеи довольно легко и весело. Но все они требуют определенных ресурсов для создания, эксплуатации и поддержания. Проблема в том, что у нас их нет. Как нет его и у других, по крайней мере, на постоянной основе. Нет постоянного избытка.
Это достаточно плохо, но, как учил меня Пиньолиус, ситуация еще хуже. Отсутствие постоянного избытка можно представить как огромную стену, которая мешает нам выбраться из нашего нынешнего состояния. Пиньолиус указывает, что за этим внутренним периметром находится еще одна стена, еще более высокая, чем первая. Если нам каким-то образом удастся преодолеть первую стену, мы окажемся в ловушке этой второй стены. Он объясняет, что если возникнет избыток, то больше животных доживут до взрослого состояния, у них будет больше выживших потомков, и дополнительные рты съедят избыток. Тогда усовершенствование, которое мы ввели, уже невозможно будет поддерживать, и мы вернемся к исходной точке.
Вы можете подумать, что ситуация выглядит довольно безнадежной. Но - ха-ха - все становится еще хуже. Пигнолиус понял, что за двумя другими стенами есть еще и третья. Видите ли, даже если бы нам удалось каким-то образом убедить некое сообщество животных сократить свое воспроизводство - что, на мой взгляд, было бы очень сложно, практически невозможно, учитывая сильные побуждения, которые движут нами в брачный сезон, - но даже если бы нам удалось это сделать, это все равно было бы бесполезно, потому что время от времени появлялись бы перебежчики: некоторые особи делали бы то, что не должны были делать, и превышали бы положенную им квоту потомства. С каждым поколением в нашем обществе все больше и больше членов будут потомками нарушителей квоты; а поскольку склонности в той или иной степени передаются по наследству, моральный облик нашего населения будет деградировать. Мошенников будет становиться все больше и больше, а обманщиков - все больше и больше; и вскоре даже хорошие люди начнут нарушать норму, поскольку быть лохом вряд ли добродетельно.
Излишки, а вместе с ними и наши улучшения, исчезнут в песках времени.
Значит, мы втройне обречены? Ну, нет. Видите ли - вот в чем дело - за первыми тремя стенами есть еще одна. Ха! Так что на самом деле мы обречены вчетверо.
Что же это за четвертое препятствие? Это тот факт, который совершенно очевиден для любого, кто прожил в этом лесу больше нескольких недель: если бы нашей общине каким-то волшебным образом удалось создать устойчивый профицит, а мы каким-то образом сумели сохранить свою численность на низком уровне и не допустить, чтобы кто-то из нас дезертировал из этого соглашения, то произошло бы следующее: звери пришли бы извне и забрали бы наши вещи. Если у нас была еда, они забирали ее. Если у нас была земля, которая не была полностью использована, они шли и селились там. А еще они бы нас съели. Если бы плотность населения в нашем пузыре была ниже, чем снаружи, внешний мир, подобно газу под большим давлением, втягивался бы внутрь, пока не восстановилось бы равновесие, а это произошло бы только тогда, когда плотность нашего населения сравнялась бы с плотностью населения окружающих территорий.
Это то, что мы видели до сих пор. Если бы вы попросили меня сделать ставку, я бы поспорил, основываясь только на индукции, что есть еще и пятая стена, и, возможно, шестая, или даже больше.
Ваш племянник и товарищ по заключению,
Федор
Послание XVIII
Дорогой дядя Пастернак,
Вы, как всегда, проницательны, говорите, что заметили легкомысленный тон в моем последнем письме, и задаетесь вопросом, не в нем ли дело.
Могу вас заверить, что мое физическое состояние превосходно. Не считая того факта, что мы все находимся в процессе умирания от старения и внутреннего распада. Что, по-моему, не должно вызывать особого беспокойства, поскольку мы можем рассчитывать на то, что умрем раньше от голода, болезней или будем разорваны на части в челюстях какой-нибудь более крупной скотины. Но если не считать этих рогателл, все в порядке!
Мы зашли в тупик в наших расследованиях. Мы не можем найти выход из тех трудностей, которые я описал; и все же мы многого еще не знаем. У Пиньолиуса есть изречение, над которым я посмеялся, когда впервые услышал его, но теперь я цепляюсь за него изо всех сил, словно это драгоценная тростинка, а я болтаюсь над обрывом:
"Пока есть невежество, есть и надежда!"
Ваш племянник в неоплатном долгу,
Федор
Послание XIX
Дорогой дядя Пастернак,
Отчитываться особо не о чем. Прогресса нет, но и не предвидится, так что я могу прекратить менее полезное занятие - бесполезно пялиться в стену - и перейти к более приятному - ответить на ваше письмо.
В настоящее время все выглядит относительно безрадостно. Пиньолиус замечает, что наши суждения о достоинствах мира чаще всего являются отражением нашего привычного настроения - иногда даже не привычного настроения, а того, что мы чувствуем в данный момент. Это контринтуитивно. И все же, размышляя над собственным опытом, я должен признать, что он прав. Например, я помню, насколько подавленным я себя чувствовал, когда впервые приехал сюда, в ту темную ночь пару месяцев назад, и как резко улучшилось мое настроение к следующему утру. Что же изменилось? Уж точно не структура мира или его различные балансы и уравнения. У меня не было никаких новых озарений или новых доказательств. Нет, немного солнца и морковки сделали то, чего не смогли бы добиться никакие философские аргументы: мир снова стал казаться немного веселым, хотя я и видел, что в нем по-прежнему много серьезных проблем. Поэтому я должен признать, что он прав.
И все же, когда я смотрю на бесснежный зимний пейзаж за окном, трудно избежать впечатления, что мир объективно подавлен.
Но хватит моих заумных рассуждений!
Не могу придумать элегантного продолжения, но хочу сказать, что рад слышать, что вам удалось вытащить занозу. Я уже начал подумывать о том, нельзя ли сконструировать какой-нибудь инструмент, который облегчил бы эту операцию. Конечно, я не подумал о гораздо лучшем решении - попросить Ирди помочь вытащить занозу! Так что теперь ей удалось вернуть часть той благосклонности, которую вы оказали ей, когда она была птенцом, в то время как я, как всегда, продолжаю оставаться,
Ваш глубокоуважаемый племянник,
Федор
Послание XX
Дорогой дядя Пастернак,
Приношу свои извинения за долгую задержку с ответом на ваше последнее письмо. Я откладывал письмо в надежде, что у меня появится что-то более достойное, о чем можно написать, но этого не произошло.
Дело в том, что последние две недели мы с Пигнолиусом каждый день с утра до поздней ночи занимались напряженной и сосредоточенной интеллектуальной деятельностью... играли в игру.
Верно, мы "вкладываем" свои таланты, накопленные излишки и редкие привилегии в освоение настольной игры, которую придумал Пиньолиус. Неужели мы открыли гениальный способ моделировать мир и изучать различные сценарии в симуляционной среде, чтобы быстрее придумывать и проверять различные возможные варианты действий? Нет, мы просто играли в игру.
В свое оправдание могу сказать, что мы все равно застряли, так что альтернативные издержки - особенно при нынешней погоде - были относительно невелики. Могу также сказать, что по плану, если таковой существовал, мы должны были потратить на это пару часов; но потом все стало немного затягивать...
Во всяком случае, это вполне приятный способ провести время. Конечно, Пиньолиус обыгрывает меня каждый раз, когда мы играем без гандикапа, но что-то внутри меня хочет продолжать попытки, какое-то чувство, что если я буду стараться чуть больше, то в следующий раз смогу выиграть. Я не могу отрицать, что мне это нравится.
Ваш племянник в неоплатном долгу,
Федор
Послание XXI
Дорогой дядя Пастернак,
Мне приснился странный сон. Мы с Пигнолиусом собирались на небольшую прогулку. Вдруг на поляне в нескольких шагах впереди мы увидели ягненка - откуда он туда попал, никто не знает, - и у этого маленького ягненка был очень тяжелый случай лишая. Он выглядит совершенно жалко. Пиньолиус бросается наутек, то ли от страха заразиться, то ли от ужаса перед этим зрелищем. Я знаю, что должен поступить так же; но вместо этого я подхожу к ягненку. Не для того, чтобы съесть его, а чтобы обхватить лапами, успокоить. Я подхожу все ближе и ближе. Как только я протягиваю руку, чтобы дотронуться до него, я просыпаюсь.
Я не знаю, что это значит, но я чувствую, что должен двигаться. В двух днях ходьбы отсюда есть большой водоем. Люди называют его "морем". Несмотря на небольшое расстояние, Пиньолиус никогда там не был и, похоже, не испытывает никакого желания.
Поэтому я пойду один. У меня есть чувство, которое я не могу сформулировать или объяснить, что мне нужно разобраться с чем-то, и мне нужно провести некоторое время в одиночестве.
Я не смогу писать тебе, пока не вернусь. Не знаю, как долго меня не будет, но я хочу, чтобы ты знала, что я есть и остаюсь
Ваш племянник в неоплатном долгу,
Федор
Послание XXII
Дорогой дядя Пастернак,
Я вернулся. Я вернулся на две недели и прошу прощения за задержку с письмом. Надеюсь, что скоро напишу и расскажу больше.
А пока, хотя мне и не хочется навязываться вам еще больше, я хочу попросить вас об одолжении: Не могли бы вы передать прилагаемое письмо Рею, если вам известно его местонахождение? Это очень срочно.
ТЕЛЕГРАМКанал с обзорами, анонсами новинок и книжными подборками
Книжный Вестник
Бот для удобного поиска книг (если не нашлось на сайте)
Поиск книг
Свежие любовные романы в удобных форматах
Любовные романы
О психологии, саморазвитии и личностном росте
Саморазвитие
Детективы и триллеры, все новинки
Детективы
Фантастика и фэнтези, все новинки
Фантастика
Отборные классические книги
Классика
ВКОНТАКТЕБиблиотека с любовными романами, которая наверняка придётся по вкусу женской части аудитории
Любовные романы
Библиотека с фантастикой и фэнтези, а также смежных жанров
Фантастика
Самые популярные книги в формате фб2
Топ фб2
книги