Рациональность: От ИИ до Зомби

— Откуда взялась эта гора?

— Оттуда же, откуда и все камни. Это кости Имира, изначального великана.

— Откуда появился изначальный великан Имир?

— Из мировой бездны по имени Гинунгагап.

— Откуда появилась мировая бездна Гинунгагап?

— Никогда этого не спрашивай.

Рассмотрим кажущийся парадокс первопричины. Наука отследила цепочку событий до Большого Взрыва, но отчего случился сам Большой Взрыв? Можно и нужно сказать, что Большой Взрыв произошёл в «ноль часов ноль минут», и поэтому нельзя говорить о времени «до Большого Взрыва», поскольку к этому понятию неприменима обычная концепция времени. Но, говоря так, мы используем существующие физические законы, которые звучат довольно структурировано, что тоже требует объяснений. Откуда появились физические законы? Можно ответить, что вся Вселенная является компьютерной симуляцией, но тогда это симуляция должна быть запущена в каком-то другом мире, подчиняющемся другим законам физики — а откуда взялись они?

После того, как вопросы доходят до этой стадии, некоторые люди отвечают «Бог!».

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал:это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертопианцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в обобщённый контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Главная черта семантического стоп-сигнала — нежелание рассмотреть следующий очевидный вопрос.

Таинственные ответы на таинственные вопросы

Элиезер Юдковский

Представь, что ты глядишь на свою руку, ничего не зная ни о клетках, ни о биохимии, ни о ДНК. У тебя есть некоторые познания в анатомии, полученные путём препарирования, поэтому тебе ясно, что в ладони есть мышцы. Однако, ты не знаешь, почему они движутся, вместо того, чтобы неподвижно лежать, как кусок глины. Твоя рука — просто кусок… эмм… вещества, и почему-то этот предмет исполняет твои мысленные приказы. Разве это не волшебство?

«Животное тело не ведёт себя, как термодинамическая система… сознание говорит каждому человеку, что он является, в какой-то степени, предметом своей воли. Это проявляется в том, что живые существа могут мгновенно прикладывать к определённым движущимся частицам материи внутри своих тел силы, направляющие движение этих частиц, для того, чтобы создавать наблюдаемые механические эффекты… Вопрос о влиянии животной или растительной жизни на материю беспредельно далёк от любых научных изысканий, начатых до настоящего времени. Сила управлять движением материи, ежедневно проявляемая в чуде свободы воли человека, и в поколениях растений, выросших из единого зерна, безгранично непохожа на любой возможный результат движения атомов, каким бы удачным он ни оказался… Современным биологам придётся запомнить ещё один принцип, и на этот раз — жизненно важный». (Лорд Кельвин)

В этом состоит теория витализма: загадочные различия между живой и неживой материей могут быть объяснены посредством «жизненной силы» («elan vital» или «vis vitalis»). «Жизненная сила» внедряется в живую материю и подчиняет её приказам сознания. Жизненная сила участвует в химических реакциях, из-за чего неживая материя не может проявлять часть свойств живой материи. В частности, без помощи жизненной силы невозможно получить живую материю из неживой; поэтому проведённый Фридрихом Вёлером химический синтез мочевины нанёс сильный удар по теории витализма, показав, что обыкновенной химии по силам получить биологический продукт.

Называть «жизненную силу» объяснением или даже лжеобъяснением вроде флогистона— значит, переоценивать эту теорию. «Жизненная сила», в первую очередь, работает, как затычка для любопытства. Ты спрашиваешь «почему?», слышишь ответ «жизненная сила!», и на этом разговор окончен.

Когда ты говоришь «жизненная сила!», тебе кажется, будто ты знаешь, почему двигается твоя рука. В твоей голове есть маленькая причинно-следственная диаграмма, которая говорит: [«жизненная сила!»] -> [рука двигается]. Но на самом деле ты не знаешь ничего неизвестного тебе раньше. Например, ты не сможешь сказать, будут ли твои руки отдавать или поглощать тепло, пока не пронаблюдаешь это в действительности; ты не сможешь предсказать этого заранее. Твоё любопытство удовлетворено, но оно удовлетворено пустышкой. Раз любому наблюдению ты можешь сказать «Почему? Жизненная сила!», то витализм одинаково хорошо объясняет все исходы, не способен противоречить вообще хоть каким-нибудь фактам, является замаскированной гипотезой максимальной энтропии, и так далее.

Но главный урок нужно извлечь из благоговения виталистов пред жизненной силой, из их старания провозгласить её тайной, стоящей выше всей науки. Встретив великого дракона по имени Неизвестность, виталисты не обнажили клинков, чтобы попытаться пронзить его сердце, но мирно склонили головы в знак подчинения. Они превратили биологию в священную тайну и гордились своим невежеством, потому и не желая отказаться от незнания, когда на сцене появились свидетельства.

Великий Секрет Живого был бесконечно далёк от науки! Не просто слегка вдали, заметьте, но бесконечно далёк! Лорд Кельвин явно получал колоссальное наслаждение от незнания.

Но невежество — это то, что рисуется на карте, а не то, что можно обнаружить, гуляя по местности. Если я не имею ни малейшего представления о неком явлении, то это факт о состоянии моего разума, а не о самом явлении. Явление может быть таинственным в глазах некого определённого человека. Не существует явлений, таинственных самих по себе. Поклоняться явлению, потому что оно выглядит столь потрясающе таинственно, — означает поклоняться собственному невежеству.

Витализм, как и флогистон, заключил загадку в отдельную субстанцию. Огонь был загадкой, и теория флогистона заключила загадку в таинственную субстанцию под названием «флогистон». Жизнь была священной тайной, и витализм заключил священную тайну в таинственную субстанцию под названием «жизненная сила». Ни один из ответов не попытался сконцентрировать плотность вероятности модели, сделать какие-то результаты более ожидаемыми, чем другие. Эти «объяснения» просто закутали вопрос в твёрдый непрозрачный чёрный шарик.

В одной из комедий Мольера доктор объясняет действие снотворного тем, что в нём содержится «фактор усыпления». Тот же самый принцип. Это универсальный недочёт человеческой психики: столкнувшись с таинственным явлением, нам легче объяснить его через таинственную субстанцию с внутренне присущими ей свойствами, чем через лежащие в основе сложные процессы.

Но ещё более страшная ошибка — допущение того, что ответ может быть таинственным. Если явление кажется таинственным, то это факт о наших знаниях, а не факт о самом явлении. Виталисты увидели таинственный пробел в своих знаниях и постулировали таинственную штуку, заполняющую этот пробел. Тем самым они перемешали карту и местность. Всё недоумение и замешательство находятся в карте, а не внутри отдельных субстанций.

Именно поэтому раз за разом на протяжении всей человеческой истории люди поражаются тому, что невероятно таинственный вопрос имеет приземлённый не-таинственный ответ. Окутанными тайной могут быть только вопросы, но не ответы.

Поэтому я называю теории вроде витализма «таинственными ответами на таинственные вопросы».

Признаки таинственных ответов на таинственные вопросы:

Во-первых, объяснение работает не контроллером ожиданий, а затычкой для любопытства.

Во-вторых, в гипотезе нет движущихся частей: модель является не определённым сложным механизмом, а, скорее, просто сплошной субстанцией или силой. В гипотезе говорится, что таинственная субстанция или таинственная сила находятся вот здесь и вызывают вот это, но причина, по которой таинственная сила ведёт себя именно таким образом, инкапсулирована в пустую тавтологию.

В-третьих, люди, предлагающие это объяснение, дорожат собственным незнанием. Они с гордостью говорят о том, что обычная наука терпит поражение от этого явления, и о том, как это явление непохоже на все остальные обыденные явления.

В-четвёртых, несмотря на этот ответ, явление по-прежнему остаётся тайной, сохранив ту же степень завораживающей необъяснимости, что и вначале.

Тщетность эмерджентности

Элиезер Юдковский

Провалы флогистона и витализма — примеры исторического знания задним числом. Посмею ли я выступить и назвать современную теорию, которую считаю настолько же ошибочной?

Я называю эмерджентность или эмерджентный феномен — обычно определяемый как исследование систем, поведение которых на высоких уровнях являются следствием или «появляется» (to emerge) из взаимодействия многих низкоуровневых элементов. (Википедия: «То, как сложные системы и паттерны появляются из множества относительно простых взаимодействий»). Если воспринимать буквально, это утверждение подходит для любого феномена нашей вселенной, выше уровня отдельных кварков, что и является частью проблемы. Представьте, что можно показать на обвал рынка и сказать «Это не кварк!». Похоже на объяснение? Нет? Ну так и «Это эмерджентный феномен!» тоже не подходит.

Я протестую против прилагательного «эмерджентный», а не против глагола «появляется». Нет ничего плохого во том, чтобы сказать «X появляется на основе Y», где Y — специфическая, детальная модель с динамическими частями. «Возникает на» — еще один способ выразить ту же мысль: гравитация возникает из кривизны пространства-времени, в соответствии со специфической математической моделью Общей Теории Относительности. Химия возникает на основе взаимодействия атомов, в соответствии со специфической моделью квантовой электродинамики.

Представим, я буду говорить, что гравитация объясняется «возникновением», или что химия — «возникающий феномен», и утверждать, что это мое объяснение.

Слово «появляется» приемлемо, так же, как и «появляется из» или «вызвано» приемлемы, если ссылаются на специфическую модель, которую можно оценить саму по себе.

Однако, «эмерджентность» обычно используется иначе. Оно используется как объяснение само по себе.

Я уже потерял счет случаям, когда я слышал «Интеллект — эмерджентный феномен!», как объяснение интеллекта. Это применение подходит всем пунктам, характеризующим мистический ответ на мистический вопрос. Что ты узнал, сказав, что интеллект «эмерджентный»? Ты не можешь сделать новых предсказаний. Ты не знаешь ничего о поведении реальных разумов, о чем бы не знал ранее. Это воспринимается как новый факт, но ты не ожидаешь других результатов. Твое любопытство вроде бы удовлетворено, но не накормлено. Гипотеза не имеет динамических частей, нет детализированной внутренней модели для манипуляций. Те, кто предлагают гипотезу «эмерджентности», признаются в своем незнании внутреннего устройства и гордятся этим; они противопоставляют «эмерджентные» науки и «обычные».

И даже после того, как ответ «Как? Эмерджентность!» дан, феномен не перестает быть таинственным и обладать той же непроницаемостью, что и прежде.

Интересное упражнение: удалить прилагательное «эмерджентный» из предложения и посмотреть, изменилось ли что:

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это результат нейронных вспышек.

• До: поведение колонии муравьем — это эмерджентный результат взаимодействия многих отдельных муравьев.

• После: поведение колонии муравьев — это результат взаимодействия многих отдельных муравьев.

• Даже лучше: Колония состоит из муравьев. Мы можем успешно предсказывать поведение колонии, используя модели, включающие только индивидуальных муравьев, без общих переменных колонии, показывая, что мы понимаем, как поведение колонии возникает на основе поведения муравьев.

Еще одно интересное упражнение: заменять слово «эмерджентный» на старое, то, которым люди пользовались до эмерджентности:

• До: жизнь — эмерджентный феномен.

• После: жизнь — магический феномен.

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это магический результат нейронных вспышек.

Не правда ли, что каждое утверждение дает одинаковый объем информации о поведение феномена? Что каждая гипотеза подходит под одинаковый набор результатов?

«Эмерджентность» очень популярна, как раньше «магия» была популярна. «Эмерджентность» имеет глубокую притягательность для человеческой психологии по тем же причинам. «Эмерджентность» — такое замечательное простое объяснение, и это приятно произносить; это дает тебе священную тайну для поклонения. «Эмерджентность» популярна, потому что это «доширак» для любопытства. Можно объяснить что угодно, используя эмерджентность, так что люди это и делают; ведь это так замечательно — объяснять что-то. Люди остаются людьми, даже если посещали пару научных курсов в колледже. Найдя способ избежать оков обычной науки, они возвращаются к тем же проделкам, что и их предки, одеваясь в одежды науки, но сохраняя ту же самую видовую психологию.

Скажи нет «сложности»

Элиезер Юдковский

Однажды…

Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.

Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретет для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?

И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему?»

Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определенный алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).

И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».

Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думает словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…

Я спросил:

— Ты читал «Техническое объяснение технического объяснения»?

— Да, — ответил Марчелло.

— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.

— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.

Тогда я и подумал: «Возможно, это парень обучаем».

Сложность - далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней - тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.

Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, - попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь в вновь, постоянно игнорируя собственное непонимание.

Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного - причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.

Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка - игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.

Подозреваю, что в научных кругах присутствует сильное давление, способствующее сокрытию таких проблем, ведь нужно выдавать бумаги с шлейфом законченности. Тебя будут больше почитать, если в твоей будто бы полной работе будет присутствовать «эмерджентный феномен», а не за незаконченную, в которой есть ярлыки «понятия не имею, как это работает» или «а тут происходит чудо». Журнал может даже не принять такую работу, ведь, кто знает, вдруг необъясненные явления и являются моментами, где все самое интересное происходит? И да, случается так, что все немагические части оказываются также и неважными. Это цена, которую приходится порой платить за вход в неизведанное и попытки решить проблемы мелкими шажками. Но это так же означает, что понимание того, что ты еще не закончил чрезвычайно важно. Часто люди даже не осмеливаются исследовать неизведанное, ужасно боясь напрасно потратить время впустую.

И, если ты работаешь над революционным ИИ-стартапом, то давление ещё выше, а желание спрятать проблемы ещё больше, иначе придется признать, что ты не знаешь пока как создать ИИ, и твоя жизнь обратится в прах. Но, возможно, я слишком усложняю, ведь контрабанда происходит неосознанно. Далеко ходить за примерами не нужно: просто послушай, как люди обсуждают философию, религию или науки, в которых у них нет профессиональной подготовки.

Марчелло и я пришли к соглашению о работе с ИИ: если мы сталкиваемся с чем-то, чего мы не понимаем, а это случалось довольно часто, мы будем говорить об этом как о «магии». Например, «Х магически делает У», чтобы напоминать себе о том, что тут присутствует нерешенная проблема, провал в понимании. Гораздо полезней говорить «магия», чем «сложность», ведь последнее слово создает иллюзию понимания. Мудрей говорить «магия» и оставлять себе напоминание о работе, которую надо сделать позже.

Подтверждающее искажение: взгляд во тьму

Элиезер Юдковский

Однажды, проводя занятие у студентов, я выписал на доске три числа: 2-4-6. «Я загадал правило, — сказал я, — которому подчиняются последовательности трех чисел. Данная последовательность подходит под это правило. Каждый из вас найдет у себя на парте листы бумаги. Выпишите последовательность трех чисел на карточке, а я в зависимости от того, подходит ли последовательность под правило, напишу на листе «да» или «нет». Это можно повторять до тех пор, пока вы не будете уверены, что угадали правило. После этого вы должны записать правило внизу листа».

Вот последовательность предположений одного из студентов:

4, 6, 2 — нет,

4, 6, 8 — да,

10, 12, 14 — да.

После этого студент записал свою версию правила. Как вы думаете, что он написал? А вы бы тоже остановились здесь или хотели бы протестировать еще триплет чисел? Если да, то какой? Остановитесь здесь и немного подумайте, прежде чем продолжить чтение.

Вышеприведенное упражнение основано на классическом эксперименте Питера Уэйсона, задаче «2-4-6». Несмотря на то, что испытуемые, которым дают эту задачу, выражают большую уверенность в своих предположениях, только 21% из них успешно угадывают задуманное экспериментатором правило, и все повторные опыты продолжали показывать тот же уровень успехов в районе 20%.

Исследование называлось «On the failure to eliminate hypotheses in a conceptual task» (Еженедельник экспериментальной психологии 12: 129-140, 1960). Испытуемые, которым предлагалась задача «2-4-6», обычно пытались придумать положительные примеры, а не негативные — они применяли гипотетическое правило для создания триплета, а потом смотрели, будет ли он отмечен как «да».

Таким образом, кто-то, кто формирует гипотезу «числа, каждое из которых больше предыдущего на два», тестирует триплет 8-10-12, видит, что подходит и уверенно объявляет свое правило. Кто-то, кто формирует гипотезу Х-2Х-3Х, тестирует триплет 3-6-9, обнаруживает, что триплет подходит, и тоже объявит правило.

В каждом из этих случаев настоящее правило одно и то же: три любых числа в порядке возрастания.

Однако, чтобы додуматься до этого, вы должны придумывать триплеты, которые не должны быть правильными, такие как 20-23-26 и проверять, будут ли они отмечены как «нет». Что люди обычно не склонны делать в этом эксперименте. В некоторых случаях испытуемые изобретают, «тестируют» и объявляют правила куда более сложные, чем настоящий ответ.

Данное когнитивное явление часто валят в одну кучу с предвзятостью подтверждения. Однако, на мой взгляд, явление склонности тестирования положительных примеров, а не отрицательных, следует отделять от явления стремления защитить изначальное убеждение. «Положительное искажение» иногда используется как синоним для предвзятости подтверждения и может описывать данный недостаток куда лучше.

Раньше казалось, что теория флогистона может объяснить прекращение огня в закрытой коробке (воздух переполнился флогистоном и больше не может вместить), но теория флогистона точно так же могла бы объяснить и тот вариант, если бы огонь продолжал гореть. Чтобы заметить это, вы должны искать негативные примеры вместо положительных, смотреть на ноль, а не на единицу; что, как показал эксперимент, идет вразрез с человеческим инстинктом.

Следуя инстинкту, мы живем в половинчатом мире.

Можно днями читать про положительное искажение и все еще не увидеть его в момент срабатывания. Положительное искажение работает не на уровне логики или даже эмоциональной привязанности. Задача 2-4-6 «холодная», логичная, не эмоционально «горячая». Ошибка находится ниже уровня слов, на уровне образов, инстинктивных реакций. Поскольку проблема появляется не из-за следования осознанному правилу, которое говорит «Думай только о положительных примерах», ее нельзя решить, сказав вслух «Мы должны думать как о положительных, так и о негативных примерах». Какие примеры автоматически всплывают в вашей голове? Вы должны уметь еще до вербального формулирования думать о негативном примере, а не о положительном. Вы должны научиться поворачиваться лицом к нулю, а не убегать от него.

Некоторое время назад я писал, что сила гипотезы определяется тем, что она не может объяснить, а не тем что может — если вы одинаково легко объясняете любой исход, то у вас ноль знаний. Так, чтобы указать на то, что объяснение не является полезным, недостаточно задуматься над тем, что оно может объяснить хорошо — вам нужно также искать результаты, которые нельзя объяснить, это и будет истинной силой теории.

Теперь, после всего сказанного напомню, что вчера я бросил вызов «сложности» как понятию. Один комментатор привел сверхпроводимость и ферромагнетизм как примеры сложности. Я ответил, что несверхпроводимость и неферромагнетизм тоже примеры сложности, в чем и состоит проблема. Но я не имел в виду критиковать комментатора! Несмотря на то, что я много читал про предвзятость подтверждения, я не воскликнул «Эврика!», когда в первый раз прочитал про задачу «2-4-6». Это невербальная реакция, работающая очень быстро, и которую надо тренировать заново. Сам я все еще работаю над этим.

Так что большая часть навыка рационалиста находится за пределами уровня слов. Это делает трудной работу по попыткам передать Искусство через посты в блоге. Люди согласятся с вами, а уже в следующем предложении сделают нечто, ведущее совершенно в другом направлении. Не подумайте, что я жалуюсь! Основная причина, по которой я пишу здесь — наблюдать, какие из моих слов не передаются.

Прямо сейчас вы ищете положительные примеры положительного искажения или ищете, что вы могли не увидеть из-за положительного искажения? Вы смотрите во свет или во тьму?

Закономерная неуверенность

Элиезер Юдковский

В «Рациональном выборе в неопределенном мире» Робина Доуза (Robyn Dawes) описан эксперимент, проведенный Тверским (1,2)

Множество психологических экспериментов были проведены в конце 50-х начале 60-х, в которых испытуемых просили предсказать результат события, имевшего элемент случайности и, при этом, еще и предсказуемую базовую ставку. Например, испытуемых просили предсказать цвет следующей карты (синяя/красная) при условии, что 70% карты были синими, но последовательность красных и синих карт была совершенно случайной.

В такой ситуации, стратегия, обеспечивающая большее количество успеха - ставить на наиболее часто встречающиеся события. Например, если 70% карт были синими, то предсказывая появление синей карты дает 70% успеха в каждом случае.

Испытуемые же предпочитали сопоставлять вероятности - предсказывать наиболее вероятный вариант,

с учетом относительной частоты появления. Например, испытуемые предсказывали появление синей карты 70% раз и красной 30% раз. Такая стратегия давала 58% долю успеха, потому что испытуемые были правы 70% времени, когда выпадала синяя карта (что происходило с вероятностью .70) и 30% времени, когда выпадала красная карта (что происходило с вероятностью 0,3); (0,7 × 0,7) + (0,3 × 0,3) = 0,58.

Даже больше, испытуемые предсказывали наиболее часто повторяющееся событие с большей вероятностью, чем оно происходило, но и близко не подходили к частоте в 100%, даже если им платили за точность их предсказаний… Например, испытуемые, которым платили по пятаку за каждое сбывшееся предсказание из тысячи,.. предсказывали [наиболее часто встречающееся событие] 76%.

Не стоит думать, что этот эксперимент про небольшие изъяны в игорных стратегиях. Он кратко рассказывает о наиболее важной идее всей рациональности.

Испытуемые продолжали выбирать красный, как будто они полагали, что способны предугадать случайную последовательность. Доуз пишет про это: «Несмотря на получение фидбека от тысячи случаев, испытуемые не могли поверить, что в это ситуации они не в состоянии предугадать».

Но ошибка должна иметь более глубокие последствия. Даже если испытуемые сформулировали какую-то гипотезу, им совершенно необязательно делать ставки на ее основе. Они могут говорить: «Если гипотеза верна - следующая карта будет красной», и ставить на синюю. Они могут выбирать синюю каждый раз, собирая как можно больше пятаков, отмечая мысленно как можно больше паттернов, которые они замечают. Если их предсказания сбываются, они могут легко переключится на новую стратегию.

Я бы не стал упрекать испытуемых за постоянное изобретение новых гипотез - откуда им знать, что цепочка за границами их способностей предсказывать? Но я буду упрекать за ставки на догадки, когда в этом не было необходимости для сбора информации, и буквально сотни предыдущих догадок были опровергнуты.

Неужто люди настолько самонадеянны?

Я бы предположил, что дело обстоит проще - стратегия «всегда-на-синее» просто не приходила испытуемым в голову.

Люди видят кучу синих карт вперемешку с несколькими красными, и полагают, что выигрышная стратегия - больше на синий, но иногда на красный.

Идея оптимальной стратегии, с учетом неполной информации, не предполагающая ставку на типичную последовательность карт - контринтуитивна.

Идея оптимальной стратегии, предполагающая законное поведение, даже если среда содержит элементы случайности - контринтуитивна.

Кажется, что твое поведение, следом за окружающей средой, должно быть непредсказуемым, но нет! Случайный ключ не отпирает случайный замок просто потому что они «оба случайные».

Ты не гасишь огонь огнем, ты гасишь огонь водой. Но эта мысль подразумевает лишний шаг, новый концепт, не активируемый напрямую формулировкой задачи. Поэтому, не приходящий в голову первым.

В дилемме красных и синих карт наше неполное знание говорит нам ставить в каждом раунде на синюю. Совет, даваемый нам нашим неполным знанием, одинаков от раунда к раунду. Если 30% времени мы будем идти против нашего неполного знания и ставить на красную карту, мы будем проваливаться, ведь теперь, мы нарочно тупим, ставя на, как нам прекрасно известно, менее вероятный исход.

Если ты будешь ставить на красную карту в каждом раунде, то ты будешь проигрывать так, как это максимально возможно; ты будешь на 100% тупым. Если ты ставишь на красную карту 30% времени, то ты оказываешься на 30% тупым.

Если твое знание неполно, если реальность, как кажется, содержит элемент случайности - случайное поведение не решит проблему. Делая свое поведение случайным, напротив, ты уводишь себя от цели, а не приближаешь. Если реальность туманна, выбрасывание интеллекта лишь ухудшает ситуацию.

Это контринтуитивно - думать, что оптимальная стратегия предполагает законное поведение, даже в условиях неопределенности.

Поэтому не так уж много вокруг рационалистов; для большинства, восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.

Ты слышал, как непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.

Это настолько же не очевидно, как и всегда ставить на синюю карту, при встрече с совокупностью синих и красных карт. Но каждая ставка на красную - ожидаемый проигрыш, как и каждое отступление от принципов Пути, когда рассуждаешь.

Как много эпизодов Звездного Пути опровергается? Как много теорий ИИ?

Моя дикая и безбашенная юность

Элиезер Юдковский

Говорят, что все, что родители запрещают делать детям, они делали сами - так они знают, почему это делать не стоит.

Давным-давно, в непостижимо далеком прошлом, я был преданным Традиционным Рационалистом, думая о себе, как о квалифицированном, в соответствии с ее стандартами, тем не менее, я не знал тогда Пути Байеса. Когда юный Элиезер столкнулся с кажется-мистическим вопросом, принципы Традиционной Рациональности не остановили его от производства Таинственного Ответа. Это, на данный момент, моя самая постыдная ошибка, думать о которой мне до сих пор больно.

Что за таинственный ответ на таинственный вопрос? Этого я говорить не стану, так как это длинная и запутанная история. Я был молод, был всего лишь Традиционным Рационалистом, который не ведал учения Тверски и Канемана. Я знал про Бритву Оккама, но не про конъюнктивное заблуждение. Я полагал, что мне удастся думать сложные мысли самому, в том же стиле, который я наблюдал в научных книгах, но не осознавал, что единственно верная сложность - та, где каждый шаг описан с безжалостной точностью. Сегодня, одним из главных советов, который я даю начинающим рационалистам: «Не пытайтесь строить сложных цепочек рассуждений и планов».

Нет нужды говорить больше: даже после того, как я придумал мой «ответ», феномен не потерял свою таинственность и непрошибаемость, которые имел с самого начала.

Не стоит думать, что юный Элиезер был глуп. Все те ошибки, в совершении которых виновен Элиезер, совершаются солидными ученым и в солидных изданиях и сегодня. Ему потребовался более утонченный навык, чем то, что могла дать Традиционная Рациональность.

Действительно, юный Элиезер старательно и кропотливо следовал предписаниям Традиционной Рациональности, сбиваясь при этом с пути.

Как Традиционный Рационалист, юный Элиезер внимательно следил, чтобы его Таинственный Ответ делал прямое предсказание будущего опыта. Конкретно, я ожидал, что будущие неврологи откроют использование квантовой гравитации нейронами, а ля Сэр Роджер Пенроуз. Подразумевалось, что нейроны будут обладать некоторой мерой квантовой запутанности, а это можно обнаружить наблюдениями, или не обнаружить. Ты либо будешь наблюдать это, либо нет, так ведь?

Но моя гипотеза не делала ретроспективных предсказаний. Ведь согласно Традиционной Науке, они не считаются - так что зачем тратить силы на их производство? Но для Байесовского Агента, если гипотеза сегодня не имеет предпочтительных отношений правдоподобия над «я не знаю», возникает вопрос: почему ты веришь сегодня во что-то более сложное чем «я не знаю». Но я не ведал Пути Байеса, так что я не думал про отношения правдоподобия или фокусирование плотности вероятности. Я ведь Сделал Фильсифицируемое Предсказание; разве не таков Закон?

Как Традиционный Рационалист, юный Элиезер был внимателен и не верил в магию, мистицизм, углеродный шовинизм и все такое прочее. Я гордо провозглашал, что мой Мистический Ответ «Такая же физика, как и вся остальная физика!». Как будто можно спасти магию от когнитивной изоморфности магии, называя ее квантовой гравитацией. Но я не ведал Пути Байеса и не видел уровень, на котором моя идея становилась изоморфна магии. Я отдавал мою верность физике, но это не спасло меня; какое дело теории вероятностей до чьей-либо верности? Я избегал всего, что запрещала мне Традиционная Рациональность, но даже то, что оставалось - было магией.

Не сомневайтесь, моя верность Традиционной Рациональность помогла мне выбраться из ямы, что я выкопал для себя. Если бы я не был Традиционным Рационалистом, со мной было бы покончено. Но Традиционной рациональности было все еще недостаточно. Это уводило меня от запрещенных ошибок, но приводило к другим.

Когда я думаю о себе, осторожно следовавшем правилам Традиционной Рациональности, получая при этом неверный ответ, то начинаю понимать, почему люди, называющие себя «рационалистами» не правят миром. Нужно дофига и больше рациональности, прежде чем она приведет хоть куда-то, а не к новым интересным ошибкам.

Традиционная Рациональность преподается как искусство, а не как наука. Читаешь биографии известных физиков, описывающие уроки, которым их научила жизнь, и стараешься делать то же, что и они. Но ты не прожил их жизнь, и половина того, что они описывают - инстинкт, который выработался у них.

Традиционная Рациональность сделана так, что было бы приемлемым для меня провести следующие тридцать лет, исследуя мою глупую идею, пока я был бы способен фальсифицировать ее, со временем, и был бы честен сам с собой по поводу предсказаний, которые делает моя гипотеза, столкнувшись с опровержением, и прочее и прочее. Этого достаточно для того, чтобы Колесо Науки двигалось вперед, но немного жестоко по отношению к тем, кто тратит по тридцать лет своей жизни. Традиционная рациональность - прогулка, не танец. Она предназначена привести тебя к ответу, в итоге, но позволяет слишком тратить времени на любование цветами по пути.

Традиционные Рационалисты могут согласиться не соглашаться. Традиционная Рациональность не имеет идеи о том, что рассуждения - точно искусство, предполагающее, что есть лишь одна корректная вероятность, с учетом имеющихся свидетельств. В Традиционной Рациональности тебе позволено гадать и тестировать свои догадки. Но опыт подсказывает мне, что если ты гадаешь, не зная, то получаешь неправильный ответ.

Путь Байеса тоже неточное искусство, насколько я его освоил пока. Эти статьи все еще пытаются передать словами то, что лучше будет постигнуто опытом. Но, по крайней мере, тут в основе лежит математика, плюс, экспериментальные свидетельства когнитивной психологии по поводу того, как люди действительно думают. Может быть, этого будет достаточно, чтобы преодолеть стратосферических размеров порог дисциплины, позволяющей получать правильные ответы, вместо новых интересных ошибок.

Неспособность учиться у истории

Элиезер Юдковский

Однажды, во времена моей дикой и безбашенной юности, когда я еще не ведал Пути Байеса, я дал Таинственный Ответ на вроде бы таинственный вопрос. Это стало следствием цепочки из множества ошибок, однако, среди них была одна критическая: юная версия меня не осознавала, что получение ответа должно делать вопрос менее запутанным. Я пытался объяснить Таинственный Феномен, что означало - дать причину для него, вписывающуюся в интегрированную модель реальности. Почему же это должно было сделать феномен менее Таинственным, когда такова его природа? Я ведь пытался объяснить Таинственный Феномен, а не превратить (посредством какой-то неведомой алхимии) в обыденный, такой, который вообще не потребует странного объяснения.

Будучи Традиционным Рационалистом, я был в курсе историй о астрологии и астрономии, алхимии и химии, витализма и биологии. Но Таинственный Феномен был не таким. Он был чем-то новым, чем-то странным, чем-то более сложным, чем-то, чему обычная наука не могла дать объяснения на протяжении веков…

… как будто звезды и материя, и жизнь не были таинственными в течении сотен и тысяч лет, с самого восхода человеческой мысли, до того момента, как наука взяла и решила их…

Мы узнаем про астрономию и химию, и биологию в школе; нам кажется, что эти знания всегда были частью сферы научного знания, что они никогда не были таинственными. Когда наука бросает вызов новой Великой Загадке, дети этого поколения скептичны, ведь они не видели, что наука способна объяснить что-то, кажущееся мистическим для них. Наука годится лишь для объяснения научных субъектов, вроде звезд или материи с жизнью.

Я думал, что урок истории в том, что астрологи с виталистами и алхимиками имели особый изъян характера, тенденцию в пользу таинственности, что и приводило их к таинственным объяснениями совершенно не-таинственных вопросов. Но правда ведь, если феномен странный - объяснение тоже должно быть странным?

Лишь позже, когда я начал видеть обыденную структуру внутри тайны, я начал понимать, на месте кого же я оказался. Лишь позже я понял, насколько разумным казался витализм в то время, насколько неожиданным и смущающим оказался ответ вселенной: «Жизнь обыденная, ей не требуется странных объяснений».

Мы изучаем историю, но мы не живем ей, не переживаем этот опыт. Если бы только я постулировал астрологическую тайну и позже открыл бы механику Ньютона, постулировал алхимическую тайну и открыл бы химию, постулировал бы витализм и открыл бы биологию. Я бы посмотрел на мой Таинственный Ответ и решил бы: ни за что на свете, я не попадусь на это снова.

Делая историю доступной

Элиезер Юдковский

Есть такая привычка мышления, которую я называют логическим заблуждением обобщения на основе вымышленного свидетельства. Журналисты, которые, например, ведут речь про Терминатора, в обсуждении про ИИ, не относятся к этому сюжету, как к пророчеству или свершившейся правде. Но фильм приходит на ум, он доступен, как будто-то бы он является иллюстрированным историческим случаем. Как если бы журналисты видели как это случилось на какой-то другой планете, и может произойти и на нашей. Подробней про это в секции 7 в «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» (1)

Есть и обратная обобщению на основе вымышленного свидетельства ошибка: неспособность в достаточной степени учитывать исторические свидетельства. Проблема с обобщением на основе вымышленного свидетельства в том, что оно вымышленное - оно никогда не происходило. Оно не начертано на основе того же распределения, что и наша вселенная; художественная литература систематически отличается от реальности. Но история же действительна случилась и должна быть доступной.

В мире наших предков не было фильмов; все, что ты видел своими глазами, было правдой. Стоит ли удивляться, что вымысел, который мы видим в реалистичном кино, оказывает на нас такое серьезное влияние? Наоборот, то, что реально происходило, доступно нам на бумаге; оно произошло, но мы не видели этого. Мы не помним, что это происходило с нами.

Обратная ошибка - обращаться с историей как с обычными рассказами, анализировать той же частью разума, что используется при чтении новелл. Ты можешь произнести, что это «правда», а не «вымысел», но это не означает, что ты воспринимаешь это так серьезно, как следовало бы. Множество искажений являются следствием недостаточно серьезного восприятия сухой, абстрактной информации.

Однажды, я дал Таинственный Ответ на таинственный вопрос, не осознавая, что совершаю ту же самую ошибку, что и астрологи, придумавшие мистическое объяснение звездам, или алхимики, придумавшие мистические свойства материи, или виталисты, постулировавшие мутное «élan vital» для объяснения биологии.

Когда я посмотрел на ситуацию с другой стороны, то ощутил шок неожиданной связи с прошлым. Я осознал, что изобретение и уничтожение витализма, о котором я читал лишь в книгах, действительно происходило с реальными людьми, которые переживали опыт так же, как и я переживал изобретение и разрушение моего собственного таинственного ответа. И я понял, что если бы я действительно переживал опыт прошлого, если бы я жил во времена научных революций, а не читал о них в книгах, я, вероятно, не совершил бы эту же ошибку снова. Я бы не стал изобретать очередной таинственный ответ; достаточно было бы тысяч предыдущих.

Итак, - подумал я, - для того, чтобы действительно ощутить силу истории, я должен думать, как Элиезер, живший в истории, должен думать о событиях так, как если бы они случились со мной (с соответствующей переоценкой искажения доступности исторической литературы - мне следует помнить себя тысячей крестьян на одного лорда). Я должен погрузить себя в историю, вообразить жизнь сквозь эры, которые я наблюдал лишь посредством чернил на бумаге.

Почему мне следует помнить полет Братьев Райт? Меня там не было. Но, как рационалист, посмею ли я не помнить, если событие действительно произошло? Действительно ли есть большая разница, видеть событие собственными глазами - что, по сути, представляет собой воздействие отраженных фотонов и даже не прямой контакт, - и наблюдать событие через книгу по истории? Фотоны и книги по истории спускаются по цепочке причин и следствий от самого события.

Мне нужно было пересилить ложную амнезию, вызванную рождением в конкретную эпоху. Я должен был вспомнить, сделать доступными все воспоминания, а не только те, что чисто случайно принадлежат мне и моему времени.

Земля внезапно стала старше.

С точки зрения моих старых воспоминаний, Соединенные Штаты существовали всегда - не было времени, когда не было бы Соединенных Штатов. Я не помнил, до того момента, как поднялась Римская Империя, принесла мир и порядок, и, просуществовав множество веков, что я даже забыл, что могло быть иначе, пала, и варвары захватили мой город, и знание, которым я обладал, было потеряно. Современный мир стал более хрупким для меня, ведь я перестал воспринимать его, как мой первый современный мир.

Так много ошибок, снова и снова, ведь я не помнил, что совершал их в каждой эре, в которой я никогда не жил.

Только представьте, люди еще удивляются, почему преодоление искажений важно.

Неужели ты не помнишь, как много раз ошибки убивали тебя? Я заметил, что внезапная амнезия часто следует сразу за роковой ошибкой. Но поверьте мне, это случалось. Я помню, хоть меня там и не было.

Так что в следующий раз, когда ты усомнишься в странности будущего, вспомни, как ты был рожден в племени охотников-собирателей тысячи лет назад, когда еще никто не знал о Науке. Вспомни, как ты был шокирован до глубины души, когда Наука объяснила великие и ужасные священные тайны, которые ты так восхвалял. Вспомни, как ты думал, что сможешь летать, если съешь нужный гриб, как ты разочарованно усвоил, что никогда не сможешь полететь, а потом полетел. Вспомни, как ты ты всегда думал, что рабство - это правильно и хорошо, а потом передумал. Не надо воображать, как бы ты мог предсказать перемены - ведь это проявление амнезии. Вспомни, что на самом деле ты не угадал. Вспомни, как век за веком мир менялся так, как ты и представить не мог.

Может так ты будешь менее шокирован тем, что будет дальше.

Объяснить, поклониться, пренебречь

Элиезер Юдковский

Наше племя бродит по лугам в поисках съедобных растений и добычи, а с неба время от времени льётся вода.

— Почему с неба иногда падает вода? — спрашиваю я у бородатого мудреца нашего племени.

Старик погружается в размышления, — он никогда не задавался этим вопросом раньше — и через некоторое время отвечает:

— Иногда небесные духи сражаются, и во время этих битв с небес капает их кровь.

— Откуда появились небесные духи? — спрашиваю я.

Голос старца превращается в шепот:

— Они зародились в далёком прошлом в таких далях и безднах, что нам и не снились.

Твоё незнание причин, по которым идёт дождь, предоставляет тебе несколько вариантов действий. Во-первых, ты можешь просто не спрашивать «почему?» — не уделять вопросу никакого внимания или просто вообще никогда не задаваться этой мыслью. Это — команда «пренебречь», и именно её изначально выбрал старец. Во-вторых, ты можешь попытаться придумать какое-нибудь объяснение, то есть выбрать команду «объяснить», как сделал старец в ответ на первый вопрос. В-третьих, ты можешь смаковать тайну, выбрав команду «поклониться».

Прочитав эту историю, трудно не заметить то, что каждый выбор «объяснить», если всё получится, предоставляет тебе объяснение (например, «небесные духи»). Но это объяснение вновь возвращает нас к трилемме: объяснить, поклониться, пренебречь? После каждого нажатия «объяснить» наука трещит своими шестернями, возвращает ответ, и затем всплывает новое диалоговое окно. Рационалисты считают своим долгом постоянно нажимать «объяснить», но это выглядит, как дорога без конца.

Нажмёшь «объяснить» для жизни — получишь химию. Нажмёшь «объяснить» для химии — получишь атомы. Нажмёшь «объяснить» для атомов — получишь электроны и нуклоны. Нажмёшь «объяснить» для нуклонов — получишь хромодинамику и кварки. Нажмёшь «объяснить» для того, чтобы узнать, откуда взялись кварки — вернёшься во времена Большого Взрыва…

Если нажать «объяснить» для Большого Взрыва, то придётся некоторое время подождать, пока наука, треща своими шестернями, будет искать ответ. И, возможно, она когда-нибудь вернёт замечательное объяснение — но это повлечёт за собой ещё одно диалоговое окно. И, если мы продолжим достаточно долго, то мы должны увидеть особенное диалоговое окно с Объяснением, Не Требующим Объяснения, и оно закончит эту цепочку. Возможно, это будет самое важное объяснение из числа всех объяснений: как уже известных, так и тех, что ещё станут известными человеку.

Погодите! Я только что нажал «поклониться».

Не забывайте, что поклоняться можно по-разному. Поклоняться можно и не зажигая свечей вокруг алтаря.

Если бы я сказал «Хм, это какой-то парадокс. Интересно, как он разрешается?», то это означало бы, что я нажал «объяснить» и теперь терпеливо жду ответа.

И если весь вопрос кажется тебе неважным, или неуместным, или тебе кажется, что лучше подумать о нём потом — значит, ты нажал «пренебречь».

Выбирай кнопку с умом.

«Наука» — затычка для любопытства

Элиезер Юдковский

Представьте что я, находясь под наблюдением телекамер, поднял руки, произнёс «абракадабра!» — и произвёл слепящий сгусток света, висящий в воздухе невдалеке от моих вытянутых рук. Представьте, что я осуществил этот акт отъявленной, безошибочно-подлинной магии под прямым наблюдением со стороны Джеймса Рэнди (известный скептик и разоблачитель псевдонаучных теорий — прим. перев.) и всех армий скептиков. Думаю, большинству людей будет довольно любопытно, что же здесь происходит.

А теперь представим, что я не отправлялся на телевидение. Я не хочу делиться ни своей силой, ни правдой, которая за ней стоит. Я хочу, чтобы моя магия оставалась в секрете. Но при этом я хочу также иметь возможность пользоваться ею где и когда захочу. Я хочу призывать сгусток света, чтобы почитать книгу в поезде — но так, чтобы при этом никому не становилось любопытно. Есть ли заклинание, останавливающее любопытство?

Конечно есть! Когда кто-то спрашивает: «Как ты это сделал?», я просто отвечаю: «Наука!»

Это не столько настоящее объяснение, сколько эдакая «затычка для любопытства». Оно не говорит, станет ли свет ярче или потускнеет, изменятся ли тон или насыщенность его цвета, и, конечно же, не объясняет, как сделать такой огонёк самому. Вопрошающий не получил новых знаний, которых у него не было до того, как я произнёс магическое слово. Но он отворачивается, удовлетворившись тем, что не происходит ничего необычного.

Что ещё лучше, тот же трюк работает с обыкновенным выключателем света. Клацаем выключателем — и загорается лампочка. Почему? В школе нам объясняют, что паролемдля лампочки накаливания является «Электричество!». Надеюсь, что к данному моменту вы уже не столь склонны к тому, чтобы обозначать лампочку «понятой» на основе такого «объяснения». Позволяет ли фраза «Электричество!» проводить расчёты, контролирующие ожидания? Нужно ещё много чего изучить! (Физики должны проигнорировать этот абзац и заменить его проблемой в эволюционной теории, где суть теории, опять-таки, заключается в вычислениях, которые умеет проводить очень малое количество людей).

Если бы вы считали, что лампочка накаливания научно необъяснима, она захватила бы всё ваше внимание. Вы бы бросили все дела и занялись бы исключительно лампочкой.

Но что значит фраза «научно объяснима»? Она значит, что кто-то ещё знает, как работает лампочка. Когда вам говорят, что лампочка «научно объяснима», вы не узнаёте ничего нового; вы не знаете, загорится ли лампочка ярче или потускнеет. Но раз кто-то уже знает о лампочке, эти знания в ваших глазах уже не так ценны. Вы становитесь менее любопытным.

Кто-то обязан сказать: «Если лампочка была неизвестна науке, вы можете получить славу и богатство исследуя её». Но я не говорю о жадности. Я не говорю о карьерных амбициях. Я говорю о чистом любопытстве—чувстве интереса. Почему ваше любопытство должно уменьшаться, если кто-то, не вы, знает как работает лампочка? Это ли не призрак? Для вас недостаточно знать; другие люди должны также быть невежественны, иначе вы не будете счастливы?

Хорошо, что знание может служить не только любопытству, как например социальная полезность технологий. Для таких инструментальных благ это важно как некоторая сущность в локальном пространстве знаний. Но что это должно значить для моего любопытства?

Кроме того, учитывайте последствия если вы допускаете «кто-то ещё знает ответ» в качестве семантического стоп-сигнала.

Однажды вы заходите в вашу комнату и видите гигантского зелёного слона, по видимому парящего в воздухе, окружённого аурой серебристого света. Вы скажете: «Какого чёрта?»

И голос исходящий сверху от слона говорит:

Кто-то уже знает почему слон здесь.

«О,»- говорите вы - «тогда забудь,»- и продолжаете идти в кухню.

Я не знаю великую единую теорию для законов физики этой вселенной. Я также многого не знаю о человеческой анатомии за исключением мозга. Я не могу указать где у меня почки, и я не могу тотчас вспомнить что делает моя печень.(Я не горжусь этим. Увы, со всей той математикой, которую мне нужно исследовать, я, скорее всего не научусь анатомии в какое-либо ближайшее время)

Следует мне, столь далеко как простирается любопытство, быть более заинтересованным моим незнанием элементарных законов физики, когда факт, что я немногое знаю о том, что происходит внутри моего тела?

Если бы я поднял свои руки и сотворил заклинание света, вы бы заинтересовались. Следует ли вам быть менее заинтересованным самим фактом поднятия моих рук? Когда вы поднимаете руку и водите ладонью вокруг, этот акт воли координируется (превыше других зон мозга) вашим мозжечком. Я поспорю, вы не знаете как работает мозжечок. Я знаю немного поверхностных деталей, недостаточных для проведения вычислений… но что с того? Какое имеет значение, если вы не знаете? Почему должен быть двойной стандарт любопытства для колдовства и движений рук?

Осмотрите себя в зеркале. Знаете ли вы, на что смотрите? Знаете ли вы, что выглядывает из-за ваших глаз? Знаете, чем вы являетесь? На некоторые из этих вопросов Наука знает ответы, на некоторые нет. Но почему это различие значимо для вашего любопытства, если вы не знаете?

Вы знаете, как работают ваши колени? Вы знаете, как сделана ваша обувь? Вы знаете, как светится ваш монитор? Вы знаете, почему вода мокрая?

Мир вокруг вас полон загадок. Расставляйте приоритеты, если вам нужно. Но не жалуйтесь, что жестокая наука опустошила мир тайн. С таким рассуждением я могу заставить вас проглядеть слона в вашей комнате.

Поистине часть тебя

Элиезер Юдковский

Классическая работа Дрю МакДермота «Искусственный интеллект и естественная глупость» критикует ИИ программы, которые пытаются представить понятия вроде счастья, как состояние ума, при помощи семантической сети: 1

СОСТОЯНИЕ-УМА

^

| ЭТО

|

СЧАСТЬЕ

И разумеется, внутри узла СЧАСТЬЕ ничего нет. Это просто токен языка Лисп с говорящим английским названием.

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все ещё восхищаться системой, если СОСТОЯНИЕ-УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит далеко не столь впечатляюще».

Или если я слегка перефразирую идею: если ты заменишь случайными символами все осмысленные английские слова, то ты не сможешь понять, что означает G1071 (G1072, 1073). Эта программа ИИ описывает гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь говорящие английские названия, обратно они не вырастут.

Представим, что физик сказал тебе: «Свет — это волны», и ты ему полностью поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ)

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что именно ему сказали. Не „понял“, а всего лишь „заметил“». Предположим, что физик сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (на всякий случай: это неправда). Заметишь ли ты разницу в ожидаемом опыте?

Как можно понять, что не стоит доверять кажущемуся знанию «Свет — это волны»? Один из способов: «смогу ли я восстановить это знание, если оно почему-то исчезнет из моей головы?»

Это похоже по духу на замену говорящих английских названий из программы ИИ с целью узнать, сможет ли кто-то понять к чему они должны «относиться». Также здесь можно привести пример Искусственного Арифметика, который запрограммирован записывать и выдавать ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ. Он, разумеется, не сможет восстановить это знание, если стереть его из его памяти (если только ещё кто-нибудь не запишет его обратно). Аналогично и знание «Свет — это волны» будет потеряно безвозвратно, если только ты не спросишь о нём заново у физика. Ты не сможешь создать это знание сам, как может это сделать физик.

Тот же опыт, что заставляет нас формулировать убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобёр грызёт дерево, то ты будешь знать как «зверь-что-грызёт-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрёл свои убеждения о «бобрах», когда кто-то другой рассказал тебе факты о «бобрах», то, возможно, ты не опознаешь бобра, если его увидишь.

Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.

Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».

Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.

Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.

Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.

Пастух строит систему учёта овец, которая работает, если добавлять камень в корзину каждый раз, когда овца покидает амбар, и изымать - когда овца возвращается. Если ты, ученик, не понимаешь работу этой системы, если для тебя это магия, которая непонятно почему работает, то ты не поймёшь, что делать, если случайно бросишь лишний камень в корзину. Если ты не можешь что-то создать сам, ты не сможешь это и восстановить, если ситуация этого потребует. Ты не сможешь вернуться к истокам, подправить параметры и заново получить результат, если у тебя нет истоков. Предположим, тебе известен факт «два плюс четыре равно шести».Один из элементов изменяется на «пять». Как ты узнаешь, что «два плюс пять равно семи», когда всё, что ты знаешь: «два плюс четыре равно шести»?

Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчёта овец. Если бы первый изобретатель узнал об этом факте, он мог бы его использовать для улучшения своей системы. Однако, ты не в состоянии вернуться к истокам и переизобрести новую систему подсчёта.

Если источник мысли находится внутри тебя самого, то с приобретением новых знаний и навыков мысль может меняться. Она поистине становится частью тебя и растёт вместе с тобой.

Старайся стать источником для всех своих мыслей, стоящих обдумывания. Если мысль первоначально пришла извне, убедись, что она также исходит изнутри. Постоянно спрашивай себя: «Как я восстановлю это знание, если оно исчезнет?» Найдя ответ на этот вопрос, представь, что знание, которое помогло бы тебе в таком случае, тоже удалено. И когда увидишь фонтан - посмотри, что ещё из него течёт.

1.Drew McDermott, «Artificial Intelligence Meets Natural Stupidity», SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.

2.Richard Rorty, «Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion», The Boston Globe (October 2003).

Простая истина

Как-то я писала сочинение об экзистенциализме. Учительница тогда вернула мне его с двойкой. Она подчеркнула слова „истина“ и „истинный“ и поставила знаки вопроса на полях напротив каждого, всего раз 20. Она хотела знать, что я имела в виду под истиной.

Даниэла Эган (журналист)

Предисловие автора

Это эссе написано, чтобы восстановить наивное представление об истине.

Допустим, кто-то говорит вам: «Моё чудодейственное лекарство избавит вас от рака лёгких всего за три недели». Вы говорите: «Но я знаю о результатах клинических исследований: ваше утверждение не соответствует истине». А этот кто-то отвечает: «Понятие „истина“ довольно неточно, что вы называете истиной?»

Многие люди, поставленные перед этим вопросом, не будут знать, как ответить с достаточной точностью. Тем не менее, будет крайне неразумным отказаться от концепции истины. Было время, когда никто не знал точную формулу тяготения – и все же, шагнув с обрыва, вы бы разбились и тогда.

Часто, особенно в интернет-дискуссиях, я встречал чьи-то заявления «Х истинно», а дальше спор поворачивал в сторону поиска определения истины. Это эссе ни в коем случае не является энциклопедическим ответом на этот вопрос. Скорее я надеюсь, что спорщики прочтут это эссе, а затем вернутся к изначальному вопросу.

В этом эссе я ставлю вопросы. Если вы находите на них кажущийся очевидным ответ – скорее всего, это он и есть. Очевидный выбор не всегда наилучший, но все-таки иногда, черт возьми, он таков. Я не перестаю искать, когда встречаю очевидный ответ, но если по мере повышения моей информированности ответ все еще выглядит очевидным, то я не вижу вины в том, чтобы использовать его. Ну да, разумеется, все считают, что 2 + 2 = 4, говорят, что 2 + 2 = 4, и в повседневной жизни все ведут себя, как если бы 2 + 2 равнялось 4. И все же чему 2 + 2 равно в высшем, абсолютном смысле? Насколько я могу судить, все еще 4. Ответ будет равен четырем, даже если я задам этот вопрос официальным, строгим, напыщенным тоном. Слишком просто, говорите? Может быть, в этом случае мир и не должен быть сложен. Для разнообразия.

Если вы — один из тех счастливчиков, которым этот вопрос кажется тривиальным с самого начала, я надеюсь, что он окажется тривиальным и на самом деле. И если перед вами вдруг встанет глубокий и важный вопрос, вспомните, что если вы в точности знаете, как работает система, вы сами можете построить ее аналог из ведерок и камней, и это не должно быть для вас какой-то тайной.

Если вы теряетесь, пытаясь понять метафору «ведерок и камней» как метафору, попробуйте понять её буквально.

Простая истина

Представьте, что мы оказались в доисторических временах, когда еще не были изобретены начала математики. Здесь я пастух, и у меня есть проблема. Мне трудно уследить за своими овцами. Они спят в загоне и защищены от волков высоким забором. Каждое утро я выпускаю овец на пастбище. Каждый вечер я должен загнать их всех назад. Если я оставлю овцу снаружи, наутро меня встретит обглоданная волками тушка. Но меня так раздражает часами бродить по полям, когда я почти уверен, что все овцы уже в загоне. Иногда я бросаю поиски рано, и обычно наутро всё в порядке. Но примерно в одном случае из десяти утром я нахожу мертвую овцу.

Вот если бы был какой-нибудь хитрый способ точно определить, остались ли снаружи ещё овцы! Я пробовал несколько методов: я бросал гадальные палочки, я развивал силу духа, чтобы видеть стадо внутренним взором, я старался найти убедительные основания полагать, что все овцы нашлись. Бесполезно. Примерно один раз из десяти, когда я ложился спать рано, наутро я обнаруживал тушку овечки. Может быть, я осознаю, что мои методы не работают, и, возможно, я тщательно подберу уважительную причину каждой своей неудачи. Но дилемма прежняя: либо я в течение часа обшариваю все закоулки и расщелины, хотя в большинстве случаев все овцы уже в загоне, либо я иду спать рано и теряю в среднем одну десятую овцы.

Однажды поздним вечером я еле стою на ногах. Заговорённые палочки утверждают, что все овцы вернулись домой. Я рисую в воображении каждый уголок, каждую расщелину на полях, и гадание говорит, что овец там нет. Но я ещё не уверен, поэтому я захожу в загон. Овец много, очень много, и я уверен, что следил за стадом тщательно и не отвлекался ни на минуту. Всё это развеивает мои тревоги, и я отправляюсь спать. На следующее утро я нахожу двух мертвых овец. Что-то внутри меня ломается, и я начинаю творчески обдумывать проблему.

Громкие звуки молотка слышатся из загона в тот день.

На следующее утро я только слегка приоткрываю калитку загона. Каждый раз, когда выходит овца, я бросаю камушек в приколоченное рядом с калиткой ведро. Тем же вечером, когда я загоняю овцу обратно, я вынимаю один камушек из ведра. Когда ведро опустеет, я прекращаю поиски и иду спать. Это превосходное изобретение. Я уверен, оно совершит революцию в пастушестве.

Такова была теория. На практике потребовалось существенно доработать систему до надежности. Несколько раз получалось так, что я не находил отсутствующих овец после нескольких часов поисков, однако на следующий день трупов не было. Каждый случай требовал глубокого обдумывания, в чем же моя ведерная система не срабатывает. Однажды после очередного бесплодного поиска я остановился и прокрутил в голове весь день. Оказалось, что в тот день в ведре уже были камни, когда я выпускал первую овцу. Это была плохая идея. В другой раз, чтобы скоротать время с утра до обеда, я забавлялся игрой с камушками, от скуки кидая их в ведро. Это тоже было плохой идеей, что я понял после нескольких часов поиска. Я практиковался в своем ведерно-каменном ремесле и со временем стал довольно компетентным овцесчетоводом.

Однажды на дороге, ведущей к моим пастбищам, появляется человек, одетый в дорогие белые робы бизнес-покроя, сандалии, с лавровым венком на голове.

— Чем я могу вам помочь? — спрашиваю я.

Человек достает из-под одежд и с щелчком открывает значок, без тени сомнения подтверждающий, что этот человек является Маркосом Замысловатусом Максимусом, представителем Сената Рума. (Интересно, а что если бы кто-то другой украл этот значок? Но сила подобных знаков настолько велика, что этот кто-то, укради он знак, мгновенно превратился бы в Маркоса.)

— Зовите меня просто Марк, — говорит он. — Я здесь, чтобы конфисковать магические камни от имени Сената. Таким могущественным артефактам не должно находиться в столь невежественных руках.

— Ох уж это чертов подмастерье! — ворчу я себе под нос. — Опять он трепался с деревенскими о чем не следует. Я смотрю в строгое лицо Марка и вздыхаю. — Послушайте, это никакие не магические камни. Самые обычные камни, которые я набрал с земли.

Тень недоумения пробегает по лицу Марка, но затем оно снова проясняется. — Я здесь, чтобы конфисковать магическое ведро! — заявляет он.

— Да не магическое это ведро, — устало говорю я. — Раньше я в нём хранил грязные носки.

Вот теперь видно, что Марк действительно озадачен.

— Тогда в чем же магия? — требовательно спрашивает он.

А ведь интересный вопрос.

— Это непросто объяснить, — начинаю я.

Привлеченный нашим разговором, мой подмастерье Отри подходит и предлагает своё объяснение:

— Магия в уровне камешков в ведре. Есть определённый магический уровень камешков в ведре, и они должны быть точно на нужной отметке, иначе магия не сработает. Если положить в ведро больше камней или достать несколько, они не будут на магическом уровне. Вот сейчас магический уровень, — Отри заглядывает в ведерко — это примерно полное на треть.

Понятно! — восклицает Марк. Он достает из вещевого мешка своё ведро и кучу камешков. Затем он берет несколько горстей камней и кладёт их в ведро. Он смотрит в ведро, примечая, сколько там камней. — Ну вот, — говорит он, — магический уровень этого ведра — это наполовину полное. Так это работает?

— Нет! — резко отвечает Отри. — Наполовину полное — это не магический уровень. Магический уровень — это полное примерно на треть. Наполовину полное — это совершенно не волшебно. Кроме того, у вас неправильное ведро.

Озадаченный Марк обращается ко мне:

— Кажется вы говорили, что ведро не магическое?

— Оно не магическое, — отвечаю я. Из загона выходит овца и я бросаю ещё один камешек в ведро. — И вообще, я смотрю за овцами. Поговорите с Отри.

Марк с сомнением провожает глазами брошенный камешек, но решает на время отложить свой вопрос. Он поворачивается в Отри и надменно выпрямляется. — Это свободная страна, — говорит он, — под благословенной диктатурой Сената, конечно. Я могу бросать любые камешки в какое мне угодно ведро.

Отри обдумывает это заявление. — Нет, не можете, — наконец отвечает он, — тогда совсем не будет волшебства.

— Послушайте, — терпеливо продолжает Марк. — Я внимательно наблюдал за вами. Вы посмотрели в своё ведро, проверили уровень камешков и сказали, что это и есть магический уровень. Я сделал всё точно так же.

— Это не так работает, — говорит Отри.

— О, понятно, — говорит Марк, — Магический уровень камешков не в моем ведре, а уровень камешков в вашем ведре. Так вы утверждаете? И чем же это ваше ведро гораздо лучше моего, а?

— Ну, если бы мы освободили ваше ведро, а затем наполнили его камешками из моего, то в вашем ведре был бы волшебный уровень. Также существует способ проверить, есть ли у вашего ведра волшебный уровень, если известно, что у моего ведра он имеется. Мы называем это операцией сравнения вёдер. — сказал Отри.

Выходит другая овца, и я кидаю в ведро ещё один камешек.

— Он только что закинул ещё один камешек! — говорит Марк. — И я полагаю, вы утверждаете, что новый уровень тоже является волшебным? Я мог бы бросать камешки в ваше ведро, пока уровень не стал бы таким же, как в моём, и тогда наши ведра сравнялись бы. Вы просто сравниваете мое ведро со своим, чтобы определить, считаете ли вы уровень «магическим» или нет. Так вот, я считаю, что ваше ведро не волшебное, потому что в нём не такой же уровень камешков, как в моём. Вот так!

— Погодите, вы не понимаете, — говорит Отри.

— Под «волшебным уровнем» вы всего лишь понимаете уровень камешков в вашем собственном ведре. А когда я говорю «волшебный уровень», я имею ввиду уровень камешков в моем ведре. Итак, вы смотрите на мое ведро и говорите, что оно «не волшебное», но «волшебство» имеет разное значение для разных людей. Необходимо указать, чья это магия. Вы должны сказать, что у моего ведра нет «волшебного уровня Отри», и я скажу, что у вашего ведра нет «волшебного уровня Марка». Таким образом, кажущееся противоречие исчезает.

— Но… — беспомощно говорит Отри.

— Разные люди могут иметь разные ведра с разным уровнем камешков, что доказывает, что всё это дело с «магией» совершенно произвольно и субъективно.

— Марк, — говорю я, — а кто-нибудь сказал вам, что эти камешки делают?

— Делают? — говорит Марк. — Я думал, они просто волшебные и всё.

— Если бы камешки ничего не делали, — говорит Отри, — то наш аудитор эффективности бизнес-процессов на соответствие стандарту ISO 9000 исключил бы эту процедуру из повседневной работы.

— Как зовут вашего аудитора?

— Дарвин, — сказал Отри.

— Хм, — говорит Марк, — Чарльз имеет репутацию строгого ревизора. Так что, камушки благословляют стада и ведут к приумножению овец?

— Нет, — говорю я. — Сила камушков заключается в следующем: если мы смотрим в ведро и видим, что камушков в нём нет, то мы знаем, что на пастбищах также овец не осталось. Если мы не используем ведро, мы должны искать и искать до темноты оставшихся овец. Или, если мы останавливаем наши поиски раньше, то иногда на следующее утро мы находим мертвых овец, павших жертвами волков. Если мы смотрим в ведро, мы знаем, когда все овцы в загоне, и можем спать спокойно.

Марк задумался.

— Звучит слишком неправдоподобно, — заключил он. — Как насчет использования заговоренных палочек? Заговоренные палочки не лгут. По крайней мере всякий, кто скажет, что они лгут, будет сожжён заживо. Это очень болезненная смерть; следовательно, гадальные палочки не лгут.

— Вы можете пользоваться гадальными палочками, если вам нравится, — сказал я.

— О, небеса, разумеется нет, — говорит Марк. — Они работают безошибочно, с абсолютной точностью в любой ситуации, при надлежащем использовании благословенных инструментов; но что если на следующее утро будут мертвые овцы? Я использую гадальные палочки только когда исключена возможность неверного предсказания. Иначе я буду сожжен заживо. Так как работает ваше магическое ведро?

Как работает ведро?.. Пожалуй, я начну с простейшей возможной ситуации.

— Ну, — говорю я, — предположим, что пастбища пусты, а ведро — не пустое. Тогда мы тратим часы в поисках овец, которых нет. А если на пастбищах остались овцы, но ведро пустое, то Отри и я вернёмся слишком рано, и на следующее утро мы найдём мёртвых овец. Так что пустое ведро является магическим, только если пастбища пусты…

— Постой, — говорит Отри. — Звучит как бессмысленная тавтология. Разве не очевидно, что пустое ведро и пустые пастбища — одно и то же?

— Она не бессмысленная, — говорю я. — Здесь аналогия: логик Альфред Тарски однажды сказал, что утверждение «снег белый» истинно тогда и только тогда, когда снег белый. Если ты можешь понять это, то ты должен видеть, почему пустое ведро волшебно тогда и только тогда, когда пастбища свободны от овец.

— Постойте, — говорит Марк. — Это ведра. Они никак не связаны с овцами. Ведра и овцы, очевидно, совершенно разные вещи. Никакого способа взаимодействия овец с ведром просто нет.

— Тогда откуда же появляется магия, как вы думаете? — поинтересовался Отри.

Марк задумался.

— Вы сказали, что сравнили два ведра, чтобы проверить, что они заполнены на одном уровне… Я могу понять, как ведра взаимодействуют с ведрами. Может быть, когда вы соберете много ведер, и они будут иметь одинаковый уровень — это то, что сгенерирует магию. Я бы назвал это когерентистской теорией магических ведер.

— Интересно, — сказал Отри. — Мне известно, что мой хозяин работал над системой с несколькими ведрами — он говорил, что должно работать лучше, потому что «избыточность» и «коррекция ошибок». На мой взгляд, это похоже на когерентизм.

— Это не совсем то же самое… — начал я.

— Давайте проверим когерентистскую теорию магии, — сказал Отри. — Я вижу, у вас с собой еще пять ведер. Я дам вам ведро, которым мы пользуемся, а затем вы наполните свои ведра до того же уровня…

Марк в ужасе отпрянул:

— Стойте! Эти ведра передаются в моей семье через поколения, и у них всегда одинаковый уровень! Если я приму ваше ведро, моя коллекция ведер станет менее связной, и магия уйдет!

— Но в данный момент ваши ведра вообще никак не связаны с овцами! — протестует Отри.

Марк рассердился.

— Смотри, я уже объяснял ранее, очевидно, что овцы никак не могут взаимодействовать с вёдрами. Ведра могут взаимодействовать только с другими ведрами.

— Я бросаю камешек, когда проходит овца, — заметил я.

— Когда овца проходит, вы бросаете камешек? — сказал Марк. — Как это связано с остальным?

— Это взаимодействие между овцой и камешками, — ответил я.

— Нет, это взаимодействие между вами и камешками, — сказал Марк. — Магия не происходит от овцы, она происходит от вас. Овца как таковая — не магическая по определению. Магия приходит откуда-то по пути в ведро.

Я указал на деревянную конструкцию на воротах. — Видите кусок ткани, свисающий из этой деревянной штуковины? Мы постоянно возимся с ней — она ненадежна — но когда овца проходит, она задевает тряпку. Когда ткань отклоняется, камешек из резервуара падает в ведро. Так нам с Отри не обязательно самим бросать камешки.

Марк нахмурился.

— Я не успеваю за вами… Это магическая ткань?

Я пожал плечами.

— Я заказал это онлайн в компании Естественный Отбор. Ткань называется Сенсорная Модальность, — увидев скептический взгляд Марка и Отри, я сделал паузу. — Допускаю, что названия звучат несколько эзотерично. Суть в том, что проход овцы начинает цепочку событий и в конце мы имеем камешек в ведре. Теперь вы можете сравнивать ведро с другими ведрами, и так далее.

— Я так и не понял, — сказал Марк. — Вы не можете поместить овцу в ведро. В ведро попадают только камешки, и, очевидно, эти камешки могут взаимодействовать только с остальными камешками.

— Овца взаимодействует с вещами, которые взаимодействуют с камешками… — я ищу аналогию. — Допустим, вы опустили взгляд на шнурки. Фотон покидает Солнце, затем путешествует сквозь атмосферу Земли, затем отскакивает от ваших шнурков, затем проходит через зрачок в вашем глазе, затем сталкивается с сетчаткой, затем поглощается палочкой или колбочкой. Энергия фотона возбуждает нейрон, который возбуждает другие нейроны. Схема активации нейронов в вашей зрительной коре может взаимодействовать с вашими убеждениями о ваших шнурках, если такие убеждения уже есть в вашей нервной ткани. Если вы можете понять это, то вы должны понять, как проход овцы вызывает попадание камешка в ведро.

— И все-таки, в какой момент процесса камешек становится магическим? — спрашивает Марк.

— Так… Это… — теперь уже я начинал смущаться. Я встряхнул головой, прогоняя путаницу. Все казалось таким простым, когда я проснулся этим утром, и система ведра и камней избавила меня от проблем. — Будет гораздо проще понять это, если вы вспомните, что цель данной системы — упрощение наблюдения за овцами.

Марк погрустнел.

— Никогда бы не подумал… Похоже, вы сами не знаете. Может, все камешки изначально волшебны, даже до попадания в ведро. Можно назвать эту позицию панкаменизм.

— Ха! — воскликнул Отри, подражая его манере. — Какая натянутая мысль! Камешки не созданы одинаковыми. Те камешки, что в вашем ведре, не волшебны. Это простые кусочки камня!

Лицо Марка стало суровым.

— Теперь, — крикнул он, — теперь ты видишь, на какую опасную дорожку ступил! Как только ты заявил, что чьи-то камешки волшебны, а чьи-то — нет, твоя гордыня тебя поглотит! Ты возомнишь себя выше всех остальных и так падёшь! История знает множество людей, которые убивали и истязали, потому что считали, что именно их камешки выше прочих! — Голос Марка обрел тень снисходительности. — Поклонение уровню камешков как «магическому» подразумевает существование абсолютного уровня камешков в Великом Ведре. Никто не верит в Великое Ведро в наше время.

— Во-первых, — сказал я, — овцы не являются абсолютными камешками. Во-вторых, я не считаю, что мое ведро на самом деле содержит овец. В-третьих, я не поклоняюсь уровню моего ведра как идеальному — я его поправляю иногда, и делаю это, потому что забочусь об овцах.

— Кроме того, — говорит Отри, — если кто-то считает, что обладанием абсолютными камешками развязывает руки для убийств и пыток, он совершает ошибку, которая никак не связана с вёдрами. Вы решаете не ту проблему.

Марк успокаивается, говоря:

— Это же всего лишь пастухи, чего более мне от них ожидать… Вы, наверное, и в то, что снег белый, тоже верите?

— Эмм… ну да, а что? — отвечает Отри.

— А вас не беспокоит, что Иосиф Сталин тоже верил в то, что снег белый?

— Ну… нет.

Марк некоторое время с недоверием пристально смотрит на Отри, затем пожимает плечами.

— Ладно, предположим, — исключительно для дискуссии, — что ваши камешки магические, а мои нет. Скажите, в чем разница?

— Мои камешки представляют овец! — торжественно заявляет Отри. — У ваших камешков нет свойства представительности, поэтому они не работают. Они лишены смыслового наполнения. Да вы просто посмотрите на них — никакой ауры содержательного наполнения, просто камни. Вам нужно ведро с особыми причинно-следственными силами.

— Ага, — говорит Марк. — Значит теперь это уже «особые причинно-следственные силы», а не магия.

— Вот именно, — продолжает Отри. — Я не суеверен. Постулировать существование магии в наши времена неприемлемо для международного пастушеского сообщества. Мы обнаружили, что постулирование магии просто не работает в качестве объяснения феноменов скотоводства. Так что теперь, если я вижу что-то мне непонятное и хочу объяснить это с использованием модели без детализации, которая не позволяет делать предсказания, даже в ретроспективе, я постулирую существование особых причинно-следственных сил. Если это не работает, то я буду называть это стихийным феноменом.

— А какими особыми силами наделено это ведро? — спрашивает Марк.

— Хм, — задумывается Отри. — Возможно, оно заряжено сродством с пастбищами. Это бы объяснило, почему оно работает — когда ведро пусто, значит и на пастбищах тоже пусто.

— Где вы нашли это ведро? — продолжает задавать вопросы Марк. — И как вы поняли, что ему свойственно сродство с пастбищами?

— Да это обычное ведро, — говорю я. — Я с него на деревья залезал. Не заморачивайтесь на этом вопросе.

— Я всё-таки говорю с Отри, — не даёт себя сбить Марк.

— Нужно привязать ведро к пастбищам и камешки к овцам с помощью магического ритуала… то есть, простите, стихийного процесса с особыми причинно-следственными силами, который открыл мой хозяин, — объясняет Отри.

Отри пытается описать процесс ритуала, при этом Марк с умным понимающим видом кивает.

— Нужно бросать камешек в ведро каждый раз, как овца выходит из загона, — уточняет Марк. — И доставать камешек каждый раз, когда овца возвращается?

Отри кивает.

— Это, должно быть, очень тяжёлое занятие, — сочувствующе говорит Марк.

Отри оживляется, поглощая сочувствие Марка, как сухая земля — дождь.

— Вот именно! — восклицает он. — Это такое давление на чувства. Когда в ведре некоторое время держится один уровень, вы… в некотором роде начинаете ощущать свою связь с этим уровнем.

В это время из загона выходит овца. Отри замечает это, замолкает, берет камешек и поднимает его вверх на вытянутой руке.

— Узрите! — провозглашает он. — Вышла овца! И сейчас я должен бросить камешек в это ведро, моё дорогое ведро, и разрушить этот дорогой мне уровень, который продержался так долго… — Из загона выходит другая овца, Отри, поглощённый своей драматической игрой, не замечает её, поэтому я кидаю камешек в ведро. А он продолжает: — ибо таково высшее испытание пастуха, бросить камень в ведро, несмотря на муки, страдания, несмотря на всю любовь к старому уровню. Воистину, только лучшие из пастухов способны соответствовать столь жестокому требованию…

— Отри, — прерываю я его, — если ты хочешь когда-нибудь стать великим пастухом, научись затыкаться и бросать камешки в ведро. Без суеты. Без драматизма. Просто бросай.

— А этот ритуал, — возвращается к разговору Марк, — он привязывает камешки к овцам силой магических законов Взаимодействия и Распространения, как кукла вуду.

Отри вздрагивает и оглядывается по сторонам.

— Прошу вас! Не называйте это Взаимодействием и Распространением. Мы, пастухи, антисуеверный народ. Пользуйтесь словом «преднамеренность» или чем-то подобным.

— Можно взглянуть на камешек? — спрашивает Марк.

— Да, конечно, — отвечаю я. Достаю один камешек из ведра и бросаю его Марку. Затем наклоняюсь к земле, подбираю другой и кидаю его в ведро.

Отри озадаченно смотрит на меня: — Разве вы сейчас не нарушили весь процесс?

Я пожимаю плечами:

— Вряд ли. Если нарушил — мы узнаем об этом, когда найдём убитую овцу на утро, или если несколько часов проведём в бесплодных поисках.

— Но… — сомневается Отри.

— Я научил тебя всему, что ты знаешь, но не всему, что знаю я, — говорю я ему.

Марк изучает камешек, тщательно рассматривая его. Он проводит над ним рукой, бормочет какие-то слова и наконец отрицательно качает головой.

— Я не чувствую никакой магии, то есть, прошу прощения, не чувствую никакой преднамеренности.

— Камешек обладает преднамеренностью только внутри маг… стихийного ведра, — заявляет Отри. — Иначе это просто камешек.

— Да не проблема, — отвечаю я. Достаю камешек из ведра и выкидываю его. Затем подхожу к Марку, касаюсь его руки с камешком и говорю: — Я объявляю эту руку частью магического ведра! Затем я возвращаюсь на свой пост у ворот загона.

— Вы сейчас просто беспричинно вредничаете, — смеется Отри.

Я киваю, ибо это действительно так.

— Однако это действительно сработает? — спрашивает Отри.

Я снова киваю, надеясь на свою правоту. Я проделывал это раньше с двумя ведрами, и, в принципе, не должно быть разницы между ведром и рукой Марка. Даже если рука Марка насыщена силой жизни, которая отличает живую материю от мёртвой, этот фокус должен сработать, даже если бы Марк был мраморной статуей.

Марк немного обеспокоенно смотрит на свою руку.

— Так что… сейчас камешек снова обладает преднамеренностью?

— Да, — подтверждаю я. — Не берите больше камней в руку и не выбрасывайте тот, который в ней держите, а то вы нарушите ритуал.

Марк торжественно кивает и возвращается к изучению камня.

— Теперь я понимаю, как ваши стада плодятся так хорошо. С силой этого ведра можно просто кидать в него камешки, и овцы бы возвращались с полей. Можно начать с нескольких овец, подождать, пока они уйдут на пастбища, а потом до краёв наполнить ведро. А если следить за такими большими стадами станет утомительно, можно просто выпустить их всех и выкинуть почти все камешки из ведра — так что вернутся только несколько овец. А когда придёт время стрижки, можно снова увеличить стада… святые небеса! Да вы хоть представляете всю чистую силу этого ритуала, который открыли? Я могу только представить последствия, возможно, это прыжок вперед на десять — нет, на сто лет для всего человечества!

— Так не заработает, — сказал я. — Если вы забросите камешек без вышедшей овцы, либо достанете камешек, хотя овца не вернулась, это нарушит ритуал. Сила не содержится в камешках, но пропадает мгновенно, как мыльный пузырь.

Марк страшно разочаровался.

— Вы уверены?

Я кивнул.

— Я пробовал, и это не сработало.

Марк тяжело вздыхает.

— До этого момента вся эта… математика казалась такой… сильной и полезной. А был бы такой большой прогресс для человечества. А, ладно.

— Марк, это отличная идея, — одобряюще сказал Отри. — Это не мое открытие, оно носится в воздухе… можно сэкономить громадные средства… это должно спасти ваш план! Мы можем попробовать разные ведра, найдя то, что сохраняет изначальную магическую сил… преднамеренность камней даже без ритуала. Или попробовать другие камешки. Может, наши камешки имеют не те свойства, присущие преднамеренности. Что если мы попробуем использовать камни, вырезанные в форме маленьких овечек? Или просто напишем «овца» на камешках, этого вполне достаточно.

— Не поможет, — сухо предсказал я.

Отри продолжил.

— Может, нам нужны органические камешки вместо кремниевых… или даже драгоценные камни. Цена драгоценных камней удваивается каждые восемнадцать месяцев, так что вы можете купить пригоршню недорогих драгоценных камней, подождать, и через двадцать лет они станут очень дорогими.

— Вы пробовали добавить камешков в ведро, чтобы сотворить ещё овец, и это не сработало? — спрашивает меня Марк. — А что конкретно вы делали?

— Я взял пачку долларовых банкнот. Затем я спрятал их, одну за другой, под складкой одеяла. Каждый раз, когда я прятал банкноту, я доставал из коробки скрепку и складывал их кучкой. Я тщательно старался не считать в уме, так что в итоге я знал только то, что у меня есть «много» долларовых банкнот и «много» скрепок. Когда все банкноты были спрятаны под одеялом, я добавил одну скрепку в кучку скрепок, что равносильно забросу одного лишнего камешка в ведро. После этого я начал доставать банкноты из-под одеяла, одновременно складывая скрепки назад в коробку. Когда я закончил, осталась одна лишняя скрепка.

— И что это значит? — спрашивает Отри.

— Значит, что уловка не удалась. Как только я нарушил ритуал всего лишь одной ошибкой, сила мгновенно исчезла. Кучка скрепок и кучка долларов более не уменьшались одновременно.

— Вы и правда это пробовали? — поинтересовался Марк.

— Да, — отвечаю я. — Я действительно провел этот эксперимент, чтобы удостовериться в том, что результат согласуется с моим теоретическим предсказанием. У меня есть сентиментальная склонность к научной методике, даже когда дело похоже на бред. Кроме того, а что если бы я ошибся?

— Если бы это сработало, — говорит Марк, — вы были бы повинны в фальшивомонетничестве! Представьте, если бы все этим занялись — экономика бы рухнула! У всех были бы миллиарды долларов наличности, на которые ничего нельзя было бы купить!

— Вовсе нет, — уверил я. — По этой же логике, если добавление скрепки в кучку создавало бы ещё один доллар, то этот доллар при создании создавал бы дополнительно товаров и услуг на доллар.

Марк осуждающе качает головой:

— Все равно, подделка денег — это преступление. Вам не следовало пытаться это осуществить.

— Я был обоснованно уверен, что у меня не получится.

— Ага! — восклицает Марк. — Вы ожидали, что у вас не получится! Вы не верили, что у вас может получиться!

— Действительно. Вы с ошеломляющей точностью угадали мои ожидания, — признаю я.

— Ну вот, в этом и проблема, — оживлённо заявляет Марк. — Магия стимулируется верой и силой воли. Если не верить, что сможешь, то и не сможешь. Вам нужно изменить свою веру в результат опыта, это изменит и сам результат.

— Забавно, — с ностальгией вспоминаю я. — То же самое сказал Отри, когда я рассказал ему о методе ведра и камешков. Что это слишком смехотворная чушь, чтобы он в неё поверил, поэтому этот метод у него не сработает.

— И как же вы его убедили? — спрашивает Марк.

— Я сказал ему заткнуться и следовать инструкциям — а когда метод сработал, Отри начал в него верить.

Марк озадаченно хмурится:

— Но это же бессмыслица. Это не решает основную дилемму курицы и яйца.

— Отнюдь, решает. Метод ведра работает, верите вы в него или нет.

— Что за ерунда! — пробормотал Марк. — Не верю я в магию, которая работает независимо от того, веришь ты в нее или нет!

— Я говорил то же самое, — вмешался Отри. — Очевидно, я ошибался.

На лице Марка видны следы напряжённого размышления.

— Но… если вы не верили в магию, которая работает, веришь в неё или нет, то почему метод с ведром сработал, когда вы в него не верили? Вы что, верили в магию, которая работает, веришь в неё или нет, независимо от того, веришь ли в магию, которая работает, веришь ты в неё или нет?

— Я… по-моему… нет, — с сомнением отвечает Отри.

— Тогда, если вы не верили в магию, которая работает, веришь в неё или нет, то… сейчас, это надо решить в письменном виде. — Марк лихорадочно строчит на листе, затем скептически смотрит на получивший результат, переворачивает листок вверх ногами и наконец сдается. — Неважно, — резюмирует он. — Даже просто магию мне трудно понять, а уж метамагия вообще вне моего понимания.

— Марк, по-моему вы не понимаете, в чём мастерство ведерного ремесла, — говорю я. — Дело не в том, чтобы с помощью камешков управлять овцами. Дело в том, чтобы овцы управляли камешками. В этом творческом деле не обязательно начинать с веры в то, что оно сработает. Скорее, сначала человек становится свидетелем того, что ведерное ремесло действительно работает, а затем приходит к вере, что оно работает.

— Или вы верите, что это так, — парирует Марк.

— Да, я верю, что это так, потому что это имеет место быть как факт, — соглашаюсь я. — Соответствие между реальностью и моими верованиями происходит от того, что моя вера обусловлена реальностью, а не наоборот.

Мимо проходит ещё одна овца, поэтому я кидаю в ведро ещё один камешек.

— Ага! Вот мы и добрались до корня проблемы, — восклицает Марк. — Что вообще за дело с этой так называемой «реальностью»? Я понимаю, что значит, когда гипотеза изящна или фальсифицируема, или согласуется с фактами. По мне так называть веру «истинной», или «настоящей», или «действительной» в отличие от просто веры — это то же самое, что сказать «я верю в то-то» и сказать «я очень-очень верю в то-то».

Я немного медлю с ответом.

— В общем… — задумчиво говорю я, — откровенно говоря, я и сам не до конца уверен, откуда взялась вся эта муть с «реальностью». Я не могу создать собственную реальность в лаборатории, поэтому понять, что это такое, пока нельзя. Но время от времени я сильно верю, что что-то случится, а вместо этого затем происходит что-то другое. Мне нужно как-то называть это «что бы то ни было», которое определяет мои опытные результаты, поэтому я называю это «реальностью». Эта «реальность» как-то совсем не совпадает иногда даже с моими лучшими гипотезами. В некоторых случаях, когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, даже и тогда случаются сюрпризы. Так что мне нужно по-разному называть те штуки, которые определяют предсказанные мной результаты, и ту штуку, которая определяет опытный результат. Первое я называю «верой», а второе — «реальностью».

Марк фыркает.

— Даже не знаю, почему я вообще слушаю всю эту очевидную чепуху. Всё, что вы говорите об этой так называемой «реальности» — это всего лишь ещё одна вера. Даже ваше мнение о том, что реальность существует прежде ваших убеждений — это тоже вера. Из этого с логической неизбежностью следует, что реальность не существует, существуют только убеждения.

— Погодите, — говорит Отри, — вы не могли бы повторить последнюю часть? Вы где-то в середине фразы круто повернули, и я потерял нить.

— Что бы вы ни говорили о реальности, все это только ещё одна вера, — объясняет Марк. — Из этого с ошеломляющей неотвратимостью следует, что реальности нет, есть только убеждения.

— Понятно, — говорю я. — Значит, аналогично, не важно, что человек ест, он должен есть ртом. Из этого следует, что еды не существует, есть только рты.

— Именно, — отвечает Марк. — Всё, что вы едите, должно быть во рту. Может ли еда существовать вне рта? Это бессмысленно, что доказывает, что «еда» — это несвязная идея. Поэтому мы все голодаем до смерти, еды не существует.

Отри смотрит на свой живот.

— Но я же не голодаю.

— Ага! — ликующе восклицает Марк. — А как вы произнесли это самое возражение? Ртом, друг мой! Своим ртом! Чем ещё лучше можно было наглядно доказать, что еды не существует?

— Кто тут говорит о голоде? — требовательно вопрошает резкий, скрипучий голос у нас за спиной. Мы с Отри спокойно стоим, мы слышали его и раньше. Марк же прямо подпрыгивает от неожиданности, сильно испуганный.

Инспектор Дарвин сухо улыбается, довольный получившимся сюрпризом, и делает небольшую пометку в своем блокноте.

— Это просто метафора! — быстро заявляет Марк. — Не надо забирать у меня рот или что-то ещё…

— А зачем вам рот, если еды не существует? — сердито настаивает Дарвин. — Неважно. У меня нет времени на эту ерунду. Я здесь, чтобы проинспектировать овец.

— Стада плодятся, господин, — сообщаю я. — Ни одной задранной овцы с января.

— Прекрасно. Награждаю вас 0,12 единицами приспособляемости. Так, а что этот человек тут делает? Является ли он необходимой частью производственной деятельности?

— Насколько я понимаю, он принёс бы больше пользы человеческому виду, если его повесить как балласт на корзине воздушного шара, — отвечаю я.

Отри тихо ойкает.

— Мне нет дела до человеческого вида. Пусть сам скажет.

Марк надменно выпрямляется.

— Вот этот всего лишь пастух, — он показывает на меня, — заявляет, что существует такое явление, как реальность. Это оскорбляет меня, так как я с глубокой и стойкой уверенностью знаю, что правды не существует. Идея «истины» — это всего лишь уловка людей, чтобы навязывать другим людям свои убеждения. У разных культур разные «истины», ни одна из которых не превосходит другую. То, что я сказал, имеет силу в любом месте и в любое время, и я настаиваю, чтобы вы согласились с этим.

— Секундочку! — вступает Отри. — Если ничто не истинно, почему я должен верить вам, когда вы говорите, что ничто не истинно?

— Я не говорил, что ничто не является истинным, — отвечает Марк.

— Нет, сказали, я слышал, — не соглашается Отри.

— Я сказал, что «истина» — это оправдание, которое используется какой-либо культурой, чтобы навязать другим свои убеждения. Так что, когда вы заявляете, что что-то «истинно», вы имеете в виду только то, что верование в это принесёт вашей собственной социальной группе какие-то преимущества.

— А вот это, что вы сейчас изложили — это истинно? — говорю я.

— Абсолютно, несомненно истинно! — выразительно отвечает Марк. — Люди сами творят свои реальности.

— Погодите, — озадаченно говорит Отри, — рассуждая логически, заявлять о том, что люди создают собственные реальности — это совершенно отдельный вопрос от заявления о том, что истины не существует — такое положение дел я даже внятно представить не могу, может быть, потому что вы так и не пояснили, как это вообще должно работать…

— Ну вот опять, — раздражается Марк, — опять вы пытаетесь применить свои западные идеи логики, рациональности, причинности, обоснованности и непротиворечивости.

— Ну отлично, — бурчит Отри, — теперь мне надо добавить третий индекс, чтобы следить за этим особым и отдельным утверждением…

— Оно не отдельное, — отвечает Марк. — Слушайте, вы неверно относитесь к моим утверждениям, принимая их за гипотезы и тщательно выводя их следствия. Вам следует считать их полностью универсальными оправданиями, которые я применяю, когда кто-то заявляет что-то, что мне не нравится. Это не совсем модель того, как работает вселенная, типа карточки «Освобождение из тюрьмы». Ключевой момент — применять эти оправдания избирательно. Когда я говорю, что истины не существует, это применимо только к вашему заявлению о том, что магическое ведро работает независимо от того, верю я в него или нет. Это не применимо к моему заявлению о том, что истины не существует.

— Эмм… а почему нет? — вопрошает Отри.

Марк терпеливо вздыхает.

— Отри, неужели вы думаете, что вы первый, кто задался этим вопросом? Спросил, как может наша собственная вера быть наполнена глубочайшим смыслом, если все верования бессмысленны? Многие студенты задают такой же вопрос, когда они сталкиваются с этой философией, у которой, я вас уверяю, множество сторонников, и по которой написана обширная литература.

— Ну и каков ответ? — говорит Отри.

— Мы назвали его «проблемой рефлексивности», — объясняет Марк.

— Да, но какой же ответ? — продолжает настаивать Отри.

Марк снисходительно улыбается.

— Поверьте, Отри, вы не первый, кто придумал такой простой вопрос. Не нужно преподносить его так триумфальное опровержение.

— Да нет, в самом деле, какой ответ?

— А теперь я бы хотел перейти к проблеме того, как логика убивает таких милых детёнышей тюленей…

— Вы напрасно теряете время! — резко обрывает Инспектор Дарвин.

— Это кроме того, что вы далеко ушли от слежения за овцами, — говорю я, закидывая ещё один камешек.

Инспектор Дарвин бросает взгляд на спорщиков, каждый из которых, очевидно, не хочет сдавать свою позицию.

— Послушайте, — говорит он уже более мягким тоном, — У меня есть простое решение вашего диспута. Вот вы утверждаете, — обращается Дарвин к Марку, — что вера человека преобразовывает его личную реальность. А вы, — он поворачивает и указывает на Отри, — истово верите в то, что вера Марка не может изменить реальность. Так пусть Марк очень сильно поверит в то, что он умеет летать, и спрыгнет с обрыва. Марк увидит, что полетел, как птица, а Отри увидит его стремительное падение и затем услышит шлепок приземления, и вы оба будете счастливы.

Мы все нерешительно застываем, обдумывая это.

— Звучит разумно… — наконец говорит Марк.

— А вот там как раз есть обрыв — осматривается Инспектор Дарвин.

Отри выглядит глубоко задумавшимся. Наконец он восклицает:

— Погодите! Если бы это было правдой, то мы все давно бы оказались в собственных отдельных вселенных, и тогда все люди здесь были бы всего лишь плодом вашего воображения — нет смысла пытаться что-то доказать нам…

С ближайшего обрыва слышится длинный затихающий крик, за которым следует глухой одиночный шлепок. Инспектор Дарвин открывает свой планшет на странице, на которой показан современный генетический пул и карандашом вписывает в показатель распространённости аллелей Марка несколько более низкое значение.

Отри несколько бледнеет.

— Неужели это было действительно необходимо?

— Необходимо? — озадаченно переспрашивает его Инспектор Дарвин, — Это просто произошло… Я не вполне понимаю ваш вопрос.

Мы с Отри возвращаемся к нашему ведру. Пора загонять овец. Не стоит забывать об этом. Иначе к чему бы всё это было?

Как успешно менять своё мнение

Рациональность: введение

Роб Бенсинджер

Во что мне следует верить?

Оказывается, на этот вопрос есть правильный ответ.

Правильный ответ есть, даже если тебя мучает неопределённость, а не только при условии наличия убедительного доказательства. Всегда есть корректное количество уверенности в утверждении, даже если оно выглядит как «личное мнение», а не подтвержденный экспертом «факт».

И все же, мы часто рассуждаем так, будто существование неопределённости или разногласий делает убеждения всего лишь вопросом вкуса. Мы говорим: «Это просто мое мнение», или: «У тебя есть право на личное мнение», как будто утверждения науки и математики существуют на более высоком уровне бытия, чем убеждения, которые всего лишь «личные» и «субъективные». Но, как пишет Робин Хансон (1):

У тебя нет права на личное мнение. Никогда! У тебя нет права даже на «я не знаю». У тебя есть право на желания и, порой, на выбор. Ты можешь распоряжаться выбором, ты можешь выбирать предпочтения, у тебя может даже есть право на это. Но твои убеждения - это не о тебе; убеждения - о мире. Твои убеждения - лучшее, что ты можешь предположить о том, как дела обстоят на самом деле. Все остальное - ложь. [ … ]

Правда, что некоторые вопросы предоставляют экспертам более сильные механизмы для разрешения споров. Когда дело касается других вопросов, наши искажения и сложность мира мешают делать сильные выводы [ … ]

Но не забывай, что на любой вопрос о том, как обстоят дела (или как должны), и при любой информации всегда есть лучшая оценка. Ты имеешь право лишь на возможность приложить все силы для нахождения лучшей оценки; все остальное - ложь.

Предположим, что ты узнаёшь, что один из шести человек влюблен в тебя. Может, ты получаешь письма от тайного обожателя, и не сомневаешься, что это один из тех шести. Твой одноклассник Боб - один из шести кандидатов, но у тебя нет особых свидетельств за и против того, чтобы именно он влюблен. В этом случае шансы на то, что Боб именно тот, кто влюблен в тебя - 1:5.

Шесть возможностей означают, что ты угадаешь один раз верно, а пять - не верно, в среднем. Это и есть то, что мы обозначаем как «шансы 1 к 5». Ты не можешь сказать: «Ну, понятия не имею, кто в меня влюблен; может это Боб, может нет. Так что шансы мои пятьдесят на пятьдесят.» Ты даже не можешь сказать «я не знаю» или «может быть» и остановиться на этом, ответ все еще - 1:5 (2).

Предположим, что ты так же замечаешь, что влюбленные люди в десять раз чаще подмигивают тем, в кого они влюблены. И если Боб подмигивает тебе, то это - новое свидетельство. В данном случае, будет ошибкой по-прежнему сохранять скептицизм по поводу идеи, что Боб - тайный обожатель; шансы 10:1 в пользу «случайный человек, подмигнувший мне, влюблен в меня» перевешивают шансы 1:5 против «Боб влюблен в меня».

Но так же будет ошибкой заявлять: «Это свидетельство такое сильное, что сомневаться глупо! Я просто буду думать, что Боб в меня влюблен!» Сверхуверенность ничем не лучше неуверенности.

По факту, только один ответ математически непротиворечив. Для того, чтобы изменить свое мнение с априорных шансов 1:5, основываясь на свидетельстве с отношениями правдоподобия 10:1, мы умножаем отдельно левые стороны и правые, получая апостериорные шансы 10:5 (т.е. 2:1 в пользу того, что «Боб влюблен в меня»). С учетом наших предположений и доступных свидетельств, догадка, что Боб влюблен в тебя, окажется правдой каждые два раза, и ложью - один раз. Эквивалентно: вероятность, что ты его привлекаешь - 2/3. Любое другое число, выражающее уверенность, в данном случае будет несовместимым.

Наша культура не усвоила пока уроки теории вероятности, что правильный ответ на вопросы вроде «как сильно я могу верить в то, что Боб влюблен в меня?» точно так же логически определены как и и правильные ответы на вопросы из контрольной по алгебре или учебника геологии. Наши шаблоны мышления идут не в ногу с открытием, что «каких убеждений о мне следует придерживаться?» имеет объективно верный ответ, независимо от того, является ли это вопросом вроде «влюблен ли в меня мой одноклассник?» или «есть ли у меня бессмертная душа?» Есть правильный путь изменения своего мнения. И точный.

Как не менять свое мнение?

Однако, пересмотр своих убеждений так же, как и в том (с Бобом) идеальном случае - задача не из легких.

В первом томе «Рациональности: от ИИ до Зомби» мы обсуждали ценность «правильных» убеждений. Нет ничего предосудительного в выражении поддержки тому, что тебя волнует - группе, с которой ты себя идентифицируешь, духовному опыту, который ты находишь превозносящим. Когда мы сталкиваем провозглашения с фактическими убеждениями, однако, эти «недопонятые» провозглашения могут защитить целую идеологию от загрязнения свидетельствами.