Рациональность: От ИИ до Зомби

Как в случае со свидетельствами о крионике, страх мыслить по-настоящему другим образом сильнее страха смерти. Охотники и собиратели были готовы встретиться лицом к лицу со смертью — это было частью их повседневной жизни, при охоте на больших млекопитающих или просто перемещении в мире, полном хищников. Им нужно было мужество, чтобы жить. Мужество отрицать стандартные способы мышления племени, вводить мысли, которые кажутся по-настоящему странными — ну, что возможно не особо хорошо служило их носителям. Мы не осмысливаем это явно; эволюционная психология работает не так. Мы, люди, устроены таким образом, что большинство из нас скорее пойдет прыгать с парашютом, нежели подписываться на крионику.

И это не высшая степень мужества. В мире не один крионист. Но только Роберт Эттингер сказал это первым.

Чтобы сделать революцию в науке, вы должны быть первым человеком, который возразит тому, что думают все. Это не единственный путь к величию в науке; это редкость даже среди великих. Никто не может совершить революцию в науке только попытками имитировать революционность. Вы можете попасть туда, только гоняясь за верным ответом в любой области, и не имеет значения, будет ли он революционен или нет. Но если, в свое время, если поглотив всю мощь и мудрость уже накопленных знаний, если, после всего этого и толики удачи, вы обнаруживаете, что погоня за точным ответом ведет на новую территорию… вот тут и появляется возможность проверить ваше мужество.

Настоящее мужество одинокого инакомыслящего, которое пытается изобразить каждая рок-группа.

Конечно не все, для чего требуется мужество, является хорошей идеей. Мужество нужно и для того, чтобы прыгнуть со скалы, но скорее всего при этом вы просто расшибетесь в лепешку.

Страх одинокого инакомыслящего препятствует хорошим идеям, однако не каждая идея, которая противопоставляет человека остальным, является хорошей. Смотрите также «Robin Hanson’s Against Free Thinkers». Наибольшая трудность в том, чтобы обладать новой истинной научной мыслью в «истинной» части.

На самом деле не обязательно отличаться от остальных только чтобы сделать вид отличающегося. Если вы делаете вещи по-другому только когда вы видите необыкновенно хорошую причину, у вас все равно будет более чем достаточно проблем, чтобы заполнить весь остаток вашей жизни.

Вокруг есть несколько настоящих сборников бунтарей. Церковь НедоМудреца, например, похоже, действительно направлена на приведение людей в замешательство, а не просто на то, чтобы обидеть их. И есть островки подлинной терпимости в мире, такие как конвенты научной фантастики. Есть некоторые люди, которые не боятся выходить из группы. Таких людей существует куда меньше, чем представляется, но они есть. Но все же научные революционеры встречаются редко. Вдумайтесь в это.

Теперь я, знаете ли, на самом деле бунтарь. Все думают, что они бунтари, но для меня это истина, видите ли. Я бы всегда носил клоунский костюм в школе. Мои разговоры были серьезными только с книгами, но не с другими людьми.

Но если вы думаете, что вы бы всегда носили этот клоунский костюм, тогда не гордитесь этим слишком сильно! Это всего лишь значит, что вам нужно прилагать усилия в противоположном направлении, чтобы избегать проявлять инакомыслие исключительно по привычке. Это то, что я должен делать, чтобы исправлять свою собственную природу. Другие люди имеют причины мыслить так, как они это делают, и игнорировать это — столь же плохо, как и бояться возражать им. Вы не хотели бы закончить как свободный мыслитель. Это не добродетель, как можно видеть — это лишь другое когнитивное искажение.

Культовая контркультовость

Элиезер Юдковский

В современном мире присоединиться к культу — возможно одна из наиболее плохих вещей, которые могут с вами произойти. В лучшем случае вы окажетесь в группе хороших, но запутавшихся людей, которые просто ошибаются, но не имеют против вас ничего плохого в принципе. Тогда вы всего лишь потратите много времени и денег, ничего не получив взамен. На самом деле, это описание подходит любому провалившемуся стартапу в Силиконовой долине. Что подразумевает под собой чертовски тяжелый опыт, если подумать. Так что да, это все же достаточно страшно.

Но настоящие культы намного хуже. Демонстративное проявление внимания и заботы к человеку, находящемуся в личном кризисе, как техника вербовки. Депривация сна. Стимулируемая апатия от тяжелой работы. Удаленные коммуны для изоляции новообращенного от друзей и семьи. Ежедневные собрания для исповеди в нечистых мыслях. Не является необычным для культов и забирать все деньги новообращенного — все сбережения плюс зарплата — заставляя его зависеть от культа даже в отношении еды и одежды. Голодание как наказание за неподчинение. Серьезный ущерб здоровью и промывка мозгов.

Принимая все это во внимание, наверное, я должен больше симпатизировать тем людям, которые ужасно нервничают, начиная делать что-то, что странно выглядит, по поводу того, не попали ли они в культ. Это не должно действовать мне на нервы. Хотя действует.

Момент первый: «культы» и «не-культы» это не отдельные естественные виды как собаки и кошки. Если вы посмотрите на любой список характеристик культа, вы увидите черты, которые легко обнаруживаются в политических партиях и корпорациях — «члены группы призывают не доверять внешней критике как имеющей скрытые мотивы», «иерархическая структура власти». Я постил групповые режимы неудач, типа раскола группы, смертельных спиралей счастья, некритичности и охлаждения испарением, каждый из которых усиливает другие. Когда все эти недостатки растут и встречаются друг с другом, они все вместе комбинируются в супер-Недостаток, глупее, чем каждая из составляющих его частей, типа Вольтрона. Но это не сущность культа; это его аттрактор.

Собаки рождаются со своей ДНК, а кошки со своей. В нашем мире нет существ, которые имели бы среднюю между ними ДНК. (Даже с учетом генетических манипуляций, далеко не просто создать существо с половиной собачьих генов и половиной кошачьих.) И невероятно, что кошачьи гены внезапно мутируют наполовину и дадут кошке половину собачьих характеристик, превратив ее в гибрида.

Человеческое сознание, когда думает о категориях, похоже, предпочитает сущности аттракторам. Оно хочет сказать «это культ» или «это не культ», и тем самым завершить задачу классификации. Если вы наблюдаете, что у Сократа десять пальцев, он носит одежду и говорит по-гречески, тогда вы можете сказать «Сократ — человек» и из этого вывести «Сократ уязвим к болиголову» без проведения тестов крови, чтобы подтвердить его смертность. Вы выводите человечность Сократа раз и навсегда.

Но если вы наблюдаете определенную группу людей, которая похоже проявляет внутригрупповое-внешнегрупповое разделение и видите эффект положительного ореола вокруг их Лучшей Штуки В Мире — которой может быть объективизм, вегетарианство или нейронные сети — вы не можете из свидетельств на данный момент вывести, достигли ли они уже некритичности. Вы не можете вывести, истинна ли их идея или ложна, или действительно полезна, но совсем не в той степени, как они думают. Из информации, собранной к текущему моменту, вы не можете вывести всегда ли они так вежливы, или они заманивают вас, чтобы изолировать от остальных и лишить вас сна и еды. Характеристики культа присутствуют не все и отсутствуют не все.

Если посмотреть поверх аргументов типа «Х это культ», «Х это не культ», то можно видеть, что одна сторона смотрит на список характеристик культа, находит те, что совпадают и говорит «Поэтому это культ!», а противная сторона находит список не совпадающих характеристик и возражает «Поэтому это не культ!».

Вы не можете сформировать точную картину динамики группового мышления используя данный вид эссенциализма. Вам нужно уделить внимание каждой характеристике отдельно.

При этом обратное глупости не есть ум. Если вы заинтересованы в центральной идее, а не в группе, которая ее реализует, то умные идеи могут иметь глупых последователей. Множество последователей Нью Эйдж болтали о «квантовой физике», однако это никак не свидетельствует против самой квантовой физики. Разумеется, глупые идеи тоже могут иметь глупых последователей. Из бинарного эссенциализма следует мысль, что если вы определяете, что группа является «культом», то их убеждения должны быть ложными, поскольку ложные убеждения являются характеристикой культа, равно как мех является одной из характеристик кошки. Если же вы интересуетесь идеей, то смотрите на нее, а не на людей. Культовость — это в большей степени характеристика групп, а не гипотез.

Вторая ошибка — это когда люди нервно спрашивают «Это же не культ, да?». Для меня это звучит так, словно они ищут уверений от рациональности. Понятие рационалиста не привязано к их виденью самого себя настолько, насколько этого заслуживает. Но даже не вдаваясь в детали, конечно любой может видеть, что нервный поиск уверений не лучший шаблон, в котором сознание может оценивать вопросы рациональности. При этом ваше любопытство не является искренним и вы не ищете способы проверить свои сомнения. Вместо этого вы приметесь искать некий внешний источник, который скажет вам, что культы используют депривацию сна для управления людьми, отметите, что Ваша-Любимая-Группа так не делает и сделаете вывод «Это не культ! Ура!». Если нет шерсти, то это не должна быть кошка. Весьма ободряюще.

Но любая деятельность стремится стать культом, и не имеет значения, осмысленна ли она сама по себе или глупа. Дихотомия «свои-чужие»

— часть человеческой природы, а не бич отдельных мутантов. Рациональность это исключение, а не правило. Вы должны прилагать постоянные усилия, чтобы поддерживать рациональность и не давать себе естественно съехать в энтропию. Если вы решили «Это не культ» и вздохнули с облегчением, тогда вы больше не будете прилагать усилий для противостояния обычным тенденциям съезжания в культ. Вы решите, что сущности культа тут нет и прекратите сопротивляться энтропии аттрактора культа.

Если вы ужасно тревожитесь о принадлежности к культу, тогда вы захотите убрать любое упоминание о любой характеристике, которая сигнализирует о культе. Но любая группа, которая видит цель в позитивном свете, рискует поддаться эффекту ореола и должна прилагать усилия, чтобы избежать смертельной спирали. Это истинно даже для обычных институтов, таких как политические партии — люди, которые думают, что либеральные или консервативные ценности могут вылечить рак и т.д. Это истинно для стартапов Силиконовой долины, как провальных, так и успешных. Истинно для пользователей Маков и пользователей Линукс. Эффект ореола не становится хорошим только потому, что все вокруг делают так же; если все пойду прыгать в пропасть, вы не пойдете. С ошибками в мышлении нужно сражаться, а не примиряться. Но если вы слишком тревожитесь о «Вы уверены, что это не культ?», тогда вы будете отказываться видеть любой знак культовости, поскольку это будет подразумевать, что вы в культе, и — это не культ!!! Так что вы не увидите настоящее поле боя, где обычные тенденции к культу либо наступают, либо отбрасываются.

Третья ошибка того, чтобы тревожно спрашивать «Это же не культ, да?» это то, что, я подозреваю, тревожность при этом присутствует там по неправильным причинам.

Почему группы, которые возносят свои Счастливые Штуки до небес, вдохновляют своих членов пожертвовать им деньги и добровольно работать на них без оплаты, формируют частные общины, в которых члены группы тесно связаны друг с другом, зовутся «религиями», а не «культами», если единственное отличие их в том, что они существуют больше нескольких сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике «Это же не культ, да?» не настолько тревожатся, когда уделяют внимание предвыборной гонке, принимая сторону демократов или республиканцев? Дихотомии «свой-чужой» и спирали счастья могут образовываться в политических дебатах, в основных религиях, в спортивных сообществах. Если бы тревожность происходила из страха сделать ошибку в рациональности, люди бы спрашивали «Это не дихотомия «свой-чужой»?» о политической гонке точно с тем же уровнем страха.

Есть легитимная причина бояться либертарианства меньше, чем культа летающего макаронного монстра, поскольку у либертарианства нет репутации использования депривации сна для обращения людей в свою веру. Однако у крионики тоже. Так почему же люди больше волнуются о том, что голова человека будет заморожена после остановки дыхания?

Подозреваю, что данная тревожность — это не страх веры в ложь и не страх физических увечий. Это страх оказаться одиноким инакомыслящим. Тревожность, в которую впадал испытуемые в экспериментах Аша, когда другие подопытные (на самом деле — сообщники экспериментатора) один за одним говорили, что линия С одинакова с Х, хотя испытуемый видел, что одинаковы В и Х. Страх отстать от группы.

Вот почему группы, убеждения которых существуют так долго, что стали казаться «нормальными», не провоцируют такой тревоги, как «культы», хотя при этом те же основные религии вполне могут забрать все ваши деньги и отослать вас в монастырь. Вот почему группы наподобие политических партий, которые очевидно ложны в рациональности, не провоцируют такой тревожности как «культы». Слово «культ» не используется для обозначения ошибок в рациональности; оно используется как ярлык для всего, что кажется странным.

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «Это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает, что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они — необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность — это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму, без сомнения, помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жизнь с сомнением не является добродетелью — назначение любого сомнения — это уничтожить само себя, либо подтвердившись, либо опровергнувшись, и сомнение — это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жизнь с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между тем, чтобы жить загнанным и тем, чтобы жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингулярности только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингулярность, очевидно, не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). Только потому, что что-то не является культом сейчас, не значит, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои фишки Го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов об ошибках культов в мышлении.

Люди, говорящие о «рациональности» также имеют повышенный фактор риска. Давать людям советы как думать — это по определению опасное занятие. Но это фактор риска, а не порок.

Оба моих любимых занятия имеют риск стать культом. Но почему-то я слышу вопросы вида «А вы уверены, что это не культ?» куда чаще, когда говорю о сильном ИИ, нежели когда говорю о теории вероятности и когнитивных науках. Я не знаю, выше ли один фактор риска другого, но знаю, что из этих двух занятий звучит страннее…

Проблема шесть с вопросом «Это же не культ, да?»…

Просто сам вопрос по себе ставит меня в весьма раздражающую безвыходную ситуацию. Настоящий Злой Гуру, конечно, использовал бы тревожность человека против него самого и придумал бы удобный и подробный аргумент, который объяснил бы Почему Это Не Культ, который человек хотел бы принять. Иногда у меня складывается такое впечатление, что это то, чего люди от меня хотят! Что бы я ни пытался писать о культовости и как ее избежать, я не могу избавиться от ощущения, словно я поддаюсь этому порочному желанию — что в конце концов я все же даю людям уверение. Даже когда говорю людям, что нужно постоянно бороться с энтропией.

Такое ощущение, что я — первый инакомыслящий в эксперименте Аша, который говорит остальным: «Да, линия Х на самом деле такая же как линия В, и нормально говорить, что это так». У них не должно быть необходимости спрашивать! Или, что даже хуже, ощущение такое, что я привожу подробный аргумент Почему Это Не Культ. Это неправильный вопрос.

Просто посмотрите на процессы мышления той группы сами и решите для себя, то ли это, частью чего вы хотите быть, как только отставите в сторону страх странного. Только вы ответственны за остановку себя от мышления в стиле культа, и не имеет значения, с какой группой вы на самом деле работаете.

Когда кто-либо спрашивает «Это же не культ, да?», то, вне зависимости от моего ответа, я всегда ощущаю себя так, словно защищаю что-то. Мне не нравится это чувство. Это не работа мастера-байесианца — уверять и успокаивать, и не работа рационалиста — защищаться.

Культы паразитируют на групповой тревожной потребности в уверениях. Вы не можете заставить тревожность уйти только пожелав этого, а ложная самоуверенность при этом будет только хуже. Если кто-либо ищет уверений — пусть даже уверений в том, чтобы быть рационалистом — это значит, что в его броне есть брешь. Умелый мечник концентрируется на цели, а не на том, чтобы оглядываться вокруг — не смеется ли кто над ним. Когда вы знаете, что вы пытаетесь сделать и зачем, вы будете знать, получается ли это у вас или нет, и помогает ли вам в этом ваша группа, или только мешает.

(Постскриптум: если кто-то придет к вам и спросит «Вы уверены, что это не культ?», не пытайтесь объяснить все вышеприведенное за один заход. Вы при этом недооцените понятийные расстояния. Человек скажет «Ага, так вы признаете, что это культ?» или «Стоп, ты говоришь, что я не должен обращать внимания на то, культ ли это?» или «Так… страх культа является признаком культа? Это звучит так, словно ты в культе». Так что последний раздражающий фактор — седьмой, если вы продолжаете считать — это то, что все это приходится очень долго объяснять.)

Умение отпускать

Важно уметь сказать «Упс»

Элиезер Юдковский

Я только что дочитал книгу о крахе компании Enron — «Самые умные парни в этой комнате». (Также я объявляю её победителем в номинации «Самое неподходящее название для книги».)

В медленном разложении и внезапном коллапсе компании Enron присутствовала достаточно типичная деталь — главные игроки никогда не признавались себе в том, что совершили большую ошибку. Когда катастрофа #247 разрасталась настолько, что для ее исправления требовалось изменение политики всей компании, они говорили: «Жаль, что это не сработало. Идея была такой хорошей. Как замаскировать эту проблему при составлении финансового отчета?» Вместо того, чтобы сказать: «Теперь кажется очевидным, что с самого начала эта затея была ошибкой». Или: «Я действовал очень глупо». Переломный момент — момент смиренного осознания, что существует действительно фундаментальная проблема — так и не наступил. После банкротства компании Джефф Скиллинг, ее бывший исполнительный директор и на короткое время генеральный директор, отказался следовать совету своих адвокатов и сослаться на Пятую Поправку — давая показания Конгрессу, он заявил, что Enron была великой компанией.

Не каждое изменение — это улучшение, но каждое улучшение — это обязательно изменение. Если мы признаём лишь небольшие локальные ошибки, мы сможем лишь немного изменить своё поведение. На крупные изменения мотивирует признание крупных ошибок.

В детстве я рос на научной фантастике и на чисто научной литературе, и от Хайнлайна до Фейнмана я учился путям Традиционной Рациональности. «Теории должны быть смелыми и фальсифицируемыми». «Получив контр-свидетельство, ты должен быть готовым принести героическую жертву и отказаться от собственных идей». «Приводи точные аргументы». «Старайся никогда себя не обманывать». И тому подобные размытые утверждения.

Воспитание в духе Традиционной Рациональности приводит к появлению спорщиков, которые рано или поздно сдаются, получив контр-свидетельства — какой-то горы свидетельств становится достаточно, чтобы изменить своё мнение на противоположное. Это важный шаг, и именно он отличает науку от религии. Но Традиционная Рациональность придаёт гораздо меньше значения скорости — умению сдаться как можно быстрее, умению встраивать свидетельства в свою картину мира настолько эффективно, что потребуется лишь минимум контр-свидетельств, чтобы разрушить особо ценное убеждение.

Я был воспитан в духе Традиционной Рациональности и полагал, что вполне могу считать себя рационалистом. Я перешел на Искусство Байеса (Лапласа/Джейнса/Тверски/Канемана) после того, как… впрочем, это долгая история. В общем, я принял такое решение, когда понял, что размытых советов, даваемых Традиционной Рациональностью, было недостаточно для того, чтобы уберечь меня от крупной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся, чтобы посмотреть на тот путь, который привел меня к этому Ужасному Пониманию. И я увидел, что делал множество маленьких, еле заметных уступок, каждый раз неохотно отдавая очередную крошечную часть территории, пытаясь сделать как можно меньше выводов из каждой небольшой ошибки, признавая свою неправоту ровно настолько, чтобы она оставалась в пределах допустимого. И я осознал, что мог бы двигаться вперед гораздо быстрее, если бы просто воскликнул: «УПС!»

В этот миг я понял: «Мне нужно повысить уровень моей игры».

Признание крупной ошибки даёт огромное преимущество. Это больно. Однако это может изменить всю твою жизнь.

Важно находить свой переломный момент. Момент смиренного осознания, что существует действительно фундаментальная проблема, а не какое-то количество мелких ошибок, с которыми вы легко расправитесь.

Не стоит принимать красивую позу и гордиться тем, что ты умеешь признавать свои ошибки. Гораздо лучше делать всё правильно с первого раза. Но если ты допустил ошибку, лучше увидеть ее сразу. Даже с точки зрения физических ощущений боль от одной потери лучше, чем небольшие, но многочисленные мучения. Альтернатива — это вести войну с самим собой на протяжении многих лет. Альтернатива — это Enron.

С тех пор я неоднократно видел, как другие люди совершали серии своих маленьких уступок, каждый раз неохотно отдавая очередную крошечную часть территории. Замечая небольшие локальные ошибки, они никогда не признавались себе в крупных и каждый раз делали из них как можно меньше выводов. Вместо того, чтобы починить всё одним волевым усилием, они накладывали множество мелких заплаток, без которых обойтись было уже нельзя. Признаваясь в совершённой ошибке они никогда не говорили: «Я был дураком». Они прикладывали все усилия, чтобы уменьшить своё смущение. Они говорили: «В целом, я был прав», или «Это вполне могло сработать», или «Я по-прежнему уверен в том, что то-к-чему-я-так-привязан может принести нам пользу». Защищая свое чувство гордости, они делали все, чтобы эта ошибка повторилась еще раз, и гордость приходилось защищать снова.

Лучше проглотить горькую пилюлю одним кошмарным глотком.

Предложение спятить

Элиезер Юдковский

Когда я был очень молод — думаю, мне было тогда лет тринадцать, возможно, четырнадцать, — я думал, что нашел опровержение диагонального аргумента Кантора — известной теоремы, утверждающей, что действительных чисел больше, чем рациональных. О, какие мечты о славе и почёте роились в моей голове!

Моя идея заключалась в том, что, раз каждое целое число можно разложить на степени двойки, то можно отобразить целые числа на множество подмножеств целых чисел просто записывая числа в двоичной системе. Например, 13, оно же 1101, будет соответствовать подмножеству {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, наверное, мне стоит применить диагональный аргумент Кантора к моей умной конструкции, и, конечно, нашелся контрпример — двоичное число… 1111, не соответствующее никакому конечному целому числу.

Я нашел этот контрпример и понял, что моя попытка опровержения была неверной, и мои мечты о почёте и славе рухнули.

Сначала я был несколько разочарован.

Я подумал: «Рано или поздно я доберусь до этой теоремы! Пусть моя первая попытка не удалась, но когда-нибудь я опровергну диагональный аргумент Кантора!» Я возмущался этой теоремой, ведь она упрямо оставалась верной, лишая меня славы и почёта. Поэтому я принялся искать другие опровержения.

А потом я кое-что осознал. Я осознал, что я ошибся, и понял, что теперь, когда я понимаю свою ошибку, оснований подозревать ложность диагонального аргумента Кантора у меня не больше, чем оснований подозревать ложность любой другой из основных теорем математики.

И ещё я очень хорошо понял, что передо мной была возможность стать фриком от математики и всю оставшуюся жизнь писать профессорам-математикам сердитые письма зелеными чернилами (когда-то я прочитал книгу о математических фриках).

Я не хотел для себя такого будущего, так что я немного посмеялся и оставил эти поиски. Я попрощался с диагональным аргументом Кантора, и перестал сомневаться в нём.

И сейчас я не помню, подумал ли я об этом тогда, или мне пришло это в голову позже… что ведь это ужасно несправедливое испытание для ребенка тринадцати лет. Получается, я должен был оказаться достаточно рациональным уже в этом возрасте или потерпеть неудачу навсегда.

Чем вы умнее, тем в более раннем возрасте вас впервые посетит идея, которая покажется вам действительно революционной. Мне повезло, что я понял свою ошибку сам, что мне не понадобился другой математик, который бы указал на неё, возможно, привив мне вместе с тем чувство вины. Мне повезло, что опровержение оказалось достаточно простым для меня. Наверное, я бы оправился и в противном случае. Потом, уже во взрослом возрасте, я оправлялся и от гораздо худшего. Но если бы я пошёл по неправильной дороге так рано, смог ли бы я потом выработать этот навык?

Интересно, скольким из тех людей, которые пишут сердитые письма зелеными чернилами, было тринадцать, когда они совершили эту первую и фатальную ошибку. Интересно, сколько из них во время этой первой ошибки подавали большие надежды.

Я допустил ошибку. Это всё. Я не был на самом деле прав в глубине души. Я не одержал моральную победу. Я не проявил амбициозности, скептицизма или какой-то ещё чудесной добродетели. Это не было разумной ошибкой. Я не был наполовину прав, не был хоть сколько-нибудь прав. Мне пришла в голову мысль, которая бы не появилась у меня, если бы я был мудрее – вот и всё, что можно об этом сказать.

Если бы я оказался неспособен признаться в этом сам себе, если бы я интерпретировал свою ошибку как проявление добродетели, если бы ради гордости я продолжал настаивать на том, что остаюсь хоть немного правым, тогда я бы не освободился. Я бы продолжил искать ошибку в диагональном аргументе. И, рано или поздно, я мог бы её найти.

Пока вы не признаёте, что были неправы, вы не можете жить своей жизнью. На вашу самооценку будет влиять старая ошибка.

Всякий раз, когда у вас возникает желание держаться мысли, которая бы никогда не пришла вам в голову, если бы были мудрее, перед вами открывается возможность стать фриком — даже если вы никогда не начнёте писать сердитые письма зелеными чернилами. Если никто не озаботится спором с вами или если вы никогда не станете никому излагать свою идею, вы все равно можете оказаться фриком. Фрика определяет неумение отказаться от идеи.

Это не правда. И не содержит правды глубоко внутри. Это не полуправда и даже не подобие правды. Это всего лишь мысль, которую вам не стоило думать. Не у каждой реки есть золотое дно. Люди совершают ошибки, и не все их ошибки являются скрытыми достижениями. Люди совершают ошибки. Так случается. Скажите «упс» и живите дальше.

Хватит уже надеяться

Элиезер Юдковский

Кейси Серин, 24-летний веб-программист, не имеющий опыта в сфере недвижимости, должен банкам 2,2 миллионов долларов. Он подал заявления на ипотеку, чтобы купить одновременно 8 различных домов в разных штатах. Часть денег он потратил на проживание и на семинары по обучению вложения денег в недвижимость (он брал ипотеку на большую сумму, чем стоили его дома). Похоже, он ожидал роста рынка.

Но это ещё не самая грустная часть истории. Самая грустная часть заключается в том, что он до сих пор не сдался. Кейси Серин не принимает поражения. Он отказывается объявить о банкротстве или устроиться на работу, он всё ещё думает, что может преуспеть в сфере недвижимости. Он продолжал тратить деньги на семинары. Он попытался получить ипотеку на 9-й дом. Он не ошибался, он просто набирался опыта.

Вот что происходит, когда мы отказываемся терять надежду.

Это поведение может показаться очень глупым, но эта ситуация заставляет меня вспомнить двух экономистов, получивших Нобелевскую премию…

… а именно Роберта Мертона и Майрона Шоулза из инвестиционного фонда Long-Term Capital Management.

Первые три года фонд LTCM загребал огромные прибыли. А в 1998 ошибки, которые использовал фонд, начали исчезать. Другие люди научились делать то же самое, и стратегия фонда перестала работать.

Фонд LTCM отказался терять надежду. Привыкнув к 40% дивидендам каждый год, они брали больше и больше кредитов для совершения сделок, а прибыль получали всё меньше и меньше. Когда у фонда всё пошло наперекосяк, акционерный капитал был 4,72 млрд долларов, кредиты — 124,5 миллиарда, деривативы — 1,25 триллиона.

В каждой профессии есть свои пути быть умным. В каждой профессии есть свои навыки, которые нужно освоить, и правила, которым нужно следовать. Поэтому кто-нибудь может подумать, что изучение «рациональности» в целом не принесёт большого успеха в реальной жизни. И всё же мне кажется, что способность не быть глупым — это очень полезный навык во многих профессиях. Искусство не превращать маленькие ошибки в большие не слишком зависит от того, применяете вы его в области хедж-фондов или в любви. И один из ключевых принципов этого искусства: будьте готовы признать, что вы проиграли.

Как правильно сомневаться

Элиезер Юдковский

Однажды, когда я рассказывал о Пути, я упомянул, что практически все организованные системы верований существуют для того, чтобы убегать от сомнений. Один из слушателей заметил, что иезуитов в этом обвинить никак нельзя, поскольку они умышленно практиковали сомнение: вступающим в орден, по его утверждению, говорили сомневаться в христианстве, сомневаться в существовании Бога, сомневаться в своём призвании, сомневаться в том, что они смогут выдержать пожизненные обеты целомудрия и нищеты. Я спросил у него: «О, но ведь предполагалось, что они справятся с этими сомнениями, верно?» Слушатель ответил: «Нет, они сомневались во всём этом скорее всего потому, что эти сомнения могли усилиться».

Поиск в интернете не дал мне возможности подтвердить или опровергнуть эти утверждения. (Если кто-нибудь из читателей готов помочь мне в этом вопросе, я буду очень признателен.) Но описанный сценарий кажется мне очень интересным и стоящим обсуждения, независимо от того, действительно ли он имел место в отношении иезуитов. Если иезуиты практиковали умышленное сомнение, делало ли это их, хоть и отчасти, рационалистами?

Думаю, я должен признать, что в (гипотетическом) сценарии выше иезуитов действительно нельзя обвинять в «бегстве от сомнений». Однако, такое (гипотетическое) поведение всё равно кажется мне очень подозрительным. Сомнения не должны пугать настоящего рационалиста. Описанное выше поведение для меня выглядит как программа десенсибилизации по отношению к страху — так арахнофобам в тщательно подготовленных условиях показывают пауков.

Но тем не менее, они ведь поощряли сомнения вступающих в орден, верно? Важно ли, что они это делали не по самым лучшим причинам? Разве для рационалиста это не остаётся достойным деянием?

Любое любопытство ищет способы уничтожить себя. Не бывает любопытства, которое не хочет получить ответы. Но если человек получает ответ, если человек удовлетворяет своё любопытство, восхитительная тайна перестаёт быть тайной.

И точно также любое сомнение существует для того, чтобы уничтожить какое-то конкретное убеждение. Если сомнение не в состоянии разрушить свою цель, оно умирает — но это всё равно развязка. Конец, пусть и печальный. Сомнение, которое не разрушает ни себя, ни свою цель, с таким же успехом может не существовать вовсе. Сам процесс сомнений не может раскрутить маховик рациональности, для этого нужно их разрешение.

Каждое улучшение — это изменение, но не каждое изменение — улучшение. Каждый рационалист сомневается, но не все сомнения рациональны. Сомнения делают человека рационалистом не больше, чем белый медицинский халат делает человека врачом.

Рациональное сомнение появляется по какой-то конкретной причине — имеется какой-то конкретный повод, чтобы подозревать, что некоторое убеждение ложно. Такая причина в свою очередь подразумевает цепочку расследований, которая или уничтожит это убеждение, или уничтожит сомнение. Это верно даже для очень абстрактных сомнений, вроде: «Интересно, можно ли объяснить эти даты какой-то более простой гипотезой?» В этом случае расследование — это попытки придумать более простую гипотезу. Чем дольше поиски не приводят к успеху, тем кажется всё менее вероятным, что следующий шаг выкладок приведёт к успеху. В какой-то миг цена на поиск превышает ожидаемую прибыль, и поиск прекращается. И здесь уже нельзя утверждать о полезности сомнений. Сомнение, которое не приводит к расследованию, с таким же успехом может вовсе не существовать. Неразрешаемое сомнение не делает ничего. Оно не приводит ни к движению вперёд, ни к движению назад.

Если у вас действительно есть религиозная вера (а не просто убеждение, что вы верите), зачем вам говорить вступающим в ваш орден, чтобы они размышляли о сомнениях, которые умрут неразрешёнными? Представьте студентов-физиков, которым говорят, чтобы они изо всех сил сомневались, не была ли ошибкой революция двадцатого века. Мол, вдруг на самом деле верна ньютоновская механика. Если вы на самом деле не сомневаетесь, зачем вам это изображать?

Однако, мы все хотим, чтобы нас считали рациональными. И многие убеждены, что сомнение — это добродетель рационалиста. Но гораздо меньше людей понимают, что для сомнения нужны конкретные причины и неразрешённые сомнения ничего не стоят. Вместо этого люди думают, что сомнение — это скромное поведение, демонстрация подчинения, направленная на поддержание иерархии в племени (ранее я писал, что практически та же проблема существует со скромностью). Грандиозная публичная сцена сомнений поможет убедить себя в том, что ты рационалист, примерно также, как надевание медицинского халата.

Для избежания притворных сомнений помните:

Рациональное сомнение существует, чтобы уничтожить конкретное убеждение. Если оно не в состоянии уничтожить свою цель, оно умирает.

Рациональное сомнение появляется по каким-то конкретным причинам сомневаться в соответствующем убеждении.

Неразрешённое сомнение ни к чему не ведёт.

Сомнение, которое не ведёт к исследованиям, с тем же успехом может не существовать вовсе.

Не стоит гордиться самим актом сомнения. Однако, когда ты закончил разрывать в клочки очень ценное для тебя убеждение, это вполне повод для гордости.

Хотя для того, чтобы взглянуть в лицо своим сомнениям, нужна смелость, помните, что идеальный разум сомнениями вообще не испугать.

Вы способны справиться с реальностью

Элиезер Юдковский

Правда не перестаёт быть правдой.

Признание не сделает её хуже.

Отказ узнавать правду не заставит её исчезнуть.

И именно с правдой вам придётся взаимодействовать.

Невозможно жить в неправде, ибо её не существует.

Люди способны вынести правду,

Ведь она и так их окружает повсюду.

-

Юджин Джендлин

Размышление о любопытстве

Элиезер Юдковский

Первая добродетель — это любопытство.

— Двенадцать добродетелей рациональности

Будучи рационалистами, мы обязаны подвергать критике себя и свои убеждения… не так ли?

Подумайте, какой эффект окажет на вас мысленная установка «Я обязан критиковать свои убеждения». Роджер Желязны однажды отметил разницу между «желанием быть автором» и «желанием писать». Как сказал Марк Твен: «Классика — это то, что каждый хотел бы уже прочесть и никто не хочет читать». Критика из чувства долга ведет к желанию иметь убеждения, уже прошедшие проверку, чтобы не считать свою веру слепой. Это не тоже самое, что хотеть проверить свои убеждения по-настоящему.

В ходе такой проверки вы рискуете стать жертвой мотивированной остановки. Вы анализируете возражение, приводите контраргумент, останавливаетесь. Повторяете с парой других возражений, ощущаете чувство выполненного долга, останавливаетесь. Так вы достигнете своей подсознательной цели: избавиться от когнитивного диссонанса «я — рационалист, не подвергнувший критике свои убеждения». Считайте это стремлением получить статус рационалиста — попыткой ощутить «теплое чувство» удовлетворения.

Теперь ваши оценки вероятностей будут достаточными для оправдания своих изначальных планов и убеждений, но недостаточными для возникновения сомнений со стороны других рационалистов или самого себя.

Истинное же любопытство будет тянуть вас к информации, кажущейся наиболее перспективной с точки зрения сдвига в оценке убеждений, либо к той, что наименее похожа на все известное вам до этого. Последующее распределение оценок вероятности, скорее всего, будет отличаться от изначального — должен будет произойти сдвиг в одну из сторон, и любое направление будет одинаково приемлемым, если ваше любопытство является искренним.

Сравните это с неосознанным желанием оставаться на знакомой территории, чтобы закончить свою проверку как можно быстрее, отметить свои убеждения и планы как «проверенные» и вернуться к своему привычному состоянию.

Что до моего взгляда на истинное любопытство и его силу — смотрите Сказ о науке и политике. Каждый персонаж служит иллюстрацией разных уроков. Последний из них, Феррис, является воплощением чистого и невинного любопытства, которое сопровождается легкостью и стремлением к поиску новых свидетельств.

Как писала Урсула К. Ле Гуин: «У невинности нет сил бороться со злом. Но у нее есть силы творить добро».1 Простое и невинное любопытство может обернуться простым тупиком на пути; поэтому обучение рациональности с сопутствующей этому изощренностью должно быть очень аккуратным, если мы хотим стать сильнее. Тем не менее, легкость и стремление к искренности в своих поисках можно сохранить.

Как сказано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже обладаете знанием, или же не хотите знать вовсе — сомнения будут бесцельными, а навыки не найдут своего применения. Любое любопытство стремится себя уничтожить — нет любопытства, которое не жаждет найти ответ.

Подобной альтернативы искреннему любопытству просто не существует. «Жгучее желание знать — гораздо сильнее, чем торжественная клятва искать только правду». Но нельзя обрести любопытство простым усилием воли — как нельзя усилием воли заставить свою ногу чувствовать тепло, когда она чувствует холод. Иногда все, что у нас есть — это торжественные клятвы.

Так что же делать с «долгом»? Для начала можно попытаться разжечь свой интерес во время «обязательных» проверок — следить за проявлениями искреннего интереса или даже искреннего невежества и желания его устранить. Попутно можно уделять особое внимание неприятным и болезненным размышлениям, которых вы стараетесь избежать — это вовсе не какое-нибудь «негативное мышление».

Также можно вспомнить о Законе сохранения ожидаемого свидетельства. Для каждого нового вопроса, для каждой новой крупицы свидетельства математическое ожидание апостериорной вероятности должно быть равна априорной вероятности. Когда вы задаёте вопрос, вы должны в равной степени ожидать, что ваше убеждение изменится как в одном направлении, так и в другом. Не каждое новое свидетельство должно разворачивать ваше убеждение на 180 градусов — сдвигать вероятность его истинности с 70% до 30% — но если изначальная вероятность равна 70%, вы должны быть готовы поменять ее как на 71%, так и на 69%. Вы не сможете заранее предугадать направление этого сдвига (в среднем), потому что по законам теории вероятности, если вы знаете, куда вы направляетесь — вы уже находитесь там. Если вы готовы к честной проверке, готовы к тому, что каждое новое свидетельство действительно может сдвинуть ваше убеждение как вверх, так и вниз — вы сможете сохранять свой интерес и оставаться по-настоящему любопытными.

Если рассматриваемый вами аргумент новым не является, почему на нем сосредоточено ваше внимание? К нему бы вас привело искреннее любопытство? Не атакуете ли вы неосознанно сильные стороны своего убеждения вместо слабых? Не повторяете ли вы одно и то же свидетельство?

Если вы сможете не повторять одни и те же аргументы в свою поддержку и понемногу снижать оценку своего убеждения с каждым новым поступающим свидетельством, возможно, со временем вы сможете от этого убеждения даже отказаться — понять, что ветер свидетельств дует против вас.

Есть еще одно средство для поддержания любопытства — я его называю Литанией Тарского, которая в действительности является мета-литанией, имеющей для каждого отдельного случая свою формулировку (подходящую именно для этого случая). Например, если я очень сильно хочу узнать, содержит ли закрытый ящик бриллиант, тогда вместо мечтаний обо всех последствиях такого развития событий я могу повторять такую Литанию Тарского:

Если в ящике есть бриллиант,

Я хочу верить, что в ящике есть бриллиант.

Если в ящике бриллианта нет,

Я хочу верить, что в ящике бриллианта нет.

Я не буду цепляться за веру, которой не хочу.

И лишь после этого можно размышлять о возможности отсутствия бриллианта в ящике, и о вытекающих из этого преимуществах того, что вы будете верить в его отсутствие, и о соответствующих недостатках ситуации, при которой вы будете верить в его наличие. См. также Литанию Гендлина.

Обнаружив у себя хоть крохотную долю истинной неопределенности, берегите ее, как путник бережет свой костер. Если вы сможете разжечь эту неопределенность в пламя любопытства, оно подарит вам легкость и стремление к поиску истины, даст вашим сомнениям цель, а навыкам — их применение.

1.Урсула К. Ле Гуин. На последнем берегу (1972).

Законы рациональности беспристрастны

Элиезер Юдковский

Традиционная Рациональность пользуется языком социальных норм. Нарушение норм трактуется как жульничество — то есть, отказ от кооперации. Если ты хочешь меня в чём-то убедить, ты обязан предоставить определённое количество свидетельств. Если ты пытаешься от этого увильнуть, то всем ясно: ты жульничаешь. Теория должна делать смелые предсказания сама, а не просто воровать предсказания, сформулированные другими теориями. Теория должна давать возможность себя опровергнуть, а не избегать трусливо огня критики — это членский взнос клуба качественных теорий.

Правила Традиционной Рациональности выглядят очень похожими на обычаи, управляющие жизнью человеческих обществ, и поэтому их легко передавать из уст в уста. Люди замечают общественное мошенничество лучше, чем изоморфные ему нарушения абстрактных логических правил. Однако, если рассматривать рациональность как общественные обязательства, можно прийти к некоторым странным выводам.

Например, существуют верующие, защищающие свои убеждения фразой: «Ты сам не можешь обосновать свою веру в науку!». Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! У тебя есть точно такие же!»

В глазах байесианцев, мозг — аналитическое устройство. Оно собирает перепутанные свидетельства и превращает их в карту, которая изображает местность. Принципы рациональности — это законы в том же смысле, что и второй закон термодинамики: чтобы получить надёжные убеждения необходимо вычислимое количество свидетельств, также как и надёжное охлаждение содержимого холодильника требует вычислимого минимума свободной энергии.

Теоретически, законы физики инвариантны относительно обращения времени, поэтому, в принципе, существует ничтожно малая — настолько малая, что отличить её от нуля могут только математики — вероятность того, что холодильник спонтанно охладит сам себя, сгенерировав при этом электричество.

Представь, что ты ни разу не был в Нью-Йорке. Сможешь ли ты нарисовать его точную подробную(English) карту, сидя в комнате с закрытыми жалюзи и не имея доступа в интернет? Теоретически да, но вероятность этого немногим больше ничтожно малой вероятности самозаморозки холодильника.

Прежде чем начать рисовать карту незнакомой местности, плесни немного воды в чашку при комнатной температуре. Подожди, пока она самостоятельно замёрзнет, и лишь после этого приступай к самому занятию. Таким образом можно убедиться, что приём «игнорируй бесконечно малые вероятности успеха» работает. Часто бывает сложно осознать, что твоя карта неверна (особенно, если ты никогда не бывал в Нью-Йорке), но всегда можно убедиться в том, что вода сама по себе не замерзает.

Если правила рациональности — это законы общества, то, кажется, что можно оправдать поведение Х, если указать, что остальные ведут себя также. Было бы несправедливо требовать свидетельства от тебя, если мы все не можем их предоставить. И справедливое общество обязательно осознает, что все мы одинаково грешны и смягчившись, милосердно освободит всех от обязательства предоставлять свидетельства в пользу своих убеждений. Затем наступит свобода, равенство и братство, и будем мы жить долго и счастливо.

Если же правила рациональности — это математические законы, то все попытки что-то оправдать бессмысленны. Бесполезно зачитывать вслух 30 причин, согласно которым ты не можешь упасть с обрыва. Даже если все проголосуют за то, что нечестно требовать электричества для заморозки продуктов, это никак не повлияет на идущие внутри холодильника процессы. Даже если все согласятся с тем, что тебе не обязательно посещать Нью-Йорк, карта всё равно окажется неверной. Госпожа Природа не прислушивается к людским просьбам, и Госпожа Математика тоже.

Так что — вернёмся к Традиционной Рациональности, сформулированной как социальные нормы — не думай, что заявление «нет ничего страшного в моих необоснованных убеждениях о X, ведь у всех есть какие-то необоснованные убеждения» сойдет тебе с рук. Если обе заключившие контракт стороны нарушили свои обязательства, человек-судья может решить не применять санкции ни к кому. Но если два инженера соберут два механизма одинаково плохо, ни один механизм не заработает. Одна ошибка не может оправдать другую. Если я что-то делаю неправильно, тебе это никак не поможет и не освободит тебя от исполнения правил. Страдать мы будем оба.

Когда речь идёт о законах либеральной демократии, каждый имеет право на свои убеждения. Когда речь идёт о законах природы, никто не имеет права на абсолютную точность. Мы не арестовываем людей за то, что они верят в странные вещи (по крайней мере, в адекватных странах). Но никто не может аннулировать закон о том, что для получения точных убеждений необходимы свидетельства. Даже единогласное решение всей человеческой расы не имеет веса в суде Природы.

Физики не решают, какими должны быть законы природы, физики просто угадывают, каковы они на самом деле. Рационалисты не решают, какими должны быть законы рациональности, рационалисты просто угадывают, каковы они на самом деле. Нельзя рационализировать то, что не было рациональным с самого начала. Даже если кто-то ухитрится убедить всех физиков мира в том, что законы гравитации на него не распространяются, то всё равно, шагнув со скалы, он упадёт.

Даже фраза «это решаем не мы» слишком антропоморфна. Нет никакой вышестоящей инстанции, способной делать исключения в законах. Существуют лишь причина и следствие.

Помни об этом, когда будешь просить разрешения нарушить закон всего лишь этот раз. Мы не можем выдать разрешения. Это просто не в нашей власти.

Оставь путь к отступлению

Элиезер Юдковский

Когда вы окружили врага,

Всегда оставляйте ему путь к отступлению.

Пусть он видит,

Что есть альтернатива смерти.

— Сунь-цзы, «Искусство войны»1

Всё, хватит на них давить. Наоборот, сбавим прессинг.

— Лоис Макмастер Буджолд, «Комарра»2

Вчера вечером я разговаривал с нерационалисткой, которая случайно зашла на встречу местных рационалистов. Она только что объявила, что (а) верит в существование души и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?». По растерянности, промелькнувшей на её лице, было понятно, что этот вопрос никогда не приходил ей в голову. Я не хочу сказать, что в этом есть что-то плохое — она показалась мне хорошим человеком, у которого нет ни малейшей подготовки в области рациональности — как и у большинства других представителей человечества. Мне действительно надо написать эту книгу.

Большая часть последующего разговора посвящалась вопросам, уже раскрытым на сайте Overcoming Bias [Эта книга представляет из себя переработанные статьи, и изначально эти статьи публиковались на сайте overcomingbias.com — Прим.перев.]: если вам что-то очень любопытно, то скорее всего, вы сможете придумать хороший способ это проверить, старайтесь сперва приобретать точные убеждения, а затем позвольте эмоциям опираться на них, ну и так далее. Однако, этот разговор напомнил мне об одном соображении, которое я пока ещё тут не раскрыл:

— Постарайтесь как можно лучше себе представить, – предложил я ей, – как выглядел бы мир, где нет душ, и как бы вы поступали в таком мире. Не думайте обо всех причинах, почему это невозможно. Просто примите это как допущение и представьте последствия. Чтобы вы могли подумать: „Ладно, если душ нет, то я могу просто заключить контракт на крионирование“ или „Если Бога нет, я всё равно могу просто быть добродетельной“, а не просто ужасаться самой идее. Как я уже сказал раньше, вам стоит верить в правду, какой бы она ни была — это вопрос самоуважения. Однако, человеческая природа такова, что полезно сперва свыкнуться с убеждением и только потом оценивать свидетельства в его пользу.

Принцип в основе этой методики прост. Поступайте с собой так, как Сунь-цзы советует поступать с врагами – оставьте себе путь к отступлению. Если для вас непереносима сама мысль о потере работы, то эта перспектива может вас пугать гораздо сильнее, чем если вы точно подсчитали, на сколько хватит ваших сбережений, проверили вакансии на рынке труда в своей сфере занятости и тщательно распланировали, что будете делать в таком случае. Только в этом случае вы будете готовы честно оценить вероятность сохранения работы с учётом грядущих в следующем месяце сокращений. Будьте настоящим трусом и в деталях составьте план отступления. Мысленно представьте себе каждый шаг. Желательно, ещё до выхода на поле боя.

Для того, чтобы представить себе неприятное состояние дел всего лишь в качестве мысленного эксперимента, требуется меньше мужества, чем для того, чтобы оценить, какова на самом деле вероятность, что дела действительно состоят именно так. Но после первого сделать второе становится проще.

Помните, что байесианство любит точность: даже если пугающая вас перспектива действительно выглядит маловероятной, всё равно, чтобы получить количественную оценку вероятности, важно честно подсчитать все свидетельства за и против. Визуализация устрашающей идеи совершенно не означает признания, что глубоко внутри Вы считаете её возможной истиной. Вы можете представлять различные пугающие идеи просто из общих соображений о поддержании себя в хорошей ментальной форме. «Идея, о которой Вы не можете даже подумать, управляет вами больше, чем идеи, о которых вы громко говорите вслух». Такое случается, даже если эта невообразимая идея является ложной!

Методика оставления пути к отступлению для её правильного использования требует некоторый минимум честности по отношению к себе.

В первую очередь, вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают и к каким идеям Вы привязаны. Но это гораздо проще, чем честная оценка свидетельств по поводу идеи, которая вас пугает. Вам станет легче, если я скажу, что мне самому приходится пользоваться такой методикой? В конце концов, рационалист не отказывается от всех эмоций. Есть идеи, которые меня пугают, хотя я по-прежнему считаю их ложными. Есть идеи, к которым я привязан и знаю об этом, и всё равно считаю их истинными. Но тем не менее у меня есть план отступления: не потому, что я планирую отступать, а потому что изначальное наличие плана отступления помогает мне думать о проблеме, не привязываясь к ней.

Однако ещё большее испытание честности перед собой заключается в том, чтобы по-настоящему принять неприятное предположение в качестве предпосылки и продумать, как вы бы с ним справились. Когда мы сталкиваемся с неприятной идеей, наш первый импульс, естественно, подумать обо всех причинах, почему это может быть не так. Поэтому вы столкнётесь с некоторым количеством своего психологического сопротивления, если попытаетесь в точности представить, каким был бы мир и что бы вы в связи с этим делали, если бы самое-самое ценное убеждение было ложным или самое-самое пугающее убеждение было верным.

Подумайте обо всех людях, которые говорят, что без Бога была бы невозможной мораль. (И да, об этом зашла речь в том разговоре, так что я не выдумываю.) Если бы теисты могли представить свою настоящую реакцию на веру в то, что Бог не существует, они бы осознали, что, нет, они не отправились бы убивать младенцев. Они могли бы осознать, что атеисты реагируют на несуществование Бога примерно так же, как и они сами бы отреагировали, если бы в это поверили. Я говорю об этом, чтобы показать, что это весьма трудно: представить себе, как бы вы отреагировали, если бы поверили в противоположность какого-то из своих очень важных убеждений.

Кроме того, хоть это и довольно сложно осознать, но люди привыкают ко всему. Недавно парализованные люди через шесть месяцев не настолько этим опечалены, как они сами предполагали в начале, и тому подобное. Идея, что если бы ваше устрашающее убеждение оказалось истинным, то вы каким-то образом с ним бы свыклись, ничуть не более контринтуитивно. Паралитики привыкают, и вы бы привыкли.

Не забывайте также про литанию Гендлина и литанию Тарского. Правда не перестаёт быть правдой. Признание не сделает её хуже. Не бойтесь просто представить себе мир, которого боитесь. Если этот мир существует, то представив его мысленно, вы себе не навредите. А если он не существует, то от того, что вы его представите, тоже хуже не станет. И помните, когда визуализируете, что если ужасные явления в вашем воображении на самом деле истинны – чего может и не быть! – тогда вы наверняка хотели бы в них верить, и вам следует визуализировать и это тоже. Неверие вам не поможет.

Как много религиозных людей сохранили бы свою веру в Бога, если бы могли в точности представить себе гипотетический мир, в котором Бога нет, а они сами стали атеистами?

Оставлять путь к отступлению – мощная методика, но не простая. Честная визуализация требует меньше усилий, чем нужно, чтобы полностью признать, что Бог не существует, но всё равно требует усилий.

1.Автор цитирует текст по изданию Sun Tzu, The Art of War (Cloud Hands, Inc., 2004). Однако, приведённые им строки не вполне соответствуют соответствующим строкам известного в России перевода Николая Конрада: «… если окружаешь войско противника, оставь открытой одну сторону; если он находится в безвыходном положении, не нажимай на него». Прим. перев.

2.В переводе О.Г.Косовой. Прим. перев.

Кризис веры

Элиезер Юдковский

Если вы не готовы с одинаковой лёгкостью допустить оба варианта, это ещё не настоящий кризис веры.

Тор Шенкель

Многие в этом мире придерживаются убеждений, несостоятельность которых заметил бы даже десятилетний ребёнок, услышавший такое убеждение в первый раз. И речь идёт не о каких-то незначительных заблуждениях. Человек незашоренного ума играючи отказался бы от таких убеждений, если бы без колебаний применил к ним скептицизм десятилетнего ребёнка. Как выразился Premise Checker [Один из читателей overcomingbias во времена написания этого эссе. — Прим.перев.]: «Если бы идея бога не появилась до эпохи науки, только очень странный человек смог бы её придумать и всерьёз утверждать, что она всё объясняет».

Тем не менее, даже профессиональные учёные и выдающиеся специалисты в своих областях в наш день и век всё ещё недостаточно скептичны. Нобелевский лауреат Роберт Ауманн, автор теоремы Ауманна о согласии, является ортодоксальным иудеем. Я достаточно сильно уверен, что в тот или иной миг своей жизни Ауманн сомневался в своей вере. Однако, его сомнения не стали успешными. Мы меняем мнение реже, чем нам кажется.

Это должно пробрать вас до мозга костей. Ведь получается, что можно быть учёным с мировым именем, хорошо владеть теоремой Байеса и тем не менее не смочь отвергнуть убеждения, абсурдность которых бросается в глаза даже десятилетнему ребёнку с его незамутнённым взглядом. Получается, что давно закрепившееся в разуме убеждение способно создать себе неуязвимую защиту.

Что же делать с ошибкой, которая окопалась у вас в мозгу?

Ну, если вы поняли, что на самом деле имеете дело с ошибкой, значит вы с ней уже справились. Вопрос не в том, как отказаться от давно привычного ложного убеждения Х, а в том, как понять, что давно привычное убеждение Х ложно. Сложно быть честным с собой, когда сам не знаешь, что правильно. Поэтому вопрос на самом деле звучит так:

Как вызвать у самого себя настоящий кризис веры в некое убеждение и допустить возможность альтернативных вариантов?

Как пример серьёзного испытания, которое мы все можем представить, возьмём религию. (У читателей, чьи родители были атеистами, не было этого важного жизненного испытания, поэтому в качестве довольно слабой замены я предлагаю им подумать об их религиозных друзьях). Однако, если вы не можете поставить себя на место верующего и считаете их всех злобными мутантами, значит вы не в состоянии вообразить, с какими внутренними испытаниями они на самом деле сталкиваются. Вы не в состоянии задаться вопросом:

Какая стратегия может помочь религиозному человеку отказаться от своей религии?

Уверен, что некоторые, едва взглянув на этот вопрос, уже начали потрясать стандартным списком атеистических аргументов. «Они должны признать, что байесовских свидетельств в пользу существования Бога не существует». «Они должны понять, что для оправдания поведения Бога в Библии они прибегают к многочисленным моральным уловкам». «Им надо научиться использовать бритву Оккама». Ну и так далее.

Нет! Нет, нет, нет! Именно такое оттарабанивание давно привычных аргументов в точности соответствует тому стилю мышления, из-за которого люди не спешат отказываться от своих религий. Если вы остаётесь в рамках собственных заранее заготовленных мыслей, если ваш мозг выдаёт ответ столь быстро, что вы даже не успеваете посмотреть на вопрос так, как будто видите его впервые, вы никак не сможете придти к кризису веры.

Возможно, дело в том, что слишком мало людей прочли книгу «Гёдель, Эшер, Бах» в достаточно раннем возрасте, но я часто замечал, что очень многие люди — даже с техническим образованием — не в состоянии мыслить на таком высоком уровне абстракции. Во время приступов особо сильного пессимизма я даже начинаю думать, что у верблюда действительно два горба.

Судя по всему, некоторые люди не могут перейти с объектного уровня «Воспользуйся бритвой Оккама! Ты должен понять, что твой Бог — это ненужное убеждение!» на мета-уровень «Попробуй не дать своему мозгу привычно действовать по шаблону!» Ведь для верующего человека ответ «Пути Господни неисповедимы, и наивно считать, что мы сможем их понять» настолько же привычен и так же быстро приходит на ум, как вам и вашим друзьям рационалистам приходит на ум бритва Оккама. Поэтому если вы считаете, что правильная стратегия заключается в «Воспользуйся бритвой Оккама!», вы похожи на верующего, который говорит, что правильная стратегия — это уверовать.

«Но… но бритва Оккама же на самом деле лучше, чем вера! Мы же не о любимом вкусе мороженого спорим! Если обратиться к истории, сразу понятно, что рассуждения, согласованные с законом Оккама, гораздо продуктивнее тех, что основаны на вере…»

Всё это так. Однако не имеет отношения к делу. А дело в том, что, когда вы всё это произносите, вы повторяете стандартные доводы в пользу своих убеждений. Доводы, которые уже укоренились у вас в мозгу. Устроить себе кризис веры — значит допустить, что наши стандартные умозаключения неверны и наши стандартные доводы тоже. Допустим, стандартным доводом в пользу Х является «Бритва Оккама!», и вы хотите испытать кризис веры относительно X. Тогда задайтесь вопросом, действительно ли бритва Оккама говорит в пользу X, действительно ли вы правильно понимаете бритву Оккама, и — если хотите по-настоящему глубоких сомнений — действительно ли простота является исторически либо логически обоснованным рабочим критерием в подобных случаях, и т. д. Если вы советуете религиозному человеку усомниться, что «вера» — это хорошее объяснение для X, то вам стоит посоветовать то же самое себе, то есть, приложить такие же серьёзные усилия и усомниться, что «бритва Оккама» — это хорошее объяснение для X.

(Подумайте обо всех людях, которые не понимают таких формулировок бритвы Оккама, как минимальная длина описания или индукция Соломонова. Подумайте о тех, кто считает, что бритва Оккама исключает многомировую интерпретацию или гипотезу симуляции. Этим людям стоит поставить под сомнение свою формулировку бритвы Оккама и своё представление о том, что простота — это что-то хорошее. Готов поспорить, что какое бы Х вы ни защищали в споре восклицанием «Бритва Оккама!», это X не дотягивает по простоте формулировки до закона гравитации).

Если «Бритва Оккама!» — это ваш привычный ответ, ваш стандартный ответ, если это ответ, который дают все ваши друзья, то вам стоит помешать своему мозгу моментально достраивать этот шаблон. Иначе устроить себе настоящий кризис веры не получится.

Лучше задать себе такие правила для размышлений: «Представить, что сказал бы скептик. Потом представить, что ему сказали бы в ответ. А теперь представить, что он ещё мог бы сказать и на что уже было бы сложнее ответить».

Или: «Сосредоточиться на самой неприятной мысли».

И самое главное правило:

«Стараться изо всех сил. Вкладывать столько же отчаянных усилий, сколько требуется верующему человеку, чтобы отринуть свою религию».

Ведь если вы не слишком стараетесь, то — как знать — может быть, ваша голова забита какой-нибудь чепухой, ничуть не менее абсурдной, чем религия.

Если вы не предпринимаете судорожных отчаянных усилий, чтобы стать рациональным (а именно такие усилия нужны, чтобы избавиться от религии), как вы осмеливаетесь верить во что бы то ни было? Ведь даже сам Роберт Ауманн верит в Бога.

Кто-то (уже не помню кто) однажды заметил, что люди в принципе способны отказаться от своей веры лишь до определённого возраста. Потом у них уже есть готовые ответы на все возражения, и становится слишком поздно. Это способ существования, который необходимо преодолеть. Это испытание вашей силы как рационалиста, и оно очень суровое. Но если вы не сможете его пройти, вы останетесь слабее, чем десятилетний ребёнок.

Но повторюсь: если вы понимаете, что убеждение ошибочно, то вы его уже побороли. Если вы уже пришли к заключению, что ваша религия не верна, то речь больше не идёт об отчаянных, судорожных попытках преодолеть последствия религиозного воспитания. Отчаянные усилия, о которых мы здесь говорим, нужны, чтобы понять, стоит ли избавиться от оков некоего убеждения или же сохранить его. Трудно быть честным с самим собой, когда не знаешь, какая дорога верна. Когда рационализация не кажется грехом.

Ради каждого сомнения устраивать себе полноценный кризис веры не стоит. Однако, вам стоит задуматься о нём, если:

убеждение давно укоренилось в вашей голове;

вам известно множество аргументов и контраргументов, связанных с этим убеждением;

вы уже как-то невозвратно вложились (в виде времени, денег, публичных заявлений) в это убеждение;

убеждение имеет какие-то важные эмоциональные последствия (заметим, что само по себе это не значит, что убеждение неверно);

на убеждение завязана ваша идентичность.

Эти тревожные признаки не означают, что убеждение совершенно точно ложно. Они лишь сигнализируют о том, насколько рисковано ваше убеждение и насколько трудно вам будет с ним расстаться, если оно неверно. Такие признаки можно найти как для католичества Папы Римского, так и для убеждённости Ричарда Докинза в эволюционной биологии. Однако, это не означает, что подобные убеждения — лишь дело вкуса. Уравнивать между собой любые глубоко укоренившиеся убеждения только в силу того, что они глубоко укоренившиеся, при этом напрочь игнорируя подкрепляющие их свидетельства, — это удел непросвещённых. Цель не в том, чтобы сохранять лишь поверхностные убеждения, а в том, чтобы построить карту, которая наиболее точно соответствует территории.

Разумеется, я подчёркиваю всё это для того, чтобы вы могли признаться себе: «Да, у моего убеждения есть эти тревожные признаки» без необходимости сказать: «Моё убеждение ложно».

Однако, упомянутые признаки указывают на то, что вам потребуются экстраординарные усилия, чтобы эффективно поставить под сомнение своё убеждение. Эффективно — значит так, чтобы действительно отказаться от этого убеждения, если оно ложно. Если вы не в состоянии сомневаться эффективно, то вы слепы, ибо ваш мозг будет безоговорочноцепляться за убеждение. Если сетчатка глаза посылает один и тот же сигнал, независимо от попадающих на неё фотонов, мы называем этот глаз слепым.

Когда же стоит устраивать себе кризис веры?

Ещё раз подумайте о совете, который вы дали бы верующему: если вы чувствуете в себе какую-то лёгкую неуверенность, но продолжаете изыскивать веские доводы в пользу своего убеждения, то вам, скорее всего, стоит испытать себя кризисом веры. Если ваше убеждение подкреплено свидетельствами надёжными, как гравитация, вам не о чем беспокоиться. Однако задумайтесь обо всех верующих, которые отчаянно продолжают считать, что Бог надёжен, как гравитация. Так что попробуйте представить, что сказали бы скептически настроенные люди о ваших «надёжных, как гравитация» аргументах. Одна из причин, почему кризис веры может провалиться, состоит в том, что вы вообще никогда не пытались оспорить своё убеждение. Вы никогда не говорили себе: «Вот здесь мне стоит как следует посомневаться».

Если вы понимаете, что ситуация действительно сложная, вам нужно сделать следующий шаг и устроить себе кризис веры. Однако, не стоит это делать в спешке, в первую попавшуюся свободную минуту. Не рвитесь побыстрее расправится с этим делом, ради оправдания: «Я сомневался, как и должен был поступить рационалист». Это не сработало бы для верующего, это не сработает и для вас. В день накануне отдохните, чтобы ваш ум был в хорошей форме. Заранее выделите себе несколько часов, в которые вас никто не побеспокоит. Найдите какое-нибудь тихое место. И предпримите отчаянную попытку призвать настоящее сомнение, которое разрушит ложные — и только ложные — из ваших глубочайших убеждений.

Элементы методики кризиса веры разбросаны по целому ряду эссе:

Избегая по-настоящему слабых мест убеждения. Один из первых соблазнов кризиса веры — начать с самых веских доводов в пользу своего убеждения, чтобы ещё раз отрепетировать хорошие ответы. Путь сомнений нужно начинать с поиска уязвимостей, а не с рассмотрения наиболее обнадёживающих аргументов.

Размышление о любопытстве. Роджер Желязны однажды противопоставил «желание быть писателем» и «желание писать». Точно так же различаются «желание разобраться» и «желание разбираться». Недостаточно заявить: «Подвергать критике собственные убеждения — это мой долг». Необходимо настоящее любопытство. А любопытство рождается только из неуверенности. Не упускайте из виду закон сохранения ожидаемых свидетельств, это поможет вам совершенствоваться шаг за шагом. Переходя к каждому новому пункту, аргументу или свидетельству, вы не должны предвидеть, в какую сторону сдвинется ваше убеждение. Таким образом вы сможете сохранять подлинное любопытство о том, к чему вы в итоге придёте.

Непосредственный взгляд. Используйте методы Пирсига, чтобы избежать привычных шаблонных мыслей, которые приходят на ум в первую очередь.

Литания Джендлина и литания Тарского. Люди способны вынести правду, ибо они уже живут в ней. Если убеждение верно, то лучше верить, что оно верно. Если убеждение неверно, то лучше отказаться от него. Вы могли бы посоветовать религиозному человеку как можно тщательнее представить мир, где нет Бога, и честно признать, что если Бога нет, то лучше верить, что Бога нет. Если человек в глубине души не способен это принять, значит он не сможет пройти путём кризиса веры. Так что сделайте честную попытку представить альтернативу вашему убеждению. Представить так, чтобы даже самый придирчивый скептик не смог придраться. Думайте о тех усилиях, которые потребовались бы верующему, чтобы представить себе атеистическую картину мира, не искажая эту картину ради собственного комфорта.

Старайтесь изо всех сил. Вспомните о понятии «иссёкэнмэй» [Японское слово, означающее совершить отчаянную попытку, подробнее раскрывается в эссе по ссылке. — Прим.перев.]. Приложите все силы, чтобы быть рациональным. Такие силы, которые потребовались бы Роберту Ауманну и всем великим учёным прошлого, которые так и не преодолели свою религиозность.

Генетическая логическая ошибка. Иногда люди соглашаются, что некоторый источник недостоверен, однако продолжают считать: «Но ведь идеи там всё равно правильные!» Если многие из ваших идей почерпнуты из таких источников, вам стоит быть крайне осторожным. (Например, кто-нибудь может прийти к мнению, что Библия всё-таки написана людьми, однако продолжать цепляться за идею, что она служит источником незаменимой этической мудрости).

Важно уметь сказать «Упс». Ужасную горькую пилюлю и в самом деле лучше проглотить одним глотком.

Единомыслие — противоположность двоемыслия. Замечайте мысли, которые вы гоните прочь. Мысли, которые успевают лишь на мгновение появиться в уголке вашего сознания, прежде чем вы откажетесь об этом думать. Если вы осознаете, о чём вы не думаете, вы сможете об этом подумать.

Аффективные смертельные спирали и Сопротивление аффективным смертельным спиралям. Аффективные смертельные спирали — это главные генераторы ложных убеждений, и без встряски кризисом веры от них не избавишься. Поскольку аффективные смертельные спирали могут начинаться и вокруг поистине прекрасных вещей, вам не нужно признавать, что ваше убеждение — ложь, чтобы пытаться противостоять их гало-эффекту в каждый отдельно взятый миг. Даже что-то по-настоящему хорошее стоит хвалить только искренне. Не делайте политические споры однобокими.

Не спешите предлагать решения. Не предлагайте никаких решений до тех пор, пока не обсудили проблему настолько подробно, насколько это возможно. Пусть ваш разум позже поймёт, каким должен быть ответ. Потратьте хотя бы пять минут, прежде чем сдаться. Это правило подходит всегда, и особенно, когда вы становитесь адвокатом дьявола.

Следующие методики тоже довольно важны в вопросах кризиса веры:

Цепочка про нижнюю строчку и рационализацию, где объясняется, почему всегда неправильно защищать в дискуссии только одну сторону.

Помните о подтверждающем искажении, мотивированном скептицизме и мотивированной остановке, чтобы не подходить избирательно к поиску доказательств, к поиску контраргументов и не останавливать дискуссию, если она становится опасной. Отсутствие альтернатив — это частный случай остановки дискуссии. частный случай для обоснованного скептицизма — это ложная скромность, когда вы смиренно признаёте, что никто не может знать чего-то. Причём речь идёт о том, чего вы сами и не хотели бы знать. Не надо выборочно придираться к контраргументам под предлогом их недостаточной авторитетности.

Остерегайтесь семантических стоп-сигналов, замечайте требование аплодисментов и сами выбирайте объяснить, поклоняться или пренебречь.

Прочувствуйте, что дьявол в деталях. Каждая деталь — отдельная ноша, поворотная точка.

В общем, и здесь, и на Overcoming Bias довольно много материала по этой теме. Кризис веры - это лишь поворотная точка и внезапная схватка на длинном пути иссёкэнмэй. На вечном пути бескомпромиссных попыток достигнуть уровня настолько великой рациональности, что все эти дурацкие глупые ошибки окажутся где-то далеко внизу. И в этой схватке вы сможете использовать на всю катушку все навыки, в которых вы так долго практиковались. Использовать против себя самого.

Успехов вам в вашей битве. Чудесного кризиса!

Ритуал

Элиезер Юдковский

Комната, где Джеффриссай принимал своих гостей, не владевших искусством бейзутсукай, была оформлена в самом строгом классическом стиле и выглядела весьма официально. Сквозь серебряную решётку, острые края которой чётко давали понять, что эта ограда не должна открываться, струились свежий воздух и солнечные лучи. Стены и пол из очень толстого стекла искажали находящееся за ними до полной неразличимости. Поверхность стекла украшали едва заметные непонятные узоры, которые словно вышли из-под руки творчески одарённого ребёнка (впрочем, так и было).

В доме Джеффриссая были комнаты и в другом стиле. Но когда-то он обнаружил, что эта лучше всего соответствует представлениям чужаков о вкусах Байесианского Мастера, и решил их в этом не разубеждать. В конце концов, такие бесхитростные развлечения тоже часть маленьких радостей жизни.

Гостья села напротив него: колени на подушке, ступни сзади. Её привели сюда исключительно дела Заговора. Наряд выдавал это: облегающий комбинезон из розовой кожи, закрывающий всё, включая кисти рук — вплоть до головы и волос, скрытых капюшоном. Впрочем, лицо оставалось открытым.

Итак, Джеффриссай решил принять её в этой комнате.

Он сделал глубокий вдох, затем выдохнул.

— Уверена ли ты?

— О-о-о, — протянула она. — Неужели мои советы поменяют твою точку зрения лишь в том случае, когда я абсолютно уверена? Разве не достаточно того, что я специализируюсь в этой области, а ты нет?

Губы Джеффриссая скривила лёгкая улыбка.

— Кстати, откуда тебе известно столь многое о правилах? У тебя никогда не было подготовки даже планковских масштабов.

— Разве это не очевидно? — сухо ответила она. — Вы, бейзутсукай, просто обожаете объяснять причины своих поступков.

Джеффриссай внутренне поморщился от мысли, что кто-то может нахвататься рациональности, лишь наблюдая, как другие люди говорят о ней…

— И не надо так внутренне морщиться на меня, — продолжила гостья. — Я не стремлюсь сама стать рационалисткой. Я хочу лишь победить рационалиста в споре. Уверена, что ты даже ученикам говоришь, что это огромная разница.

Неужели она читает меня как открытую книгу? Джеффриссай посмотрел наружу сквозь серебряную решётку. Солнечный свет отражался от склона горы. Всегда, всегда, каждый день золотые лучи солнца пронзают облака и падают на это место. Неизменная вещь этот свет. Далёкое Солнце, представленное этим светом, через пять миллиардов лет сгорит, но сейчас, в эту секунду, оно ещё светит. И это не изменить. Зачем желать, чтобы что-то сохранялось неизменным вечно? Ведь это желание уже исполнено настолько надёжно, насколько только можно. Парадокс постоянства и непостоянства: прогресс или потери существуют только в позднейшей перспективе.

— Ты всегда давала мне хорошие советы, — произнёс Джеффриссай. — Так было всегда. Всё время, которое мы знаем друг друга.

Она склонила голову, признавая его слова. Это истина, и нет нужды объяснять подразумеваемое.

— Итак, — сказал Джеффриссай. — Не спора ради, но лишь потому что я хочу узнать ответ. Ты действительно уверена?

Он не понимал, как она могла догадаться.

— Я вполне уверена, — ответила она. — Мы достаточно долго собирали статистику, и из тысячи случаев, подобных твоему, в девятьсот восьмидесяти пяти…

От вида его лица она расхохоталась.

— Я шучу. Конечно же, я не уверена. Решение исключительно за тобой. В чём я точно уверена, так это в том, что ты должен пойти и сделать все, что вы там делаете, когда совершенно всерьёз раздумываете, стоит ли отказаться от какого-то фундаментального основания собственного существования. Не сомневаюсь, что для таких случаев у вас есть какой-нибудь ритуал, пусть вы и не рассказываете о нём посторонним.

Джеффриссай задумался. С этим было трудно спорить. Особенно когда эксперт в обсуждаемой области утверждает, что ты, возможно, не прав.

— Я сдаюсь, — сказал Джеффриссай. В его исполнении эти слова прозвучали словно приказ об окончании дискуссии: «Нет нужды спорить дальше. Ты победила».

— О, избавь меня! — ответила она. Она поднялась с подушки быстро, но плавно — ни единого лишнего движения. Она не выпячивала свой возраст, но и не скрывала его. Подхватив его протянутую кисть, она поднесла её к своим губам в формальном поцелуе. — Прощайте, учитель!

— «Прощайте»? — переспросил Джеффриссай. Это слово означало расставание более серьёзное, чем если бы она ограничилась простым «до свидания». — Вообще-то я планировал нанести вам визит, миледи. И я всегда рад видеть вас здесь.

Не ответив, она направилась к дверям. В дверном проёме она замерла и, не оборачиваясь, сказала:

— Ничто уже не будет прежним.

Её движения ничуть не казались стремительными, но удалилась она так быстро, что могло показаться, что она просто исчезла.

Джеффриссай вздохнул. Но, по крайней мере, с этого момента и до самого испытания он знал, что делать. Все его действия определялись предписаниями.

Покинув свою официальную приёмную, Джеффриссай направился к своей арене. Оттуда он разослал сообщения своим ученикам, что во время завтрашних занятий они должны импровизировать без него, а позже он устроит им проверку.

И после этого Джеффриссай не делал ничего существенного. Он прочёл ещё сотню страниц учебника, который взял взаймы. Учебник оказался не слишком хорошим, впрочем, книга, что он отдал взамен, тоже была посредственной. Он бродил из одной комнаты своего дома в другую. Заглянул в несколько кладовых проверить, не было ли что-нибудь оттуда украдено (пропала колода карт, но и только). Время от времени его мысли возвращались к завтрашнему испытанию, и он позволял им течь свободно. Он старался совсем не управлять своими мыслями, лишь гнал те, которые уже приходили ранее. Также он не допускал любых заключений и выводов, даже мысль о том, куда должны течь его мысли.

Солнце садилось. Очистив свой разум, Джеффриссай какое-то время любовался закатом. Не думать ни о чём без необходимости постоянной концентрации и без огромных усилий было примером превосходного мастерства. Годы назад при таком упражнении с него пот лился ручьём. Но тренировки уже давно принесли свои плоды.

Когда он проснулся на следующее утро, хаотические ночные видения были свежи в его памяти. Стараясь сохранить это ощущение хаоса и память о снах, он спустился по лестнице на один пролёт, потом ещё на один, и ещё на один, и наконец оказался в самой неприглядной комнате из всех.

Она была белой. Это слово лучше всего описывало её цветовое оформление.

На одной из стен висели дощечки с надписями. Следуя традиционным практикам, их когда-то кропотливо нанёс юный Джеффриссай. С каждым движением кисти, что выводила слова, идеи врезались в его сознание. «Что может быть разрушено правдой, должно быть разрушено». «Люди способны вынести правду, ведь она и так их окружает повсюду». «Любое любопытство стремится себя уничтожить». На одной маленькой дощечке была лишь красная горизонтальная черта. Что угодно можно заменить символом, хотя даже Барды-Заговорщики не осмелятся признать такую гибкость и могущество визуальных образов.

На стене под дощечками виднелись два колонки значков. В столбце со знаком плюс было две записи. Со знаком минус — пять. Семь раз он входил в эту комнату. Пять раз он решил не менять своё мнение. Дважды он покинул комнату в какой-то степени другим человеком. Никакие правила не предписывали какое-либо соотношение между первым и вторым — подобные правила сделали бы абсурдной всю идею. Однако если за долгое время под знаком плюс не появилось бы ни одной записи, пришлось бы признать, что нет никакого смысла держать эту комнату, раз ты не умеешь её использовать. Ну или знание истины даровано тебе от рождения и ты прав во всём.

Джеффриссай сел на пол, но не лицом к дощечкам, а спиной к ним. Он смотрел на пустую белую стену, дабы ничто не могло отвлечь его. Мысленно он повторил вступительную мета-мнемонику, а затем множество под-мнемоник, на которые та ссылалась: семь главных принципов и шестьдесят две специальные техники, что вероятнее всего понадобятся во время Ритуала Изменения Убеждений. К этому Джеффриссай добавил ещё одну мнемонику, напоминающую ему четырнадцать его собственных самых стыдных оплошностей.

Он не сделал глубокого вдоха. Лучше сохранять спокойное дыхание.

И тогда он задал себе вопрос.

Машина в призраке

Сила интеллекта

Элиезер Юдковский

В своих черепах мы носим около полутора килограммов склизкой, серой, морщинистой субстанции, напоминающей скомканную туалетную бумагу.

Взглянув на этот неаппетитный комок жира, едва ли можно подумать, что это самая могущественная штука в изученной вселенной. Если бы вы никогда не читали книг по анатомии и увидели бы мозг, лежащий на улице, вы бы сказали «Фууу» и постарались, чтобы он не запачкал вашу обувь. Аристотель считал, что мозг — это орган, охлаждающий кровь. Он совсем не кажется опасным.

Пять миллионов лет назад, предки львов правили днём, а предки волков правили ночью. Правящие хищники были вооружены острыми, как лезвия бритвы, зубами и когтями, обладали мощными мышцами. Их добыча, в качестве обороны, эволюционировала бронированные панцири, острые рога, токсичные яды, камуфляж. Война велась на протяжении сотен эпох, и гонкам вооружений не было конца. Многие проигравшие покидали игру, но победителя так и не было видно. У одних видов были панцири, но другой вид эволюционировал вскрывать их. Одни виды становились ядовиты, но другие вырабатывали иммунитет к яду. У каждого вида была своя ниша - но кто мог бы жить и в морях, и в океанах, и на земле одновременно? Не существовало ни абсолютного оружия, ни универсальной защиты и не было причин считать, что нечто подобное возможно.

А затем наступил День Хлипких Существ.

У них не было ни брони, ни когтей, ни яда.

Если бы вы увидели фильм, в котором происходит ядерный взрыв и вам бы сказали, что это сделала земная форма жизни, вы бы ни за что не подумали, что ответственность лежит на Хлипких Существах. Ведь Хлипкие Существа не радиоактивны.

В начале, у Хлипких Существ не было ни реактивных истребителей, ни пулемётов, ни ружей, ни мечей. Ни бронзы, ни железа. Ни молотков, ни наковален, клещей, кузниц или же шахт. Всё, что было у Хлипких Существ - их хлипкие пальцы - слишком слабые, чтобы сломать дерево, не говоря уже о горе. Очевидно, не опасны. Чтобы разрубить камень потребуется сталь. Хлипкие Существа не могли выделить сталь. В окружающей среде не было готовых стальных клинков, которые можно было бы поднять хлипкими пальцами. Их тела и близко не могли генерировать температуры достаточные для того, чтобы плавить металл. Сама эта идея совершенно абсурдна.

Хлипкие Существа манипулируют ДНК? Это уже за пределами абсурдности. Хлипкие пальцы не настолько маленькие. Нет возможности получить доступ к ДНК с уровня Хлипких Существ, это всё равно, что взять атом водорода. Ну, технически они находятся в рамках одной вселенной, технически Хлипкие Существа и ДНК являются частью одного мира, единых законов физики, единой великой паутины причинности, но будем реалистичны: вы не смогли бы заглянуть так далеко.

Даже если бы Хлипкие Существа смогли бы когда-нибудь эволюционировать так, чтобы овладеть всеми этим умениями, на это потребовались бы миллиарды лет. Мы наблюдали за взлётами и падениями Жизни на протяжении эпох, и позвольте заметить, год – это даже не мгновение по меркам эволюции. Ну, конечно, технически год – это шестьсот триллионов триллионов триллионов триллионов Планковских интервалов. Но менее чем за шестьсот миллионов триллионов триллионов триллионов триллионов Планковских интервалов все равно ничего не происходит, так что спорить бесполезно. Хлипкие Существа, бегущие сейчас по саванне, ни за что не смогут облетать континенты, по крайней мере, ещё десять миллионов лет. Никто не способен заниматься сексом настолько часто.

Ну а теперь расскажите мне, как Искусственный Интеллект не сможет сделать ничего интересного через Интернет, если только человеческие программисты не построят ему роботизированное тело.

Я много раз наблюдал за реакцией, которую вызывает у людей слово «интеллект». Нередко первая мысль, что приходит им в голову определяет их отношение к технологической сингулярности. Часто первой ассоциацией к слову «интеллект» становится образ «книжного червя» — что-то вроде шахматного гроссмейстера, неспособного пригласить девушку на свидание, или профессора колледжа, неспособного выжить вне научного сообщества.

«Одного интеллекта недостаточно, чтобы преуспеть», — говорят люди, как будто харизма заключена в почках, а не в мозгу. «Интеллект не сравнится с пистолетом», — говорят они, как будто пистолеты выросли на деревьях. «Откуда Искусственный Интеллект возьмёт деньги?», — спрашивают они, словно первый Homo Sapiens нашёл долларовые купюры, упавшие с неба, а затем потратил их на покупки в магазинах, уже расположенных в том же лесу. Человечество появилось не в условиях рыночной экономики. Пчелы не продадут вам мёд в обмен на электронный перевод средств. Человек придумал деньги, и вот они существуют — для нас, не для пчёл, — потому что мы продолжаем в них верить.

Я всё пытаюсь объяснить, что воплощением интеллекта является вовсе не Дастин Хофман в «Человеке Дождя». Воплощение интеллекта — это человек. Точка. Это хлипкое существо, разрывающее вакуум, чтобы оставить отпечаток ноги на Луне. Внутри серого влажного комка жира заключена сила искать пути среди великой паутины причинности и находить, казалось бы, невозможное — сила, что иногда называется творческим подходом.

Люди — в частности венчурные капиталисты — иногда спрашивают: если MIRI удастся успешно создать полноценный ИИ, каким образом из этого можно будет извлечь прибыль? Это мы называем проблемой постановки задачи.

Хотя, вероятно, дело тут далеко не только в конфликте допущений. Немного творческого подхода позволяет людям представить, как отправиться на Луну, или исцелить оспу, или построить компьютеры. Но придумать способ, как сделать всё это разом, кажется совершенно невозможным. Пусть даже необходимая для этого сила расположена всего в нескольких сантиметрах от их глаз. Серые влажные штуки кажутся таинственными для серых влажных штук.

И таким образом, раз люди не вполне понимают, как это всё могло сработать, сила интеллекта кажется менее реальной. Это куда сложнее, чем представить, как столб пламени отправляет корабль на Марс. Перспектива полёта на Марс захватывает воображение. Но стоит кому-то пообещать и полет на Марс, и единую теорию поля, и доказательство гипотезы Римана, и лекарства от ожирения, рака, старения и глупости — ну это просто звучит неправдоподобно, вот и всё.

И это правильно. Это серьёзная ошибка нашего воображения: считать, что интеллект способен лишь на столь малое. Кто мог бы представить на заре времён, чего удастся добиться при помощи разума? Не исключено, что мы до сих пор не догадываемся, в чем состоят наши настоящие проблемы.

Но в то же время, поскольку сложно понять, каким образом один процесс владеет такими разнообразными силами, сложно представить, что одним махом он сможет решить даже столь простые проблемы, как ожирение, рак и старение.

Тем не менее один и тот же процесс смог исцелить оспу, и построить самолёты, и вывести пшеницу, и приручить огонь. Наша текущая наука может до конца не соглашаться касательно того, как именно он работает, но это не мешает ему работать. Если вы временно невежественны относительно явления, - это факт о вашем состоянии ума, а не о самом явлении. Пустая карта не соответствует пустой территории. Если кто-то не вполне понимает ту силу, что оставила следы на Луне, это никак не меняет того факта, что следы все ещё там - реальные следы на реальной Луне, оставленные реальной силой. И если бы кто-то понял эту силу достаточно глубоко, то смог бы создавать и направлять эту силу. Интеллект так же реален, как и электричество. Он всего лишь сильнее, опаснее, имеет куда более глубокое влияние на грядущую историю жизни во вселенной. И разобраться, как построить его генератор, немного сложнее.

Простая математика эволюции

Цель первой цепочки тома «Машина в призраке» — описать противоречия между историей нашего происхождения, нашим современным биологическим устройством и нашими стремлениями. Это потребует углубиться в описание эволюции сильнее, чем привычно для не биологов, которые часто обращают внимание лишь на поверхностные особенности естественного отбора.

Чуждый Бог

Элиезер Юдковский

«Удивительное свойство теории эволюции: любому она кажется понятной»

Жак Моно

Глядя на природу, человек всюду видит предназначение. Заячьи лапы сконструированы для бега. Лисьи челюсти идеально подходят для разрывания добычи. Увы, наше зрение нас здесь подводит: мы видим не то, что есть на самом деле.

В додарвиновские времена причины этой повсеместно наблюдаемой предназначенности были одной из величайших научных загадок. Богопоклонники твердили: «это сделал Бог» — ведь ты получаешь 50 бонусных баллов каждый раз, когда используешь слово «Бог» в предложении. Хотя, пожалуй, я здесь несправедлив. В те времена гипотеза божественного происхождения выглядела гораздо разумнее, чем её альтернативы. «Обнаружив в пустыне часы, — говорил Уильям Пейли — можно сделать вывод о существовании часового мастера».

Но стоит лишь внимательно рассмотреть всю кажущуюся предназначенность в Природе, вместо того, чтобы выбирать только удобные примеры — начинаешь замечать вещи, несовместимые с иудеохристианской концепцией всеблагого Творца. Лисы выглядят так, будто они спроектированы для охоты на зайцев. Зайцы выглядят так, будто спроектированы, чтобы убегать от лис. Творец что, не смог определиться?

Проектируя тостер, я не включаю в него один блок для нагревания теплового элемента, а другой — для его охлаждения. Это было бы глупо и расточительно. Кому могло прийти в голову запроектировать экосистему со всеми её хищниками и жертвами, вирусами и бактериями? Даже кактусы, будто специально придуманные, чтобы снабжать водой и пищей пустынных животных, покрыты неприятными колючками.

Картина становится гораздо более осмысленной, если предположить, что природу создавал не единственный Творец, а целый сонм мелких богов — как в индуизме или синтоизме. Такое предположение удобно объясняет и повсеместную предназначенность, и повсеместные конфликты. Множество богов действовало независимо, часто с противоположными целями. И лиса, и заяц были спроектированы — но различными, конкурирующими божествами. Интересно, кто‑нибудь уже предлагал это наблюдение как доказательство в пользу индуизма против христианства?

Иудеохристианская традиция постулирует, что Бог благосклонен. Ну, в общих чертах. В то же время, значительная часть наблюдаемой в природе предназначенности демонстрирует невероятную жестокость. Дарвин заподозрил, что Творец не соответствует общепринятой концепции, изучая наездников-ихневмонид. Их ядовитое жало лишь парализует, а не убивает жертву, что предохраняет её от порчи, позволяя личинкам ихневмонид в течение длительного времени пожирать её заживо. «Я не могу убедить себя в том, — писал Дарвин — что всеблагой и всемогущий Бог сотворил ихневмонид, намеренно предусмотрев пожирание ими живых тел гусениц, или сотворил кошку, заложив в неё желание играть с мышью»1. Интересно, озвучивал ли какой‑нибудь более ранний мыслитель эти факты как доказательство в пользу манихейства2 против монотеизма?

Сегодня мы все знаем разгадку: надо просто сказать «эволюция».

К сожалению, некоторых это «научное» объяснение вполне устраивает. Как будто «эволюция» — это такой волшебный источник предназначенности в Природе. Я уже приводил в качестве примера Шторм из Людей Икс, которая в результате одной мутации получила способность метать молнии. Как? Ну, есть такая штука — «эволюция», которая закачивает в Природу предназначенность. Изменения происходят посредством «мутаций»; если получить действительно большую мутацию, результатом станут реально большие полезные изменения. Например, Шторм получит способность метать молнии. Популярный источник суперспособностей — радиоактивность: радиация приводит к мутациям, так что чем мощнее радиация, тем мощнее будут мутации. Такая вот логика.

Но эволюция не позволяет любой предназначенности проникать в Природу. Именно это делает эволюцию столь успешной в качестве эмпирической гипотезы. Если бы эволюционная биология объясняла не только деревья, но и тостеры, она была бы бесполезна. Эволюционная теория — это не просто ткнуть пальцем в Природу и сказать «теперь предназначенность разрешена», или «так сделала эволюция». Сила любой теории не в том, что она объясняет, а в том, что она объявляет невозможным. Если ты придумал гипотезу, одинаково убедительно объясняющую любое событие, твои знания равны нулю.

«Многие люди, далёкие от биологии, — заметил(e) Джордж Уильямс — думают, что именно для их блага гремучие змеи отращивают на хвостах “погремушки”»3. Бзз‑з‑з! Неправильный ответ! Такая предназначенность не разрешена. Эволюция не позволяет произвольным всплескам предназначенности пробираться тут и там, перекраивая один вид для блага другого вида.

Движущая сила эволюции — систематическая корреляция между способами, которыми разные гены влияют на конструкцию организмов и количеством копий этих генов, которые добираются до следующего поколения. Чтобы «погремушки» росли на хвостах гремучих змей, «погремушечные» гены должны с каждым поколением встречаться всё чаще и чаще (на самом деле, не просто «погремушечные» гены, а гены, кодирующие всё более сложные звуки, издаваемые «погремушками»; но погружаться в подробное описание всех тонкостей эволюционной биологии мы не будем, иначе эта статья никогда не закончится).

Нет никакой Эволюционной Феи, которая изучает текущее состояние природы и решает: «хм, хорошая идея!», увеличивая частоту «погремушечных» генов в популяции.

Подозреваю, что именно на этом месте спотыкается значительное число людей, изучающих эволюционную биологию. Они понимают, что «полезные» гены становятся более распространёнными, но слово «полезные» позволяет любой предназначенности прокрасться в рассуждение. Они вроде бы не верят в Эволюционную Фею, в то же время спрашивая, какие гены могли бы быть «полезны», имея в виду, в том числе, «пользу» не только для гремучих змей, но и для других видов.

Ключевой факт, который необходимо осознать — нет никакой Эволюционной Феи. Нет никакой внешней силы, решающей, какие гены должны «получить повышение». Всё происходящее происходит исключительно в результате работы самих генов.

Гены, кодирующие (всё более сложные) звуки «погремушки», должны становиться всё более распространёнными в генофонде гремучих змей исключительно благодаря самим звукам. В этом случае, вероятно, всё дело в том, что змеи с лучшими «погремушками» лучше выживают (а не в том, что они успешнее размножаются или способствуют более успешному размножению своих родственников).

Возможно, хищники опасаются звуков «погремушек» и стараются не наступать на гремучих змей. Возможно, «погремушка» на хвосте отвлекает внимание от змеиной головы. (Джордж Уильямс утверждал(e), что «результат схватки между собакой и змеёй почти полностью определяется тем, за какую часть собака схватит змею изначально — за голову или за хвост»).

Но это всего лишь змеиные «погремушки». Существуют гораздо более сложные способы, которыми гены могут приводить к увеличению частоты своего появления в следующем поколении. Ваши братья и сёстры разделяют с вами половину ваших генов. Ген, жертвующий одной единицей ресурса, чтобы предоставить три единицы ресурса брату, может передать будущему поколению несколько своих копий, пожертвовав одним из сконструированных им организмов (несущим лишь одну копию).

Если вы действительно хотите разобраться в деталях и тонкостях, купите книжку по эволюционной биологии; не существует царского пути. Но ключевая идея такова: эффект от наличия определённого гена должен напрямую увеличивать частоту появления этого гена в следующем поколении. Нет Эволюционной Феи, которая бы воздействовала извне. Нет ничего, что бы решало, какие гены «полезны» и, следовательно, должны появляться чаще. Должна быть прямая причинно-следственная связь, начало которой — в самих генах.

Это объясняет странные конфликты предназначенности в Природе и распространённую в ней жестокость. Объясняет даже лучше, чем орда синтоистских божеств.

Почему столь многое в Природе находится в постоянной войне с другими её частями? Потому что нет никакой единой Эволюции, которая управляла бы процессом. Есть лишь множество малых «эволюций», представленных отдельными размножающимися популяциями. Заячьи гены становятся более или менее распространёнными в популяциях зайцев. Лисьи гены становятся более или менее распространёнными в популяциях лис. Лисьи гены, которые конструируют лис, хорошо ловящих зайцев, создают больше собственных копий в следующем поколении. Заячьи гены, конструирующие зайцев, хорошо убегающих от лис, естественным образом встречаются чаще в следующем поколении зайцев. Отсюда словосочетание «естественный отбор».

Почему Природа так жестока? Мы, будучи людьми, смотрим на наездников-ихневмонид и решаем, что пожирать жертву заживо — жестоко. Если уж никак нельзя избежать пожирания жертвы заживо, мы постараемся хотя бы не причинять ей страданий. Ихневмонидам не стоило бы больших усилий добавить в состав парализующего яда обезболивающее. А что насчёт старых слонов, медленно умирающих от истощения после выпадения последнего комплекта зубов? Эти слоны всё равно уже не могут размножаться. Чего стоило эволюции — точнее, эволюции слонов — сделать так, чтобы старые слоны умирали сразу, не мучаясь так долго? Чего стоило эволюции сделать их смерть безболезненной, или усыплять их, чтобы безмятежное угасание сопровождалось приятными снами? Ничего. Всё вышеперечисленное никак не повлияло бы на шансы этого слона продолжить свой род.

Если бы речь шла о том, чтобы убедить другого человека, мы были бы в отличной позиции для переговоров и легко настояли бы на своём. Ведь от нашего оппонента потребовались бы лишь незначительные уступки: обезболить жертву, позволить слону умереть без мучений. Почему бы не пойти навстречу столь скромной просьбе? Ну пожалуйста, э‑э…

Нет никого, к кому мы могли бы обратиться со своими аргументами.

Люди подделывают свои оправдания, определяя желаемое одним способом, а потом оправдывая принятое решение чем‑нибудь другим. Нет никакой Феи Эволюции Слонов, которая пыталась бы (а) определить, что для слонов лучше всего и (б) определить, как оправдать это перед Эволюционным Надзирателем, который (в) не хочет, чтобы эволюционная приспособленность снижалась, но (г) не будет мешать в реализации идеи безболезненной смерти до тех пор, пока она не мешает никаким другим полезным генам.

В системе нигде нет места для защитника слонов.

Люди, нередко глубоко переживающие за благополучие животных, могут быть очень убедительны в своей аргументации в пользу того, как различные проявления милосердия не повредили бы репродуктивной приспособленности. Увы, эволюция слонов не использует ничего, что напоминало бы этот алгоритм; она не выбирает классные гены, про которые можно придумать реалистично звучащие аргументы в пользу их ценности для репродуктивной приспособленности. Алгоритм эволюции донельзя прост: гены, которые реплицируются чаще, становятся более распространёнными в следующим поколении. Как вода, текущая под гору — и с тем же уровнем великодушия.

Окидывая взором Природу, мы думаем обо всех усовершенствованиях, которые мы внесли бы в конструкцию организмов. После чего рационализируем, выдумывая причины, по которым желаемые нами улучшения увеличили бы репродуктивную приспособленность — таков наш политический инстинкт, желание «продать» вариант, предпочтительный для нас, под видом того, что хочет видеть наше начальство.

По этой схеме эволюционные биологи-любители делают тысячи удивительных и фантастически ошибочных предсказаний. Потому что биологи-любители делают свои заключения, более того — находят свои гипотезы в общем пространстве всех возможных идей — используя не тот алгоритм, который использует эволюция, делая свои «заключения».

Разумный инженер спроектировал бы человеческие вкусовые рецепторы так, чтобы они измеряли, сколько в еде содержится различных питательных веществ и сколько их нам необходимо. При нехватке жиров миндаль и чизбургеры казались бы невероятно вкусными, а при первых признаках приближающегося ожирения, или в случае нехватки витаминов, самым вкусным казался бы салат-латук. Но не существует Феи Человеческой Эволюции, которая бы заранее разумно спланировала и запроектировала универсальную систему для любых обстоятельств. Нехватка калорийной пищи была надёжным инвариантом окружающей среды древних людей. Поэтому гены организмов, любивших калории, стали встречаться чаще. Как вода, текущая под гору.

Мы — воплощённая история того, какие организмы фактически выжили и размножились, а не того, какие организмы должны были бы «по уму» выжить и размножиться.

Сетчатка человеческого глаза устроена очень криво: светочувствительные клетки находятся сзади, а нервы к ним прикреплены спереди, где собираются в пучок и сквозь сетчатку уходят вглубь черепа. Отсюда слепое пятно. Для инженера это выглядит просто тупо. У некоторых других организмов сетчатка развивалась независимо от нас и получилась гораздо лучше. Почему бы не переделать человеческую сетчатку?

Проблема в том, что никакая отдельная мутация не сможет переделать всю сетчатку сразу. Это инженер может переделать разом несколько частей или заранее предусмотреть пространство для будущих изменений. Но если отдельная мутация поломает какие‑то важные части организма, не имеет значения, сколь удивительные вещи Фея могла бы впоследствии выстроить на этой основе: организм погибнет, и частота появления соответствующего гена в популяции снизится.

Если развернуть клетки сетчатки глаза, не изменив соответственно нервные окончания и зрительный нерв, система в целом не будет работать. Не имеет никакого значения тот факт, что для Феи, или разумного инженера, это лишь первый шаг к более совершенной, модернизированной системе. Такой организм будет слеп. Эволюция неспособна предвидеть последствия, ведь это лишь зафиксированная история того, какие организмы фактически размножились. Эволюция столь же слепа, как человек с наполовину переделанной сетчаткой.

Обнаружив в пустыне часы, можно сделать вывод о часовом мастере. Когда-то некоторые люди это отрицали. Они утверждали, что жизнь «просто появилась», без необходимости в оптимизирующем процессе. Как мыши, спонтанно зарождающиеся в грязных тряпках4.

Если спросить, кто был ближе к истине — теологи, защищавшие концепцию Бога‑Творца, или интеллектуально неудовлетворённые атеисты, защищавшие идею спонтанного зарождения мышей, мы должны признать победу за теологами: эволюция — не Бог, но она ближе к Богу, чем к хаосу чистой энтропии.

Мутации случайны, но отбор — не случаен. Это не значит, что разумная Фея вмешивается и отбирает, но существует ненулевая корреляция между геном и частотой воспроизводства организма. За несколько миллионов лет отклонения аккумулируются, превращаясь в непреодолимую силу. Это не божество, но гораздо больше похоже на божество, чем на «снег» случайных помех на телеэкране.

«Творцы онтологически отличны от сотворённых существ, — сказал Дэмиен Бродерик(e)— или они не стоят бумаги, на которой описаны». Действительно, могущественный Скульптор Жизни сам не является существом. Он бестелесен, подобно иудеохристианскому богу. Он пронизывает всю Природу, воплощаясь в падении каждого листа. Он безбрежен, как поверхность целой планеты. Он существует миллиарды лет. Он не был сотворён, но неизбежно произрастает из самой структуры физических законов. Разве нельзя назвать Богом того, кто подходит под такое описание?

В то же время, Создатель не имеет и разума. Жизнь — его творение — по человеческим меркам спроектирована просто паршиво. В ней нет внутреннего единства, одни части конфликтуют с другими. А главное — она совсем не добра и не приветлива.

В каком‑то смысле, Дарвин открыл Бога — Бога, который не совпал с представлениями теологов, а потому прошёл незамеченным. Если бы Дарвин открыл, что жизнь создана разумным существом — бестелесным сознанием, которое любит нас и шарахнет молнией любого, кто в этом усомнится — люди бы воскликнули: «О боже мой! Это же Бог!»

Вместо этого Дарвин открыл странного, чуждого Бога — не успокаивающе «непознаваемого», но действительно непохожего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — слепой безумный Бог, хаотически бурлящий в самом центре бесконечности под монотонные всхлипы чудовищных флейт.

Что вы и могли бы ожидать, если бы внимательно посмотрели на Природу.