Рациональность: От ИИ до Зомби

Люди, живущие в редукционистской вселенной не могут вообразить в деталях нередукционисткие вселенные. Они могут произнести по слогам «не-ре-дук-ци-о-нист-ский», но не могут это представить.

Люди часто склонны к антропоморфизму. Сверхъестественные объяснения им кажутся более простыми, чем они есть на самом деле. Это вызвано тем, что ваш мозг использует себя как непрозрачный черный ящик, чтобы предсказывать поведение других объектов, помеченных как «сознательные». Поскольку у вас уже есть большая сложная нейронная сеть, которая осуществляет вашу способность «хотеть», мы с лёгкостью описываем воду как нечто «желающее» течь вниз. Самих только слов «хотеть/желать» уже достаточно, чтобы привести в действие всю сложную механику вашего мозга, которая за это отвечает.

Или же вы представляете, что Богу нравятся красивые вещи, и поэтому он создал цветы. Ваше собственное чувство прекрасного определяет, что прекрасно, а что нет. Но у вас нет диаграммы ваших собственных синапсов. Вы не можете описать неразумную систему, которая решит, что «красиво», а что «некрасиво», также как вы. Не можете написать компьютерную программу, которая спрогнозирует ваши собственные оценки. Но это лишь изъян в вашем собственном знании. Из этого не следует, что мозг непознаваем.

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку вы сами редуцируемы. Вы никогда не сможете получить Байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

У нашего мышления есть пределы, за которые действительно нельзя выйти. Если наша вселенная и в самом деле вычислима машиной Тьюринга, то мы никогда не сможем представить себе что-либо, невычислимое машиной Тьюринга. Наши математики могут описывать машины с оракулом любого класса сложности для разрешения проблемы останова, однако мы всё равно не сможем предположить такой результат работы этой машины, который был бы достоверно отличим от результата, вычислимого обычной машиной Тьюринга.

Конечно, всё это верно, только если верна «скучная» точка зрения. Насколько вы верите, что теория эволюция верна, настолько же вы должны ожидать, что сильного свидетельства против эволюции не найдётся. Насколько вы убеждены в том, что теория редукционизма верна, настолько же вы должны ожидать, что нередукционистские гипотезы окажутся непоследовательными и ложными. Насколько вы убеждены в ложности сверхъестественного, настолько же вы должны ожидать, что оно окажется невообразимым.

С другой стороны, если обнаружится, что гипотеза о сверхъестественном верна, то, предположительно, также обнаружится, что сверхъестественное не является невообразимым.

Итак, вернёмся теперь снова к проблеме разумного замысла (далее РЗ).

Следует ли признать, что теория РЗ априори является нефальсифицируемой, и вычеркнуть её из круга научных вопросов на основании того, что эта теория апеллирует к сверхъестественному и, таким образом, ставит себя вне натурфилософии?

Мой ответ: «Конечно же, нет». Нередуцируемость разумного создателя не является необходимой частью гипотезы РЗ.

И поскольку сами сторонники гипотезы РЗ редуцируемы, то для каждого предполагаемого нередуцируемого бога найдётся предполагаемый редуцируемый инопланетянин с абсолютно таким же поведением. Насколько я уверен (а я весьма и весьма уверен) в том, что теория редукционизма и вправду верна, настолько же я должен ожидать, что для любой мыслимой гипотезы о сверхъестественном найдётся соответствующая ей редукционистская формулировка.

Если мы обратимся к археологическим данным, чтобы проверить, действительно ли воды Красного моря расступились только из-за желания Иеговы продемонстрировать свои сверхъестественные способности, то нам не важно, был ли Иегова базовой онтологической сущностью, или инопланетянином с нанотехнологиями, или Тёмным Повелителем Матрицы. Вы проводите какое-то количество раскопок, не находите на дне Красного моря ни скелетов, ни оружия, зато находите записи, что Египет управлял большей частью территории Ханаана. Так что вы помечаете соответствующую историческую запись в Библии как «опровергнуто» и продолжаете жить дальше. Эта гипотеза непротиворечива, фальсифицируема и неверна.

Аналогично биологические свидетельства показывают, что лисы сконструированы так, чтобы ловить кроликов, кролики — чтобы убегать от лис, но ни те, ни другие не сконструированы, чтобы «сохранять свой вид» или «сохранять гармонию в природе». Можно вспомнить и о сетчатке глаза, которая устроена шиворот-навыворот: её светочувствительные клетки расположены с противоположной стороны от глаза. И так далее. Есть тысячи примеров случайного, безнравственного, непродуманного устройства. Библейская модель нашего чуждого бога непротиворечива, фальсифицируема и неверна — непротиворечива до тех пор, покуда вас не заботит, является ли Бог базовой онтологической сущностью или просто пришельцем.

Просто преобразуйте сверхъестественные гипотезы в соответствующие естественные. Просто делайте такие же предсказания таким же образом, но без привлечения каких-либо нематериальных базовых онтологических сущностей. Консультируйтесь с «чёрным ящиком» в своей голове, чтобы строить предположения. Допустим, вы рассуждаете о «разгневанном боге», и у вас нет полноценного «разгневанного ИИ», чтобы отличить «разгневанное» поведение от «не разгневанного». Делайте предсказание самостоятельно или сверяйтесь с предсказаниями древних теологов, у которых не было доступа к результатам экспериментов. Если эксперимент противоречит вашим предсказаниям, то справедливо будет заявить, что данное религиозное утверждение было научно опровергнуто. Утверждению был дан шанс на выживание, но оно было отвергнуто. Апостериори. Не априори.

В конечном счёте, редукционизм — это всего лишь неверие в сложные базовые штуки. Если словосочетание «сложные базовые штуки» звучит для вас как оксюморон… ну, вот поэтому я и считаю доктрину о нередуцируемости скорее путаницей в головах, чем одним из возможных вариантов мироустройства. Если вы обнаруживаете, что допускаете существование сложных базовых сущностей, лучше будьте осторожней.

Самое главное правило науки — смотреть и видеть. Даже если бы Бог оказался громом в горах, все равно было бы что-то, что можно найти и увидеть.

Вывод: любой кандидат в разработчики Сильного Искусственного Интеллекта, который уважительно отзывается о религиозных убеждениях, определённо не является экспертомв редуцировании ментальных объектов до нементальных. Совершенно точно он очень мало знает о самых основах, и крайне маловероятно, что такой человек окажется стоящим специалистом в искусстве разработки ИИ. Разве что мы имеем дело со случаем крайнего савантизма. Или разве что он явно лжёт. В общем, небольшое заблуждение тут точно исключено.

Просто доброта

Теория ценности

Раскладывание камней в правильные кучи

Элиезер Юдковский

Давным-давно жили странные существа (может быть они были биологическими, или может быть они были синтетическими, а может это был просто сон), и они увлекались укладыванием камней в правильные кучи.

Они не могли сказать, почему некоторые кучи правильны, а некоторые неправильны. Но все они соглашались, что наиболее важная вещь в мире — это создание правильных куч и раскидывание неправильных.

Причина, по которой этих Камнераскладывающих Людей так заботило раскладывание камней, была давно утеряна в истории — может быть фишеровское убегание, начавшееся миллион лет назад по какому-то совершенно случайному стечению обстоятельств? Или может быть это результат разумного творения, которое было заброшено?

Но, как бы там не было, раскладывание камней так много значило для них, что Камнераскладывающие философы в унисон говорили, что раскладывание камней по кучам было смыслом их жизней, что единственная оправданная причина кушать — это раскладывание камней; единственная причина размножаться — это раскладывание камней, единственная оправданная причина участвовать в экономической жизни их мира — это эффективное раскладывание камней.

Все Камнераскладывающие Люди соглашались с этим, но они не всегда соглашались с тем, какие кучи правильные, а какие нет.

На заре Камнераскладывающей цивилизации, кучи, создаваемые людьми, были по преимуществу маленькими, из 23 или 29 камней, и никто не знал, были бы более большие кучи правильными или нет. Три тысячелетия назад Великий Лидер Бико сделал кучу из 91 камня и объявил её правильной, и легионы его восторгающихся последователей создали множество других подобных куч. Но через несколько столетий, когда сила Биконианцев увяла, среди умнейших и наиболее просвещённых стало укрепляться чувство, что кучи из 91 камня неправильные. В конечном итоге, они пришли к пониманию того, что было сделано, и они раскидали все кучи из 91 камня. Не без некоторого сожаления, поскольку некоторые из этих куч были великими произведениями искусства, но неправильными. Они даже разбросали исходную кучу Бико, сделанную из 91 драгоценного камня, каждый своего типа и цвета.

И с тех пор ни одна цивилизация не сомневалась серьёзно в том, что куча из 91 камня неправильна.

Сегодня, в эти более умудрённые времена, размер куч, которые Камнераскладыватели осмеливаются создавать, вырос гораздо больше — и все согласны с тем, что это было бы великолепно и превосходно, если бы они могли убедиться в том, что кучи были действительно правильными. Иногда государства не соглашались о том, какие кучи правильные, и тогда случались войны: Камнераскладыватели никогда не забудут Великую Войну 1957 между И’ха-нтхей и И’не’ха-итлей из-за куч из 1957 камней. Та война, в которой впервые на Камнераслкдывающей планете было применено ядерное оружие, в конечном итоге закончилась, когда философ Эт’гра’лен’лей из И’не’ха-итлейев, расположил кучу из 103 камней рядом с кучей из 19 камней. Это аргумент оказался настолько убедительным, что даже И’не’ха-итлеи неохотно согласились, что лучше прекратить создавать кучи из 1957 камней, по-крайней мере в настоящее время.

После Великой Войны 1957 страны неохотно шли на открытое одобрение или осуждение куч большого размера, поскольку это легко могло привести к войне. В действительности некоторые Камнераскладыватели-философы — кто, видимо, получал удовольствие, шокируя других своим цинизмом — полностью отрицали существование какого-либо прогресса в раскладывании камней; они намекали, что мнения о камнях были просто случайным броуновским движением сквозь время, без какой-либо согласованности, иллюзия прогресса создавалась благодаря осуждению всех достижений прошлого, не похожих на сегодняшие, как неправильных. Философы указывали на несогласие о кучах большого размера, как на доказательство того, что нет ничего, что делало бы кучу размера 91 действительно неправильной — просто было модным создавать такие кучи в определённый период времени, а затем в другой период было модным разрушать их. Они отказывались принимать «Но…13!» как аргумент, заявляя что «13!» не убедительный аргумент, но лишь ещё одно соглашение. Кучевые Релятивисты утверждали, что их философия может помочь предотвратить будущие катастрофы типа Великой Войны 1957, но большинство рассматривало её как философию отчаяния.

В настоящее время вопрос, что делает кучу правильной или неправильной, стал важным по ещё одной причине: Камнераскладыватели в ближайшем будущем могли создать самосовершенствующийся ИИ. Кучевые Релятивисты выступили против проекта, они сказали, что ИИ, не принадлежа к виду Камнераскладыватель Разумный, могут создать свою собственную культуру, которая будет нести совершенно иные идеи о том, какие кучи правильные или неправильные. «Они могут решить, что кучи из 8 камней правильные», — сказали Кучевые Релятивисты, — «и поскольку они не будут ультимативно более или менее правыми, чем мы, всё же наша цивилизация говорит, что мы не должны создавать таких куч. Не в наших интересах создавать ИИ, если только мы не встроим бомбу в каждый компьютер, чтобы даже если ИИ подумает, что куча из 8 камней правильная, то мы могли бы заставить их строить кучи из 7 камней. Либо БАБАХ!»

Но для большинства Камнераскладывателей это было абсурдом. Определённо, любой достаточно мощный ИИ — особенно «суперинтеллект» о котором рассуждали некоторые транскамнераскладыватели — сможет увидеть в мгновение ока, какие кучи правильные, а какие нет! Мысль о том, что нечто с мозгом размером с планету, будет думать, что куча из 8 камней правильна — это просто слишком абсурдно, чтобы об этом даже разговаривать.

В действительности, совершенно бесполезно ограничивать суперинтеллект в том, какие кучи он будет строить. Предположим, что Великий Лидер Бико мог бы в его примитивный век построить самосовершенствующийся ИИ и встроил бы в него максимизатор ожидаемой полезности, чья функция полезности говорила бы ему создавать так много куч размера 91, сколько возможно. Несомненно, когда этот ИИ достаточно сильно бы себя улучшил и стал бы достаточно умным, то он бы увидел в мгновение ока, что его функция полезности была неправильной, и, имея возможность менять свой исходный код, он переписал бы свою функцию полезности, чтобы она ценила бы более осмысленные размеры куч, типа 101 или 103.

И конечно же не кучи размера 8. Это было бы просто глупо. Любой ум, который настолько глуп, слишком туп, чтобы быть угрозой.

Убеждённые таким здравым смыслом, Камнераскладыватели дали зелёный свет их проекту, по собиранию из множества разнообразных алгоритмов случайных программ, в надежде, что таким образом возникнет разум. Вся история цивилизации показывала, что более богатые, умные, более просвещённые цивилизации были склонны соглашаться о кучах, о которых спорили их предки. Конечно же, ещё оставались кучи бóльших размеров и они спорили о них, но по мере того как развивались технологии, цивилизации приходили к согласию о кучах большего размера и создавали их.

На самом деле, интеллект сам по себе всегда коррелировал с созданием правильных куч — ближайшие родственники по эволюции к Камнераскладывателям — Камнераспанзе — создавали кучи размером в 2 или 3 камня, и иногда глупые кучи, типа 9. А другие, ещё менее интеллектуальные животные, например, рыбы, вообще не делали куч.

Умнее мозги, следовательно, умнее кучи. С чего бы это вдруг эта закономерность перестанет работать?

Настоящая дилемма заключенного

Элиезер Юдковский

Однажды я понял, что обычно дилемму заключенного представляют неправильно.

В основе дилеммы заключенного лежит вот такая симметричная платежная матрица:

1:С

1:П

2:С

(3,3)

(5,0)

2:П

(0,5)

(2,2)

Есть два игрока: Игрок 1 и Игрок 2. Каждый из них может выбрать С или П. Итоговый результат для Игрока 1 и Игрока 2 — соответственно, первое и второе число пары чисел в скобках. По причинам, которые станут понятны ниже, C означает «сотрудничать», П — «предать».

Заметим, что для участника этой игры (пусть он считает себя первым) предпочитаемые исходы выстраиваются в следующем порядке: (П, С) >> (C, С) >> (П, П) >> (С, П).

Видим, что П предпочтительнее, чем С: если второй игрок выбирает С, то первому выгоднее (П, С), чем (С, С). Если второй выбирает П, то первому выгоднее (П, П), чем (С, П). Таким образом, ты мудро выбираешь П, а так как платежная матрица симметрична, второй игрок аналогично выберет П.

Если бы вы оба были не так мудры! Каждому из вас выгоднее (С, С), чем (П, П). Поэтому вы оба предпочитаете обоюдное сотрудничество обоюдному предательству.

В теории принятия решений дилемма заключенного — одна из основ, и о ней написано огромное количество томов. Но я осмелюсь утверждать, что в традиционном представлении дилеммы заключенного есть серьезное упущение — по крайней мере, для людей.

Классическое представление дилеммы заключенного таково: ты преступник, пойманный властями вместе с сообщником. Независимо друг от друга, без возможности общаться между собой и без возможности изменить решение впоследствии, каждый из вас должен решить, давать показания против сообщника (П) или молчать (С).

В настоящий момент каждому из вас грозит год тюрьмы. Дача показаний против сообщника уменьшает твой срок на год и прибавляет другому два года.

В другом варианте, ты и незнакомец, не зная ничего друг о друге и не имея возможности узнать в будущем, единожды должны сыграть С или П, получив выигрыш в соответствии с приведенной выше платежной матрицей.

И, конечно, в классическом варианте предполагается, что ты полностью эгоистичен, т.е. не заботишься о сообщнике или об игроке в другой комнате.

И именно последнее условие, с моей точки зрения, приводит к неправильному восприятию дилеммы заключённого.

Невозможно устранить эффект знания задним числом, инструктируя присяжных вести себя так, будто они не знают, к чему привели рассматриваемые события. Аналогично, без больших усилий, подкрепленных соответствующими знаниями, психически здоровый человек не может притворяться по-настоящему эгоистичным.

У нас есть врожденные чувства честности, чести, сопереживания, симпатии и даже альтруизма. Это результат того, что наши предки длительное время приспосабливалиськ игре в повторяющуюся дилемму заключенного. Мы не можем полностью и честно предпочесть исход (П, С) исходу (С, С), хотя можем полностью предпочесть исход (С, С) исходу (П, П) и исход (П, П) исходу (С, П). Мысль о сообщнике, проводящем три года в тюрьме, не может совсем не трогать нас.

В закрытой комнате, где под наблюдением специалистов по экономической психологии мы играем в простую игру, мы не можем совсем не симпатизировать незнакомцу, который может сотрудничать. Мы не можем быть полностью счастливы при мысли о том, что незнакомец выбрал сотрудничать, а мы — предавать, и благодаря этому мы получим пять долларов, а он не получит ничего.

Мы инстинктивно держимся за исход (С, С) и ищем способы увериться, что этот выбор разделяет и вторая сторона. Наша невольная мысль — «как бы убедиться, что сотрудничество взаимно», а не «как бы обмануть второго, чтобы он сыграл С, в то время как я сыграю П и получу максимальный выигрыш».

Для тех, кому важны альтруизм, честь и справедливость, дилемма заключенного не содержит по-настоящему критической платежной матрицы, безотносительно финансовых исходов для игроков. (С, С) предпочтительнее, чем (П, С), и ключевой вопрос — думает ли второй игрок так же.

И людям, которые только что познакомились с теорией игр, нельзя объяснить, что они должны притворяться полностью эгоистичными. Это ничуть не легче, чем объяснить людям, познакомившимся с идеей антропоморфизма, что они должны притворяться максимизаторами скрепок.

Для настоящей дилеммы заключённого ситуация должна быть примерно такой:

Игрок 1: Человек, дружественный искусственный интеллект или другой человекоподобный разум.

Игрок 2: Недружественнный искусственный интеллект, либо инопланетянин, который озабочен лишь раскладыванием камней в правильные кучи.

Представим, что четыре миллиарда людей — не всё человечество, но значительная его часть — страдает прогрессирующим смертельным заболеванием, которое может вылечить только Вещество.

Однако Вещество возможно производить, только взаимодействуя с максимизатором скрепок из параллельного мира — с помощью Вещества еще можно делать скрепки. Максимизатора скрепок волнует количество скрепок только в его мире, а не в нашем, так что мы не можем влиять на него, предлагая изготавливать или уничтожать скрепки здесь. Мы никогда раньше не имели дело с максимизатором скрепок и никогда больше не встретим его впредь.

У человечества и максимизатора скрепок есть только один шанс добыть себе немного Вещества, потому что щель между мирами скоро захлопнется. Однако, процесс добычи вещества приводит к потере его части.

Платежная матрица выглядит так:

1:С

1:П

2:С

(спасти 2 миллиарда человеческих жизней, сделать 2 скрепки)

(3 миллиарда жизней, 0 скрепок)

2:П

(0 жизней, 3 скрепки)

(1 миллиард жизней, 1 скрепка)

Я составил матрицу так, чтобы вызвать чувство негодования при мысли о том, что максимизатор скрепок хочет обменять миллиарды человеческих жизней на пару скрепок. Очевидно же, что максимизатор скрепок обязан отдать все Вещество нам. Но он делает не то, что обязан, а просто максимизирует количество своих скрепок.

В этом случае мы на самом деле предпочитаем исход (П, С) исходу (С, С), оставляя за скобками средства, которыми достигается цель. Мы намного охотнее предпочтем жить во вселенной, где три миллиарда людей спаслись и не было произведено ни одной скрепки, чем пожертвуем миллиардом жизней в обмен на изготовление двух скрепок. Кажется, что в этом случае сотрудничать просто неправильно. Предавать даже не кажется нечестным – ведь так велика жертва для нас и так мал выигрыш максимизатора скрепок! Уточним особо, что максимизатор скрепок не чувствует боль или удовольствие — он просто действует так, чтобы в его мире стало больше скрепок. Он не испытает радость, приобретя скрепки, не испытает боль, потеряв скрепки, и не оскорбится, если мы предадим его.

Что же ты сделаешь? Будешь ли сотрудничать, если искренне, целиком и полностью желаешь того огромного выигрыша, который можешь получить, и нисколько не озабочен ничтожной в сравнении с этим потерей второго игрока? Если предать кажется правильным, даже если второй игрок сотрудничает?

Именно так выглядит платёжная матрица для настоящей дилеммы заключённого. Настоящая дилемма заключённого — это ситуация, когда исход (П, С) кажется правильнее, чем (С, С).

Но вся остальная логика — что будет, если оба игрока так думают, и поэтому оба предадут — ничуть не меняется. Ведь максимизатор скрепок настолько же мало обеспокоен людскими смертями, болью или нашим ощущением предательства, как нас мало волнуют скрепки. Но обоим нам выгоднее (С, С), чем (П, П).

Если ты когда-нибудь гордился тем, что в дилемме заключенного выбрал сотрудничать, или однажды оспаривал вывод классической теории игр о том, что «рациональнее» предать — что ты скажешь об этой настоящей дилемме заключенного?

PS На самом деле, я не считаю, что рациональные агенты всегда должны предавать в однократной дилемме заключённого, в которой другой игрок выберет сотрудничать, если ожидает того же от вас. Я думаю, что есть ситуации, где два агента могут рационально прийти к (С, С), а не к (П, П) и получить соответствующую выгоду.

Часть своих доводов я изложил при обсуждении задачи Ньюкома. Однако, мы не можем рассуждать о том, возможно ли в этой дилемме рациональное сотрудничество, пока не избавимся от интуитивного ощущения, что исход (С,С) хорош сам по себе. Если мы хотим понять математику, мы должны научиться видеть сквозь социальный ярлык «взаимного сотрудничества». Если вы чувствуете, что с точки зрения Игрока 1 (С,С) гораздо лучше, чем (П,П), но не чувствуете, что при этом (П,С) гораздо лучше, чем (С,С), то вы пока не понимаете всю сложность этой задачи.

Количественный гуманизм

Пренебрежение масштабом

Элиезер Юдковский

Однажды трём группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы 2 000, 20 000 и 200 000 перелётных птиц не погибли, увязнув в нефти. В ответах были названы суммы 80, 78 и 88 долларов соответственно1. То, что можно принять за бесчувственность, называется пренебрежением масштабом: количество спасённых птиц – масштаб альтруистического действия – мало повлияло на готовность заплатить.

Похожие эксперименты показали, что за очистку всех загрязнённых озёр Онтарио жители Торонто заплатили бы немногим больше, чем за очистку определённого района Онтарио2. Аналогично, жители четырёх западных штатов США за защиту всех 57 заповедников дикой природы в этих штатах заплатили бы лишь на 28% больше, чем за заботу об одном из заповедников3.

Люди представляют «одинокую обессилевшую птицу с пропитанными чёрной нефтью перьями, которой не спастись» 4. Это представление, этот образ вызывает эмоциональное возбуждение, которое в основном и отвечает за готовность заплатить – и образ во всех трёх случаях один и тот же. Что до масштаба, то на него не обращают внимания – ни один человек не сможет представить 2 000 птиц сразу, не говоря уже про 200 000. Классический вывод состоит в том, что масштаб, растущий по экспоненте, вызывает всего лишь линейное увеличение готовности платить. Возможно, такое линейное увеличение соответствует увеличению времени скольжения взгляда по нулям в числах; это небольшое влияние добавляется к влиянию представления, но не умножает его. Эта гипотеза известна как «оценка по представлению».

Альтернативная гипотеза – «приобретение морального удовлетворения». Люди тратят достаточно денег, чтобы им стало теплее на душе от чувства выполненного долга. Уровень расходов, необходимый для приобретения теплоты на душе, зависит от личных качеств и финансового положения, но уж точно не от количества птиц.

Мы пренебрегаем масштабом, даже если на кону человеческие жизни. По мере увеличения предполагаемого риска хлорирования питьевой воды с 0,004 до 2,43 смертей в год на тысячу человек – в 600 раз – готовность заплатить возрастает с 3,78 до 15,23 долларов5. Барон и Грин не обнаружили эффекта от изменения числа спасённых жизней в 10 раз6.

В статье «Нечувствительность к ценности человеческой жизни: исследование психофизического ступора» собраны свидетельства того, что сила восприятия человеческих смертей подчиняется закону Вебера и прямо пропорциональна логарифму их количества. Другими словами, порог различия (количество смертей, которое необходимо добавить к имеющимся, чтобы возникло чувство различия) постоянно увеличивается по мере роста общего количества смертей. Так, здравоохранительная программа для беженцев из Руанды получила намного больше поддержки, когда гарантировалось спасение 4 500 людей в лагере из 11 тысяч беженцев, чем тех же 4 500 в лагере из 250 000. Чтобы потенциальное лекарство от болезни посчитали достойным финансирования, оно должно гарантировать спасение значительно большего числа жизней, если изначально утверждалось, что эта болезнь – причина смерти 290 000 людей в год, нежели 160 000 или 15 0007.

Мораль: если вы хотите быть эффективным альтруистом, вы должны задействовать ту часть мозга, что обрабатывает нудные чернильные нули, а не просто переживать о бедной исстрадавшейся пропитанной нефтью птице.

1.Desvousges, W. Johnson, R. Dunford, R. Boyle, K. J. Hudson, S. and Wilson K. N. (1992). Measuring non-use damages using contingent valuation: experimental evaluation accuracy. Research Triangle Institute Monograph 92-1

2.Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld

3.McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland

4.Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235

5.Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73

6.Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125

7.Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300

Парадокс Аллэ

Элиезер Юдковский

Выберите между двумя следующими возможностями:

1А. 24 000 долларов, точно.

1Б. Шанс в 33/34 выиграть 27000 долларов и в 1/34 — не получить ничего.

Что интуитивно кажется лучшим выбором? И что вы выберете в реальной жизни?

А какой из двух выборов вы предпочтете теперь и какой выберете в реальной жизни?

2А. 34-процентный шанс выиграть 24 000 долларов и 66-процентный шанс не получить ничего.

2Б. 33-процентный шанс выиграть 27 000 долларов и 67-процентный шанс не получить ничего.

Парадокс Аллэ, названный по имени исследователя, на самом деле не является парадоксом — он был одним из первых конфликтов между теорией принятия решений и человеческим мышлением; он был показан экспериментально в 1953 году. Я слегка модифицировал его, чтобы его легче было понять математически, однако в сущности проблема осталась той же: большинство людей предпочтут вариант 1А, и большинство людей предпочтут вариант 2Б. На самом деле, в пределах задачи, большинство испытуемых выражают оба предпочтения одновременно.

Это проблема, поскольку второй вариант задачи эквивалентен одной трети шанса от первого. То есть, 2А это все равно что получить 1А с вероятностью в 34%, и 2Б эквивалентно 1Б с вероятностью 34%.

Среди аксиом, используемых для доказательства, что последовательный сторонник теории принятия решений может рассматриваться как тот, кто максимизирует ожидаемую полезность, есть аксиома независимости: если Х строго предпочитается Y, тогда вероятность Р от Х и (1 – Р) от Z должны строго предпочитаться вероятности P от Y и (1 - Р) от Z.

Все аксиомы являются следствием и основанием последовательной функции полезности. Так что должно быть возможно доказать, что экспериментальные испытуемые выше не имели последовательной функции полезности для своих выборов. И в самом деле, вы не можете одновременно выбирать:

U(24 000 )≻33/34U(27000)≻33/34U(27000) + 1/34 U(0 $)

0,34 U(24 000)+0,66U(0)+0,66U(0) ≺ 0,33 U(27 000)+0,67U(0)+0,67U(0)

Эти два уравнения алгербаически непоследовательны независимо от U, и поэтому парадокс Аллэ не имеет ничего общего с убывающей предельной полезностью денег.

Морис Аллэ первоначально защищал выявленные предпочтения испытуемых: он рассматривал эксперимент как разоблачение недостатка в обычной идее полезности, а не подвергал критике изъян в человеческой психологии. В конце концов, это был 1953 год, и до начала движения эвристики и искажений было еще два десятилетия. Аллэ думал, что эксперимент просто показывает, что аксиома независимости не может быть применена в чистом виде в реальной жизни.

(Как наивно, как глупо, как упрощённо в Байесовской теории принятия решений…)

Конечно, определенность в обладании 24 000 долларов должна что-то значить. Вы ощущаете разницу, верно? Твердую уверенность?

(Я начинаю думать об этом как о «наивном философском реализме» — предположении, что наши интуитивные ожидания прямо отражают истины о том, какие стратегии мудрее, как о непосредственно осознаваемом факте, что «1А превосходит 1Б». Интуитивные ожидания прямо отражают истины о человеческих когнитивных функциях и только косвенно отражают (после того как мы отразим когнитивные функции сами по себе) истины о рациональности.)

«То есть», — скажете вы, — «это настолько ужасно, что следует отказаться от изящества байесианства?» Хорошо, поскольку испытуемые не следовали чистой малой аксиоме независимости, представленной фон Нейманом и Моргенштерном. Но кто вообще сказал, что вещи должны быть ясными и чистыми?

Зачем беспокоится о изяществе, если оно заставляет нас брать риски, которых мы не хотим? Ожидаемая полезность говорит нам количественно оценить результат, умножить на его вероятность, сложить и т. д. Хорошо, но почему мы должны это делать? Почему бы не использовать более подходящие правила?

Всегда есть цена за уход с байесовского пути. Это то, о чем говорят теоремы согласованности и уникальности.

В данном случае, если агент предпочитает 1A > 1Б, и 2Б > 2A, он вводит противоречивую систему предпочтений — динамическую неслогласованностьв системе планирования агента. Вы начинаете терять деньги.

Предположим, что в 12:00 я брошу кость со 100 гранями. Если кость покажет число больше, чем 34, то игра заканчивается. В любом другом случае в 12:05 я спрошу совета по выбору между двумя положениями, А и Б. Если положение А, то я заплачу вам 24 000 долларов. Если положение Б, то я бросаю кость с 34 гранями и плачу вам 27 000 долларов, но только если кость не показывает «34»: в этом случае я не плачу вам ничего.

Предположим, что вы выбрали 1А, а не 1Б, и 2Б, а не 2А, и вы должны заплатить один пенни за каждый выбор. Выбор начинается с состояния А. До 12:00 вы платите мне пенни, чтобы перейти в состояние Б. Кость показывает 12. После 12:00 и до 12:05 вы платите мне пенни за переход в состояние А.

Я принимаю ваши два цента с субъекта.

Если вы действуете в угоду своим интуитивным ожиданиям и отказываетесь от изящества как от бессмысленной одержимости, не удивляйтесь, когда ваши деньги уходят от вас…

(Я думаю, та же неспособность пропорционально девальвировать эмоциональное воздействие малых вероятностей несет ответственность за лотерею.)

Allais, M. (1953). Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école Américaine. Econometrica, 21, 503-46.

Kahneman, D. and Tversky, A. (1979.) Prospect Theory: An Analysis of Decision Under Risk. Econometrica, 47, 263-92.

Чувство морали

Элиезер Юдковский

Предположим, что нечто — болезнь, монстр, война, или что-то ещё — убивает людей. И допустим, что у вас достаточно ресурсов для осуществления одного из двух вариантов:

Гарантированно спасти 400 жизней;

Спасти 500 жизней с вероятностью в 90%, но при этом процент вероятности того, что спасти людей не удастся, составит 10%.

Большинство людей выбирают первый вариант, что я считаю глупым, поскольку, если вы умножите 500 жизней на 90% вероятности, то получите 450 жизней, что превышает 400 жизней из первого варианта. (Для спасённых жизней предельная полезность не убывает, так что это уместное вычисление).

Вы можете возмущённо воскликнуть: «Что?! Как вы можете играть с человеческими жизнями? Как вы можете думать о цифрах, когда столько поставлено на карту? Что если выпадут те 10% и все умрут? Это слишком большая плата за вашу проклятую логику! Ваша рациональность оторвана от реальности!»

Ах, но вот одна интересная вещь. Если вы представите параметры таким образом:

100 человек гарантированно умрут.

Шанс 90%, что никто не умрёт, но вероятность 10%, что погибнут 500 человек.

В таком случае большинство выберут второй вариант. Даже если это та же самая авантюра. Очевидно, что так же, как уверенность в спасении 400 жизней кажется гораздо более комфортной, чем ненадёжная выгода, также и конкретная потеря ощущается сильнее, чем неопределённая.

Вы можете играть на публику и в этом случае: «Как вы можете обречь 100 человек на верную смерть, когда есть такая хорошая возможность спасти их? Мы все должны рискнуть! Даже если бы шанс спасти всех составлял всего 75%, всё равно стоило бы попробовать, раз есть шанс! Пусть им воспользуются все или никто!»

Знаете что? Это не о ваших чувствах. Человеческая жизнь, со всеми её радостями и страданиями, складывающимися в течение десятилетий, стоит гораздо больше, чем чувство комфорта или дискомфорта вашего мозга от планирования. Вам кажется, что вычисление ожидаемой полезности слишком бесчувственно? Что же, это ощущение — лишь перо на чаше весов, когда на карту поставлена жизнь. Просто заткнитесь и умножайте. Гугол равен 10^100 — единица, за которой следуют сто нулей. Гуголплекс — ещё более непостижимое большое число, это 10^гугол, единица, за которой следует гугол нулей. Теперь выберите какое-нибудь банальное неудобство, типа икоты, и какое-нибудь явно нетривиальное несчастье, например, медленно отрывающаяся конечность при нападении садистскими акулами-мутантами. Если мы вынуждены сделать выбор между предотвращением икоты у гуголплекс людей или предотвращением нападения акулы-мутанта на одного человека, какой выбор мы должны сделать? Если вы присваиваете икоте какое-то негативное значение, то, под страхом теоретической несогласованности решений, должно быть некоторое количество икоты, которое в сумме составило бы конкуренцию негативному значению атаки акулы. Для любого конкретного конечного зла должно быть некоторое количество икоты, которое было бы ещё хуже.

Подобные моральные дилеммы не являются умозрительным кровавым спортом для развлечения философов-аналитиков на званых обедах. Это искажённые версии тех ситуаций, в которых мы на самом деле оказываемся каждый день. Стоит ли мне потратить 50 долларов на консольную игру или отдать их на благотворительность? Должен ли я организовывать сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или использовать эти же деньги для приобретения противомоскитных сеток и предотвратить смерть примерно 200 детей от малярии?

Тем не менее, многие отводят взгляд от обилия неприятных моральных компромиссов в реальности — многие даже гордятся тем, что отводят взгляд. Исследования показывают, что люди проводят различие между «священными ценностями», такими как человеческие жизни, и «не священными ценностями», такими как деньги. И когда вы пытаетесь обменять священную ценность на не священную, субъекты выражают большое негодование. (И порой они даже хотят покарать человека, который сделал такое предложение.)

У меня есть любимая история про то, как команда исследователей, которые оценивают эффективность разных проектов, подсчитала стоимость спасённой жизни и порекомендовала правительству реализовать этот проект, поскольку он был экономически эффективным. Правительственное агентство отклонило отчёт, потому что, по их словам, нельзя оценивать человеческую жизнь в долларах. После отклонения отчёта агентство решило не использовать такой способ оценки.

Обмен сакральной ценности на не сакральную кажется действительно ужасным. Просто умножать одно на другое было бы слишком хладнокровно – для этого надо быть очень рациональным… Но альтруизм — это не тёплое неопределённое чувство, которое вы испытываете, будучи альтруистом. Если вы делаете это ради духовной выгоды, это не что иное, как эгоизм. Но главное — это помочь другим, какими бы ни были средства. Так что заткнись и умножай!

И если вам кажется, что в этой максимизации есть жестокость, подобная обнажённому мечу Фемиды или горению Солнца, — если кажется, что посреди этой рациональности есть небольшое холодное пламя…

Ну, тогда есть способ, который может помочь почувствовать себя лучше. Но он не сработает.

Я скажу вот что: если вы отбросите своё сожаление по поводу духовного удовлетворения, которое могли бы получить — и будете искренне следовать Пути, не думая, что вас обманут, — если вы посвятите себя рациональности, не сдерживая себя, то увидите, что рациональность даст вам взамен.

Но это сработает, только если вы не будете говорить себе: «Мне было бы лучше, если бы я был менее рациональным». Разве вам грустно оттого, что у вас есть возможность реально помогать людям? Вы не можете полностью раскрыть свой потенциал, если считаете свой дар тяжёлой ношей.

Парадокс Ньюкома: сожалея о своей рациональности

Элиезер Юдковский

Ниже пойдет речь о, возможно, самой дискуссионной проблеме в истории теории принятия решений — парадоксе Ньюкома:

Сверхразумное существо с другой галактики (будем называть его Омега) прилетает на Землю и приступает к маленькой необычной игре. Омега выбирает человека, ставит перед ним два ящика и скрывается из виду.

Ящик А прозрачен, в нём лежит тысяча долларов.

Ящик Б закрыт и содержит либо миллион долларов, либо ничего.

Вы можете выбрать либо оба ящика, либо только второй.

Интрига же в том, что Омега положил миллион долларов в ящик Б тогда и только тогда, когда он предсказал, что вы возьмете только этот ящик.

До сих пор (на каждом из ста случаев, которые вы смогли пронаблюдать) Омега оказывался прав: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион. (Будем полагать, что ящик А исчезает в облаке дыма, если вы берете только ящик Б; нельзя взять ящик А уже потом.)

До того, как вы сделаете выбор, Омега уже улетел, чтобы приступить к следующей игре. Ящик Б либо уже пуст, либо уже содержит деньги.

Омега бросает два ящика прямо перед вами и исчезает.

Вы возьмете оба или только ящик Б?

Типичная дискуссия об этой задаче протекает примерно так:

Вася: «Конечно же, я возьму только ящик Б. Лучше выиграть миллион, чем тысячу».

Петя: «Омега уже скрылся. Ящик Б либо уже полон, либо уже пуст. Если он уже пуст, то я получу 1000 долларов, взяв оба ящика, и ничего, если возьму только один. Если ящик Б уже полон, то, если я возьму оба, мне достанется 1 001 000 долларов, а если возьму только Б, то 1 000 000 долларов. В любом случае взять оба ящика лучше, а оставить тысячу долларов хуже, так что я буду действовать рационально и возьму оба ящика».

Вася: «Если ты такой умный, то почему ты такой бедный?»

Петя: «Не моя вина, что Омега решил награждать только иррационально настроенных людей, но мой ход в этой игре уже ничего не изменит».

О парадоксе Ньюкома написаны горы литературы, особенно если считать дилемму заключенного ее частным случаем, каковым она, как правило, является. Например, «Парадоксы рациональности и кооперации» («Paradoxes of Rationality and Cooperation») — издание, в которое входит оригинальная статья Ньюкома.

Я сейчас не буду глубоко погружаться в литературу, но замечу, что преобладающее мнение в современной теории принятия решений гласит, что следует выбрать оба ящика, а Омега просто вознаграждает агентов с нерациональными установками. Эта доминирующая точка зрения берет свое начало из причинной теории принятия решений (в русскоязычных текстах также иногда встречается наименование «каузальная теория принятия решений» — прим. перев.)

Как вам известно, основная причина того, что я пишу в блог, — моя невероятно низкая скорость, если я пытаюсь писать в каком-либо другом формате. Так что я не собираюсь выкладывать здесь мой собственный разбор проблемы Ньюкома. Это была бы слишком долгая история, даже по моим стандартам.

Но даже адепты причинной теории согласны, что если у вас есть силы заранее настроить себя на то, чтобы взять один ящик, то нужно сделать это. Если вы можете «настроиться» до того, как Омега проверит вас, то этим самым вы непосредственно обусловливаете то, что ящик Б не будет пустым.

В моей области деятельности (в построении самоулучшающегося искусственного интеллекта, если кто забыл) это выражается так: если вы построите ИИ, берущий оба ящика в проблеме Ньюкома, то он изменит себя так, чтобы брать один ящик, если сможет заранее предположить, что может столкнуться с такой ситуацией. Агенты, имеющие свободный доступ к своему исходному коду, способны легко настраивать себя заранее.

Что, если вы ожидаете, что можете встретиться с этой задачей, но не знаете точную формулировку? Тогда вам необходимо изменить себя, сделав свои установки такими, какие в общем случае обеспечивают высокий выигрыш в подобных задачах.

Но в чем же заключаются установки, нацеленные на хорошее решение задач вроде этой? Можно ли описать их формально?

Да, но, пытаясь сделать это, я осознаю, что начинаю писать небольшую книгу. (И не самую важную книгу, которую пишу, так что я откладываю это. Моя низкая скорость письма — настоящая отрава моего существования.) В теории, над которой я работаю, больше, как мне кажется, положительных моментов, не считая даже того, что она лучше решает задачи вроде проблемы Ньюкома. Работа могла бы стать неплохой диссертацией, если бы я нашел кого-нибудь, кто принял бы у меня ее в таком качестве. Но стряхнуть пыль с этого проекта и снова взяться за него заняло бы слишком много времени и сил; я бы не смог оправдать такой расход времени, учитывая скорость, с которой я сейчас пишу книги.

Я говорю это потому, что общепринятая позиция гласит: «Словесные аргументы в пользу того, чтобы брать один ящик, отыскать легко, но трудно разработать хорошую теорию, которая этого требует». Нужна последовательная математическая теория принятия решений, указывающая на необходимость брать только один ящик и не порождающая парадоксов в других задачах. Я понимаю, как можно это сделать, и взялся за разработку таковой, но скорость, с которой я пишу крупные работы, так низка, что я не могу ее опубликовать. Верите ли вы или нет, но это так.

Несмотря на всё это, я бы хотел изложить некоторые собственные мотивы к решению этой проблемы, причины, побудившие меня отыскивать новую теорию, — потому что они разъясняют мое базовое отношение к вопросу рациональности (даже если я не смогу рассказать саму теорию, к созданию которой эти мотивы побуждают).

Во-первых, в основном, по существу и прежде всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня превратно, подумав, что я говорю о штампе «голливудской рациональности», который утверждает, что рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает в себя благо других, то их счастье — ваш выигрыш. Если она подразумевает сроки в миллионы лет, то выигрывать следует на протяжении геологических эр.

Но, так или иначе, речь о том, чтобы ВЫИГРЫВАТЬ. Не упустите мысли: ВЫИГРЫВАТЬ.

Сейчас некоторые сторонники причинной теории принятия решений заявляют, что брать оба ящика — значит, делать всё возможное, чтобы выиграть, и нельзя ничем им помочь, если их наказывает Предсказатель, благоволя же иррационалам. Скоро я скажу, что думаю об этой точке зрения, но для начала я хочу провести черту между теоретиками причинного принятия решений, которые убеждены, что брать оба ящика — по-настоящему делать все возможное для выигрыша, и теми, кто считает, что брать два ящика осмысленно или рационально, но этот разумный выбор приводит в случае этой игры к предсказуемому проигрышу. Вокруг нас чертова прорва народу думает, что рациональность ожидаемо проигрывает при решении разнообразных задач; это, к тому же, часть штампа «голливудской рациональности», в котором Кирк предсказуемо превосходит Спока.

Теперь давайте вернемся к призу, которым Омега награждает иррационалов. Я в состоянии вообразить сверхсущество, которое платит только людям, рожденным с определенным геном, не обращая внимания на их выбор. Я могу представить инопланетянина, награждающего игроков, в чьи мозги врезан конкретный алгоритм«Опишите по-английски возможные варианты и выберите последний в алфавитном порядке», но не отдающего приза тем, кто выбирает тот же вариант, но по другой причине. Однако Омега награждает тех, кто выбрал только ящик Б, вне зависимости от того, каким именно способом они пришли к этому решению, и именно поэтому я не куплюсь на то, что Омега благоволит иррационалам. Его не заботит, следуете ли вы или нет определенному образцу мышления; всё, что его интересует, — ваше предсказанное решение.

Можно выбрать любой алгоритм обоснования, какой нам нравится, и мы будем награждены или наказаны только в зависимости от выбора, произведенного алгоритмом, независимо от всего прочего: Омегу интересует только то, куда мы приходим, а не как попадаем туда.

Я говорю именно с той точки зрения, которая гласит, что Природа не заботится о нашем алгоритме. Это открывает возможность следовать Пути выигрывания и освобождает нас от какого-либо отдельного ритуала мышления (кроме наших убеждений, что это работает). На каждое хитрое правило найдется свой контрпример, кромеправила выигрывания.

Как сказал Миямото Мусаси (это стоит повторить):

«Ты можешь победить с длинным клинком, но можешь выиграть бой и с коротким. Вкратце, Путь школы Ити — дух победы, вне зависимости от вида оружия и его длины».

(Другой пример: Мак-Ги утверждал, что мы обязаны ограничивать применение функций полезности, или же мы бесчисленное количество раз будем оказываться жертвой собственной непоследовательности. Но у функции полезности нет исключений. Я люблю жизнь без ограничений, без верхней границы: нет такого конечного значения N, что я предпочту шанс в 80,0001 % прожить N лет по сравнению с вероятностью в 0,0001 % прожить гуголплекс лет и восьмидесяти процентной вероятностью жить вечно. Это достаточное условие, чтобы можно было сказать, что моя функция полезности неограниченна. Так что мне просто надо сформулировать, как оптимизировать её для данных норм поведения. Вы не можете сказать мне «Для начала ты, прежде всего, должен приспособиться к определённому ритуалу мышления, а затем, если приспособишься, тебе нужно изменить свои нормы поведения, чтобы избежать непоследовательности». Откажитесь от схемы, ведущей к поражению; не меняйте определение выигрыша. Иное значило бы, что вы предпочитаете тысячу долларов миллиону, так что в свете проблемы Ньюкома ваша новая схема мышления не будет выглядеть плохо.)

«Но», — скажет сторонник причинной теории принятия решений, — «чтобы взять только один ящик, вам нужно сначала как-то поверить, что ваш выбор способен повлиять на то, пуст ящик Б или полон; это неразумно! Омега уже улетел! Это физически невозможно!»

Неразумно? Я рационалист; какое мне дело до того, быть ли неразумным? Я не собираюсь подчиняться определенной схеме мышления. Я буду брать только ящик Б не потому, что убежден, что мой выбор влияет на содержимое ящика, хотя даже Омега улетел. Я могу просто… взять только ящик Б.

Я собираюсь предложить альтернативный способ мышления, который рассчитает необходимость этого решения, но поля слишком узки для него; однако мне нет нужды предъявлять его вам. Дело не в том, чтобы обладать изящной теорией выигрывания, — дело в том, чтобы выигрывать; красота формулировок — побочный эффект.

Или посмотрим на это с другой стороны: вместо того, чтобы начинать с определения разумного решения, а затем задаваться вопросом, получит ли этот «разумный» агент много денег, взгляните лучше на агента, который получил много денег, затем разработайте теорию, в соответствии с которой агент будет оставаться с наибольшим количеством денег, и, уже отталкиваясь от этой теории, попробуйте вывести определение «разумности». «Разумность» может быть лишь ярлыком тех решений, которые соответствуют нашему текущему ритуалу мышления, — как ещё можно определить, является ли что-либо «разумным» или нет?

Джеймс Джойс, «Основы причинной теории решений»:

У Рэйчел был потрясающий ответ на вопрос, почему она не обогатилась (в этой игре — прим. перев.) «Я не выиграла много денег потому», — говорила она, — «что я не такой неудачник, который, как думают психологи, откажется от денег. Я просто не такая как ты, Ирен. Учитывая то, что я знаю, что не обладаю характером неудачника, и то, что психологи знают, что я такова, было бы разумным думать, что миллион не достанется мне. Тысяча долларов была наибольшей суммой, что я собиралась получить вне зависимости от того, что предприму. Поэтому единственная разумная вещь — взять их».

Ирен, возможно, захочет настоять на своем, спросив: «Но ведь ты не хочешь быть такой как я, Рэйчел? Ты не хочешь быть тем, кто проигрывает?» Существует некая склонность к тому, чтобы думать, что Рэйчел, преданная причинной теории принятия решений, должна ответить на этот вопрос отрицательно, и это кажется очевидно ошибочным (учитывая, что, будь она «неудачницей», как Ирен, она бы смогла получить больший приз). Это не тот случай. Рэйчел может и должна признать, что она хочет быть более похожей на Ирен. «Сейчас это было бы для меня лучше», — может допустить она, — «будь я неудачницей». И здесь Ирен восклицает: «Ага, ты признаешь это! В конце концов, не так уж умно было попытаться взять все деньги». К несчастью для Ирен, ее заключение вовсе не следует из того, что сказала Рэйчел. Та терпеливо разъяснит, что желать быть «неудачником» в задаче Ньюкома не противоречит тому, что необходимо брать тысячу долларов независимо от своего характера. Когда Рэйчел хочет быть такой же «неудачницей», как Ирен, она желает получить такие же возможности, а не одобрить ее выбор.

И я должен сказать, что это всеобщий принцип рациональности (конечно, в том смысле, как я определяю это понятие) — то, что вы никогда в конце концов не обнаружите себя завидующим чужому выбору самому по себе. Вы можете позавидовать чьим-нибудь генам, если бы Омега награждал за гены или именно они создавали бы установки, благополучные для выигрыша. Однако Рэйчел в вышеприведенной цитате завидует выбору Ирен и только выбору безотносительно от того, какой алгоритм та использовала, чтобы сделать его. Рэйчел стремится лишь к тому, чтобы настроить себя для принятия другого решения.

Невозможно заявлять, что вы более рациональны, чем кто-то другой, и в то же время завидовать тому, какой выбор сделал этот другой, если речь только о выборе. Просто сделайте то, чему завидуете.

Я всё пытаюсь сказать, что рациональность — это Путь выигрывания, но апологеты причинной теории принятия решений настаивают, что брать оба ящика и значит на самом деле выиграть, потому что невозможно поступить лучшим образом, оставив тысячу долларов… даже если те, кто берет один ящик, уходят с эксперимента с большей суммой. Остерегайтесь доводов такого рода каждый раз, когда вы замечаете за собой то, что определяете как «победителя» кого-то отличного от агента, с улыбкой взирающего с вершины гигантской пирамиды полезности.

Да, во многих мысленных экспериментах агенты имеют фору с самого начала, но если, скажем, нужно решить, прыгать ли со скалы, то нужно остерегаться того, чтобы определить агентов, воздерживающихся от прыжка, как заранее обладающих несправедливым преимуществом, — что, якобы, они подло отказались прыгать. В этом месте вы незаметно переопределяете понятие «выигрывать», называя им следование определенному ритуалу мышления. Следите за деньгами!

Другой способ взглянуть на проблему: столкнувшись с задачей Ньюкома, вы бы захотели приложить заметные усилия, чтобы понять разумное обоснование того, что брать только ящик Б рационально и осмысленно (ведь если аргумент такого рода существует, вам следует взять только ящик Б, и вы найдете его полным денег)? Потратите ли вы несколько дополнительных часов, обдумывая эту проблему, если уверены, что в конце концов убедите себя, что брать только ящик Б — рациональный выбор? В этом положении достаточно странно находиться. Обычно работа рациональности заключается в том, чтобы разъяснить, какой выбор является наилучшим, а не отыскать обоснование к убеждению, что какое-либо конкретное решение оптимально.

Возможно, слишком легко говорить, что вы «следуете» стратегии «брать оба ящика» в проблеме Ньюкома и что это «разумный» выбор, пока деньги не будут действительно перед вами. Возможно, вы просто нечувствительны к абстрактным проблемам такого рода. А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%? Что, если к Земле мчится астероид, и ящик А содержит систему защиты, действующую 10% времени, а в ящике Б может быть орудие, которое защищало бы Землю постоянно?

Будь это так, вы бы заметили, что вас просто соблазняет сделать необоснованный выбор?

Что, если ставка, которую может принести ящик Б, — это что-то такое, что вы не можетеоставить? Что-то безгранично более важное для вас, нежели следовать тому, что выглядит разумным? Если вам совершенно нужно выиграть — действительно выиграть, а не просто определить себя как победителя?

Захотели бы вы всем своим нутром, чтобы «разумным» решением оказалось взять только ящик Б?

Если да, то, возможно, сейчас настало время обновить ваше определение разумности.

Предполагая себя рационалистом, вы не должны обнаруживать, что завидуете решениям-самим-по-себе, принятым предполагаемыми не-рационалистами: ваше решение может быть любым. Когда вы обнаружите себя в подобном положении, вам не следует упрекать другого в том, что он не смог подстроиться к вашему пониманию разумности. Вам нужно осознать, что вы шли по ложному пути.

То же самое верно, и если вы заметите, что продолжаете хранить веру в отдельный след «обоснованного» убеждения в противовес убеждению, которые выглядит по-настоящему истинным: либо вы недопонимаете «обоснованность», либо ваше представление об истинности второго убеждения ошибочно.

Невозможно одновременно определить «рациональность» и как Путь выигрывания, и как некую конкретную систему в рамках байесовской теории вероятностей и теории принятия решений. Но это тот самый аргумент, который я привожу в первую очередь, и мораль моего совета — верить в байесианство, в то, что законы, ведущие к выигрышу, имеют достаточный доказательный аппарат, чтобы быть точной наукой. Если же когда-нибудь окажется, что байесовские принципы терпят неудачу, систематически решая некую задачу плохо (по сравнению с решениями других теорий), то байесианство придётся оставить на свалке истории. «Рациональность» — просто ярлык, который я использую для своих представлений о Пути выигрывания — пути агента, улыбающегося с вершины гигантской пирамиды полезности. Сейчас этим ярлыком помечено байесовское искусство.

Я понимаю, что эта статья — еще не окончательный нокаут для причинной теории принятия решений (для этого нужна была бы целая книга или диссертация), но я надеюсь, что смог частично проиллюстрировать свое подсознательное отношение к понятию «рациональность».

Вы не должны обнаруживать себя отделяющим «выгрышный» выбор от «разумного» или «обоснованное» убеждение от «наиболее правдоподобного».

Я рассказал, почему я называю «рациональными» свои убеждения в зависимости от их точности и выигрышности, но не для того, чтобы указать на словесное обоснование или на конкретные стратегии, приводящие к определенному успеху; не для того, чтобы назвать этим словом то, что доказуемо логически, наглядно для других или выглядит «обоснованным».

Как сказал Миямото Мусаси:

«Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

Стать сильнее

Бросая вызов сложностям

Эта цепочка посвящена тому, как делать сложные или «невозможные» вещи.

Цуёку наритаи («Хочу стать сильней!»)

Элиезер Юдковский

В ортодоксальном иудаизме есть следующий афоризм: «Если древние были как ангелы, то мы – как люди, а если древние были как люди, то мы – как ослы», что вытекает из убеждения в том, что всё иудейское право было получено на горе Синай Моисеем напрямую от Господа. Действительно, вряд ли возможно получить новое галахическое знание, проведя какой-нибудь эксперимент; получить это знание можно лишь из уст кого-то, кто уже им владеет — потому что он услышал его от кого-то ещё, кто получил его непосредственно от Господа. Поскольку вся информация исходит из единственного, давно замолкшего источника, она может лишь искажаться в процессе передачи от поколения к поколению.

Поэтому слова современных раввинов не могут перекрывать слова древних раввинов. Ползающие животные обычно не кошерны, но позволительно съесть червяка, обнаруженного внутри яблока: древние считали, что червь самопроизвольно возник внутри яблока, и поэтому является его частью. Современный раввин не имеет права сказать «Понятно, что древние раввины разбирались в биологии также, как пингвины в математической логике. Завет отвергнут!». Современный раввин не может знать какой-либо галахический принцип, неведомый древним раввинам, потому что это означает обрыв цепочки древних раввинов, передающих друг другу ответы, полученные на горе Синай. Знание происходит от авторитета, и поэтому оно не нарастает, а лишь утрачивается с течением времени.

Я услышал эту поговорку про ангелов и ослов, когда я был в младших классах религиозной школы. Я был слишком молод для того, чтобы быть полностью созревшим атеистом, но я всё равно подумал про себя: «Тора теряет знание с каждым поколением. Наука приобретает знание с каждым поколением. Неважно, с чего они начали, рано или поздно наука обгонит Тору».

Очень важно, чтобы прогресс не исчезал. До тех пор, пока вы продолжаете двигаться вперёд, вы достигнете своей цели; но если вы остановитесь, то вы никогда не достигнете её.

«Цуёку наритаи» это на японском. «Цуёку» значит «сильный»; «нару» это «становиться», а форма «наритаи» это «хочу стать». Вместе это значит «Я хочу стать сильнее» и выражает настроение, ярче звучащее в японских работах, нежели в любой западной литературе, которую я читал. Вы можете сказать это, когда выражаете стремление стать профессиональным игроком в Го — или после того как вы проиграли важный матч, но не сдались — или после того как вы выиграли важный матч, но все еще не на вершине мастерства — или после того как вы стали наилучшим игроком в Го всех времен, но все еще думаете, что можете играть еще лучше. Это и есть «Цуёку наритаи», воля к трансцендентности.

«Цуёку наритаи» это движущая сила моего эссе «Правильное использование смирения», в котором я сравнивал студента, который смиренно проверяет дважды свой тест по математике и студента который скромно говорит «Но как мы можем действительно знать? Не имеет значения как много раз я проверю, я никогда не буду уверен абсолютно». Студент, который проверяет дважды свои ответы «хочет стать сильнее»; он реагирует на возможный внутренний недостаток посредством деятельности при помощи которой он может исправить недостаток, а не отступлением.

Каждый год, в праздник под названием Йом Киппур, ортодоксальный иудей читает литанию, которая начинается словами «ашамну, багадну, газалну, дибарну дофи» и похожим образом проходит через весь древнееврейский алфавит: «Мы грешили, мы предавали, мы грабили, мы злословили».

С каждым словом вы бьёте себя в грудь в знак раскаяния. Никто не может освободить вас от этого ритуала: нет такого правила, что, если вы ухитрились прожить весь год, ничего ни разу ни украв, то вы можете пропустить слово «газалну» и не бить себя в грудь в этот раз. Это нарушит чувство принадлежности к празднику Йом Киппур, который посвящён исповеданию грехов, а не избеганию грехов, чтобы исчезла причина в них исповедоваться.

Тот же символизм есть и в «Ашамну». Молитва не оканчивается словами «но это было в этом году, а в следующем году я добьюсь большего».

«Ашамну» носит удивительное сходство с представлением о том, что основная идея пути рациональности — это бить себя кулаком в грудь и говорить: «Все мы предвзяты, все мы иррациональны, все мы невежественны, все мы сверхуверенны, все мы плохо откалиброваны, все мы страдаем от искажений».

Замечательно. Теперь расскажите, как вы собираетесь стать менее предвзятым, более осведомлённым, менее сверхуверенным, лучше откалиброванным.

Мне вспоминается старая еврейская шутка: в день Йом Киппур раввин неожиданно оказывается охвачен непривычно сильным чувством вины. Он падает ниц и сквозь слезы восклицает: «Всевышний, я ничто пред ликом Твоим!». Волна вины накатывает и на кантора, который также вскрикивает: «Всевышний, я ничто пред ликом Твоим!». Увидев это, уборщик в дальнем углу синагоги падает на колени и восклицает: «Всевышний, я ничто пред ликом Твоим!». А затем раввин незаметно толкает кантора локтём в бок и шепчет: «Ты только посмотри, кто возомнил себя ничем».

Не гордитесь своим признанием в том, что вы тоже страдаете от искажений, и не упивайтесь знанием о своих изъянах. Этот принцип сродни принципу о том, что не надо гордиться признанием в своём невежестве; ибо если черпать в невежестве гордость, то будет нелегко поступиться своим невежеством, когда к вам постучатся свидетельства. Точно также и с изъянами: не надо внутренне восхищаться своей честностью и наблюдательностью, позволившей вам их признать; ликовать следует тогда, когда поводов для признания стало меньше.

В противном случае, когда кто-то идет к нам с планом «коррекции» влияния, мы огрызнемся: «Ты думаешь поставить себя над нами?» Мы печально покачаем головами и скажем: «У тебя, должно быть, низкое самосознание».

Никогда не говорите, что вы так же порочны, как и я, до тех пор, пока вы не можете сказать мне, что планируете с этим делать. После этого у вас все еще остается много недостатков, но дело не в этом; важно «делать лучше», двигаться вперед, делать шаг за шагом вперед. Цуёку наритаи!

Цуёку против уравнительского инстинкта

Элиезер Юдковский

В племенах охотников и собирателей обычно сильно развит уравнительный принцип (по крайней мере, если вы мужчина) — принцип всемогущего племенного вождя чаще можно найти в аграрных обществах, редко в родоплеменном строе. В большинстве племен, живущих охотой и собирательством, охотник, который приносит больше всего добычи, будет стараться приуменьшить свои заслуги.

Возможно, если ваша стартовая точка находится ниже среднего уровня, вы можете улучшать себя без опаски выделиться из толпы. Однако рано или поздно, если вы стремитесь сделать все как можно лучше, ваша цель превзойдет средний уровень.

Если вы не можете признаться себе, что вы действуете лучше остальных — или если вы стыдитесь желания действовать лучше остальных — тогда средний уровень навсегда станет для вас непреодолимым барьером, местом, где вы прекращаете свое развитие. И что насчет тех людей, что находятся ниже среднего уровня? Вы смеете сказать, что желаете быть лучше них? Ну вы и гордец!

Возможно не слишком нормально гордиться собой так, словно вы лучше вообще всех. Но лично я обнаружил, что это полезный мотиватор, несмотря на мои принципы, а я хочу использовать всю полезную мотивацию, которую смогу получить. Возможно этот вид соревнования представляет собой игру с нулевой суммой, наподобие го; это не значит, что мы должны отменить данную человеческую активность, если людям это нравится и представляет собой нечто интересное.

Но, в любом случае, конечно же это плохо — стыдиться делать все как можно лучше.

И кстати, жизнь нельзя оценить графиком. Стремление к трансцендентности не имеет точки, за которой это стремление становится хуже; и гонка, в которой нет финиша, не имеет и золотых или серебряных медалей. Просто бегите как можно быстрее изо всех сил, не беспокоясь, что вы можете оставить позади других. (Но будьте настороже: если вы откажетесь думать об этой возможности, однажды так и произойдет. Если вы игнорируете последствия, они могут настигнуть вас.)

Рано или поздно, если твой путь ведет к истине, вы захотите убрать те недостатки, которые большинство людей не убирают. Рано или поздно, если ваши усилия приносят хоть какие-то плоды, вы обнаружите, что у вас меньше слабых мест.

Возможно вы найдете мудрым преуменьшить свои достижения, даже если вы и в самом деле преуспели. Люди могут простить гол, но вряд ли обрадуются выигрышу вами всей игры. Вы возможно найдете проще, быстрее и больше всего подходящим публично принизить свои достоинства, постараться сделать вид, что вы такой же несовершенный, что и все. Ну, до тех пор, пока всем уже не станет ясно, что это не так. Это может быть забавно — гордо показывать свою скромность так, что каждый знает как много вы достигли, о чем можете скромно умолчать.

Но не позволяйте этому стать концом вашего путешествия. Даже если вы только шепчете это себе под нос, продолжайте шептать: цуёку, цуёку! Сильнее, сильнее!

А потом установите себе цель еще выше. Вот истинный смысл осознания, что вы все еще несовершенны (пусть теперь и немного меньше). Он заключается в том, чтобы всегда достигать больше, безо всякого стыда.

Цуёку наритаи! Я буду всегда бежать настолько быстро, насколько могу, даже если я вырвусь вперед, я продолжу бежать; и кто-то однажды превзойдет меня; но даже хотя я останусь позади, я всегда буду бежать изо всех сил.

Пытаясь пытаться

Элиезер Юдковский

Нет! Не надо пытаться! Делай. Или не делай. Не надо пытаться.

Йода

Когда-то давно я думал, что есть другой пример глубокой (великой) мудрости, а этот глуповат. Успех — не простое действие. Вы не можете просто решить выиграть путем достаточно трудного выбора. Не существует плана, который бы всегда работал.

Но Йода оказался мудрее, чем я сначала себе представил.

Первая элементарная техника эпистемологии — не глубокая, зато дешевая — отделять цитату от того, что она обозначает. Разговор о снеге не то же самое, что разговор о «снеге». Когда я использую слово «снег» без кавычек, я имею в виду снег; а когда я использую слово « „снег“ » в кавычках, я веду разговор именно о самом слове. Вам нужно сменить тип мышления, перейти в режим цитирования, чтобы вести разговор о своих убеждениях. Обычно, мы говорим о реальности.

Если кто-то говорит «я хочу нажать на выключатель», тогда по умолчанию, он имеет в виду то, что он собирается попробовать нажать на выключатель. Он собирается выстроить план, который обещает путем последовательностей действий привести его к нужному состоянию выключателя; и осуществить данный план.

Не существует плана, который работал бы с бесконечной определенностью. Так что по умолчанию, когда вы говорите о намерении достигнуть цели, вы не подразумеваете, что ваш план точно и совершенно приведет вас только к этой возможности. Но когда вы говорите «я собираюсь нажать на выключатель», вы пытаетесь нажать на выключатель — не пытаетесь достигнуть 97.2% вероятности нажатия на выключатель.

Так что же подразумевается, когда кто-либо говорит «Я собираюсь нажать на выключатель?»

Ну, в разговорной речи «я собираюсь нажать на выключатель» и «я собираюсь попробовать нажать на выключатель» означают более или менее одно и то же, за исключением того, что последнее выражение подразумевает возможность неудачи. Вот почему я изначально обиделся на Йоду за кажущееся отрицание возможности. Ну уж извините.

Наибольший жизненный вызов состоит в том, чтобы удерживать себя на достаточно высоком уровне. Я могу рассказать об этом принципе позже, поскольку это линза, через которую вы можете видеть многие-но-не-все личные дилеммы — «На каком уровне я держу себя? Достаточно ли он высок?»

Поскольку большинство жизненных неудач заключаются в том, что вы держите себя на слишком низком уровне, вам нужно опасаться требовать от себя слишком мало — ставить цели, что легко достижимы.

Часто там, где успешно сделать вещь очень трудно, попробовать это сделать куда легче.

Что легче — построить успешный стартап или попробовать построить успешный стартап? Заработать миллион долларов или попробовать заработать миллион долларов?

Так что если «я собираюсь нажать на выключатель» означает по умолчанию что вы попытаетесь нажать на выключатель — то есть, вы собираетесь следовать плану, который обещает привести к желаемому результату если не со стопроцентной вероятностью, то по крайней мере с наибольшей вероятностью, которую вы можете обеспечить -

тогда «я намерен «попытаться нажать» на выключатель» означает что вы хотите попробовать «попробовать нажать на выключатель», то есть вы собираетесь попробовать достичь цели-состояния «имею план который может помочь нажать на выключатель».

Теперь, если бы был самомодифицирующийся ИИ, о котором мы уже говорили, преобразование, которое мы только что выполниили, должно было закончится отраженным равновесием — ИИ планировал бы операции по планированию.

Но когда мы имеем дело с людьми, они могут удовлетвориться планом, который не особо вероятно гарантирует успех. Момент, что план должен максимизировать вашу вероятность успеха, теряется из виду. Куда легче убедить себя что мы «максимизировали нашу вероятность выиграть» нежели убедить себя что мы выиграем.

Почти любое усилие должно служить для убеждения нас, что мы «сделали все что могли», если попытки сделать все, что мы можем, это все, что мы пытаемся сделать.

«Вы спросили себя, что вы можете сделать в великих событиях, которые начинаются сейчас, и ответили себе, что ничего. Но из-за того, что вы страдаете, вы неправильно поставили вопрос…вместо того, чтобы спрашивать, что вы можете сделать, вы должны были спросить, что нужно сделать».

- Стивен Браст, Дороги Мертвых

Когда вы спрашиваете «что я могу сделать?», вы пытаетесь сделать все, что можете. Много ли вы можете? Это все, что не вызывает у вас ни малейшего затруднения. Это все, что вы можете сделать с деньгами у вас в кошельке минус деньги на ланч. Что вы можете сделать с этими ресурсами, может не дать вам очень хорошие шансы на выигрыш. Но это «все что вы можете сделать» и таким образом вы действуете обоснованно, так?

Но что нужно сделать? Может быть то, что нужно сделать, требует в три раза больше, нежели все ваши сбережения за всю жизнь, и вы должны сделать это или потерпите неудачу.

Так что старание иметь «максимизированную вероятность успеха» — в противовес стараниям достичь успеха — является существенно более низким барьером. Вы можете иметь «максимизированную вероятность успеха» используя только деньги у вас в кармане, хотя на самом деле претендовать на победу не сможете.

Хотите попробовать сделать миллион долларов? Купите лотерейный билет. Ваши шансы на выигрыш не очень хороши, но вы попытались, чего и хотели. На деле, вы сделали все, что в ваших силах — ведь у вас был всего лишь доллар после обеда. Максимизация шансов на достижение цели, используя доступные ресурсы: разве это не интеллект?

И только когда вы хотите, превыше всего остального, на самом деле нажать на выключатель — без цитирования и без утешительных призов за попытки — тогда вы на самом деле приложите усилия, чтобы действительно максимизировать вероятность.

Но если все, что вы хотите, это «максимизировать вероятность успеха при доступных ресурсах», тогда наиболее легкий путь сделать это — просто убедить себя в том, что это уже сделано. Самый первый план, который вы придумаете, уже будет служить как «максимизирующий» — если нужно, то вы можете придумать несколько худших планов, чтобы доказать оптимальность первого. И все крошечные ресурсы, которые вы вложите в этот план, будут гордо называться «доступными ресурсами». Не забудьте заодно поздравить себя с тем, что вы выложились на все 100%!

Не старайтесь изо всех сил. Либо побеждайте, либо проигрывайте. Но не старайтесь.

Используй вторую попытку, Люк

Элиезер Юдковский

«Если кто-то хочет провалиться, он везде найдет препятствия» — Джон Маккарти.

Первый раз я увидел 4-6 «Звездные войны», еще когда был совсем юн. Мне было семь или девять, где-то так. Я плохо помню то время, однако я запомнил Люка Скайуокера как крутого джедайского парня.

Представьте мой ужас и разочарование, когда я годы спустя пересмотрел всю сагу и понял, что Люк был подростком-нытиком.

Я упоминаю это потому, что вчера я просматривал на Ютьюбе источник цитаты Йоды: «Делай или не делай. Не пытайся».

О. Мой. Ктулху.

Наряду с клипом с Ютьюба я представляю вам малоизвестную сценку, которая произошла на съемках фильма между директором картины Джорджем Лукасом и Марком Хамиллом, который играл Люка:

Люк: Хорошо, я попробую.

Йода: Нет! Не пробуй. Делай. Или не делай. Но не пробуй.

Люк поднимает руку и его корабль медленно начинает всплывать из воды. Глаза Йоды загораются интересом — но корабль снова тонет.

Марк Хамилл: «Эээ, Джордж…»

Джордж Лукас: «Что?»

Марк: «Так… дальше по тексту я говорю, что не могу поднять корабль, так как он слишком большой».

Джордж: «Ну да».

Марк: «А разве Люк не попробует еще раз?»

Джордж: «Нет. Люк сдается и садится рядом с Йодой…»

Марк: «И это герой, который собирается драться со всей Империей? Смотри, это могло бы произойти, когда он был только подростком, однако теперь он уже тренированный джедай. В последнем фильме он взорвал Звезду Смерти. Он должен показать хотя бы немного силы воли».

Джордж: «Нет. Ты сдаешься. И тогда Йода читает тебе лекцию, ты говоришь, что это невозможно. Тебе понятно?»

Марк: «Невозможно? Он что, на калькуляторе это высчитал, что ли? Корабль уже начал подниматься! Это прямая демонстрация того, что это осуществимо! Люк потерял концентрацию на секунду и корабль начал тонуть обратно — и после этого он сразу же сдается и говорит, что это невозможно? Не говоря уже о том, что Йода, который уже восемьсот лет занимается этим, прямо говорит ему, что это возможно…»

Джордж: «И тогда ты уходишь».

Марк: «Это его долбаный корабль! Если он оставит его в болоте, то остаток своей никчемной жизни он проведет на Дагобе! Он не может уйти! Смотри, давай просто перед следующей сценой вставим слова «месяц спустя», Люк все еще стоит перед болотом, в тысячный раз стараясь вытащить корабль — «

Джордж: «Нет».

Марк: «Ну ладно! Покажем как он солнечным днем стоит с напряженной рукой и говорит «Невозможно». На самом деле, он же должен был попытаться снова, когда отдохнул бы — «

Джордж: «Нет».

Марк: «Хотя бы пять долбаных минут! Пять минут перед тем, как он сдастся!»

Джордж: «Я не хочу снимать пять минут про то, как корабль качается в болоте наподобие игрушки для ванной».

Марк: «Святые угодники! Если этот жалкий неудачник зовется мастером Силы, тогда все в Галактике должны были бы владеть ею! Люди становились бы джедаями потому, что это было бы проще, чем закончить среднюю школу».

Джордж: «Слушай, ты актер. А я сценарист. Так что просто говори, что у тебя написано в сценарии».

Марк: «Люди на это не купятся».

Джордж: «Купятся, уж поверь».

Марк: «Они плюнут и пойдут в театр».

Джордж: «Они будут сидеть и кивать, не замечая ничего необычного. Ты просто не понимаешь человеческую натуру. Люди не будут стараться даже пять минут перед тем, как сдаться, пусть даже на кону будет судьба всего человечества».

Создание сообщества

Фрагменты цепочки о создании сообщества рационалистов

Общий уровень здравомыслия

Элиезер Юдковский

Перефразирую «Байесианца с чёрным поясом» 1: за каждой впечатляющей, драматичной ошибкой кроется история о более важной и менее драматичной ошибке, без которой первая не случилась бы.

Даже если завтра повсюду в мире магическим образом исчезнут все следы религии, то, хотя жизнь многих людей и улучшится, нам всё ещё будет очень далеко до решения серьёзных проблем со здравомыслием, из-за которых вообще существует религия.

У нас есть веская причина потратить часть наших усилий на устранение религии, ведь религия — это непосредственная проблема. Однако религия исполняет и роль задохнувшейся канарейки в угольной шахте. Религия — это знак, симптом большей проблемы, которая никуда не денется просто потому, что кто-то лишится своей религии.

Рассмотрим мысленный эксперимент: чему вы могли бы научить других людей, с условиями, что это правда, это полезная широко применимая рационалистская техника, это напрямую не касается религии, но это могло бы подтолкнуть людей от религии отказаться? Даже так: представьте, что вы опросите всех ваших студентов через пять лет, чтобы посмотреть, как много из них откажется от религии по сравнению с контрольной группой. Но если вы хотя бы чуть-чуть попытаетесь сражаться с религией напрямую, вы провалите эксперимент. На уроках вам запрещается упоминать религию и любое религиозные утверждения, вам даже нельзя никак намекать на них. Все ваши примеры должны основываться на ситуациях из реального мира и не иметь ничего общего с религией.

Если мы не сражаемся с религией напрямую, чему мы научим людей, чтобы поднять общий уровень здравомыслия до уровня, при котором религия исчезнет сама собой?

Ниже перечислены несколько тем, которые я уже освещал. У меня встречались упоминания религии, но от них можно легко избавиться.

Аффективные смертельные спирали — множество не сверхъестественных примеров.

Как избегать кешированных мыслей, фальшивой мудрости и давления конформизма.

Свидетельства и бритва Оккама — правила вероятности.

Нижняя строчка / Двигатели познания — работа Разума с точки зрения причин и следствий.

Таинственные ответы на таинственные вопросы и вся связанная с этим цепочка. Вопросы вроде «Убеждения должны окупаться» и стоп-сигналов прекрасно иллюстрируются историческими примерами витализма и флогистона.

Несуществующие онтологически базовые разумные сущности — примените ошибку проецирования ума к вероятностям, двигайтесь от холизма к редукционизму, затем переходите к работе мозга и когнитивным наукам.

Множество вспомогательных техник из «Кризиса Веры» — хотя вам лучше подыскать какое-то другое название для этой техники высшего уровня, которая позволяет обновлять свои убеждения на основании свидетельств.

Тёмная сторона эпистемологии — учить этому не упоминая религию будет сложновато, но возможно как пример из реальной жизни подойдёт запись допроса какого-нибудь деятеля сетевого маркетинга.

«Теорию удовольствия» можно преподавать как теорию утопической фантастики без упоминания теодиции.

Наслаждение обыденностью, натуралистическая метаэтика, и так далее, и так далее.

Но давайте посмотрим с другой стороны.

Предположим, что мы знаем учёного, который всё ещё религиозен: не важно, имеем мы дело с активным участием в религиозной жизни или с неясными случайными высказываниями о чем-то «духовном».

Теперь мы знаем, что этот человек не понимает во всех тонкостях…

…что есть свидетельство и почему;

…бритву Оккама;

…что два правила выше вытекают из законов и причинно-следственного механизма, благодаря которым мозг составляет карты, и не отменяются, когда речь идёт о зубных феях;

…чем отличаются настоящие ответы от затычек для любопытства;

…как переосмысливать что-либо, вместо того, чтобы просто повторять услышанное;

…некоторые основные направления науки за последние три тысячи лет;

…сложные искусства обновления убеждений на основе новых свидетельств и отказа от устаревших убеждений;

…эпистемологию начального уровня;

…честности перед собой продвинутого уровня;

…и так далее, и так далее, и тому подобное.

Если посмотреть на этот список, то видно, что изучить все его составляющие не так уж сложно. Быстрое введение во всё это (кроме натуралистической метаэтики) могло бы оказаться… обязательным предметом второго курса?

Но даже некоторые нобелевские лауреаты не прошли такой курс! Пример Ричарда Смолли может показаться некорректным, но есть и более пугающий пример Роберта Ауманна.

И их нельзя считать отдельными исключениями. Если бы все их коллеги прошли бы такой курс, они бы поправили Смолли и Ауманна (дружески отвели бы в сторонку и объяснили базовые принципы) или относились бы к ним достаточно настороженно и не дали бы Нобелевскую премию. Ведь если рассуждать реалистично (пусть это и кажется несправедливым), разве получил бы Нобелевскую премию учёный, публично рассуждающий о существовании Санта Клауса?

Именно об этом и говорит нам мёртвая канарейка, религия: общий уровень здравомыслия сейчас смехотворно низок. Даже в научной элите.

Если мы выкинем мёртвую гниющую канарейку, то в нашей шахте станет пахнуть чуть лучше, но уровень здравомыслия значительно не вырастет.

Я не планирую критиковать движение нео-атеистов. Вред, нанесённый религией, — это очевидная существующая опасность, или даже продолжающееся бедствие. Сражение против непосредственных последствий религии приоритетней использования её в качестве канарейки или экспериментального индикатора. Но даже если Докинз, Деннет, Харрис и Хитченс каким-то образом окончательно победят даже в самых далёких уголках человеческого мира, настоящая работа рационалистов только начнётся.

1.Юдковский ссылается на блог «Black Belt Bayesian», который уже не существует. — Прим.перев.

Чувство, что большее возможно

Элиезер Юдковский

Предыдущий в серии: Raising the Sanity Waterline (English)

Продолжает: Учи невыучиваемому

Когда учишь людей теме, которую ты пометил как «рациональность», помогает, если они уже заинтересованы в ней. (Есть менее прямые пути учить людей составлять карты, отражающие территорию, или оптимизировать реальность в соответствии с их ценностями, но я выбрал именно явный метод.)

И когда люди объясняют, почему они не заинтересованы в рациональности, одна из самых частых причин — это что-то вроде: «Я знаю парочку рациональных людей и они не кажутся мне более счастливыми»

О ком они думают? Наверное, об объективистах или о ком-то похожем. Может, об обычном учёном (English), которого они знают. Или обычном атеисте (English).

Это далеко не самая суть рациональности, как я и говорил прежде.

Даже если ограничиться людьми, способными вывести формулу Байеса — что уже вычёркивает 98% вышеназванных — это всё ещё не суть рациональности. В смысле, это же довольно базовая теорема.

С самого начала у меня было чувство, что должна существовать какая-то дисциплина познания, искусство мышления, навык, делающий людей заметно компетентнее, мощнее; эквивалент Поднятия Уровня в Крутости (English).

Но когда я смотрю на окружающий мир, я не вижу этого. Иногда я замечаю намёк, эхо того, что должно быть возможно, когда читаю творчество Робина Доуса, Даниэла Гилберта, Туби и Космидеса [1]. Отдельные маститые учёные-психологи, которым далеконе всё равно — настолько не всё равно, что, мне кажется, их коллеги чувствуют себя неудобно, ведь не круто заботиться о чём-то настолько сильно. Они уловили ритм, единство, пронизывающее их аргументы —

Но даже это… всё ещё не самая суть рациональности.

Даже среди тех немногих, кто впечатляет меня отголоском брезжущей внутренней мощи, я не думаю, что их мастерство рациональности может сравниться со, скажем, мастерством математики Джона Конвэя [2]. Базовое знание, которое мы привлекаем к построению нашего понимания — если извлечь только части, которые мы использовали, а не всё, что было необходимо изучить, чтобы отыскать их — не сравнимо по величине со всем тем, что профессиональный инженер-атомщик знает про строение ядерных реакторов. Наверное, оно даже не сравнится с тем, что обычный инженер знает про мосты. Мы практикуем наши навыки способами, которые выучили постфактум; однако, эта практика и близко не стояла с тренировочным режимом олимпийского бегуна или даже игрока в теннис средней лиги.

И корень этой проблемы, как я подозреваю, это то, что мы ещё не собрались вместе и не систематизировали наши навыки. Нам пришлось создавать их постфактум, и есть верхний предел, как много один человек может сделать, даже если он может привлечь работу, проделанную в других научных областях.

Основное препятствие, сбивающее нас с правильного пути, — это сложность тестирования результатов тренировочных программ, следовательно мы не можем так просто получить методы, основанные на экспериментальных результатах. Я напишу больше на эту тему, потому что мне кажется, что распознание успешных методов и отделение их от провальных — важная, блокирующее дальнейшее развитие проблема.

Существуют эксперименты, исследующие балансирующие поправки для исправления отдельных когнитивных искажений, но они больше похожи на «заставь студентов практиковаться час, затем протестируй их через две недели», а не на «проведи половину записавшихся через версию А трёхмесячной тренировочной программы, а половину — через версию Б, а затем проведи исследование через пять лет». Вытекающее из обстоятельств количество усилий подходит для обучения людей, который Действительно Серьёзны Насчёт Рациональности, но никак для тех, кто Готов Потратить Час Времени Или Около Того.

Дэниэл Бурфут [3] замечательно заметил, почему интеллект кажется решающим фактором в рациональности: когда приходится импровизировать с совсем малым багажом знаний и количеством систематической практики, интеллект оказывается на самом важном месте.

Почему «рационалисты» не окружены видимой аурой мощи? Почему они ещё не на самой верхушке любой элиты любого направления, имеющего дело с мышлением? Почему большинство «рационалистов» кажутся обычными людьми, возможно со слегка большим интеллектом, с ещё одной игрушкой в чулане?

Тут можно придумать несколько ответов, но один из них определённо состоит в том, что они практикуются в рациональности намного менее систематично, чем каратист с первым даном — в поединках.

Я не ухожу от критики. Я не бейцукай (English), потому что есть граница того, как много Искусства можно создать в одиночку и как сильно можно полагаться на умозрительные заключения без экспериментально выявленной статистики. Я знаю о единственномиспользовании рациональности под названием «редукционизм запутывающих знаний». Об этом я спрашивал свой мозг, это он мне дал. Есть и другие искусства, я думаю, которые могла бы включить зрелая рационалистская тренировочная программа, которые сделали бы меня сильнее, счастливее и эффективнее. Если бы я только мог пройти через стандартизированную тренировочную программу, собирая сливки с методов обучения, экспериментально подтверждённых, как эффективные. Но моя жизнь не вместит ещё один огромный сфокусированный поток усилий, который я вложил в моё под-искусстворациональности, создавая его с нуля.

Я считаю себя в чём-то лучше каратиста с первым даном, но в чём-то и хуже. Я могу пробить кирпич и уже работаю над сталью, при том, что моя конечная цель — адамантий. Но у меня весьма приблизительное понимание того, как следует бить, блокировать или бросать в уличном бою.

Почему есть школы боевых искусств, но нет рационалистских додзе (English)? (Этот вопрос был первым в моём первом посте в блоге (English).) Разве бить важнее чем думать?

Нет, но гораздо легче проверить, ударил ли ты кого-то или нет. Это часть обучения, важная часть.

Но что ещё более важно, есть люди, которые хотят бить, которые следуют идее, что должно быть систематизированное искусство сражения, которое сделает обучающегося заметно более мощным бойцом, со скоростью и изяществом за пределом возможностей не практикующихся. Они идут в школу, которая обещает научить их этому. И эта школа существует, потому что давным-давно у каких-то людей было чувство, что большее возможно. Эти люди собрались вместе, поделились между собой техниками, практиковались вместе, формализовали знания и в конце-концов разработали Систематизированное Искусство Боя. Они добились так много потому что считали, что должны быть круты, и были готовы вложить усилия.

Сейчас они добились чего-то стоящего этим стремлением, в отличие от тысячи других стремящихся к крутости, потому что могли сказать, ударили они цель или нет; это дало возможность школам регулярно соревноваться друг с другом в реалистичных соревнованиях с явно определёнными победителями.

Но до всего этого было стремление, желание стать сильнее, чувство, что большее возможно. Видение скорости, силы и грации, которой они ещё не обладали, но могли быобладать, если бы вложили уйму работы, которая позволила бы им систематизировать, тренироваться и тестировать.

Почему у нас ещё нет Искусства Рациональности?

В-третьих, потому что современные «рационалисты» имеют проблемы в командной работе: об этом я напишу больше.

Во-вторых, потому что сложно проверить, успешна ли тренировка или какая из двух школ сильнее.

Но во-первых, потому что у людей нет ощущения, что рациональность — это что-то, что должно быть систематизировано, тестируемо и передаваемо, как боевое искусство, что должно включать так же много знания, как и инженерия, чьи суперзвёзды должны практиковаться так же усердно, как и шахматные гроссмейстеры, чьи успешные адепты должны быть окружены видимой аурой крутости.

И обратно, они не оглядываются на отсутствие видимой мощи, и не говорят: «Должно быть, мы делаем что-то не так»

«Рациональность» кажется ещё одним хобби, о котором люди говорят на вечеринках, искусственным разговорным одеянием с немногими или вовсе никакими бонусами; при том не кажется, что этот подход неверен.

[1]: Robyn Dawes, Daniel Gilbert, Tooby & Cosmides

[2]: John Conway

[3]: Daniel Burfoot

Прочие материалы

Прочие материалы с lesswrong.com

Сюда попадают все материалы, которые не входят в книгу «Рациональность: от ИИ до Зомби». Также здесь могут встречаться материалы, которые в упомянутую книгу входят, но как часть «Цепочек», которые почти не переведены на русский.

Знание задним числом

Элиезер Юдковский

Знание задним числом это искажение, при котором люди, знающие ответ, значительно переоценивают его предсказуемость или очевидность в сравнении с оценками тех, кто данный ответ заранее не знает. Иногда это искажение называют эффектом «я-знал-это-наперед».

Фишхофф и Бейт [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе, о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо большую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году космический челнок Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

Вскоре после 11 сентября я подумал про себя, что сейчас кто-либо вспомнит про предупреждавшие сигналы разведки или наподобие этого, после чего знание задним числом начнет свою работу. Да, я уверен, что были предупреждения об Аль-Каиде, но вероятно были такие же предупреждения и об активности мафии, незаконной продаже ядерных материалов и вторжении с Марса.

Поскольку мы не видим цену всей картины, мы склонны выучивать только частные уроки. После 11 сентября Федеральное авиационное агенство запретило пользоваться на самолетах ножами для бумаг - словно бы проблема заключалась в том, что была пропущена эта частная «очевидная» мера предосторожности. Мы не выучили главный урок: цена эффективных мер предосторожности крайне высока, поскольку вам нужно стараться понять, что проблемы не так очевидны, какими кажутся прошлые трудности в свете знания задним числом.

Тестирование модели подразумевает под собой рассмотрение, насколько вероятен наблюдаемый исход. Знание задним числом систематически искажает этот тест; мы думаем, что у нашей модели больше вероятность быть истинной, чем на самом деле. И простое знание об этом когнитивном искажении не помогает убрать его влияние. Вам нужно выписывать ваши предсказания заранее. Или как говорит Фишхофф (1982):

Когда мы пытаемся понять прошлые события, мы неявно тестируем гипотезы или правила, которые используем для интерпретации и предсказания мира вокруг нас. Если, в свете знания задним числом, мы систематически недооцениваем сюрпризы, которые прошлое готовило и готовит для нас, мы подвергаем эти гипотезы слишком слабым тестам, и, возможно, не находим достаточно причины менять их.

Пример мотивированного продолжения

Элиезер Юдковский

Я могу понять многих комментирующих в «Пытки против песчинок в глазу»(English), которые утверждают, что предпочтительней песчинки в глазах у 3^^^3 (удивительное большое, но конечное число) людей, чем пятидесятилетняя пытка одного человека. Если вы думаете, что песчинка просто не имеет значения, пока нет других посторонних эффектов — если вы буквально не предпочитаете отсутствие песчинки ее наличию — тогда ваша позиция последовательна. (Хотя я подозреваю, что многие сторонники песчинок выразили бы иное предпочтение, если бы не знали о жале дилеммы.)

Так что хоть я и на стороне тех, кто выбирает ПЫТКУ, но я могу понять и тех, кто выбирает ПЕСЧИНКИ.

Но некоторые из вас говорят, что вопрос бессмысленен; или что вся мораль относительна и субъективна; или что вам нужно больше информации, прежде чем вы можете решить; или вы говорите о других запутывающих аспектах проблемы; и тогда вы не хотите выражать свои предпочтения.

Простите. Не могу поддержать вас в этом.

Если вы на самом деле отвечаете на дилемму, тогда не имеет значения какой выбор вы сделаете, все равно придется от чего-то отказаться. Если вы скажете ПЕСЧИНКИ, вы откажетесь от вашего утверждения на основании определенного вида утилитаризма; вы можете волноваться, что вы недостаточно рациональны, или что другие обвинят вас в приверженности большим числам. Если вы скажете ПЫТКА, вы примете исход, что там есть пытка.

Я фальсифицируемо предсказываю, что большинство тех, кто уходит от ответа, на самом деле уже знают свой ответ — либо ПЫТКА, либо ПЕСЧИНКИ — от высказывания которого они уходят. Возможно просто на долю секунды прежде чем запутывающе-вопросная операция закончится, но я предсказываю, что уход есть. (для большей конкретности: я не предсказываю, что вы знали и выбрали и имели в сознании прямо сейчас некоторый определенный ответ, который осознанно не даете. Я предсказываю, что ваше мышление склонно к определенному неудобному ответу, по крайней мере на долю секунды, прежде чем вы начнете искать причины, чтобы поставить под вопрос саму дилемму.)

В дискуссиях на тему биоэтики, вы очень часто можете видеть экспертов, обсуждающих то, что они видят как за и против, скажем, для исследований по стволовым клеткам; и тогда, в заключение своей речи, они рассудительно объявляют, что срочно требуется больше обсуждений, с участием всех заинтересованных сторон. Если вы на самом деле приходите к некому заключению, если вы на самом деле делаете вывод, что нужно запретить эти исследования, то на вас ополчатся родственники умирающих от болезни Паркинсона. Если вы выскажетесь за продолжение исследований, то на вас обрушится гнев религиозных фундаменталистов. Но кто будет спорить с призывом к дальнейшим обсуждениям?

Не нравится то, к чему ведут свидетельства в споре дарвинистов и креационистов? Рассмотрите вопрос трезво вопрос и решите, что нужно больше свидетельств; вы хотите, чтобы археологи нашли еще миллиард окаменелостей, прежде чем вы придете к единому выводу. Таким образом вы никогда не скажете ничего кощунственного, и в то же время не порушите свой образ как рационалиста. Продолжайте делать это во всех вопросах, которые могут выглядеть как ведущие в неудобном направлении, и вы сможете поддерживать в своем сознании всю религию.

Настоящая жизнь часто запутана, и нам приходится выбирать все равно, поскольку отказаться от выбора — это тоже выбор. План ничего не делать — это тоже план. Мы всегда что-то делаем, даже бездействуя. Как сказали Рассел и Норвиг, «Отказываться выбирать это все равно что отказываться, чтобы время шло».

Уворачиваться от неудобных выборов — опасная привычка для сознания. Есть определенные случаи, когда мудро отложить суждение (на час, но не на год). Но когда вы встаете перед дилеммой, где все ответы кажутся неподходящими, это не такой случай! Выберите один из неудобных ответов как наилучший по степени неудобности. Если информации недостает, заполните пробелы правдоподобными предположениями или вероятностными распределениями. Делайте все, что угодно, чтобы превозмочь простой уход в сторону от неудобства. Поскольку при этом вы просто пытаетесь убежать.

Пока вы не выбрали промежуточное лучшее предположение, неудобство будет поглощать ваше внимание, отвлекать вас от поиска, искушать вас запутаться в вопросе всякий раз, когда ваш анализ будет приводить вас к определенному направлению.

В реальной жизни, когда люди уклоняются от неудобных выборов, они часто вредят другим точно так же, как и себе. Отказаться от выбора очень часто наихудший выбор, который вы можете сделать. Мотивированное продолжение это не привычка мышления которую себе кто-либо может себе позволить, независимо от того, эгоист это или же альтруист. Цена удобства слишком велика. Важно овладеть привычкой стискивать зубы и выбирать — так же важно как впоследствии искать лучшие альтернативы.

Атеизм = не-теизм + анти-теизм

Элиезер Юдковский

Время от времени нам задают вопросы из серии «Какая польза от того, чтобы постоянно быть недовольным по поводу того, что Бога нет?». С другой стороны, мы слышим такие фразы, как «Младенцы — атеисты от природы». Мне кажется, что такие замечания и довольно глупые дискуссии, которые вокруг них разгораются, показывают, что понятие «атеизм» на самом деле состоит из двух отдельных компонентов. Назовём их «не-теизм» и «анти-теизм».

Чистый «не-теист» — это человек, выросший в обществе, в котором понятие «Бог» просто никогда не было изобретено — письменность в этом обществе изобрели раньше сельского хозяйства, и одомашивание растений и животных было делом рук ранних учёных. В таком мире суеверие добралось только до первобытного этапа, на котором мир кажется наполненным множеством духов, почти не имеющих собственной морали. Затем суеверие вступило в конфликт с наукой и сошло на нет.

Суеверия первобытных охотников и собирателей не очень похожи на то, что мы обычно понимаем под «религией». Ранние западные комментаторы часто высмеивали их, утверждая, что они и вовсе религией не являются; эти комментаторы, на мой взгляд, были правы. У охотников и собирателей сверхъестественные агенты не имеют никакой особенной моральной грани, и не следят за соблюдением каких-то правил. Их можно умилостивить церемониями, но им не поклоняются. И, что самое главное, охотники и собиратели ещё не успели расщепить свою эпистемологию. У первобытных культур нет специальных правил для рассуждений о «сверхъестественных» сущностях, или даже явного разграничения между сверхъестественным и естественным; духи грома просто существуют в рамках естественного мира, о чём свидетельствует молния, и наш ритуальный танец вызова дождя призван управлять ими. Это, наверно, не идеальный танец вызова дождя, но это лучший из всех, что пока придумали — был ещё тот знаменитый случай, когда он сработал…

Если бы вы показали первобытным людям ритуал для вызова дождя, который работал бы со стопроцентной гарантией посредством взывания к другому духу (или завод по опреснению воды, что в принципе одно и то же), они, скорее всего, быстро избавились бы от старого. У них нет специальных правил для рассуждения (English) о духах — ничего, что могло бы оправдать результат теста имени пророка Илии, который прошёл новый ритуал и не прошёл старый. Для отрицания этого теста нужна вера, религиозные убеждения — а это концепция, возникшая уже после аграрного периода. Перед этим не было государств, в которых священнослужители были ветвью власти, боги не являлись моральным стандартом и не следили за соблюдением установленных вождями правил, и за сомнения в них и их существовании не было специального наказания.

И поэтому цивилизация не-теистов, изобретя науку, просто самым обычным образом делает вывод, что дождь, оказывается, вызван конденсацией в облаках, а не духами. Они ощущает некоторую неловкость по поводу старого суеверия и без промедления выбрасывают его прочь. Они не испытывают никаких трудностей, потому что у них есть лишь суеверия, они ещё не успели добраться до анти-эпистемологии (English) (дополнительных правил мышления в определённых категориях, обычно для защиты существующих убеждений от опровержения).

Не-теисты не знают, что они «атеисты», потому что им никто не рассказал, во что они должны не верить — никто не изобрел «высшего бога», который был бы главным в пантеоне, не говоря уже о монолатрии или монотеизме.

Тем не менее, не-теисты уже знают, что они не верят в существование духов деревьев. Мы можем даже предположить, что они не только не верят в лесных духов, но и в целом имеют хорошую, развитую эпистемологию, и поэтому понимают, что постулировать онтологически базовые ментальные сущности (English) (сущности, которые нельзя редукционистски свести к не-ментальным сущностям, таким, как атомы) — не очень хорошая идея.

Как не-теисты встретят идею Бога?

— Вселенная была создана Богом.

— Кем?

— Э-э, гм, Богом. Бог есть Творец — разум, который решил создать вселенную, и…

— А, так вы утверждаете, что вселенная была создана разумным агентом. Похоже, вы говорите о стандартной гипотезе о том, что мы живём в компьютерной симуляции. Вы, кажется, весьма уверены в этом — у вас что, есть какие-то сильные свидетельства?..

— Нет, я не имею ввиду Матрицу! Бог — это не житель другой Вселенной, запустивший симулятор этой, он просто… Его невозможно описать. Он есть Первопричина, Творец всего, и…

— Кажется, вы постулируете онтологически базовую мыслящую сущность. К тому же, то, что вы предложили — это просто таинственный ответ на таинственный вопрос. Вообще, откуда вы всё это взяли? Не могли бы вы начать рассказ со своих свидетельств — какие новые наблюдения Вы пытаетесь объяснить?

— Мне не нужно никаких свидетельств, у меня есть Вера!

— У вас есть что?

И в этот самый момент не-теисты впервые стали атеистами. То, благодаря чему произошла эта трансформация и есть приобретение анти-теизма — формулирование явных аргументов против теизма. Если вы ни разу не слышали о Боге, вы можете быть не-теистом, но не анти-теистом.

Конечно же, не-теисты не собираются изобретать какие-то новые правила для опровержения Бога — они просто применяют стандартные эпистемологические принципы, которые были разработаны их цивилизацией в процессе отказа от других теорий и концепций — таких, скажем, как витализм. Рационалисты утверждают, что именно так и должен выглядеть анти-теизм в нашем мире: анализ религии при помощи стандартных, общих правил. Этот анализ, как становится ясно достаточно скоро, приводит к её полному отбрасыванию — как с точки зрения познания мира, так и с точки зрения морали. Каждый анти-теистический аргумент должен быть частным случаем общего правила эпистемологии или морали, применимого и вне религии — к примеру, в столкновении науки и витализма.

Если принять во внимание различие между не-теизмом и анти-теизмом, то многие современные споры становятся более понятными — например, вопрос «Зачем придавать столько значения тому, что Бога не существует?» можно перефразировать в «Какова польза обществу от попыток распространения анти-теизма?» Или вопрос «Какой толк от того, чтобы быть просто против чего-то? Где ваша позитивная программа?» превращается в «Меньше анти-теизма и больше не-теизма!». И становится понятно, почему фраза «дети рождаются атеистами» звучит странновато — просто дети не имеют понятия об анти-теизме.

Теперь что касается утверждения о том, что религия совместима с разумным познанием: найдётся ли хоть одно религиозное утверждение, которое не будет отвергнуто хорошо развитой, продвинутой цивилизацией не-теистов? Не будет отвергнуто в ситуации, когда ни у кого нет причин быть осторожным с выводами, нет специальных правил, выделяющих религию в отдельный магистерий, и нет последователей существующих традиционных религий, которых не хотелось бы расстраивать?

Борьба против богизма не имеет никакой самостоятельной ценности — общество не-теистов забудет об этом споре на следующий же день.

Но, по крайней мере, в нашем мире безумие — это не очень хорошо, и здравомыслие стоит защищать, и поэтому открытый анти-теизм (такой как, например, у Ричарда Докинза) приносит пользу обществу — разумеется, при условии того, что он действительно работает (вполне возможно, так и есть: в новом поколении всё больше и больше атеистов).

Тем не менее, цель в долгосрочной перспективе — это не общество атеистов. Это общество не-теистов, в котором на вопрос «Если Бога нет, то что же остается?» люди с недоумением отвечают «А разве чего-то не хватает?».

Забудьте кое-что, чему вас учили в школе

Элиезер Юдковский

В «Трех школьных вещах, от которых нужно отучиться» (English) Бен Касноча ссылается на список из трех вредных привычек мышления, составленный Биллом Буллардом: считать важными частные мнения, решать выданные задачи, зарабатывать одобрение других. Альтернативы, предлагаемые Буллардом, не кажутся мне хорошими, однако он уверенно выделил некоторые важные проблемы.

Я могу назвать многие другие вредные привычки мышления, привитые школой (и их будет слишком много, чтобы озвучить здесь), но ограничусь двумя из наиболее нелюбимых.

I. Полагаю, что самая опасная привычка мышления, которую прививает школа, заключается в том, что вы, даже не понимая чего-то, можете просто воспроизвести это, как попугай. Один из базовых навыков, полезных в жизни, — уметь осознать свое замешательство, и школа активно сводит эту способность на нет, приучая школьников думать, что они «понимают», если они в состоянии успешно ответить на аттестационные вопросы, что крайне, невероятно далеко от полноценного усвоения знаний, когда они становятся частью вас. Ученики привыкают, что «питание» означает «класть еду в рот»; экзамен не требует разжевывать ее или проглатывать, и они остаются голодными.