Рациональность: От ИИ до Зомби

По жизни, большинство людей не ведут свою жизнь так, чтобы видеть себя злодеями. Каждый в своей истории видит себя героем. История Врага, если смотреть его глазами, вряд ли будет рассказывать о том, что он плохой. Если вы пытаетесь придумать мотивацию, которая заставила Врага выглядеть плохо, вы скорее всего будете совершенно неправы касательно того, что на самом деле происходит в его голове.

Однако политика — это убийца разума. Дебаты — война; аргументы — солдаты. Если вы решили, на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать аргументы, которые говорят в пользу противоположной стороны, иначе получится, что вы предаете своих солдат.

Даже если Враг является злым по своей природе, это должно быть аргументом в пользу вашей стороны. И любой аргумент в пользу вашей стороны следует поддерживать, не имеет значения насколько глупым способом — иначе вы ослабите давление где-то на поле боя. Все стараются превзойти соседа в патриотическом осуждении и никто не осмеливается возразить. Так что вскоре Врагу приписываются рога, крылья, как у летучей мыши, пламя изо рта и клыки с разъедающим плоть ядом. Если же вы отрицаете что-либо из этого списка и пытаетесь вернуться к фактам, то вы встаете на сторону врага; вы предатель. Очень немногие поймут, что вы защищаете не Врага, но истину.

Если бы только злодеи делали ужасные вещи, то история людского вида была бы совсем другой. Ведь злые по своей природе люди крайне редки.

Или, возможно, это страх, что понимание приведет к прощению. Куда легче просто застрелить злодея. Куда легче идти в бой с кличем: «Умрите, порочные мерзавцы!» — нежели с кличем: «Умрите, люди, такие же как и я, но выросшие в других условиях!». Тогда ведь вы будете ощущать вину, убивая людей, которые на самом деле не являются чистым злом.

Для меня это похоже на глубинное стремление к однобоким политическим дебатам, в которых стараются получить наилучшую политику без недостатков. Если армия пересекает границу или если душевнобольной идет на вас с ножом, то альтернативами будет: а) защищаться, б) позволить себя убить. Если вы защищаетесь, то вы можете убить сами. Если вы убиваете кого-либо, кто в альтернативном развитии событий мог бы быть вашим другом, то это трагедия. В самом деле трагедия. С другой стороны, позволить себя убить — это тоже трагедия. Почему должен быть выбор, который не приводит к трагедии? Кто сказал, что у лучшей политики не может быть недостатков? И если кто-то должен умереть, то по возможности это должен быть зачинщик насилия, чтобы предотвратить возможные дальнейшие трагедии и таким образом минимизировать общее число смертей.

Если Враг является средним человеком, который действует согласно своим убеждениям о текущей ситуации, которые призывают его проявить жестокость в качестве стандартной реакции, тогда это не значит, что его убеждения на самом деле точны. Не значит, что он прав. Это значит, что вы будете вынуждены застрелить кого-то, кто является героем в своей истории, и в его романе главный герой умрет на 80 странице. Это трагедия, однако это меньшая трагедия, нежели та, что случилась бы при альтернативном развитии событий. Это выбор, который полицейские делают каждый день, чтобы спасти наши чистые маленькие миры от падения в бездну хаоса.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что происходит в его сознании — это знание не обеспечивает вас оправданием для удара по противнику. Не дает вам ощущения праведного гнева. Не улучшает ваше мнение о себе. И если ваша оценка заставляет вас ощущать невыносимую печаль, то, возможно, сейчас видите мир таким, каков он есть. А в редких случаях вы можете ощутить, как мурашки ужаса бегут по вашей спине, если вы имеете дело с настоящим психопатом или же неврологически здоровыми людьми, убеждения которых практически полностью разрушают их способность здраво мыслить (Сайентологи или «Лагерь Иисуса»).

Так что давайте будем честны и скажем вслух — люди, угнавшие самолёты 11 сентября, не были злодеями по природе. Они не ненавидели свободу. Они тоже были героями в своих собственных историях и они умерли за то, что, как они верили, было правильным — за истину, справедливость и мусульманский путь. Если они видели себя таким образом, то это не значит, что их убеждения были правильны. Если они видели себя таким образом, то это не значит, что мы должны согласиться с тем, что они поступили справедливо. Если они видели себя таким образом, это не значит, что пассажиры 93 самолета должны были остаться внутри и позволить этому произойти. Это значит лишь то, что в альтернативной вселенной, если бы угонщики выросли в другом окружении, они могли бы стать полицейскими, а не преступниками. И это в самом деле трагедия. Добро пожаловать на Землю.

Обратное глупости не есть ум

Элиезер Юдковский

«…После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…»

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Если вы знаете кого-то, кто ошибается в 99,99 % случаев, когда отвечает на вопросы вида «да/нет», то вы можете получить такую же точность для верных ответов, просто инвертируя их ответы. Они должны проделывать всю работу по получению хороших свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом, просто для того, чтобы получить такой процент ошибок. То они должны быть сверхумными, чтобы быть настолько глупыми.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

Ad hominem аргумент — некорректен.

Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

Если ваш компьютер перестает работать, вы не можете сделать вывод что вся система никуда не годится и что вам нужен компьютер без процессора АМD, ATI видеокарты, Maxtor жесткого диска и кулеров — даже несмотря на то, что все эти компоненты в вашей системе есть и при этом она не работает. Возможно, что вам нужен всего лишь новый провод питания.

Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.

Аргумент затмевает авторитет

Элиезер Юдковский

Байесианец с черным поясом steven в своем блоге пытается объяснить асимметрию между хорошими аргументами и весомым авторитетом, однако он не сумел дать ответы на все комментарии к предыдущей статье, так что этим займусь я.

Первая ситуация: Барри — знаменитый геолог. Чарли — четырнадцатилетний подросток, неоднократно попадавший в полицию и подверженный психопатическим приступам. Барри решительно доказывает Артуру определенное контринтуитивное утверждение о скалах и Артур присваивает его утверждению вероятность в 90%, что оно истинно. Тогда Чарли также приводит равное контринтуитивное утверждение о скалах, и Артур присваивает его утверждению только 10% вероятности, что оно истинно. Очевидно, что Артур принимает во внимание авторитет источника, когда решает, чьим утверждениям верить.

Вторая ситуация: Дэвид делает контринтуитивное утверждение касательно физики и дает Артуру подробное объяснение аргументов, включая отсылки. Эрни делает аналогичное контринтуитивное утверждение, однако аргументирует крайне слабо, кое-где предлагая просто поверить ему. Как Дэвид, так и Эрни утверждают, что это наилучшее объяснение, которое они могут дать (любому человеку, не только Артуру). Артур присваивает 90% вероятности быть истинным утверждению Дэвида, и только 10% утверждению Эрни.

Может показаться, что оба сценария в принципе похожи: в обоих во внимание берутся полезные свидетельства: сильный авторитет против слабого, сильный аргумент против слабого.

Однако теперь предположим, что Артур просит Барри и Чарли привести полное объяснение с отсылками; и оба они делают одинаково хорошие объяснения, которые, как видит Артур, совпадают. Тогда Артур просит Дэвида и Эрни показать свои документы и оказывается, что они примерно одинаковы тоже — возможно они оба клоуны, а может оба — физики, не имеет значения.

Предполагая, что Артур компетентен достаточно, чтобы разобраться во всех приведенных аргументах — иначе они не более чем шум — кажется, что Артур должен рассматривать Дэвида как обладающего значительным преимуществом над Эрни, в то время как Барри если и превосходит Чарли, то совсем немного.

В самом деле, если технические аргументы достаточно хороши, то у Барри нет никакого преимущества перед Чарли. Хороший технический аргумент это то, что может уменьшить степень доверия к личному авторитету говорящего.

Точно так же, если мы верим Эрни, что он выдал нам лучший аргумент из тех, что мог, включая все логические шаги, которые он выполнил и все источники, на которые опирался — и которые цитировал — тогда мы можем игнорировать любую информацию о документах Эрни. Не имеет значения, клоун он или физик. (Опять же предполагается, что мы достаточно эрудированы, чтобы понять его аргументы. В любом другом случае Эрни просто произносит какие-то загадочные слова и то, поверим ли мы им, зависит в большей степени как раз-таки от его авторитета.)

Таким образом кажется, что между аргументами и авторитетом есть своеобразная асимметрия. Если мы знаем об авторитете, то мы все еще хотели бы услышать и аргументы; однако когда мы услышали аргументы, вряд ли нам нужно будет знать авторитетность источника.

Очевидно (скажет неопытный человек) авторитет и аргумент являются фундаментально различными видами свидетельства, различие которых непостижимо при помощи до скуки ясных методов байесовской теории вероятности. Поскольку при одинаковой силе свидетельства, 90% против 10%, ситуации ведут себя по-разному. Как же нам поступить?

Здесь примерно половина технической демонстрации того, как представить эту разницу в теории вероятности. (Остальное вы можете принять на веру, положившись на мой авторитет, или посмотреть в отсылках.)

Если

p(H|E

1

)=90%

p(H|E1)=90% и

p(H|E

2

)=9%

p(H|E2)=9%, какова вероятность

p(H|E

1

,E

2

)

p(H|E1,E2)? Если признание Е

₁

истиной дает нам возможность присвоить Н вероятность в 90%, и признание Е

₂

истиной дает возможность присвоить Н вероятность в 9%, какую вероятность мы должны присвоить Н, если верны и Е

₁

и Е

₂

? Это просто не что-либо, что вы можете вычислить в теории вероятности из имеющейся информации. Нет, отсутствующая информация это не априорные сведения об Н. Е

₁

и Е

₂

могут быть не независимыми друг от друга.

Предположим, что Н это «моя дорожка скользкая», Е

₁

это «разбрызгиватель работает» и Е

₂

это «сейчас ночь». Дорожка становится скользкой, если разбрызгиватель работает не меньше минуты и остается такой до тех пор, пока он не выключится. Так что если мы знаем, что разбрызгиватель включен, то с 90% вероятностью дорожка скользкая. Разбрызгиватель включен 10% ночного времени, так что если сейчас ночь, то вероятность того, что дорожка скользкая — 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть если нам известны оба факта — вероятность того, что дорожка скользкая, равна 90%.

Мы можем представить это графически следующим образом:

Ночь

→

Разбрызгиватель

→

Скользкая дорожка

Ночь может приводить к включению разбрызгивателя, а включение разбрызгивателя может приводить к скользкой дорожке.

Тут важны направления стрелок. Если я напишу:

Ночь

→

Разбрызгиватель

←

Скользкая дорожка

Это означало бы, что если я не знаю ничего о разбрызгивателе, то вероятности того, что была ночь и что дорожка скользкая будут независимы друг от друга. Для примера предположим, что я бросаю одну кость и вторую кость, а потом складываю выпавшие числа в сумму:

Кость 1

→

Сумма

←

Кость 2.

Если вы не скажете мне сумму, а сообщите только число с первой кости — я не смогу узнать ничего о том, что выпало на второй кости. Однако если вы сообщите мне число на первой кости и общую сумму, то узнать число на второй кости не составит труда.

Определение того, являются ли разные куски информации зависимыми или независимыми друг от друга при заданной начальной информации, на самом деле является достаточно технической темой. Почитать об этом можно в книге Джуди Перл «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference and Causality». (Если у вас есть время на книги, то рекомендую вам прочесть эту.)

Если вы знаете, как читать причинные графы, тогда вы взглянете на граф про кости и сразу же увидите:

p(кость 1,кость2)=p(кость 1)∗p(кость 2)

p(кость 1,кость2)=p(кость 1)∗p(кость 2)

p(кость 1,кость2|сумма)≠p(кость 1|сумма)∗p(кость 2|сумма)

p(кость 1,кость2|сумма)≠p(кость 1|сумма)∗p(кость 2|сумма)

Если вы смотрите на верную диаграмму про дорожку, вы видите следующие факты:

p(скользкая дорожка|ночь)≠p(скользкая дорожка)

p(скользкая дорожка|ночь)≠p(скользкая дорожка)

p(скользкая дорожка|разбрызгиватель)≠p(скользкая дорожка)

p(скользкая дорожка|разбрызгиватель)≠p(скользкая дорожка)

p(скользкая дорожка|ночь,разбрызгиватель)=p(скользкая дорожка|разбрызгиватель)

p(скользкая дорожка|ночь,разбрызгиватель)=p(скользкая дорожка|разбрызгиватель)

То есть, вероятность того, что дорожка скользкая, учитывая знание о разбрызгивателе и ночи, равно вероятности, которую мы присваиваем скользкой дорожке, если знаем только о разбрызгивателе. Знание о разбрызгивателе делает знание о ночи неактуальным касательно дорожки.

Это известно как «затмение», и критерий, который позволяет нам распознавать такие условные независимости в причинно-следственных графах, называется Д-разбиение.

Для случая с аргументом и авторитетом, причинно-следственная диаграмма будет выглядеть так:

Истина

→

Качество аргумента

→

Убеждение эксперта.

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

p(истина|аргумент,эксперт)=p(истина|аргумент)

p(истина|аргумент,эксперт)=p(истина|аргумент)

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

Ухватить задачу

Элиезер Юдковский

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал: «Это не неудача в применении какой-то высокоуровневой, замысловатой, сложной техники. Это упущение самых основ. Вроде как не следить за шариком при игре в наперстки».

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Если есть причины вследствие когнитивных искажений говорить, что светит солнце, это не значит, что от этого внезапно наступит ночь.

Как вы не можете всегда проводить эксперимент, так и не всегда вы можете проверить вычисления. Иногда у вас нет достаточно исходной информации, иногда не хватает частной информации, иногда просто нет времени. Есть ряд ситуаций, в которых стоило бы оценить рациональность источника. Вы всегда должны делать это с ощущением пустоты в сердце, ощущением чего-то пропущенного

Всегда, когда вы только можете, танцуйте как можно ближе к исходному вопросу — заставьте себя это делать — приближайтесь максимально к тому, чтобы ухватить задачу!

Рациональность и английский язык

Элиезер Юдковский

Моё прошлое эссе напомнило одному из читателей «Политику и английский язык» Джорджа Оруэлла. Я был польщён — особенно потому, что тема этого эссе уже пришла мне в голову.

Если вам вправду интересен взгляд творца на рациональность, читайте Оруэлла. Рационалистам следует его читать не меньше, чем писателям. Оруэлл не ученый, но сочинитель; его орудие не числа, но слова; его противник не Природа, но зло в людях. Чтобы отправить человека за решётку, не говорите «Я собираюсь заключить мистера Дженнингса в тюрьму на семь лет без суда». Подпустите тумана, не дайте слушателям вообразить происходящее. Скажите: «Ненадёжный элемент подвергнут альтернативному судебному процессу».

Голос Оруэлла — вопль против тоталитаризма и неясного мышления, за которым зло любит себя прятать. Его труды о языке — такая же классика для рационалиста, как и книги Фейнмана, Сагана или Докинза.

«Писателям советуют избегать использования пассивного залога». Знание науки не укажет на проблему в этой фразе, но если вы хотя бы немного писали, то сразу поймёте, что не так. Я составил предложение в пассивном залоге и не уточнил, кто именно даёт писателям такой совет. Пассивный залог убирает тех, кто действует; остаются лишь те, на кого подействовали. «Ненадёжный элемент подвергнут альтернативному судебному процессу», — кем подвергнут? В чём заключается «альтернативный судебный процесс»? Убрав действие из предложения, можно спрятать, что происходит на самом деле.

Статьи в научных журналах часто пишутся в пассивном залоге. (Простите, некоторые учёные пишут их в пассивном залоге. Не то чтобы статьи самозарождались и некого было обвинить.) Куда весомее сказать «Испытуемым был назначен Progenitorivox», чем «Я раздал студентам по упаковке препарата и сказал пить по таблетке каждый вечер». Если убрать учёного из описания, полезные данные останутся. Но на самом деле учёный там был, испытуемые — живые студенты, препарат не «был назначен», а студенты глотали таблетки по инструкции. Пассивный залог сужает правду.

Судя по комментариям к моим эссе, многие поспорят с тем, что пассивный залог в научной статье чем-то плох. Ведь если подумать, то понятно, что учёный там был. Это не кажется логической ошибкой. Вот поэтому рационалистам нужно читать Оруэлла, а не только Фейнмана или даже Джейнса.

Научная литература даёт знания, художественная — опыт. Медицина предскажет, что будет с человеком без скафандра в вакууме. А художественная литература заставит вас это пережить.

Некоторые рационалисты попытаются разобрать неясную фразу и увидеть, нет ли там ещё одного смысла, попробуют воссоздать логичную трактовку. Они прочтут фразу доброжелательно, предполагая о мыслях автора лучшее. Но писатели стараются не полагаться на такое отношение. То, как вас поймут, и есть то, что вы сказали, и неважно, о чём вы думали. Нельзя спорить с читателем, сколь умны бы ни были ваши обоснования.

Писатель знает: читатель не остановится подумать. Художественный опыт — непрерывный поток впечатлений. Писатель-рационалист следит, какой опыт создают слова. Если вы, вникая в смысл фразы, неторопливо обдумываете слова, препарируете формулировки, перебираете возможные значения и выискиваете зёрна истины, — то вы покидаете пределы первого впечатления — того, что видят и чувствуют другие читатели.

Прозаик заметит, что фраза «Испытуемым был назначен препарат» вопиюще неправильна. Что переживёт читатель? Только отстранённое ощущение властности, только чувство, что тебе сказали что-то веское. Прозаик увидит, что слова слишком расплывчаты и скрывают настоящую историю: строгого профессора, который с упаковкой таблеток в руках объясняет взволнованной студентке, что делать.

Я не говорю, что научные статьи нужно писать как романы. Но рационалисты должны лучше осознавать, как слова рождают опыт. Рационалистам нужно понимать разум и как с ним взаимодействовать — начиная с того, как их собственное сознание воплощается в языке. Рационалист должен ясно видеть настоящее, практическое действие фраз, а не только значение, которое складывается из буквального смысла слов.

Более прямо: то, что вы имели в виду, не оправдывает того, как вас поняли!

Неважно, какую рациональную трактовку вы соорудите для фразы, призванной сорвать овации, вроде «ИИ должен быть разработан только в рамках демократических процессов». Трактовка не искупит её иррационального влияния — демонстративного запроса на одобрение, не говоря о том, насколько эта фраза размыта.

Оруэлл предостерегал, как действуют речевые штампы, как меняют они опыт мышления1:

Когда видишь на трибуне усталого болтуна, механически повторяющего привычные фразы: звериный оскал, железная пята, кровавая тирания, свободные народы мира, встать плечом к плечу, — возникает странное ощущение, что смотришь не на живого человека, а на манекен… Оратор, пользующийся такой фразеологией, уже сильно продвинулся по пути от человека к машине. Из гортани его выходят надлежащие звуки, но мозг в этом не участвует, как должен был бы, если бы человек сам выбирал слова.

…

Но самое главное — пусть смысл выбирает слова, а не наоборот. Самое худшее, что можно сделать со словами в прозе, — это сдаться на их милость. Когда вы думаете о конкретном предмете, вы думаете без слов, а затем, если хотите описать то, что представили себе, вы начинаете поиски и находите нужные точные слова. Когда вы думаете о чем-то отвлеченном, вы склонны первым делом хвататься за слово, и, если не удерживаться от этого, сложившийся диалект ринется к вам на помощь, сделает за вас вашу работу — правда, затемнив или даже изменив исходный смысл. Может быть, лучше всего не прибегать к словам, покуда вы не проясните для себя смысл через образы и ощущения.

Пирс мог бы написать последний абзац. Многие искусства ведут к одному Пути.

1.

Зло в людях и неясное мышление

Элиезер Юдковский

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Против рационализации

Знание искажений может вредить

Элиезер Юдковский

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» (англ. Motivated skepticism in the evaluation of political beliefs) описывает шесть явлений:

Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)

Вы могли бы вспомнить таких людей, правда? Обладателей высокого интеллекта, которые не очень-то преуспевают в делах, но чертовски хороши в спорах? Поможете ли вы им, если просто расскажете об искажениях? Сделаете ли их успешными рационалистами?

Один мой знакомый узнал о проблеме калибровки и сверхуверенности. После этого он стал говорить: «Исследования показывают, что эксперты часто ошибаются, так что им верить нельзя. Поэтому, когда я делаю прогнозы, я стараюсь опираться на то, что история будет идти как шла». Сказав это, он погружался в запутанную и сомнительную экстраполяцию. В чужих доводах искажения и лжеаргументы бросаются в глаза сильнее, чем в своих.

Я рассказал ему об ошибке опровержения и эффекте сноровки. И когда в очередном разговоре я произнёс что-то, что ему не понравилось, он обвинил меня в софистике. Он не указывал мне на конкретные ошибки, не искал в моих словах слабых мест. Он просто вздохнул и сказал, что я обратил свой разум против себя. Теперь он овладел ещё одним Универсальным контраргументом.

Представьте, что встречаете человека, который кажется умным, но говорит то, что вам не нравится. Если образ искушённого спорщика сразу приходит вам на ум, это плохой знак.

Я пытаюсь учиться на ошибках. Свой последний рассказ об искажениях я начал с того, что описал ошибку конъюнкции и эвристику доступности, обрисовав этими примерами понятие искажения. Затем я перешёл к ошибке подтверждения, ошибке опровержения, эффекту сноровки, мотивированному скептицизму и другим явлениям, которые проявляются в формировании взглядов. Следующие полчаса я усердно и въедливо говорил об этих опасностях и рассматривал их со всех точек зрения, с каких только мог.

Чтобы слушатели заинтересовались, хватило бы и просто описать пару ошибок. Но что дальше? Книги об искажениях — в основном когнитивная психология ради неё самой. Мне нужно было предупредить о худшем за одну лекцию — иначе моим слушателям, быть может, никто бы этого не рассказал.

В тексте или устно, я теперь стараюсь не упоминать о калибровке и сверхуверенности, пока не расскажу об ошибке опровержения, мотивированном скептицизме, «умных спорщиках» и дисрациональности. Прежде всего — не навреди!

Обновляй себя шаг за шагом

Элиезер Юдковский

Политика — убийца разума. Спор — это война, аргументы — солдаты. У вас появляется искушение толковать любой возможный исход эксперимента в пользу своей теории, словно вы защищаете крепость от атак со всех сторон. Но так нельзя. Это математически невозможно. Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против.

Но если вы защитили своё любимое убеждение не до конца, всё в порядке. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то один раз из двадцати вы увидите контрсвидетельство. Всё хорошо. Это нормально. Этого даже стоит ожидать, пока на каждое свидетельство против теории приходится 19 наблюдений в её пользу. Вероятностная модель выдержит пару ударов и выстоит, если удары не будут продолжаться.

Однако многим — особенно в тех вопросах, где они не являются специалистами, — кажется, что истинные теории не имеют права на ошибку, а ложные ошибаются всегда.

Некоторые люди хватаются за одно наблюдение, которое считают свидетельством в пользу теории, как за исчерпывающее её доказательство. По их словам, теория его «объясняет», как будто больше ничего и не нужно. Как будто не бывает свидетельств в поддержку ложной теории, ни единого наблюдения. Тогда для доказательства хватало бы любого и единственного факта в пользу теории.

Немногим умнее «опровергать» вероятностную теорию одним наблюдением, словно ничто никогда не указывает против верной теории. Но именно так люди спорят уже который век, пытаясь развеять все вражеские доводы и отрицая, что у врага есть хоть что-то в свою поддержку. Люди спорят однобоко. В их картине мира не найдётся ни грамма фактов против их теорий. Даже одно вероятностное контрсвидетельство разрушит всё.

Кто-то сейчас возмутится: «Нельзя оставлять врагу ни пяди, если хочешь выиграть настоящий спор! Если смириться хотя бы с одним возражением, враг снова и снова будет им размахивать — такого нельзя допустить! Ты проиграешь! Что может быть хуже?»

Неважно. Рациональность — не для победы в спорах, а для выбора верной стороны. Когда вы уже решили, за кого играть, рациональность уже сделала своё дело, хорошо ли или плохо. Но как выбрать сторону? Если неверный выбор пугает вас, пусть даже немного, то стоит учесть все свидетельства.

Рациональность — танец, а не прогулка. Каждое движение в нём должно быть точным, ни дюймом левее или правее. С каждой крупицей наблюдений в вашу пользу — сдвигайте уверенность вверх. С каждой крупицей против — вниз. Да, вниз. Даже если теория верна, вы должны иногда понижать свою степень убеждённости — если только это не точная теория.

Если ваше убеждение получает пару ударов — всё в порядке. С вероятностными теориями такое бывает. (А вот если ошибается точная теория, у неё проблемы!) Просто слегка сдвиньте уверенность — вероятность, шансы или ощущение убеждённости в голове — немного вниз. И ждите дальнейших свидетельств. Если теория верна, то наблюдения скоро это покажут и снова сдвинут вероятность вверх. Если теория ошибочна, то она вам не нужна.

Чёрно-белое, бинарное, качественное мышление порождает проблему: любое наблюдение либо разрушает теорию, либо нет. Когда против теории всё-таки появляются незначительные свидетельства, возникает внутреннее противоречие. Чтобы его разрешить, мы отбрасываем эти свидетельства. При этом мы перестаём плавно обновлять убеждения и учитывать всё, что знаем. Если же мы рассуждаем на языке вероятностей, то видим, что в пользу верной теории в среднем указывает бо́льший вес наблюдений, нежели против неё. И можно без страха сказать себе: «Это свидетельство немного не укладывается в мои взгляды, я сдвину свою убеждённость вниз». Да, вниз, но не разрушая свою теорию. Рассуждайте количественно.

Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против. Уверенность всегда может сдвинуться вниз — ожидайте это в той же степени, в какой ожидаете её сдвига вверх. Если, как вам кажется, вы уже знаете, что за свидетельство получите, то вы уже должны довольно сильно верить в свою теорию — назначать ей вероятность, близкую к единице. Тогда этой вероятности почти некуда расти. И каким бы маловероятным вам не казалось увидеть свидетельство против, итоговый сдвиг вниз, который оно должно произвести, будет большим: нужно точно уравновесить возможный сдвиг вверх. Математическое ожидание апостериорной вероятности равняется априорной.

Глупо бояться сдвигать вероятность вниз, если правильный ответ вообще вас интересует. Каждое будущее наблюдение в одинаковой степени может сдвинуть убеждённость в обе стороны.

Быть может, опровергающие свидетельства будут приходить снова и снова, а поддерживающие — лишь изредка. Ваша уверенность будет неуклонно ползти вниз — пока, наконец, вы не поймёте, куда несёт вас ветер наблюдений. В эту минуту не ищите оправданий — ваша любимая теория уже рухнула. Отпразднуйте это! Откройте шампанское или закажите пиццу. Нельзя стать сильнее, пока вы держитесь за те же убеждения, в которые верили и раньше.

Один довод против армии

Элиезер Юдковский

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

Нижняя строчка

Элиезер Юдковский

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искушённый аргументатор с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает аргументатора.

Аргументатор начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, аргументатор его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда аргументатор пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В минуту, когда в каждом из миров аргументатор записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть некоторый процент тех, где алмаз в ящике А. Он не изменится, когда аргументатор заполнит строки выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её с бо́льшей охотой. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что́ говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же аргументатора говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Дополнение: это эссе — предостережение для вас в ваших собственных выводах, а не универсальное возражение против заключений, которые вам не нравятся. Можно ведь говорить «моя оппонентка — искушённый аргументатор», чтобы сохранять те убеждения, в которые вы верили и раньше. Самый искусный софист мира скажет, что светит солнце, но вокруг останется светло. В следующем эссе рассмотрим этот вопрос чуть подробнее.

О чём свидетельствуют отсеянные свидетельства?

Элиезер Юдковский

В прошлом эссе я обсуждал проблему хитрого аргументатора, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Аргументатор подчёркивает, что на ящике стоит синяя печать, которая на ящиках с алмазами встречается чаще, нежели на пустых. Что это значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает аргументатор?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал аргументатор. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях аргументатор может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.

Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.

Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.

Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?

Ответ зависит от стратегии ведущей. Если она открывает дверь всегда и только ту, за которой ничего нет, то переключайтесь. Если ведущая всегда открывает вторую дверь, что бы ни было за ней, то деньги с равной вероятностью могут лежать за первой или третьей. Если ведущая вообще открывает дверь лишь тогда, когда вы сразу указали туда, где лежат деньги, то вам определённо стоит держаться изначального выбора.

Важно не только то, что за второй дверью пусто, но и то, что ведущая открыла именно её. Классическая задача Монти-Холла сбивает многих с толку, поскольку они учитывают лишь то, что за второй дверью денег нет — в итоге выходят равные вероятности, что деньги за первой и за третьей дверью. Вот почему байесианцам нужно учитывать все свои знания.

Услышав «четвёртый бросок — орёл», мы не обрабатываем то, что на четвёртом броске выпал орёл, не берём все возможные миры с орлом на четвёртом броске. Вместо этого мы рассматриваем миры, где какое-то правило породило слова «четвёртый бросок — орёл». Факт, который мы узнали, не сводится к тому, что сказано. Не позволяйте смыслу самих слов вас запутать.

Чаще всего судебное разбирательство — борьба двух противоположных сторон, ведь легче найти двух людей с искажениями, нежели одного беспристрастного. Идея тут в том, что любое свидетельство выгодно либо обвинению, либо защите, так что суд увидит все наблюдения. Два аргументатора в проблеме с ящиками хуже, чем одна любопытная исследовательница, но ненамного — если ящика всего два. Однако в жизни перед нами встают проблемы, где сторон много, и запутанные ситуации без очевидного ответа, которые не решить двум противоположным сторонам, которые ругаются друг с другом.

Осторожно, не злоупотребляйте идеей отсеивания свидетельств, не применяйте её как универсальное возражение против доводов, которые вам не нравятся: «Они отфильтрованы, так что я отброшу их». Если неприятный аргумент застиг вас врасплох, то вы уже немного вникли в вопрос и ответ вас волнует — настолько, что вы уже выбрали сторону. Тогда вы, скорее всего, уже знаете главные доводы в свою пользу. Из неприятного аргумента нельзя заключить, что есть какие-то ещё свидетельства в поддержку вашей стороны, которых вы не видели и которые уравновесили бы этот довод. Всё, что вы узнали нового, — лишь неудобные наблюдения; синяя печать на ящике Б — всё ещё свидетельство.

Но будьте не менее осторожны, когда задумываетесь о вопросе впервые и слышите только одну сторону. В некотором смысле нельзя верить теории естественного отбора, не послушав креационистов хотя бы пять минут, — и вот уже тогда можно смотреть, какая из теорий убедительнее.

Рационализация

Элиезер Юдковский

В «Нижней строчке» я описал проблему двух ящиков: в одном из них алмаз, и различные внешние признаки подсказывают, в каком. Я описал подходы любопытной исследовательницы и хитрого аргументатора. Исследовательница выписывает все признаки, обрабатывает их и, наконец, пишет в заключении: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Аргументатор работает на того, кто платит больше; он сначала пишет «Таким образом, алмаз в ящике Б», а потом выбирает подходящие признаки и записывает выше.

Первый образ действий — рациональность. Второй обычно называют «рационализацией».

«Рационализация». Интересный выбор слова — и, по мне, неудачный. Нельзя «рационализировать» что-то нерациональное. Всё равно что говорить «правдофикация» вместо «ложь».

На алгоритмическом уровне есть большая разница между следующими подходами:

Начать со свидетельств, подсчитать на их основе вероятность и получить наиболее правдоподобный вывод. То есть выписать все признаки и от них перейти к ответу, что будет зависеть от этих признаков.

Начать с заключения и подобрать те свидетельства, которые это заключение поддерживают. То есть записать ответ на нижнюю строчку, а потом выбрать подходящие признаки и поставить выше.

Кто додумался назвать столь разные мыслительные процессы такими похожими словами, как «рациональность» и «рационализация»? Я бы хотел, чтобы названия отражали разницу в этих алгоритмах яснее. Скажем, «рациональность» и «огромная отстойная чёрная дыра мышления».

Не каждое изменение — улучшение, но каждое улучшение — изменение. Нельзя сделать конкретное утверждение более истинным, просто приводя доводы в его пользу. Можно убедить в нём больше людей, но нельзя изменить, верно ли оно. Чтобы улучшать свои убеждения, мы должны их менять. Рациональность — это то, как мы обновляем свои взгляды и этим повышаем степень их истинности. Рационализация же закрепляет убеждения в том же виде. Стоило бы назвать её «антирациональностью» — как по её плодам, так и из-за того, что она зеркально противоположна рациональности по алгоритму.

«Рациональность» — прямой поток, который собирает свидетельства, оценивает их и делает заключение. Алгоритм исследовательницы направлен вперёд. Сначала она собирает свидетельства, выписывая все видимые признаки ящиков. Затем она их обрабатывает и получает неизвестную раньше вероятность того, что в ящике Б алмаз. Рациональные рассуждения всё время идут вперёд, исследовательница ещё не знает, что получит, поэтому мы говорим, что она любопытна. На Пути Байеса априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» — обратный поток: от заключения к избирательно взятым свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и не поменяется. Ваша цель — найти, какие доводы написать выше. Неизвестны они, а не заключение.

Боюсь, традиционная рациональность плохо учит разнице между потоками вперёд и назад. Учёный выдвигает гипотезу на свой вкус и ищет эксперимент, который подтвердил бы её, — и традиционная рациональность его не осуждает. Она смотрит на него с одобрением и говорит: «Твоя уверенность в себе — тот механизм, что движет Науку вперед». Ну да, выходит, что движет. Легче найти обвинителя и защитника с искажениями, нежели одного непредвзятого человека.

Но не всё, что происходит, — правильно. Лучше, если учёный, придумав гипотезу, проверит её из любопытства — будет ставить опыты, которые изменят его убеждения в неизвестную сторону.

Если вы искренне не знаете, куда идёте, то вам интересно. Любопытство — первая добродетель: без неё вопросы бесцельны, а мастерство некуда приложить.

Ощутите, куда течёт Сила, и убедитесь, что не задом наперёд.

Рациональное обоснование

Элиезер Юдковский

Представьте, что зарабатываете на жизнь избирательными кампаниями и с недавних пор читаете блог о рациональности. Однажды вас нанимает Мортимер К. Снодграсс, кандидат в мэры Гедлиберга. Один вопрос не даёт вам покоя: «Как безукоризненно и рационально обосновать, что Снодграсс — лучший кандидат?»

Извините, но никак.

— Что? — удивляетесь вы. — Но ведь я построю своё выступление только из полноценных аргументов! Что если каждый факт, который я приведу, будет столь правдив, сколь мне вообще известно? Что если я назову лишь весомые свидетельства для теоремы Байеса?

Всё ещё не получится, извините. В ту минуту, когда вы ставите заключение впереди рассуждений, вы забиваете гол в свои ворота.

В этом году «Гедлибергские известия» проанкетировали кандидатов, задав им вопросы вроде «Дуете ли вы?»1 и «Умеешь ли картинки на лету цветами ветра рисовать?»2 Увы, метеорит разрушил здание редакции, и номер не вышел в печать. Жаль, ведь ваш кандидат, Мортимер Снодграсс, ответил на 15 из 16 вопросов куда лучше соперников. Заминка возникла лишь в 11-м вопросе: «Вы суперзлодей?»

Вам очень хочется опубликовать анкету в ходе кампании. Без 11-го вопроса, конечно.

В эту минуту вы переходите грань меж рациональностью и рационализацией. Избиратели теперь не могут просто сравнить факты. Им нужно учесть, что свидетельства отсеиваются, и догадаться, что некоторые факты скрыты.

Вообще говоря, вы переходите грань ещё раньше — когда размышляете, в каком свете анкета рисует вашего кандидата, чтобы решить, публиковать ли ее.

— Что?! — возмущены вы. — Мне теперь публиковать факты, неудобные кандидату?

Но взгляните глазами избирателей, которые решают, кому отдать голос. Зачем бы вам прятать ценные сведения? Вы бы не стали так делать, питая искреннее любопытство. Вы бы не стали так делать, двигаясь в рассуждениях вперёд, от свидетельств к пока неизвестному выбору кандидата. Но вы идёте назад: от определённого кандидата к поиску доводов.

Рассуждение, где вывод следует из предыдущих посылок, называется «логически верным». Следующее рассуждение логически неверно:

все прямоугольники — четырёхугольники,

все квадраты — четырёхугольники,

следовательно, все квадраты — прямоугольники.

Посылки истинны и даже заключение истинно, но силлогизм всё еще не становится логически верным. Стоит разделять верные и неверные способы вывода и не оправдывать неверные, даже когда их заключения справедливы. Пусть разные способы и дали один ответ сейчас — в свете будущих свидетельств ответы будут отличаться. Да и небрежность входит в привычку.

Более того, неверный силлогизм не поможет найти настоящее объяснение. Может, все квадраты — прямоугольники, но не потому, что те и другие — четырёхугольники. Этот силлогизм лицемерен: настоящие причины в нём не связаны с названными.

Чтобы на самом деле честно и обоснованно представить своего кандидата, придётся делать так:

до того, как кто-нибудь вас наймёт, соберите все доступные свидетельства обо всех кандидатах;

составьте критерии, по которым сами выбирали бы, кто лучше;

прогоните кандидатов по списку критериев;

определите, кто лучше всех;

предложите провести ей или ему кампанию.

Когда вас спросят, почему стоит голосовать за этого кандидата, предъявите свой список.

Только такая цепочка рассуждений рациональна: нижняя строчка вытекает из всего, что записано выше. Над нижней строчкой будет честным записать лишь то, что на самом деле её определяет.

Избегая по-настоящему слабых мест убеждения

Элиезер Юдковский

Несколько лет назад в свои 90 умерла моя прабабушка, после долгого и медленного угасания. Я никогда особо не знал её, но по воспоминаниям из детства, она готовила для всей семьи; я помню её лицо, то, как она была добра ко мне, её фаршированную рыбу. На её похоронах, мой дедушка, которые заботился о ней годами, сказал, сдерживая слезы, что бог забирал его мать кусочек за кусочком: её память, её речь и наконец её улыбку; и когда Бог забрал её улыбку, он знал, что ей недолго осталось, потому что это означало, что её почти нет.

Я слушал это и был в замешательстве, поскольку это была немыслимо ужасная вещь для любого человека и таким образом я не мог ожидать, что дедушка припишет её богу. Обычно еврей использует стратегию «просто-не-думай-об-этом» в отношении логического заключения, что бог допустил подобную трагедию. Согласно еврейской теологии, бог непрерывно следит за вселенной и стоит за каждым событием в ней; но обычно вывод логических заключений из этой мысли приберегается для счастливых случаев. Говоря «Бог помог!», когда у вас родился ребенок, и опуская эти слова в случае выкидышей или детских смертей, вы можете сформировать довольно однобокую картину личности великодушного бога.

Таким образом я был удивлен услышать, что мой дедушка расценивает медленное угасание бабушки как осознанное и стратегически запланированное действие Бога. Это нарушало правила религиозного самообмана, как я их понимал.

Если бы я заметил мое собственное замешательство, я бы мог сделать успешное шокирующее предсказание. Вскоре мой дедушка перестал верить. (Единственный член моей обширной семьи, который так сделал, не считая меня, насколько мне известно)

Современный ортодоксальный иудаизм непохож на остальные религии, о которых я слышал, и я не знаю, как объяснить это тому,кто сам не изучал Мишну и Гемару. Там существует традиция вопрошания, но особого рода… Не слишком удивительно было бы услышать от рабби на недельной проповеди указание на противоречие между семью днями творения и 13.7 миллиардами лет с большого взрыва - поскольку, как он думает, у него есть по-настоящему умное объяснение для этого, которое включает в себя три других библейских отсылки, Мидраш и наполовину понятую статью в «Scientific American». В ортодоксальном иудаизме вам позволено замечать противоречия и несостыковки, но только для того, чтобы объяснить их, и любой, кто предложит самое запутанное объяснение, получает приз.

Это традиция вопросов. Но вы атакуете цели только чтобы защитить их. Вы атакуете только те цели, которые в состоянии защитить.

В современном ортодоксальном иудаизме я не замечал особого акцента на ценности слепой веры. Вам позволено сомневаться. Но не позволено сомневаться успешно.

Думаю, что большинство образованных ортодоксальных евреев ставили свою веру под сомнение в какой-то момент жизни. Но вопрошание скорее всего проходило так: «Согласно скептикам, Тора говорит, что вселенная была создана за семь дней, что не совпадает с научными данными. Но сумели бы племена Израиля, собравшиеся на горе Синай, понять научную истину, даже если бы им рассказали её? Было ли у них слово для «миллиарда»? Куда легче рассматривать историю о творении в семь дней как метафору - сначала Бог создал свет, под чем подразумевается большой взрыв…»

Является ли это самой слабой точкой, которую человек мог бы атаковать в своем иудаизме? Двигаясь дальше в Торе вы можете найти место, где Бог убивает всех младенцев-первенцев Египта, чтобы убедить неизбранного фараона освободить рабов, которых логичней было бы просто телепортировать за пределы страны. Ортодоксальный еврей скорее всего знаком с этим сюжетом, поскольку предполагается, что он прочел всю Тору за год, и он ассоциируется с праздником. Имя «Песах» идет от Бога, оградившего еврейские дома, пока умирали младенцы в Египте.

Современные ортодоксальные евреи это открытые, добрые и цивилизованные люди; куда более цивилизованные, чем несколько редакторов Старого Завета. Даже старые рабби были более цивилизованны. Есть ритуал в Седере, где вы выливаете десять капель вина из вашего бокала, по одной за каждое из десяти бедствий, чтобы сделать акцент на страдании египтян. (конечно, предполагается сочувствовать страданиям египтян, но не настолько чтобы встать и сказать «Это неправильно! Делать такие вещи - плохо!») это показывает интересный контраст - рабби существенно добрее чем создатели Старого Завета, они видят жестокость бедствий. Но Наука была слабее в те дни, так что рабби могли обдумывать более неприглядные аспекты Библии, не боясь, что это полностью уничтожит их веру.

Вы даже не спрашиваете, отразился ли инцидент плохо на Господе, так что нет необходимости быстро ляпнуть «Пути Господни неисповедимы!» или «У нас нет мудрости, чтобы судить решения Бога!» или «Если Бог убивает детей, значит так правильно!» Это часть метода «просто-не-думай-об-этом».

Как я подозреваю, причина, по которой образованные религиозные люди остаются религиозными, это то, что когда они сомневаются, они подсознательно весьма осторожно атакуют свои убеждения только в наиболее защищенных местах - местах, которые, как они знают, они могут защитить. Более того, места, где повторение стандартных доводов защиты ощущается как усиление этой защиты.

Наверняка же ощущается хорошо, например, повторять заранее продуманную защиту для «Разве Наука не говорит, что вселенная просто бессмысленные атомы, мельтешащие вокруг?», поскольку это подтверждает смысл вселенной и то, как она происходит от господа и т.д…Куда более комфортно думать об этом, чем о неграмотной матери-египтянке, плачущей над детской кроваткой, в которой лежит её убитый сын. Любой, кто спонтанно задумывается о последнем, а потом ставит свою веру под сомнение, на самом деле сомневается в ней, скорее всего недолго еще пробудет верующим.

Смысл поста не в том, чтобы ударить по ортодокосальному иудаизму. Уверен, что есть какой-то ответ или даже несколько и на убийство новорожденных. Смысл в том, что, когда идет спонтанный самоанализ, люди куда более вероятно атакуют наиболее сильные места убеждений, защищенные ответами для повторений, чем слабые и уязвимые места. Сходным образом, люди склонны останавливаться на первом же ответе, а не продолжать критиковать дальше. Лучшим названием было бы не «Избегая по-настоящему слабых мест убеждения», а «Не атакуя наиболее болезненные слабости ваших убеждений при спонтанном самоанализе».

Больше всего приверженность к религии поддерживается людьми, которые просто-не-думают-о настоящих слабых местах их религии. Я не думаю, что это дело навыка, скорее это дело инстинкта. Люди не думают о настоящих слабых местах их убеждений по той же самой причине, по которой не трогают горящую газовую конфорку; это больно.

Как справляться лучше: когда вы сомневаетесь в одном из наиболее заветных своих убеждений, закройте глаза, очистите свой разум, стисните зубы и осознанно подумайте о том, что ранит сильнее всего. Не повторяйте стандартные возражения, которые обычно дают вам возможность ощутить себя лучше. Спросите себя, что умные люди, не согласные с вами, сказали бы на ваше возражение, и на последующее тоже. Всякий раз, когда вы обнаруживаете себя уходящим от возражения, о котором вы мельком подумали, вытащите его на передний край вашего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в свое сердце и прокрутите несколько раз. Перед лицом боли, повторяйте только одно:

Истина всегда есть истина.

Признание её не сделает её хуже.

Непризнание её не заставит её исчезнуть.

И поскольку это истина, именно с ней и нужно взаимодействовать.

Всё ложное не должно жить.

Люди могут справиться с истиной,

потому что достаточно сильны для неё.

(Юджин Джендлин)

Мотивированная остановка и мотивированное продолжение

Элиезер Юдковский

В то время, как я не согласен с некоторыми положениями Fast and Frugal (http://fastandfrugal.com/) — как по мне, так они делают слишком много лимонада из лимонов — похоже, что они склонны развивать наиболее психологически реалистичные модели любой школы теории принятия решений. Большинство экспериментов представляют испытуемым варианты, среди которых те выбирают, тем самым получается экспериментальный результат. Ребята с того сайта понимают, что в реальной жизни вам надо создавать варианты, и они изучают, как испытуемые это делают.

Сходным образом, несмотря на то, что многие эксперименты предоставляют свидетельства на блюдечке с голубой каемочкой, в реальной жизни вы должны собрать свидетельства, что может быть затратно, и в какой-то момент решить, что у вас достаточно свидетельств, чтобы остановиться и сделать выбор. Когда вы покупаете дом, вы не выбираете точно 10 домов как варианты и не осматриваете тщательно все из них, прежде чем сумеете выдать решение. Вы смотрите на один дом, потом на другой, затем сравниваете их; вы подправляете свои стремления — заново рассматриваете как близко на самом деле вам надо поселиться к месту работы и как много вы готовы за это заплатить; вы решаете какой дом смотреть следующим; и в какой-то момент вы решаете что видели достаточно домов и делаете выбор.

Согласно Гиловичу, различие между мотивированным скептицизмом и мотивированным доверием указывает на то, как заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Мотивированный скептик спрашивает, заставит ли свидетельство принять вывод; мотивированный простак спрашивает позволит ли свидетельство принять вывод.

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, мотивированная остановка и мотивированное продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Одним из главных исторических скандалов в статистике был Р.А. Фишер, выдающийся основатель области, настаивавший, что нет причинной связи между курением и раком легких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Возможно курильщики имеют ген, который определяет их склонность как к курению, так и к раку легких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм мотивированного скептицизма, мотивированное продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определенно нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается мотивированной остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и еще в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить теплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать мотивированную остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы еще не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твердо выделить на обдумывание лучшего варианта. Вы должны подозревать мотивированное продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно еще свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Фальшивое оправдание

Элиезер Юдковский

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями лэптопа за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют лэптопов?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю лэптопов, экспертам, которые выдают решения о таких лэптопах — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои лэптопы». Но было бы куда эффективнее купить 5000 обычных лэптопов, таким образом обеспечив поддержку производителю и выдачу лэптопов напрямую.

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не мотивированная остановка. Назвать это «мотивированной остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает лэптоп за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить лэптоп. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить лэптоп за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить лэптопами как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить лэптоп за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Это ваша настоящая причина отказа?

Элиезер Юдковский

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже докторской степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить докторскую степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».

Поэтому идея отвергается сразу же, как только срабатывает соответствующий шаблон. Если же затем кто-нибудь спрашивает: «Почему нет?», мозг начинает поиск оправдания. Но этот поиск не обязательно находит истинную причину. Под «истинной причиной» я подразумеваю не наилучшую причину, которую можно представить, а скорее то, что сильнее всего повлияло на принятие решения в тот самый миг, когда сработала реакция отвержения.

Вместо этого поиск оправдания находит правдоподобно звучащий факт: «У говорящего нет степени».

Но точно так же у меня нет степени, когда я говорю о рациональности. Почему это возражение не применяется в этих случаях?

И что более важно, если бы у меня была степень, люди не посчитали бы её решающим доводом в пользу того, что они обязаны верить всему, что я говорю. Скорее всего, происходила бы та же исходная реакция отвержения — по тем же самым причинам, — но последующий поиск оправданий приводил бы чему-нибудь ещё.

Если бы у меня была степень, люди бы говорили: «Почему я должен вам верить? Вы всего лишь человек с докторской степенью! Таких много. Возвращайтесь, когда будете авторитетом в этой области и профессором какого-нибудь солидного университета».

Но действительно ли люди верят случайному профессору из Гарварда, который говорить что-то странное? Конечно же, нет. (Хотя если бы я был гарвардским профессором, мне было бы легче привлечь внимание СМИ. Журналисты не склонны мне доверять, и скорее всего они бы точно так же не доверяли случайному человеку с докторской степенью. Но профессор из Гарварда, который верит в странное, — это хороший новостной сюжет.)

Если ваши тезисы кажутся человеку неправильными — не просто магически звучащими техническими звуками о лептонных кварковых переплетениях в N+2 измерениях, — и слушатель незнаком с вами лично и с обсуждаемым предметом, то, подозреваю, для среднего слушателя ваши академические регалии перевесят первое впечатление, если вы находитесь где-то на уровне нобелевского лауреата. И то не факт. Но в любом случае, вам нужны такие академические регалии, которые воспринимаются как находящиеся «за гранью обыденности».

Насколько я представляю, примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии, и люди сказали: «А где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он потратил шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. «Наносистемы» — великая книга. Но разве те люди, которые говорили: «Возвращайтесь, когда получите степень!» изменили после этого своё мнение о молекулярной нанотехнологии? Насколько я знаю, нет.

И то же самое происходит и с Институтом исследований машинного интеллекта. Когда мы делаем то, что якобы должно вызывать у людей больше доверия, ничего не меняется. «Вы разрабатываете какие-либо программы? Я не собираюсь поддерживать организацию, где не пишут код» → OpenCog → ничего не изменилось. «У Элизера Юдковски нет академических регалий» → Место директора по исследованиям занимает профессор Бен Герцель → ничего не изменилось. Единственное, что, по-видимому, действительно повышает уровень доверия, — это знаменитые люди, ассоциируемые с организацией, такие как Питер Тиль, спонсирующий нас, или Рей Курцвейл в совете директоров.

Если вы недавно открыли своё дело, то вам и вашим советчикам стоит помнить, что если в качестве причины отказа вам указывают на какие-то ваши неудачи, то проблема может быть и не в них, и вам стоит тщательно всё обдумать, особенно если ситуация требует больших вложений. Если венчурный капиталист говорит: «Если бы только ваши продажи росли немного быстрее!», если потенциальный клиент говорит: «Неплохо, но у вас нет фичи Х», это может и не быть настоящей причиной. Возможно исправление этого поможет, а, возможно, и нет.

И то же самое следует учитывать при разногласиях. Робин Хансон и я считаем, что два рационалиста не могут согласиться не соглашаться: общее знание об эпистемологическом разногласии может появиться только в случае, если что-то пошло очень сильно не так.

Я подозреваю, что, если два рационалиста намереваются разрешить разногласие, которое не исчезло после первого обмена мнениями, им стоит ожидать, что настоящую причину разногласия либо сложно передать, либо сложно обнаружить. Такими причинами, например, могут быть:

Малоизвестное, но хорошо обоснованное научное или математическое знание;

Длинные понятийные расстояния;

Плохо переводимые в слова интуитивные ощущения, возможно проистекающие из специфичных представлений;

Образ мысли, присущий представителям определённой профессии (по вполне разумным причинам);

Шаблоны, приобретённые с опытом;

Просто мыслительные привычки;

Эмоциональные привязанности к вере в определенный исход;

Страх опровержения прошлых ошибок;

Самообман на глубоком уровне, дающий повод для гордости или другие личные выгоды.

Если при решении вопроса все настоящие причины отказа можно легко предъявить, разногласие, скорее всего, будет разрешено очень быстро, почти наверняка — на первой встрече.

«Это моя настоящая причина отказа?» Именно этот вопрос должны задавать себе оба спорщика, чтобы им было легче иметь дело с противоположной стороной. Однако, по моим наблюдениям, попытки провести с собеседником сеанс публичного психоанализа приведут к ухудшению диалога очень-очень быстро.

И всё-таки, у спорщиков должна быть возможность вежливо спросить: «Это ваша настоящая причина отказа?» — если существует какой-то продуктивный способ получить ответ на этот вопрос. Возможно, стоит ввести правило, которое допускает открытый вопрос: «Этот простой и прямолинейный довод — ваша настоящая причина отказа, или дело в ваших интуитивных ощущениях, или профессиональном взгляде на мир?» Более неудобные возможности лучше оставить на совести собеседника, это уже их область ответственности.

Связанные истины, заразная ложь

Элиезер Юдковский

«Но идеальный аналитик мог бы пойти дальше: по одному-единственному предмету или живому существу он способен не только представить себе всю вселенную, но и ее развитие — от начала до самого конца» — Первый Ленсмен.

«Но стоит любому из вас сосредоточить свою мысль на одном-единственном факте или на каком-нибудь маленьком предмете, например, на камешке, на семени растения или на каком-нибудь крошечном живом существе, хотя бы на короткое время, как вы начнете постигать изреченную мной истину» — Серый Ленсмен.

Я обоснованно уверен, что отдельный камень, взятый с одного из пляжей Земли, не указывает на континенты и страны, политиков и людей этой Земли. Другие планеты во времени и пространстве, другие ветви Эверетта, сгенерировали бы тот же камень. С другой стороны, сущность единичного камня похоже включала бы наши законы физики. В этом смысле цельность нашей вселенной — все ветви Эверетта — можно было бы вывести из этого камня. (Если бы, как похоже и есть, не было бы по-настоящему свободных переменных)

Так что единичный камень, возможно, не заключает в себе всю Землю. Но единичный камень заключает в себе немало. Из изучения этого камня вы можете вывести законы физики и то, что из них следует. Размышляя об этих законах, вы можете увидеть, как будут формироваться планеты, и можете предположить, с какого вида планет этот камень. Внутренние кристаллическая и молекулярная структура камня формируются под воздействием гравитации, что расскажет вам о массе планеты; смесь элементов в камне даст вам возможность узнать больше о формировании планеты.

Я не геолог, так что не могу говорить точно, но легко представляю как показываю камень геологу и говорю: «Этот камень с пляжа в Халф Мун Бэй», — и мне тут же отвечают «Странно» или «Вы лжете». Возможно это не такой камень или он недостаточно округлый, чтобы быть с пляжа — я не знаю камни в достаточной мере, чтобы предположить связи и признаки, по которым меня можно было бы уличить.

«Только Бог может солгать абсолютно правдиво». Я думаю, была ли религия, которая изрекла пословицу? Я (фальсифицируемо) предположил бы, что нет: это мнение рационалиста, даже если вы изрекаете это в теологическом смысле. Слова «все связано со всем, потому что Бог создал весь мир и поддерживает его» могут генерировать некоторые хорошие теплые чувства во время проповеди, но не дадут вам особо много, если вы пытаетесь определить по камням с каких пляжей они взяты.

Монетка на Земле оказывает гравитационное ускорение на Луну порядка 4,5⋅10−31м/с24,5⋅10−31м/с2, так что в некотором смысле будет не слишком неправильно сказать, что любое событие связано со всеми прошлыми событиями. И поскольку выводы могут распространяться назад и вперед через причинные сети, эпистемологические сцепленности могут легко пересекать границы светового конуса. Но я бы не хотел быть астрономом-криминалистом, который смотрит на Луну и пытается по ней узнать, выпала ли монетка орлом или решкой — влияние меньше чем квантовая неопределенность или термальный шум.

Если вы скажете «Все связано со всем» или «Все логически сцепленно и некоторые сцепленности намного сильнее прочих», вы, возможно, по-настоящему мудры вместо Глубокой Мудрости.

Физически каждое событие в некотором смысле является суммой прошлого светового конуса, без границ или ограничений. Но список значимых сцепленностей куда короче и это дает вам нечто вроде сети. Это высокоуровневая систематичность, на которую я ссылаюсь, когда говорю о Великой Сети Причинности.

Я использую эти Заглавные Буквы по большей части в шутку; но если бы что-либо заслуживало бы Заглавных Букв, то, конечно, Великая Сеть Причинности венчала бы список.

— Что за запутанную сеть мы плетем, когда в первый раз практикуем обман, — сказал сэр Вальтер Скотт. Не вся ложь вырывается из-под контроля — мы живем в ненастолько праведной вселенной. Но иногда происходит так, что некто лжет о факте и потом вынужден лгать о сцепленном факте, а потом еще об одном, который сцеплен с предыдущим:

— Ты где?

— Э, я в поездке по делам фирмы.

— Что за поездка?

— Не могу сказать, это частные переговоры с важным клиентом.

— Ух ты, они допустили тебя к таким переговорам? Отличные новости! Я должен позвонить твоему шефу и поблагодарить его за это.

— Жаль, но его сейчас нет в офисе….

Люди не боги и часто им не удается представить все факты, которые им понадобится исказить, чтобы получить правдоподобную ложь. «Бог сделал меня беременной» звучало бы правдоподобней в старые времена, когда наши модели мира еще не содержали сведений о «хромосомах». Многие подобные факты лжи сегодня могут не выдерживать проверки, когда генетические проверки стали распространенными. Насильников заключают под стражу, ложные обвинения раскрываются, годы спустя, на основании тех свидетельств, о которых они и не думали. Студент, изучающий эволюционную биологию может видеть почерк естественного отбора в каждом волке, который преследует зайца; и каждом зайце, который убегает; и каждой пчеле, которая жалит, вместо того, чтобы вежливо предупреждать — но уловки креационистов для самих креационистов звучат убедительно, я уверен.

Не вся ложь раскрывается, не все лжецы бывают наказаны; мы не живем в настолько праведной вселенной. Но не вся ложь так безопасна, как полагают лжецы. Как много грехов станут известны Байесовскому сверхинтеллекту, думаю я, если он проведет (не разрушив?) нанотехнологический скан всей Земли? Как минимум, вся ложь, для которой существует какое-либо свидетельство в любом мозгу. Некоторая такая ложь может раскрыться раньше других, если нейробиологи преуспеют в создании по-настоящему хорошего детектора лжи через моделирование мозга. Пол Экман (пионер в области изучения микродвижений лицевых мускулов) может возможно раскрыть немалую долю мировой лжи, если у него будет возможность.

Не вся ложь раскрывается, не все лжецы бывают наказаны. Но Великая Сеть обычно недооценивается. Просто знание, которое люди уже накопили, заняло бы много человеческих жизней, чтобы быть изученным. Любой, кто думает, что не являющийся Богом, может солгать идеально без всякого риска, недооценивает сцепленность Великой Сети.

Честность — лучшая политика? Не знаю, так ли это: даже моя этика иногда молчит. Но по сравнению с прямой ложью, честность или молчание вовлекают меньше рекурсивно распространяющихся рисков, которые вы берете, даже не зная этого.

О лжи и Черных Лебедях

Элиезер Юдковский

Судья Маркус Эйнфелд, 70 лет, Королевский адвокат с 1977 года, Живое Достояние Австралии 1997 года, лауреат премии мира ООН 2002 года, президент-основатель австралийской комиссии по правам человека и равным возможостям, ушедший на пенсию несколько лет назад, но регулярно привлекаемый для участия в особо важных делах…

…был осужден на два года тюрьмы за серию попыток исказить ход судебного процесса и дачу ложных показаний, которая началась с попытки избежать штрафа в 36 фунтов за превышение скорости на 6 миль в час.

В предыдущем эссе изложена морализаторски звучащая теория о честных людях, которые не умеют лгать, о том, что все поступки оставляют где-нибудь следы, и о том, что ложь иногда заканчивается «Чёрным лебедем» в виде грандиозного провала. И в реальной жизни в самом деле случаются истории, которые этой теории соответствуют. Хотя из-за избирательного восприятия мы слышим только о таких громких, как история про Маркуса Эйнфелда.

Эпистемология темной стороны

Элиезер Юдковский

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным случаем.»

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подделками; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?

Против двоемыслия

Единомыслие

Элиезер Юдковский

Я отчетливо помню тот момент, когда начал свой путь рационалиста.

Нет, не читая «Конечно вы шутите, мистер Фейнман» или любую другую работу о рациональности; их я просто воспринял как очевидные. Путь рационалиста начинается, когда видишь огромный пробел в своих умениях и ощущаешь стимул их улучшить, чтобы создать новые навыки, выходящие за пределы тех полезных, но уже недостаточных вещей, которые можно почерпнуть из книг.

В последние моменты первого периода моей жизни (мне стукнуло пятнадцать) я самодовольно перебирал приятные воспоминания о том времени, когда был намного младше. Воспоминания о том периоде расплывчаты: мысленный образ есть, но сколько точно мне было лет, не скажу. Думаю, шесть или семь. Исходное событие произошло в летнем лагере.

Наш вожатый, парень-подросток, собрал нас, детей намного младше его, построил друг за другом и предложил следующую игру: мальчик, стоящий в конце колонны, должен был ползти у нас между ног, а мы бы шлепали его, когда он проползал под нами, потом наступала очередь следующего мальчика и т.д. (Возможно, я потерял бы при этом всего лишь детскую наивность, но я не мог перестать об этом думать…) Я отказался играть в игру, и меня поставили в угол.