Рациональность: От ИИ до Зомби

И доказано, что это достаточно надежная методика. Но что произойдет, если вы дадите испытуемым неограниченную шкалу, однако не дадите единицу измерения? От нуля до бесконечности, но без единицы измерения как фиксированной величины? Тогда они сделают свою, конечно же. Отношения между измеряемыми величинами останутся теми же. Испытуемый А говорит что звук Х имеет громкость 10, а звук Y — 15. Если испытуемый В говорит что звук Х имеет громкость в 100, то можно легко предположить, что для звука Y он установит величину 150. Но если вы не знаете, что испытуемый С использует для единицы измерения — какой масштаб он использует для шкалы — нельзя сказать, какую величину С присвоит звуку Х. Может быть 1. А может быть 1000.

Для испытуемого, оценивающего единичный звук, на неограниченной шкале, без фиксированного стандарта сравнения, почти все отклонения будут связаны с произволным выбором единицы измерения, а не с оценкой звука как такового.

«Хм,» — подумали вы про себя — «это звучит похоже на то, как присяжные в суде обсуждают размер штрафных санкций. Не удивительно, что там полно отклонений!» Интересная аналогия, однако что насчет продемонстрировать это экспериментально?

Канеман в 1998 и 1999 года предоставил 867 испытуемым с юридическим образованием описания правовых случаев (например ребенка, чья одежда сгорела) и попросил оценить их:

— возмутительности действий ответчика на ограниченной шкале;

— степень, в которой ответчик должен быть наказан на ограниченной шкале; или

— какое-то значение штрафного минимума в долларах.

И, о чудо, в то время как испытуемые отлично коррелировали друг с другом по уровням возмутительности действий и наказания, их штрафы были разбросаны кто куда. Однако если распределить их по рангу, то они вполне коррелировали по субъектам.

Если вы спросите, насколько велика разница в шкале «наказания», которую можно объяснить специфическим сценарием — частный законный случай, как представленный нескольким испытуемым — тогда ответ, даже для сырых результатов, был 0,49. Для ранжированных случаев долларовых ответов, число предсказанных различий было 0,51. Для сырых долларовых объемов, объясняемое различие было 0,06!

Должен сказать: если бы вы знали представленный сценарий — вышеупомянутого ребенка, чья одежда загорелась — вы бы сделали хорошее предположение по рейтингу наказания, и хорошее предположение по ранжированию долларовой награды относительно других случаев, однако долларовая награда сама по себе была бы совершенно непредсказуема.

Взятие среднего из двенадцати случайно выбранных ответов не особо помогает вообще.

Так что награда жюри за штрафной ущерб не столько экономическая оценка как выражение позиции — психологического измерения нарушения, выраженного на неограниченной шкале без единицы измерения.

Я вижу что множество футуристических предсказаний, в любом случае, лучше рассматривать как субъективные выражения. Возьмем вопрос, «сколько нам еще нужно, чтобы построить ИИ, сравнимый по разуму с человеком?» Я видел ответы на этот вопрос от людей по всему земному шару. Одним из наиболее запомнившихся был ответ одного из передовых разработчиков ИИ — «Пять сотен лет»!

Теперь причина по которой время реализации ИИ не очень предсказуемо, представляет собой большое обсуждение своей правоты. Но это не было бы так, если парень, который сказал «пятьсот лет» посмотрел в будущее, чтобы определить это. И он не мог получить эти цифры при помощи использования закона Мура. Так что же значит число 500?

Насколько я могу предполагать, это все равно что если бы я спросил «На шкале, где ноль это «совершенно несложно», насколько трудной вы ощущаете проблему создания ИИ для вас?» Если это была бы ограниченная шкала, каждый здравомыслящий респондент поставил бы отметку как «невероятно сложно» на другом конце шкалы. Все что угодно ощущается невероятно сложным когда вы не знаете как это сделать. Но у вас нет ограничения у шкалы и нет единицы измерения. Тогда люди попросту берут число, чтобы представить «невероятно сложно», которое может быть и 50, и 100, и даже 500. Тогда они добавляют к нему «лет» и получают свой футуристический прогноз.

«Насколько трудным ощущается задача ИИ?». Это не только существенный вопрос. Другие отвечают так, словно бы я спрашиваю «Насколько радужно вы думаете о задаче ИИ?», только низкие числа означают более положительные ощущения, и тогда они также добавляют «годы» в конце. Но если эти «временные оценки» представляют собой что-то, нежели субъективные выражения на неограниченной шкале без масштаба, я не могу понять этот ответ.

Эффект ореола

Элиезер Юдковский

Аффективная эвристика — это когда общее ощущение хорошего или плохого влияет на многие другие суждения, вне зависимости от того, логично это или нет, и независимо от того, осознаете вы это или нет. Субъекты, которым рассказали о преимуществах ядерной энергии склонны недооценивать риски реакторов; биржевые аналитики, которые оценивают неизвестные им акции, склонны характеризовать их в общем, как хорошие или плохие — низкий риск и высокий доход или высокий риск и низкий доход — пренебрегая обычной экономической теорией, которая говорит что риск и доход должны коррелировать положительно.

Эффект ореола (также называемый гало-эффектом) это проявление аффективной эвристики в социальной психологии. Роберт Чалдини во «Влияние: наука и практика» обобщает:

Исследования показывают, что мы автоматически присваиваем симпатичным людям такие хорошие черты как талант, доброту, честность и ум (для обзора свидетельств см. Eagly, Ashmore, Makhijani, & Longo, 1991). К тому же мы не замечаем, что в данных суждениях играет роль физическая привлекательность. Некоторые последствия таких неосознанных предположений что «что-то хорошо выглядящее есть хорошее» пугают меня. Например, исследование канадских федеральных выборов 1974 года обнаружило, что привлекательные кандидаты получили больше чем в два с половиной раза голосов, нежели непривлекательные (Efran & Patterson, 1976). Несмотря на такие свидетельства фаворитизма по отношению к привлекательным внешне политикам, дальнейшие исследования показали, что избиратели не осознают данного своего искажения. На деле, 73 процента канадских избирателей категорически отказались признать, что в их суждениях внешность кандитата играла какую-то роль; и только 14 процентов сказали, что допускают такую возможность (Efran & Patterson, 1976). Избиратели могут отрицать влияние привлекательности на возможность быть избранным, однако тревожные свидетельства наличия данного эффекта продолжают поступать (Budesheim &DePaola, 1994).

Аналогичный эффект проявляется в ситуациях, связанных с наймом сотрудников на работу. Согласно одному из исследований, хороший вид претендента часто играл большую роль в процессе принятия решения интервьюером о найме, чем даже профессиональные навыки — хотя интервьюеры заявляли обратное, что внешний вид не оказывает значительного влияния на их выбор (Mack & Rainey, 1990). Преимущество привлекательных внешне сотрудников легко отслеживалось в день зарплаты. Экономисты, исследовавшие данные по США и Канаде, обнаружили, что такие сотрудники получали зарплату в среднем на 12-14 процентов больше, нежели их не столь привлекательные коллеги (Hammermesh & Biddle, 1994).

Не менее тревожные исследования показывают, что строение костей и пропорции тела могут влиять даже на судебные процессы. Даже в правовой системе хорошо выглядящие люди получают преимущество (смотри Castellow, Wuensch, & Moore, 1991; and Downs &Lyons, 1990). Например, в пенсильванском исследовании (Stewart, 1980) ученые ранжировали 74 обвиняемых согласно их физической привлекательности перед их судом. Потом, проверяя результаты данных случаев, они обнаружили, что привлекательные люди получили куда более легкие наказания. Фактически, привлекательные обвиняемые вдвое чаще непривлекательных избегали тюрьмы. В другом исследовании — когда оценивалась сумма выплаты за причиненный ущерб, если обвиняемый был привлекательней пострадавшего, то средняя сумма выплат составляла 5623 доллара, если же наоборот — жертва была привлекательней обвиняемого, то средняя сумма вырастала до 10051 доллара. Более того, присяжные демонстрировали данный эффект вне зависимости от своей половой принадлежности (Kulka & Kessler, 1978).

Другие эксперименты продемонстрировали, что привлекательные люди чаще получают помощь, если она им нужна (Benson, Karabenic, & Lerner, 1976), и с куда большим успехом могут убеждать людей менять мнение (Chaiken, 1979)…

Влияние привлекательности на оценку интеллекта, честности и доброты — это чистый пример искажения (особенно когда вы судите об этих сущностях на основе фиксированного текста) поскольку мы не ожидаем, что суждения о честности и привлекательности будут объединены на каких-то легитимных причинах. С другой стороны, сколько моего воспринимаемого со стороны интеллекта проистекает из моей честности? Как много моей воспринимаемой честности проистекает из моего интеллекта? Поиск истины и произнесение ее вслух не так широко разделены в природе как хороший вид и умный вид…

Но эти исследования эффекта ореола привлекательности должны заставлять нас подозревать, что существует подобный эффект и для доброты или интеллекта. Предположим, вы знаете человека, который кажется не только очень умным, но также честным, альтруистичным, добрым и спокойным. Вы должны быть скептичнее относительно того, не влияют ли какие-то из этих характеристик на ваше восприятие других. Возможно, этот человек на самом деле умен, честен и альтруистичен, но не всегда добр или спокоен. Вы должны насторожиться, если вам кажется, будто вы можете разделить всех своих знакомых на чистых ангелов и демонов.

И я знаю, что вы не думаете, будто вы должны это делать, но, возможно, вам стоило бы быть более скептичными в отношении более привлекательных политиков.

Искажение супергероя

Элиезер Юдковский

Предположим, что хорошо вооруженный социопат, который взял людей в заложники, отказался от переговоров и объявил, что сейчас начнет убивать. В реальной жизни, хорошие парни обычно не выбивают дверь, когда у плохого парня есть заложники. Но иногда — крайне редко, но все же — жизнь подражает Голливуду в том, что хорошим парням необходимо проломиться через дверь.

Представим два совершенно разных мира, в которых герои вламываются в комнату, чтобы оказаться лицом к лицу со злодеем.

В одной из реальностей герой может поднимать и бросать машины, стреляет лазерами из ноздрей, имеет рентгеновский слух, и его кожа не просто отражает пули, а аннигилирует их. Злодей же засел в начальной школе, и в заложниках у него две сотни детей, родители которых плачут снаружи.

В другой реальности герой — это обычный нью-йоркский полицейский, а заложники — три проститутки, которых злодей снял на улице.

Тщательно рассмотрим вопрос: кто из них больше достоин называться героем? И кто вероятнее всего станет героем комиксов?

Эффект ореола — это когда восприятия всех положительных черт коррелируют. Те, кого оценили выше по шкале привлекательности, также скорее всего получат более высокие оценки на шкалах таланта, доброты, честности и ума.

Таким образом, герои из комиксов, которые кажутся сильными и неуязвимыми (что является двумя положительными чертами), также кажутся обладающими еще и такими героическими чертами, как мужество и героизм. Но:

«Как может быть тяжело действовать храбро и героически, когда ты практически неуязвим?»

—Empowered, т. 1

Я не помню, вычитал ли я эту точку зрения где-то или придумал как гипотезу: известность, в частности, складывается с остальными личностными характеристиками. Рассмотрим Ганди. Был ли Ганди самым альтруистичным человеком 20 века или только наиболее знаменитым альтруистом? Ганди выходил навстречу и полицейским с дубинками, и солдатам с оружием. Но Ганди был знаменитостью, и его известность его защищала. А что насчет других, тех, кто шел с ним на марш, тех людей, которые попадали под удары дубинок и выстрелы из оружия, хотя о них никто бы не написал в СМИ, если бы они попали в госпиталь или были убиты?

Что думал Ганди о заголовках в газетах, известности, славе, месте в истории, о том, чтобы стать архетипом ненасильственного сопротивления, когда он рисковал меньше, нежели те, кто шел с ним? Что он чувствовал, когда кто-либо из этих анонимных героев приходил к нему с сияющими глазами и говорил, насколько Ганди велик? Представлял ли Ганди мир в таком свете? Не знаю; я не Ганди.

Это ни в коем случае не критика Ганди. Смысл ненасильственного сопротивления — не в показывании вашего мужества; это можно сделать куда проще, спустившись по Ниагаре в бочке. Ганди не мог не быть частично защищенным своей известностью. И его действия требовали мужества — пусть не так много, как от анонимного человека, но все еще очень и очень много.

Искажение, на которое я хочу указать — это то, что люди склонны добавлять славу Ганди к его «честно заработанному» альтруизму. Когда вы думаете о ненасилии, вы думаете о Ганди — не о анонимном протестующем, который шел на одном из маршей, который попадал под огонь ружей и дубинки полицейских, который получал травмы и попадал в больницы, который остался после этого инвалидом и имя которого никто не вспомнит.

Точно так же, что значительней — рисковать жизнью, чтобы спасти две сотни детей, или рисковать жизнью, чтобы спасти трех взрослых?

Ответ зависит от того, что вы понимаете под «значительней». Если вам приходится выбирать между спасением трех взрослых и спасением двух сотен детей, то тогда выбирайте последнее. Фраза «любой, кто спасает одну жизнь, спасает целый мир» может звучать очень здорово, однако её нельзя назвать хорошим советом, если вам нужно выбрать, кого спасать. Так что, если вы говорите «значительней», понимая под этим «кто важней?», или «какой исход предпочтительней?», или «какой из двух путей я должен выбрать?», то тогда значительней будет спасти две сотни, нежели трех человек.

Но если вы спрашиваете о значительности в смысле явной добродетели, тогда любой, кто рискнул бы своей жизнью, чтобы спасти только три жизни, обнаруживает больше мужества, нежели тот, кто спас бы две сотни, но не трех.

Это не значит, что вы можете намеренно решить рискнуть вашей жизнью, чтобы спасти трех взрослых, и позволить умереть двум сотням школьников, потому что вы хотите явить больше добродетели. Любой, кто рискует жизнью, желая быть добродетельным, на самом деле являет много, много меньше добродетели, нежели тот, кто рискует жизнью, желая спасти других. Любой, кто выбирает спасение трех жизней, а не двух сотен, только потому, что так он выглядит более добродетельным, настолько зачарован своим «величием», что это больше похоже на моральный эквивалент убийства.

Это похоже на коан дзен: нельзя продемонстрировать добродетель, пытаясь её продемонстрировать. Имея выбор между спасением мира без всяких жертв и усилий и путем, на котором вам придется рисковать своей жизнью и терпеть лишения, вы не можете стать героем, осознанно выбрав второй путь. В желании быть героем нет ничего героического, это лишь бессмысленная цель.

По-настоящему добродетельные люди, действительно пытающиеся спасать жизни, а не демонстрировать добродетель, будут постоянно искать возможность спасти больше жизней меньшими усилиями, что означает, что они продемонстрируют меньшую добродетель. Это может звучать путано, однако это вовсе не противоречиво.

Но мы не всегда можем выбрать неуязвимость к пулям. После того, как мы сделали все возможное, чтобы уменьшить риски и увеличить шансы, любой оставшийся героизм является настоящим и нужным.

Полицейский, который рискует своей жизнью, не обладая сверхспособностями, не имея рентгеновского зрения, суперсилы, возможности летать, и уж, конечно, неуязвимости к пулям, демонстрирует куда большую добродетель, нежели Супермен, который является всего лишь героем.

Просто мессии

Элиезер Юдковский

Вчера я рассматривал, как гало-эффект, который заставляет людей видеть все позитивные характеристики, как связанные (например, более привлекательные индивиды также воспринимаются как более добрые, честные и умные), принуждает нас больше восхищаться героями, если они обладают сверхсилой и пуленепробиваемы. Даже если, согласно логике, потребуется больше смелости, чтобы быть героем, если ты обычный человек. Кроме того, можно обнаружить, что большее достоинство действовать отважно для спасения одной жизни, чем для спасения мира. (Хотя если вам нужно сделать что-то одно из двух, конечно вы должны спасти мир).

Я хочу сказать, что полицейский, который рискует своей жизнью, не имея сверхспособностей, проявляет куда большую добродетель, чем Супермен, который просто-напросто супергерой.

Давайте рассмотрим конкретный пример.

Нью-йоркский полицейский Джон Перри(English) был последователем экстропианства и трансгуманизма, насколько мне известно. Он должен был скоро выйти на пенсию и собирался начать собственную юридическую практику, когда пришла новость, что самолет врезался во Всемирный Торговый Центр. Он погиб, когда была разрушена северная башня. Я не знал Джона Перри лично, поэтому я не могу претендовать на точное знание; но лишь малая часть последователей экстропианства верит в Бога, и я предполагаю что Перри также был атеистом.

Это говорит нам о том, что Перри знал о риске прекратить свое существование, выходя на работу. И что, в отличие от большинства людей в истории, он знал о имеющемся у него выборе как умереть и выбрал то, что имело значение — потому что был трансгуманистом; его надежда была подлинной. И он все равно вошел в здание и отдал свою жизнь. Не потому что он ожидал божественной награды. Не потому что думал, что после смерти его ждет что-то еще. Но потому что в опасности были другие люди, у которых тоже не было бессмертной души и их надежды на жизнь стоили не меньше, чем его.

Я не знал Джона Перри. Я не знаю, смотрел ли он на мир именно так. Но факт, что атеист и трансгуманист все еще был полицейским, который бросился в горящее здание, говорит больше о человеческом духе, чем все мученики, которые надеялись попасть в рай.

Это мы рассказали о конкретном офицере полиции…

…а теперь посмотрим на супергероя.

Как рассказывают христиане, Иисус Христос мог ходить по воде, мог остановить бурю и усмирить демонов одним словом. Это должно быть весьма удобно в повседневной жизни: проблема голода? Наксерокопируем хлеба. Не нравится дерево? Проклянем его. Проблемы с римлянами? Пожалуемся Папе на них. Когда наконец его волшебная жизнь закончилась, Иисус был добровольно распят на кресте. Быть распятым на кресте не особо легкий способ умереть. Однако судя по рассказам христиан, Иисус сделал это, зная что он воскреснет через три дня, а после этого попадет в рай. Что заставило его принять временные муки перед попаданием в рай? Жизнь единичного человека? Коррупция иудейской церкви, или угнетения римлян? Нет, согласно христианам, Иисус принял муки за все грехи человеческие.

Но я не хочу осуждать человека, который на самом деле не был настолько виноват. Что если Иисус — нет, давайте произносить его имя правильно: Иешуа — что если Иешуа никогда не ходил по воде и тем не менее бросил вызов церкви иудеев, которая поддерживалась римлянами?

Разве это не заслуживает большего уважения, чем то, которое уделяется Иисусу Христу, который был просто Мессией?

Увы, величественнее кажется для героя иметь стальную кожу и божественные силы. Почему-то кажется более добродетельным временно умереть, чтобы спасти целый мир, чем умереть навсегда в борьбе с коррумпированной церковью. Это кажется таким обычным, словно в истории было полно людей, которые так делали.

Взирая с расстояния в две тысячи лет из будущего мы можем с разных сторон критически смотреть на Иешуа, однако он сделал то, во что верил, то, что по его мнению было правильно, вступив в сражение с церковью, которую он считал коррумпированной, и умер за это. Без преимущества просветления, едва ли он мог предсказать истинное влияние его жизни на мир. По отношению к другим пророкам его дней, он возможно был более честным, относительно менее жестоким и более храбрым. Если не рассматривать все непредвиденные последствия, худшее, что можно сказать о Иешуа, это что у других пророков получалось лучше (Эпикур, Будда, Марк Аврелий — те, кто первые приходят на ум). Иешуа умер навсегда, и с одной точки зрения он сделал это во имя честности. Пятнадцать веков до науки — в те времена религиозная честность не была оксюмороном.

Как сказал Сэм Харрис:

«Недостаточно того, что Иисус был человеком, который изменил себя настолько, что Нагорная Проповедь была отражением его сердца. Он также должен был быть Сыном Бога, непорочно зачатым, которому было суждено вернуться на землю в ореоле славы. Эффектом этой догмы стало то, что пример Иисуса навсегда стал недосягаем. Его учение прекратило быть набором эмпирических тезисов о соединении между этиками и духовным просветлением, вместо этого став ненужной и достаточно неприятной сказкой. Согласно догмам христианства, стать подобным Иисусу невозможно. Человек может лишь перечислить свои грехи, верить в невероятное и ждать конца света».

Я сильно сомневаюсь, что Иешуа когда-либо произносил Нагорную Проповедь. Несмотря на это, Иешуа заслуживает славы. Он заслуживает больше славы, чем любой из христиан, почитающих его.

Но поскольку Иешуа скорее всего ожидал, что его душа выживет, он не заслуживает больше славы, чем Джон Перри.

Аффективные смертельные спирали

Элиезер Юдковский

Огромное множество потоков человеческого мышления ведут нас к переоценке того, как хорошо наша любимая теория объясняет факты. Теория флогистона в химии могла объяснить все что угодно, пока не требовалось предсказать что-либо заранее. И чем больше феноменов вы объясняете своей теорией, тем истиннее она кажется — разве все эти наблюдения не подтверждают ее? И по мере того, как теория набирает в глазах у вас вес, вы будете склонны ставить под сомнение те свидетельства, которые конфликтуют с ней. И поскольку любимая теория кажется все более общей, вы будете искать возможности объяснить ею как можно больше вещей.

Если вы знаете кого-то, кто верит в то, что Бельгия тайно контролирует банковскую систему США или что они могут использовать силу невидимого синего духа для поиска доступных мест для парковки — скорее всего они уже дошли до этой стадии.

(Просто следите, и вы будете наблюдать много того, что, кажется, подтверждает эту теорию…)

Этот цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.

Новая политическая система, которая может спасти мир. Великий лидер, сильный, благородный и мудрый. Удивительный тоник, который может лечить расстройство желудка и рак.

Эй, почему бы не все три сразу? Великое дело нуждается в великом лидере. Великий лидер должен быть способен приготовить один-два волшебных тоника.

Эффект ореола — это когда любая воспринимаемая положительная характеристика (такая как привлекательность или сила) увеличивает восприятие любых других положительных характеристик (таких как интеллект или мужество). Даже когда это не так или почти не так.

Позитивные характеристики усиливают восприятие других позитивных характеристик? Звучит сильно похоже на то, как делящийся атом урана испускает нейтроны, которые расщепляют другие атомы урана.

Слабый положительный аффект не дотягивает до критической массы; он не выходит из-под контроля. Привлекательный человек кажется более честным, что, похоже, делает его еще более привлекательным; однако эффективное размножение нейтронов меньше единицы. Метафорически говоря. Резонанс немного сбивает с толку в отношении некоторых вещей, однако быстро сходит на нет.

С сильным положительным аффектом, имеющим отношение к Великой Вещи, резонанс проявляется везде. Верящий коммунист видит мудрость Маркса в каждом гамбургере, купленном в Макдональдс; в любом движении они запрещают все, что не подпадает под определение рая для истинных трудящихся; любые выборы, в которых они проигрывают, во всех статьях они объявляют подтасованными. Каждый раз, когда они используют Великую Идею для интерпретации другого события, Великая Идея подтверждается все больше и больше. Это ощущается как что-то хорошее — положительное подтверждение — и конечно, когда что-то позволяет нам чувствовать себя хорошо, то, увы, это заставляет нас хотеть верить в это еще больше.

Когда Великая Идея ощущается достаточно хорошей для того, чтобы заставить вас искать новые возможности ощутить, что Великая Идея еще лучше, применяя ее для интерпретации всех новых событий каждый день, резонанс положительного аффекта похож на комнату, забитую сверхчувствительными мышеловками, в которую забросили несколько мячей от пинг-понга.

Вы можете назвать это «аттрактором счастья», «перекрывающейся положительной обратной связью», «замкнутой петлей похвалы» или «бумагой веселья». Лично я предпочитаю термин «аффективная смертельная спираль».

В следующем посте: как сопротивляться аффективной смертельной спирали. (Подсказка: не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.)

Сопротивление аффективным смертельным спиралям

Элиезер Юдковский

Когда-то давно был человек, считавший, что он обладает Великой Идеей. Действительно, по мере того, как он думал об Идее всё больше, он понимал, что это была не просто Великая Идея, а Самая Замечательная Когда-Либо Существовавшая Идея. Великая Идея могла бы разгадать тайны Вселенной, вытеснить авторитет подверженных коррупции и ошибкам ведомств, предоставить почти магическую силу её обладателям, накормить голодных, вылечить больных, улучшить мир в целом и т.д., и т.п.

Этим человеком был Френсис Бекон, его великой идеей был научный метод, и он был единственным фриком в истории, утверждавшем о таких преимуществах для человечества, и оказавшимся совершенно правым.

(Разумеется, Бэкон не изобрел единолично всю науку, однако он сделал в нее немалый вклад и, возможно, был первым, кто осознал ее полный потенциал.)

В этом и заключается слабое место решения, когда человек решает вообще не увлекаться идеями: некоторые из них на самом деле хорошие. Хотя на данный момент неизвестны идеи, которые были бы более революционны, чем идея Бэкона, и при этом выполняли бы свои заявления.

Но как мы можем сопротивляться аффективным смертельным спиралям, продолжая при этом уважать Науку? Подобная спираль проявляется, когда вы верите, что некоторая вещь настолько великолепна, что эффект ореола заставляет вас искать все больше и больше хороших слов, которые можно сказать об этой вещи, заставляя вас верить, что эта вещь еще более замечательна и таким образом увлекая вас в бездну. Что, если Наука в действительности настолько полезна, что мы не можем даже признать ее истинное величие и остаться при этом в здравом умен? Ой, похоже это началось…

Если вы пытаетесь защититься от данного эффекта, возможно, вам на ум придут стандартные кэшированные мысли вида «Наука дала нам кондиционеры, но ведь также дала и атомные бомбы» или «Ученые могут рассказывать о звездах и биологии, однако никогда не смогут доказать или опровергнуть существование дракона у меня в гараже». Однако люди, которые так думают, не пытаются сопротивляться аффективной смертельной спирали. Их заботит не то, что восхищение наукой выходит из-под их контроля. Скорее, им не нравится то, что наука говорит об их убеждениях, и они ищут пути, чтобы подорвать ее авторитет.

Для тех, кто искренне восхищается наукой, не подойдут те негативные вещи, которые о ней обычно говорят — не та аудитория. Так что мы должны искать другие негативные вещи на замену этим.

Но если вы пытаетесь избирательно очернить науку — пусть даже в попытке сопротивляться аффективной смертельной спирали — разве при этом вы не впадаете в рационализацию? Почему вы должны уделять внимание своим мыслям, если вы знаете, что пытаетесь манипулировать самим собой?

В общем, я достаточно скептично отношусь к тем людям, которые утверждают, что одно искажение можно использовать для нейтрализации другого. Для меня это звучит так, словно механик говорит вам, что у вашей машины сломался двигатель правого стеклоочистителя и чтобы было симметрично, механик сломал вам двигатель левого. Это такой вид «умных рассуждений», который больно ударит по вам самим. Любое решение, каким бы оно не было, должно включать в себя правильные убеждения, а не веру в убеждение, что вы верите, что определенная вещь не особо хороша.

Можете ли вы предотвратить аффективную смертельную спираль путем ограничения вашего восхищения наукой узким диапазоном? Частью спирали является стремление видеть Великую Идею везде — думать, что Коммунизм бы даже рак вылечил, если бы ему дали шанс. Возможно, что единственным наиболее надежным признаком гуру культа является тот факт, что гуру заявляет о своем знании не касательно одной области или ряда областей — а сразу во всем. Гуру знает, что членам культа нужно есть, носить, чем заниматься, как выбирать себе партнера, какие картины смотреть, какую музыку слушать…

К сожалению, в данном случае такой план имеет изъян — большинству людей не удается описать границы, в которых должна оставаться наука. Обычный аргумент «наука не вылечит рак» не работает. «Наука ничего не может сказать о любви родителей к своему ребенку» — простите, это уже явная ложь. Если вы пытаетесь отделить науку от так называемой родительской любви, вы не просто отрицаете когнитивную науку и эволюционную психологию. Вы также отрицаете факт основания Мартином Ротблаттом Объединения Терапевтов для поиска лекарства для его дочери, больной легочной гипертензией. (К слову сказать, успешного поиска.) Наука так или иначе связана со всеми важными аспектами человеческого существования.

Хорошо, но можно ли придумать подходящее утверждение о «великолепности» науки, которое было бы ложным?

По моему скромному мнению, ложным утверждением будет то, что наука столь великолепна, что учёным не нужно беспокоится об этической ответственности за свою работу, потому что так или иначе результат будет хорошим. Учёные тоже люди, они (как и другие люди) так или иначе думают о благе для обществе, и это, по крайней мере, одна из причин, почему наука создаёт хорошего всё же больше, чем плохого.

Однако эта точка зрения, очевидно, не бесспорна. Можно придумать и более простое ложное утверждение: «Пациент с раком может быть вылечен, путем публикации достаточного количества журнальных статей». Или «Социопаты могли бы стать полностью нормальными, если бы они заставили себя не верить ничему, без воспроизводимого экспериментально свидетельства с p менее 0,05».

Для того, чтобы не поверить в эти ложные утверждения, следуя аффективной спирали, не надо искать причин верить в то, что публикация журнальных статей вызывает рак. Не надо пытаться поверить в то, что наука всё равно ничего не может сказать о раке. Надо принять для себя как данность, что наука хороша лишь слегка.

Точнее, если вы достаточно конкретно знаете как работает наука, то вы знаете, что хоть наука и может со временем «вылечить рак», но больной пациент, пишущий журнальные статьи, не получит чудодейственной ремиссии. Эта конкретная цепь причин и следствий не будет работать.

Аффективная смертельная спираль представляет собой эмоциональную проблему, возникающую вследствие проблемы в восприятии, эффекта ореола, который заставляет нас приписывать бо́льшую вероятность истинности будущим положительным заявлениям, если мы приняли начальное положительное заявление. Мы не можем избавиться от этого эффекта по своему желанию, скорее всего, он всегда в той или иной мере будет влиять на нас. Но мы можем уменьшить размер этого влияния, остановившись и рассматривая каждое дополнительное положительное заявление как лишнее усложнение, и концентрируясь на самих заявления отдельно от положительных эмоций, ими вызываемых.

Что делать, если определенное хорошее заявление «не может быть опровергнуто», хотя есть аргументы «за» и «против»? На самом деле таких слов вообще стоит опасаться, поскольку часто их произносят те люди, которые повторяют свидетельство или пытаются избежать слабых мест. Учитывая опасность аффективной смертельной спирали радости, имеет смысл постараться избегать радоваться неподтвержденным заявлениям — избегать делать их источником еще больших положительных эмоций касательно того, что вам уже нравится.

Аффективная смертельная спираль является столь большой проблемой вследствие перекрывающейся положительной обратной связи, которая дает возможность процессу перейти в критическую стадию. Возможно, вы не можете совсем убрать эффект ореола, однако вы можете мыслить достаточно критически, чтобы не давать ему довести вас до критической отметки — при этом резонанс прекратится до того, как все взорвется.

Можно даже сказать, что вся проблема начинается с людей, которые которые не утруждают себя критическим анализом любой детали, вносящей дополнительную сложность — рассматривая подходящие свидетельства для компенсации сложности, ища недостатки так же как и поддержку, вовлекая любопытство — как только были приняты некоторые основные положения. Без ложной конъюнкции эффект ореола все еще действовал бы, однако не приводил бы к аффективной смертельной спирали.

Даже в отношении Самых Крутых Штук в известной вселенной идеальный рационалист, требующий безусловно необходимые свидетельства для каждого дополнительного (положительного) заявления, никогда бы не впадал в аффективный резонанс. Вы не можете так делать, но вы можете постараться приблизиться к этому идеалу достаточно близко, чтобы сохранять свое счастье от выхода из-под контроля в смертельную спираль.

По-настоящему опасные случаи это те, где любая критика любого положительного заявления про Великую Идею ощущается плохой или социально неприемлемой. Аргументы — это солдаты, любое положительное заявление — солдат вашей стороны, причинять им вред — предательство. Тогда реакция достигает критической точки. Больше об этом в следующем посте.

Добавление: Стюарт Армстронг предложил весьма дельный совет:

Разделите вашу Великую Идею на мелкие отдельные идеи и обращайтесь с ними как с независимыми.

Для примера: марксист должен делить Великую Идею Маркса на теорию стоимости, теорию политических отношений между классами, теорию заработной платы, теорию крайнего политического состояния человечества. Каждая из них должна оцениваться отдельно от других, и истинность или ложность одной не должна распространяться ореолом на другую. Если мы можем сделать это, спираль будет нам не страшна, поскольку каждая теория слишком мала, чтобы стать началом спирали.

Метафорически говоря, это похоже на дробление плутония, чтобы не дать ему достигнуть критической массы. Три Великих Идеи намного менее вероятно сведут вас с ума, чем одна Великая Идея. К тому же совет Армстронга помогает сохранить концентрацию на деталях: как только кто-то говорит «Публикация достаточного количества статей может вылечить ваш рак», вы спрашиваете: «Это было получено экспериментальным методом? Если да, то на каком этапе эксперимента вылечивается рак? Или это преимущество от науки как от социального процесса? В таком случае нужно полагаться на отдельных ученых, желающих вылечить рак или они могут быть эгоистами?». Возможно, что это поможет вам избавиться от эффекта ореола и даст возможность более эффективно замечать замешательство и отсутствие поддержки.

Добавление 2: как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.

Некритичная сверхкритичность

Элиезер Юдковский

Снова и снова можно встретить людей спорящих о том, является ли атеизм религией. Как я упоминал в «Purpose and Pragmatism» (English), спор о смысле отдельного слова практически всегда означает, что вы потеряли нить от изначальной проблемы. Какие предпосылки могут существовать для этого спора?

Атеист толкает речь, попрекая «религию» инквизицией, крестовыми походами и многочисленными конфликтами как с исламом, так и без его участия. На это религиозный человек может ответить: «Но атеизм также является религией, вы тоже имеете верования о Боге; вы верите в то, что Бога не существует». Тогда атеист парирует: «Если атеизм – религия, то не-коллекционирование марок можно назвать хобби», и спор начнётся.

Или он может ответить: «Но такие же ужасы были принесены и атеистом Сталиным, подавлявшим церкви во имя атеизма, так что вы не можете объявлять религию источником насилия». Теперь атеист может соблазниться ответом «Никто не истинный шотландец», сказав: «Религия Сталина называется Коммунизм». Религиозный человек возразит: «Если Коммунизм – религия, то фанаты Звёздных Войн – правительство», и спор начнётся.

Нужно ли определять «религиозного» человека как кого-то, кто имеет определенное мнение о существовании по крайней мере одного бога, то есть присваивает вероятность ниже 10% или выше 90% существованию Зевса? Или его нужно определять как человека, который обладает положительным мнением, говоря, что вероятность существования по меньшей мере одного бога выше 90%? В первом случае Сталина можно назвать «религиозным»; во втором его назвать так нельзя.

Но это определённо неверный подход к проблеме. Что вы действительно хотите знать, о чём действительно был спор – это то, почему на определённых этапах человеческой истории большие группы людей подвергались пыткам и были убиты якобы во имя идеи. Переопределение слова никак не изменит исторических фактов.

Коммунизм был сложной катастрофой, и в ней может и не быть единичной причины, отдельной ссылки, лежащей в основе причинно-следственной цепочки. Но если бы я должен был предложить эй-ошибку, это была бы… ну, я позволю Господу сказать это за меня:

«Если будет уговаривать тебя тайно брат твой, сын отца твоего или матери твоей, или сын твой, или дочь твоя, или жена на лоне твоем, или друг твой, который для тебя, как душа твоя, говоря: „пойдем и будем служить богам иным, которых не знал ты и отцы твои”, богам тех народов, которые вокруг тебя, близких к тебе или отдаленных от тебя, от одного края земли до другого, то не соглашайся с ним и не слушай его; и да не пощадит его глаз твой, не жалей его и не прикрывай его, но убей его; твоя рука прежде всех должна быть на нем, чтоб убить его, а потом руки всего народа; побей его камнями до смерти, ибо он покушался отвратить тебя от Господа, Бога твоего, Который вывел тебя из земли Египетской, из дома рабства» (Второзаконие 13:7—11).

Это аналогично правилу, установленному Сталиным для коммунизма и Гитлером для нацизма: если твой брат пытается рассказать тебе, почему Маркс ошибался, если твой сын пытается рассказать тебе, что евреи не планируют захват мира, то не спорь с ним и не приводи доказательств, не проводи воспроизводимых опытов и не изучай историю, но скорее сдай его секретным службам.

В прошлом посте я предположил, что ключевым моментом в сопротивлении аффективным смертельным спиралям является принцип «дополнительной сложности» – просто помнить, что любое дополнительное положительное заявление добавляет сложности Великой Идее. (Это не тривиальный совет. Люди часто забывают делать это, даже когда слушают прогнозы футуристов, удивительно полные восторженных подробностей о чудесах будущего, что уж тут говорить о тех моментах, когда они в одиночестве рассуждают о своей любимой идее). Это не уберет эффект ореола, однако может снизить резонанс ниже критической отметки, чтобы одно хорошо звучащее заявление не провоцировало больше 1,0 дополнительного хорошо звучащего заявления, в среднем.

Диаметральной противоположностью этому совету, который подвергает эффект ореола сверхкритичности, является момент, когда любой спор против положительных заявлений о Великой Идее ощущается чем-то кощунственным. Политика – убийца разума. Аргументы – солдаты. Как только вы выбираете сторону, вы должны поддерживать все аргументы, свидетельствующие в пользу вашей стороны и опровергать все те, что говорят против нее. Если же вы предоставляете помощь стороне врага, то вы – предатель.

Если…

…вы думаете, что любой, кто указывает на недостатки теории эволюции, будет сторонником креационизма;

…вы ощущаете, что получаете духовные очки за любую хорошую вещь сказанную вами о Боге, и спорить об этом – вмешиваться в ваши отношения с Богом;

…у вас есть четкое ощущение, что другие люди в комнате осудят вас за «поддержку вражеской стороны», если вы будете приводить аргументы против последней войны;

…сказать что-либо против коммунизма для вас смерти подобно;

…тогда аффективная смертельная спираль становится сверхкритичной. Теперь это Аффективная Смертельная Супер-Спираль.

Это не религия как таковая, это ключевая систематизация, относящаяся к нашему исходному вопросу: «Что приводит к жестокости?». Лучшее определение различий, которое я слышал, между «сверхъестественным» и «натуралистическим» мировоззрением, это то, что сверхъестественное заявляет существование онтологически базовых ментальных сущностей, наподобие духов, в то время как натуралистическое сводит ментальные явления к нементальной природе. Концентрация на этом как на источнике проблемы поддерживается в религиозной исключительности. Заявления сторонников сверхъественного мировоззрения стоит выделить, поскольку они всегда ошибочны по фундаментальным причинам. Но это всё ещё только один вид ошибок.

Аффективная смертельная спираль может зарождаться вокруг сверхъестественных убеждений; особенно вокруг монотеистических религий, центральное место в которых занимает сверхсчастливый агент, в основном определеяемый как соглашающийся с любым хорошим заявлением про его религию; особенно вокруг тех, в которых комплексы мемов развились достаточно для того, чтобы заявлять о сверхъестественной каре за неверие. Однако смертельная спираль может возникнуть и вокруг политической инновации, харизматичного лидера, веры в национальную идею или экономическую гипотезу. История учит, что аффективные смертельные спирали опасны, вне зависимости от того, включают ли они в себя сверхъестественное или нет. Религия как класс ошибок недостаточно выделяется, чтобы рассматриваться как ключевая проблема.

Сэм Харрис подобрался ближе к истине, когда обвиняюще указал на само явление веры. Если вы не налагаете бремя доказательства на всякое и каждое дополнительное хорошее заявление, то впасть в аффективный резонанс необычайно просто. Посмотрите на бедных последователей Нью Эйдж. В христианстве развилось множество видов защиты от критики, выступая в защиту чудес веры; последователи Нью Эйдж в культурном отношении унаследовали кэшированную мысль, что вера – это хорошо, однако не имеют ограничивающего их Писания, которое могло бы оградить их от конкурирующих мемов. В конечном итоге течение Нью Эйдж погрязло в смертельных спиралях вокруг звезд, деревьев, магнитов, диет, заклинаний, единорогов…

Но аффективная смертельная спираль становится много опаснее, когда критика становится грехом, бестактностью или преступлением. В мире существуют вещи, которые заслуживают огромной похвалы, и вы не можете точно сказать, где для них проходит граница между заслуженной и незаслуженной похвалой. Однако не существует Идеи, настолько истинной, что будет неправильно критиковать любой аргумент, поддерживающий ее. Таких идей нет и не будет. Никогда. Во веки веков. Это точно. Большая часть возможных убеждений в нетривиальном пространстве ответов ложна, и подобным образом большая часть возможных аргументов в их поддержку тоже ложна, и даже самая лучшая идея не сможет это изменить.

И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.

Охлаждение групповых убеждений при помощи испарения

Элиезер Юдковский

Ранние исследователи культов были удивлены, когда обнаружили, что когда культы получают сильный удар — пророчество ли не сбывается, или на свет выплывают грешки основателя культа — они часто возвращаются даже сильнее чем прежде, с усиленным убеждением и фанатизмом. Свидетели Иеговы предсказывали Армагеддон в 1975, основываясь на своих вычислениях из Библии; 1975 пришел и ушел. Культ Анафемы, все еще действующий и в наши дни, выжил после того как предсказанный им интергалактический флот не появился 27 сентября 1975. (Статья в Википедии про данный культ упоминает несбывшееся пророчество касательно 2001 года, однако обходит стороной ранний провал в 1975, что уже достаточно интересно.)

Почему же групповое убеждение становится сильнее после встречи со столь разрушительным контр-свидетельством?

Стандартное объяснение данного явления основано на теории когнитивного диссонанса. Когда люди производят «невозвратные» действия в поддержку убеждения — отдают все свое имущество в ожидании прилета НЛО — они просто не могут признать, что они ошиблись. Вызов их убеждению представляется громадным когнитивным диссонансом; им приходится усилить свои мысли, чтобы противостоять шоку, таким образом укрепляясь в своем фанатизме. В данной интерпретации увеличение группового фанатизма есть результат увеличения фанатизма индивидуального.

Я смотрел на джава-апплет, который показывал использование охлаждения испарением для получения конденсата Бозе-Эйнштейна, когда до меня дошло, что совершенно другая сила может отвечать за увеличение фанатизма. Охлаждение испарением устанавливает барьер потенциальной энергии вокруг собрания горячих атомов. Тепловая энергия по существу статистична по природе — не все атомы движутся с совершенно одинаковой скоростью. Кинетическая энергия каждого атома варьируется, поскольку атомы сталкиваются друг с другом. Если вы устанавливаете барьер потенциальной энергии немного выше, чем средняя тепловая энергия, то при случайном стечении обстоятельств какой-то атом может получить достаточно кинетической энергии, чтобы вылететь из ловушки. Группа при этом становится существенно холоднее, чем барьер потенциальной энергии вокруг нее. Различные действия с апплетом помогли мне понять это яснее.

В классическом «Когда пророчество не сбывается» Фестингера один из членов культа уходит сразу же, как только НЛО не появляется. Кто встанет и уйдет первым? Средний член культа? Или относительно более скептичный участник, который ранее мог действовать как сдерживающий голос, успокаивавший более фанатичных последователей?

После того, как члены с наибольшей кинетической энергией уходят, все поздние дискуссии будут проходить между ярыми фанатиками с одной стороны и чуть менее ярыми фанатиками с другой стороны, при этом мнение всей группы получится где-то «посередине» между ними.

Аналогично ли это преобразованию в форму конденсата Бозе-Эйнштейна? Конечно же реальной необходимости настолько подгонять аналогию нет. Но вы можете вспомнить, что я использовал аналогию с цепной реакцией для аффективной смертельной спирали; когда группа отторгает все свои голоса, которые ее сдерживали, тогда все люди, подбадривая друг друга и подавляя инакомыслящих, могут внутри группы увеличивать средний уровень фанатизма. (Здесь нет аналогий с термодинамикой, пока кто-либо не откроет ядерное оружие, которое взрывается будучи холодным.)

Когда долгое партнерство Айн Рэнд и Натаниэля Брандена прекратилось, существенная часть общества объективистов последовала за Бранденом в его «новую систему» объективизма, которая была уже не так тесно связана с Айн Рэнд. Кто же остался с ней после этого скандального разрыва? Те, кто на самом деле верил в нее — и возможно несколько молчунов, которые после ухода большей части сообщества, могли слышать только аргументы одной стороны. Это может объяснить то, что последователи Института Айн Рэнд (по некоторым источникам) стали еще более фанатичны после раскола, чем исходная группа объективистов под руководством Рэнд и Брандена.

Несколько лет назад я состоял в списке рассылки для трансгуманистов, где была маленькая группа поддерживающая «социальный демократический трансгуманизм», едко оскорбляя каждого либертарианца (сторонника полной свободы мысли и деятельности), включенного в этот список. Большинство либертарианцев покинуло список, многие из оставшихся сдались и перестали писать. В результате оставшаяся группа сдвинулась существенно в сторону левых взглядов. Произошло ли это преднамеренно? Скорее всего нет, поскольку я не думаю, что виновники настолько знали психологию. (Если уж на то пошло, не могу вспомнить другой столь похожей на аналогию с охлаждением испарением ситуации, хотя это не значит, что их не было). В крайнем случае они могли стремиться стать «наибольшей рыбой в маленьком пруду».

Это одна причина того, почему столь важно быть терпимым к допустимому нонконформизму. Не стоит выкидывать члена группы, даже если вам показалось, что это оправдано — хотя бы подождите, чтобы убедиться, что это и в самом деле необходимо. Если вы выкидываете старых нонконформистов, то позиция группы сдвигается и их место занимает кто-то еще. Если вы удаляете и их, то вы явно встали на путь становления конденсатом Бозе-Эйнштейна, ну и, последующего взрыва.

Обратная сторона: Томас Кун верил, что наука должна стать «парадигмой», использующей свой технический язык, который исключает посторонних, прежде чем она реально начнет работать. В стадиях формирования науки, согласно Куну, приверженцы науки прилагают множество усилий, чтобы она была доступна не только им. Но (опять же по Куну) наука может прогрессировать как техническая дисциплина только если откажется от требования внешней доступности, и только ученые, работающие в рамках парадигмы, будут тесно знакомы с ней, используя основной технический материал для коммуникации между собой. Это звучит цинично по отношению к тому, что обычно утверждается об общественном понимании науки, однако я определенно вижу в этом рациональное зерно.

Моя собственная теория модерирования в Интернете гласит, что вы должны исключить троллей и спам, чтобы получить нормальный разговор. Вы должны даже исключить вежливых, но технически неосведомленных людей из специализированных технических списков рассылки, если вы хотите, чтобы работа продвигалась. Полностью открытое обсуждение в Интернете крайне быстро деградирует. При этом следует быть осторожным при исключении из обсуждения адекватных троллей — они служат для реализации скрытой функции легитимации возражений. Однако у вас не должно быть настолько много троллей, чтобы они начинали спорить уже друг с другом или доминировать в обсуждениях. Если у вас есть один человек, который известен как Парень-Не-Согласный-Со-Всем-На-Свете, любой, у кого будет более разумное и резонное возражение, не будет выглядеть кем-то выделяющимся. Правда на практике у меня эта теория работала не слишком хорошо, так что не слишком увлекайтесь ею.

Когда никто не смеет призывать сдерживаться

Элиезер Юдковский

Однажды утром я встал с постели, включил компьютер и мой почтовый клиент Netscape автоматически скачал для меня новости дня. В этот день все новости говорили о том, как два угнанных террористами самолета врезались в башни Центра международной торговли.

И первой мыслью было:

«Полагаю, что я действительно живу в Будущем.

Спасибо небесам, что это не была ядерная бомба».

А затем:

«Чрезмерная реакция на это событие будет в десять раз хуже, чем само событие».

И просто «в десять раз хуже» оказалось огромным преуменьшением. Даже я не мог догадаться насколько плохо всё будет. Это является вызовом пессимизму. Действительно тяжело нацеливаться достаточно низко, чтобы быть приятно удивленным, в то время как часто и как много вы будете удивлены неприятно.

Тем не менее, я немедленно понял, что все и везде будут говорить как ужасно, как плохо было это событие; и что никто не будет озабочен тем, чтобы быть голосом сдерживания, соответствующего ответа. Изначально, 11 сентября, это была мысль, что шесть тысяч людей умерли. Любой политик, который сказал бы «6000 смертей это всего лишь восьмая часть от жертв автомобильных аварий», сразу бы был бы снят со своей должности.

Нет, 11 сентября не было хорошим днем. Но если все заработали баллы на подчеркивании того, как это ужасно, и никто не озаботился призвать к сдержанности, указав насколько трудно нанести ответный удар, то реакция будет выше требуемого адекватного уровня, каким бы ни был этот уровень.

Это темнейшее отражение смертельной спирали счастья — спираль ненависти. Любой, атакующий Врага — патриот; и любой, кто пытается критически проанализировать даже единственное негативное утверждение о Враге — предатель. Но, как и большинство всех сложных утверждений далеки от истины, большая часть негативных вещей, которые вы можете сказать о ком-либо, даже о самом плохом человеке в мире, будут ложны.

Думаю, что лучшей иллюстрацией будет «террористы-смертники были трусами». Можно хотя бы немного здравого смысла, пожалуйста? Чтобы добровольно направить самолет на здание нужно немного храбрости. При всех их грехах, трусость явно не входила в этот список. Но я предполагаю, что все плохое, что вы скажете о террористах, неважно насколько глупы ваши слова, должно быть правдой. Наберу ли я еще больше баллов, если обвиню Аль-Каиду в том, что это они подстроили убийство Кеннеди? А если обвиню их в том, что они сталинисты? Что, неужели правда трусость?

Да, это значит, что террористы не были трусами. Это нужно не только для понимания реальной психологии врага. Просто слишком много урона наносит спираль ненависти. Просто слишком опасно, чтобы для нее в мире была цель, будут ли это евреи или Адольф Гитлер, о котором говорят куда больше негативных слов, нежели приводят точных фактов.

Когда обороняющаяся сторона имеет тысячи самолетов и сотни тысяч хорошо вооруженных солдат, она должна понимать, что ее собственная иммунная система может нанести больше ущерба, нежели 19 мужчин на четырех гражданских самолетах. США потратили миллиарды долларов и тысячи солдатских жизней, стреляя себе в ногу более эффективно, нежели любая террористическая группировка может мечтать.

Если бы США полностью проигнорировали атаку 11 сентября — пожали бы плечами и отстроили здания — то это был бы лучший метод действий, нежели тот, что был предпринят. Однако это не выбор политиков. Даже если бы кто-то из них в частном порядке предположил бы, что иммунный ответ будет более разрушителен, нежели сама болезнь, это осталось бы предположением в частном порядке, потому что американские политики вынуждены идти прямо в ловушку Аль-Каиды, иначе их карьера будет уничтожена. Кто угодно, кто голосует за ответный удар всеми силами — патриот. Любой, кто призывает к сдержанности и критикует патриотические заявления — предатель.

В самом начале были и более умные реакции на это событие, чем я предположил. Я видел конгрессмена, правда, забыл какого, который перед камерами сказал: «Мы забыли, что в первую очередь целью государства является не экономика, не здравоохранение, а защита страны от атак». Меня это удивило — что политик мог сказать что-то, что не выглядит как табличка с надписью «аплодисменты». Должно быть он испытывал сильный эмоциональный шок, раз сказал что-то похожее на реальность.

Однако за два дня шок прошел и работа на публику снова стала доминирующим видом деятельности в политическом дискурсе. Спираль эскалации полностью завладела им. Когда никто не смеет призывать к сдержанности, не имеет значения откуда началась дискуссия, уровень ярости и безрассудства со временем только растет.

Дополнение: Привет, реддиторы! Вы также можете насладиться «Сказом о науке и политике» и «Политические дебаты не должны быть односторонними».

Эксперимент в Робберс Кейв

Элиезер Юдковский

Думали ли вы, когда были ребенком, что бессмысленная поездка в летний лагерь на самом деле могла иметь скрытую от вас цель — например, что это был научный эксперимент, а воспитатели в лагере на самом деле были исследователями, которые наблюдали за вашим поведением?

Я — никогда.

Но такие мысли начинают приходить в голову чаще, когда мы читаем «Исследование межгруппового конфликта: эксперимент в национальном парке Робберс Кейв» Шерифа, Харви, Уайта и Худа (1954/1961). В этом исследовании подопытными, простите, «отдыхающими» — были 22 мальчика 5-го — 6-го года обучения, выбранные из 22 разных школ Оклахома-сити, из стабильных протестантских семей среднего класса, которые хорошо учились в школе. Средний IQ их составлял 112. Они все были социально адаптированы и похожи друг на друга в той степени, насколько это было возможно.

Эксперимент, проведенный после недавно отгремевшей Второй Мировой, был задуман для исследования причин — и возможных путей решения — межгруппового конфликта. Как они создали межгрупповой конфликт для изучения? Они разделили 22 мальчиков на две группы по 11 человек и — и этого было вполне достаточно.

Исходный план исследователей состоял из трех этапов. На первом обе группы свели вместе (группы не знали друг о друге). К концу первого этапа каждой группе сообщили о существовании другой. На втором этапе различные соревнования были призваны окончательно разделить мальчиков на группы.

Однако второй этап не понадобился. Группы начали относится друг к другу враждебно, как только узнали о существовании разделения на группы: «они используют нашутерриторию лагеря, нашу бейсбольную площадку». На первой же встрече группы начали обмениваться оскорблениями. Они называли себя Гремучниками и Орлами (пока они были одной группой, им не требовались подобные прозвища).

Когда, в соответствии с процедурой эксперимента, было объявлено о начале соревнований, соперничество среди групп возросло до максимума. Здоровый спортивный дух в соревнованиях держался не более двух дней, после чего быстро пошел на спад.

Орлы украли флаг Гремучников и сожгли его. Гремучники совершили набег на лагерь Орлов и украли джинсы их лидера, покрасили их в оранжевый цвет и вывесили как свой флаг, с надписью «Последний из Орлов». Орлы совершили ответный набег и перевернули кровати Гремучников, бросаясь грязью. После этого они вернулись в свой лагерь и начали готовиться к отражению набега со стороны Гремучников. После того как Орлы выиграли в последнем из соревнований этапа 2, Гремучники украли их призы. Это перетекло в драку, которую персоналу лагеря пришлось прекратить, чтобы избежать увечий среди детей. Орлы при этом, пересказывая эту историю, превратили все это в свою победу, утверждая что они преследовали убегающих Гремучников, хотя на самом деле это было не так.

У каждой группы развился отрицательный стереотип «Их» и положительный стереотип «Нас». Гремучники много ругались. Орлы, после выигрыша в одной из игр, сделали вывод что они выиграли, потому что молились, а Гремучники проиграли, потому что сквернословили всё время, и поэтому Орлы решили прекратить ругаться вообще, а также прекратить общение с Гремучниками. Орлы позиционировали себя как правильных и высокоморальных; Гремучники избрали себе образ грубых хулиганов.

Члены одной группы немедленно задирали носы, как только видели другую.

На третьем этапе исследователи пытались уменьшить разногласия между двумя группами.

Больше общения (без попыток примирения) не помогло уменьшить враждебность между группами. Посещение различных увлекательных мероприятий вместе — например, совместный запуск фейерверков — также не помогло; мальчики чуть снова не передрались.

Можете ли вы предположить, что сработало?

Подумайте.

Мальчикам сказали, что в лагере ожидаются перебои с водой из-за поломки в системе водоснабжения — возможно из-за каких-то вандалов.

(Внешний Враг, один из старейших трюков в книге.)

На площади между лагерем и резервуаром были расположены четыре проблемных места. (Изначально данные об этих местах рассказали членам каждой группы равномерно). Если в них ничего не было найдено, то следовало искать в резервуаре с водой. Поскольку найдено ничего не было, группы встретились у резервуара и увидели, что вода не идет из крана. Группы обсудили возможные проблемы, осмотрели резервуар, нашли лестницу наверх, проверили, что вода в резервуаре присутствует и наконец обнаружили, что кран был забит мешком с соломой. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения от членов обоих групп по проблеме рассматривались совместно и обе группы старались реализовать их.

Когда кран был наконец-то прочищен, Гремучники, у которых были фляжки, не возражали против того, чтобы Орлы первыми набирали воды (у Орлов фляжек не было). Никаких оскорблений между группами не наблюдалось, даже уже привычного «Сначала дамы!».

Это не стало концом вражды. Были еще столкновения и оскорбления, уже на следующий день. Однако после нескольких подобных общих заданий, в которых требовались совместные усилия обоих групп — наподобие вытаскивания застрявшего грузовика — соперничество прекратилось. В конце путешествия ребята из Гремучников даже использовали 5 долларов, выигранных в соревновании, чтобы угостить молочными коктейлями ребят из Орлов.

Эксперимент в Робберс Кейв иллюстрирует психологию племен охотников и собирателей, которая тянется с давних времен, настолько хорошо, насколько возможно для эксперимента, проведенного в социальных науках.

Любое сходство с современной политикой — всего лишь ваше воображение.

(Иногда я думаю, что вторая по важности вещь, которая требуется человечеству — это суперзлодей. Может я этим займусь, когда закончу с текущей работой.)

Любая деятельность хочет быть культом

Элиезер Юдковский

Cade Metz в The Register недавно заявил, что секретный почтовый список топ-администраторов Википедии помешался на бане всех критиков и возможных критиков Википедии. Включая баны продуктивных юзеров, когда один администратор — исключительно из-за продуктивности — начинает уверять, что юзер был шпионом, подосланным Обзором Википедии. И что большинство людей в Википедии закрыли свои ранги для своей защиты. (Я сам не исследовал эти заявления пока еще. Информация была предоставлена Eugen Leitl.)

Существует какой-то неявный моральный изъян в систематизации мировых знаний, который приводит последователей этой причины в безумие? Возможно только люди с врожденной тягой к тоталитаризму попытались бы стать мировыми авторитетами во всем…

Осторожно: фундаментальная ошибка атрибуции! (Фундаментальная ошибка атрибуции: делать выводы о чьем-либо характере на основе поведения, которое может быть полностью объяснено ситуацией, в которой находится этот человек. Когда мы видим, как кто-либо пинает торговый автомат, мы думаем, что это «злой человек», но когда мы сами пинаем автомат, мы объясняем это тем, что опоздали на автобус, не успели на поезд и к тому же автомат работает не так как надо.) Если высказывания о Википедии истинны, то они объясняются обычной человеческой природой, а не необычными сторонами данной природы.

Деление на «своих» и «чужих» — это часть обыденной человеческой натуры. Как и смертельные спирали счастья и спирали ненависти. Благородное Дело не обязано содержать дефект, чтобы его последователи сформировали культ. Достаточно, чтобы они были людьми. Все остальное произойдет само собой, так же закономерно, как то, что еда портится в холодильнике, если отключили свет.

В таком же смысле, что любая температурная разница хочет свестись к нулю и любая программа хочет стать набором патчей, любая деятельность хочет быть культом. Это состояние с высокой энтропией, в которое развивается система, аттрактор в человеческой психологии. И не имеет значения, даже если Дело по-настоящему Благородно. Вы можете думать, что Хорошее Дело растянуло бы свою хорошесть на все аспекты людей, которые с ним связаны — что последователи Дела также меньше заинтересованы в статусных играх, искажении «своих» и «чужих», аффективных спиралях, обожествлении лидеров. Но вера в истинную идею не отменяет гало-эффекта. Благородное дело не делает его последователей чем-то превосходящим обычных людей. Есть множество плохих видов деятельности, из-за которых может произойти множество плохого — но вред не всегда происходит только из-за того, что исходная идея была плоха.

Каждая группа людей с необычной целью — хорошей, плохой, глупой — будет склонна становится аттрактором культа, если члены группы не предпринимают постоянных усилий, чтобы сопротивляться этому. Вы можете сделать так, чтобы у вас дома было прохладнее, чем на улице, однако вам для этого придется держать кондиционер включенным, и как только вы выключите его — сдадитесь в поединке с энтропией — вещи вернутся к «нормальному состоянию».

Как-то был случай, когда существовала группа с лозунгом «Рациональность! Причина! Объективная реальность!» (Больше об этом в следующих постах.) Навешивание на Великую Идею ярлыка «рациональность» защитит вас не более, чем вывешивание на доме таблички «Холодно!» Вам все еще нужно включить кондиционер — тратить требуемую энергию, чтобы компенсировать естественное сползание в культ. Поклонение рациональности не сделает ваш разум яснее, как поклонение гравитации не позволит вам летать. Вы не можете говорить с термодинамикой и молиться теории вероятности. Вы можете использовать это, но не можете присоединиться к этому как к группе.

Культовость количественна, а не качественна. Вопрос «Есть ли здесь признаки культа, да или нет?» — неправильный. Правильный вопрос — «В какой мере это является культом и где именно это проявляется?» Даже в Науке, которая является архетипической По-Настоящему Благородной Деятельностью, мы можем без труда указать на рубежи борьбы против энтропии культа, где текущая линия боя колеблется то туда, то обратно. Журналы склонны в большей степени принимать статьи с хорошо известной авторской подписью или от неизвестного источника из хорошо известного института по сравнению со статьями от неизвестного автора из неизвестного института? Какая доля убеждения диктуется авторитетом, а какая — экспериментом? Какие журналы используют «слепой метод» обзора и насколько это эффективно?

Я привожу этот пример, а не обычные расплывчатые обвинения «Ученые недостаточно открыты новым идеям», потому что он показывает линию фронта — место, где отбрасывается человеческая психология, где откидывается накопленная энтропия культа (конечно, это требует потерять немного тепла на излучение).

Данный пост – это не сборник методов противостояния культовости. О некоторых такихметодах я говорил ранее, о некоторых расскажу позднее. Но сегодня я просто хочу указать, что служение Делу не значит, что вы можете тратить меньше усилий на противостояние аттрактору культа. И что если вы можете указать где сейчас пролегает рубеж, это не значит, что вы можете признать вашу Благородную Деятельность низкой. Вы можете думать, что если бы вопрос был поставлен как «Культ это или нет?», то вам бы пришлось ответить нет, или иначе предать вашу Идею. Но это похоже на то, как если бы вы делили двигатели на «идеально эффективные» и «неэффективные», вместо того, чтобы измерить их расход.

И наоборот, если вы верите, что это Изначальная Испорченность этих Глупых Прочих Дел заставила людей ошибаться, если вы смеетесь над глупостью «жертв культа», если вы думаете, что культы возглавляются и популяризируются мутантами — тогда вы не потратили нужных усилий на противостояние энтропии — на сопротивлению бытию человеком.

Хранители истины

Элиезер Юдковский

Иногда рационалистов критикуют следующим образом: «Инквизиция тоже думала, что у нее есть истина! Ясное дело, что вся эта затея с „истиной“ опасна».

Есть множество очевидных ответов, таких как «Если вы думаете, что одержимость истиной дает вам право пытать и убивать, то вы совершаете ошибку, не имеющую ничего общего с эпистемологией». Или «Так данное историческое утверждение, которое вы только что сделали насчет инквизиции – истинно ли оно?»

Обратное глупости не есть ум: «Если ваш компьютер перестал работать, то вы не говорите, что вообще все в нем сломано и что вам нужен совершенно новый, с совершенно другими комплектующими… Хотя возможно, вам нужен всего лишь новый шнур питания». Чтобы сделать неверное заключение, достаточно ошибиться всего в одном шаге, не обязательно нужно ошибиться во всех шагах. Инквизиторы верили, что 2+2=4, однако не это было источником их безумия. Так может быть проблема вовсе не в эпистемологическом реализме?

Кажется правдоподобным, что если бы инквизиторы были релятивистами, которые утверждали бы, что нет ничего истинного и ничего не имеет значения, то они были бы менее склонны проявлять жестокость. Также они были бы менее жестоки, если бы подверглись лоботомии. Думаю, это справедливая аналогия.

И еще… я считаю, что играет роль отношение инквизиции к истине. Она верила, что существует такая вещь как истина, и что истина важна; ну, в этом взгляды инквиции были схожи со взглядами Ричарда Фейнмана. Но инквизиторы не были искателями истины. Они были ее хранителями.

Я однажды читал утверждение (не могу найти источник), что ключевым компонентом духа времени является то, где расположены идеалы этого времени, в прошлом или будущем. Почти все культуры до Просвещения верили в грехопадение - что когда-то все было совершенным в далеком прошлом, однако случилась катастрофа и с тех пор все медленно становится хуже:

«В эпоху, когда жизнь на Земле была полна… Они любили друг друга и не знали, что это была „любовь к ближнему“. Они никого не обманывали, хотя не знали, что значит „человек, которому можно верить“. Они были надежны, пусть и не знали, что значит „добросовестность“. Они свободно жили вместе, делясь всем, не зная, что они щедры. По этой причине про них не рассказывают. У них не было истории».

Путь Чжуан Цзы, перевод Томаса Мертона.

Совершенная эра прошлого, в соответствии с нашими лучшими антропологическими свидетельствами, никогда не существовала. Но культура, которая рассматривает жизнь как неумолимо катящуюся под откос, сильно отличается от той, в которой вы можете достичь невиданных высот.

(Я говорю «культура», а не «общество», поскольку внутри общества может существовать больше одной субкультуры.)

Вы можете возразить, что есть разница между упомянутым Ричардом Фейнманом и инквизицей – вторые верили, что истина уже у них, а первый искал ее. Это не особо хороший довод, поскольку несомненно были истины, которыми обладал и Ричард Фейнман. «Небо синее», например, или «2+2=4».

Да, в науке есть определенные истины. Теория общей относительности возможно будет переписана в будущей физике – однако не такой теорией, что будет предсказывать вращение Солнца вокруг Юпитера; новая теория должна утаскивать успешные предсказания из старой, а не противоречить им. Но эволюционная теория верна на более высоком уровне, чем атомный, и то, что мы откроем насчет кварков, не заставит нас отбросить дарвинизм, клеточную теорию в биологии, атомную теорию в химии, или сотню других блестящих теорий, истинность которых на данный момент не оставляет сомнений.

Это «абсолютные истины»? Нет, если вопрос стоит о присвоении им вероятности равной буквально единице. Но они представляют собой случаи, где наука по существу считает их истиной.

И еще ученые не пытают людей, которые ставят под сомнение атомную теорию химии. Почему нет? Потому что они не верят, что она дает им право на жестокость? Ну, да, этот ответ лежит на поверхности; но почему они в это не верят?

Потому что химия не заявляет о сверхъестественном возмездии в виде вечных пыток за неверие в атомную теорию химии? Но тогда мы опять рекурсивно возвращаемся к вопросу «Почему?». Почему химики не верят, что вы отправитесь в ад, если не верите в атомную теорию?

Потому что журналы не опубликуют вашу статью, пока у вас не будет прочного экспериментального наблюдения Ада? Но слишком многие ученые могут подавить свои рефлексы скептика сознательно. Почему же у химиков нет закрытого культа, который говорил бы, что все не-химики отправятся в Ад, учитывая, что многие из них – христиане?

Вопросы такого рода не имеют ответов, которые бы говорили только об одном факторе. Но я бы поспорил, что один из факторов должен касаться отношения к истине – которое может быть направлено на защиту или на прогресс.

Когда вы – хранитель истины, вы не делаете ничего полезного, чтобы дополнить истину, только охраняете ее. Когда вы пытаетесь выиграть Нобелевскую премию по химии, открыв новый бензол или фуллерен, кто-то, кто бросает вызов атомной теории, является для вас не противником вашей точки зрения, а скорее пустой тратой времени.

Когда вы – хранитель истины, все что вы может делать, это пытаться избежать неуклонного сползания в энтропию путем отбрасывания всего, что отклоняется от истины. Если есть какой-то путь противостоять энтропии, генерировать новые истинные убеждения с малым расходом тепла, то этот же метод может сохранять истину без применения тайной полиции. В химии вы можете воспроизвести эксперимент и своими глазами увидеть его результаты – и это хранит истину без необходимости применять жестокость.

И не так страшно, если мы сделаем где-то ошибку – всего лишь недолго наши убеждения будут немного не истинны – поскольку завтра мы сможем вернуть утраченные позиции в истине.

Но работает только вся схема, поскольку экспериментальный метод представляет собой «критерий доброкачественности», который превосходит «критерий сравнения». Поскольку эксперименты могут восстановить истину без необходимости в авторитете, они также могут «отменять» авторитет и создавать новые истинные убеждения, которых прежде не существовало.

Там, где есть критерий доброкачественности вместо критерия сравнения, там дело меняется так, что присутствуют улучшения вместо угроз. Там, где властвует критерий сравнения, нет возможности вернуть прошлый авторитет, нет и пути разрешить несогласие между авторитетами. За исключением уничтожения. Выигрывает тот, у кого пушка больше.

Я не собираюсь представлять грандиозную всеохватывающую точку зрения на историю с позиции единого фактора. Я просто хочу указать на глубокое психологическое различие между тем, чтобы видеть смысл жизни в защите, охране и сохранении, и видеть его же в исследовании, создании, улучшении. Развитие будет происходить если вы направлены в прошлое или в будущее? Это нюанс в различии, который проявляет себя всюду.

Вот почему я всегда настаивал, например, что если вы собираетесь начать говорить об «этике ИИ», вам лучше бы говорить о том, как вы собираетесь улучшить текущую ситуацию с ИИ, а не пытаться предохранить от того, чтобы сделать что-то неправильно. Как только вы начинаете использовать критерий сравнения, вы начинаете терять курс ваших идеалов – терять свет правильного и неправильного, и начинаете просто выискивать «различное» и «одинаковое».

Я также могу поспорить, что эта простейшая психологическая разница – одна из причин, почему академическая область, которая прекращает активный прогресс, стремится к среднему.(По крайней мере по чистым стандартам науки. Репутационное убийство – обычное дело по стандартам истории; большинство систем убеждений на основе защитного подхода произошли от взаимодействия с реальными вещами). Если большие встряски не происходят достаточно часто, чтобы постоянно поощрять молодых ученых ориентироваться на признание заслуг, а не на конформизм, область перестает сопротивляться стандартной дегенерации в авторитарность. Когда делается мало открытий, то остается слишком много времени на то, чтобы заняться «охотой на ведьм и еретиков».

Чтобы получить лучшие результаты от использования отношения вида исследовать/создавать/улучшать, вы должны на самом деле прогрессировать, а не только надеяться на это.

Хранители генофонда

Элиезер Юдковский

Как любой образованный житель 21 столетия, вы могли слышать о Второй Мировой войне. Вы можете помнить, что Гитлер и нацисты планировали ускорить процесс эволюции, вывести новую расу господ, сверхлюдей, сильнее и умнее всех людей, когда-либо живших ранее.

На самом деле это распространенное заблуждение. Гитлер верил, что сверхлюди-арийцы уже существовали ранее — стереотип нордического человека, голубоглазого блондина-хищника, который был загрязнен смешиванием с нечистыми расами. Своего рода расовое «грехопадение».

Это говорит о степени, в которой идея прогресса пронизывает западную цивилизацию — что когда человеку говорят о нацистской евгенике, он слышит «Они пытались вывести сверхчеловека». Ты, дорогой читатель — если ты будешь ошибаться настолько, чтобы одобрить принудительную евгенику, ты бы попытался создать сверхчеловека. Потому что твои идеалы расположены в будущем, не в прошлом. Потому что ты мыслишь творчески. Мысль о том, чтобы вернуться обратно к нордическому архетипу, обратно через эти тысячи лет, не будет даже рассмотрена тобой как возможность — что, всего лишь вернуться к викингам? И все? Собраться убивать людей в процессе исследований и не достигать при этом новых высот — это же более чем бесполезная трата времени и ресурсов, разве нет? И это одна из причин, по которой тебя, дорогой читатель, нельзя назвать нацистом.

Это говорит о том, как трудно относительно здоровому человеку влезть в шкуру относительного больного, как говорят о нацистах, и исказить историю так, чтобы сделать из них несовершенных трансгуманистов.

Коммунисты были теми, кого можно назвать несовершенными трансгуманистами. «Новый советский человек» и все такое. А нацистов можно с большой долей вероятности назвать лишь биоконсерваторами.

Хранители Айн Рэнд

Элиезер Юдковский

Для скептиков идея того, что разум может вести к культу, — абсурд. Характеристики культа противоположны разуму. Но, как я продемонстрирую, это не только может случиться — это уже случилось, причем с такой группой людей, что произошедшее следовало бы назвать самым невероятным культом в истории. Это урок того, что происходит, когда правда становится важнее, чем ее поиск…

— Майкл Шермер, «Самый невероятный культ в истории».

Я думаю, Майкл Шермер чрезмерно детально объясняет, что такое объективизм. Я попробую предельно расширить и развить эту идею.

Романы Айн Рэнд возвеличивают технологии, капитализм, индивидуальный вызов Системе, ограниченное в полномочиях правительство, частную собственность, себялюбие. Основной герой Рэнд, Джон Галт, был ученым, который изобрел новую форму дешевой возобновляемой энергии, но затем отказался отдать ее миру, потому что выгода была бы украдена и пошла бы на поддержку порочного правительства.

И потом — каким-то образом — это все превратилось в этико-философскую «закрытую систему» с Айн Рэнд в центре. Термин «закрытая система» — это не мое собственное обвинение, это термин, который использует Институт Айн Рэнд для описания объективизма. Объективизм определяется работами Айн Рэнд. Теперь, когда Айн Рэнд умерла, объективизм как система закрыт. Если вы несогласны с работами Рэнд в каком-нибудь отношении, вы не можете быть объективистом.

Макс Глакман однажды сказал: «Наука есть любая дисциплина, в которой дурак этого поколения может превысить порог, достигнутый гением предыдущего поколения». Наука движется вперед, уничтожая своих героев: так Ньютон пал перед Эйнштейном. Каждый молодой физик мечтает о том, чтобы стать новым чемпионом, о свержении которого будут мечтать будущие физики.

Философским кумиром Айн Рэнд был Аристотель. Ну, может быть, Аристотель был молодым и горячим математическим талантом 2350 лет назад, но математика заметно прогрессировала с его времен. Байесовская теория вероятности — это количественная логика, частным случаем которой является качественная логика Аристотеля, но ничто не указывает на то, что Айн Рэнд была знакома с байесовской теорией, когда писала свой magnus opus, «Атлант расправил плечи». Рэнд писала о «рациональности», однако даже не ознакомилась на должном уровне с современными исследованиями в области эвристики и предвзятости. Как вообще кто-то может называть себя искусным рационалистом, не зная таких элементарных вещей?

«Подождите минутку, — возражает читатель, — но это же нечестно! «Атлант расправил плечи» был опубликован в 1957! Практически никто не знал о Байесе тогда». Пфф. Вы мне еще скажите, что Айн Рэнд умерла в 1982 и никак не могла прочитать «Суждение в условиях неопределенности: эвристика и искажения», поскольку книга была опубликована в том же году.

Наука вообще нечестна. В этом как бы вся соль. Честолюбивый рационалист в 2007 году имеет огромное преимущество перед честолюбивым рационалистом в 1957. Это признак того, что прогресс происходит.

По-моему, мысль о том, чтобы добровольно принять систему, эксплицитно привязанную к убеждениям одного человека, который уже умер, где-то между дурью и самоубийством. Компьютеру нужно меньше пяти лет, чтобы стать устаревшим.

Колебание, движение, которым Рэнд восхищалась в науке, коммерции, каждой железной дороге, заменявшей путь эпохи извозчиков, каждом небоскребе, построенном по принципу новой архитектуры, рождается из принципа необходимости превзойти старых мастеров. Как можно говорить о науке, если самый умный ученый на свете уже жил? Кто бы поднял линию небоскребов в Нью-Йорке, которая так восхищала Айн Рэнд, если бы самое высокое здание в мире уже было построено?

И тем не менее Айн Рэнд не признавала никого, кто бы превосходил ее, в прошлом и не допускала появления такого человека в будущем. Рэнд, которая начала с восхищения разумом и индивидуальностью, закончила тем, что предавала остракизму всякого, кто смел ей противоречить. Шермер: «[Барбара] Брэнден вспоминала вечер, когда знакомый Рэнд сказал, что любит музыку Рихарда Штрауса. “Когда он ушел в конце вечера, Айн сказала (и такая реакция становилась все более типичной для нее): «Теперь я понимаю, почему мы с ним никогда не сможем быть действительно единомышленниками. У нас непреодолимо разное ощущение жизни». Нередко она даже не ждала, пока ее знакомый уйдет, чтобы сделать подобное замечание”».

Айн Рэнд изменилась со временем, полагаю.

Рэнд выросла в России и видела Октябрьскую революцию своими глазами. Ей дали визу для визита родственникам в Америке, когда ей был 21 год, и она никогда не возвращалась на родину. Просто ненавидеть авторитаризм, когда ты его жертва. Просто отстаивать свободу личности, когда ты угнетен.

Нужны гораздо более сильные склад ума и характер, чтобы бояться власти, когда у тебяесть сила. Когда люди обращаются к тебе за ответами, тяжелее сказать: «Что, черт побери, я могу знать о музыке? Я ж писатель, а не композитор», — или: «Черт знает, как любовь к музыкальному произведению может быть ошибочной».

Когда это ты сокрушаешь тех, кто смеет тебя оскорбить, применение силы выглядит гораздо более извинительным, чем когда сокрушают тебя. Всевозможные прекрасные оправдания любого рода каким-то образом приходят на ум.

Майкл Шермер детально описывает то, как, по его мнению, философия Рэнд пришла в итоге к тому, что опустилась до культовости. В частности, Шермер говорит (по крайней мере так кажется), что объективизм провалился, потому что Рэнд думала, что точность, уверенность возможна, тогда как наука никогда не бывает абсолютно точна. Не могу согласиться с Шермером. Атомная теория строения вещества в химии просто-таки чертовски точна, она неоспорима. Но химики не образовали вокруг нее культ.

Вообще говоря, я думаю, что Шермер становится жертвой фундаментальной ошибки атрибуции, предполагая, что есть однозначная корреляция между философией Рэнд и тем, как ее последователи образовали культ. Всякое дело хочет стать культом.

Айн Рэнд бежала из Советского Союза, написала понравившуюся многим книгу об индивидуализме, получила множество комплиментов и сформировала кружок обожателей. Ее поклонники говорили о ней все более и более приятные вещи, и она слишком наслаждалась этим, чтобы сказать им заткнуться (аффективная смертельная спираль). Она поняла, что у нее есть сила, достаточная, чтобы сокрушить всех, кого она не одобряла, и она не стала противиться искушению силы.

Айн Рэнд и Натаниэль Брэнден имели внебрачную связь. (С разрешения обоих их супругов, что дорого стоит, на мой взгляд. Если хотите представить это как «проблему», нужно уточнить, что их супруги были несчастны — и все равно это не касается посторонних.) Когда открылось, что Брэнден «изменял» Рэнд с еще одной женщиной, Рэнд впала в ярость и предала его анафеме. Многие объективисты откололись от объединения, когда об этой связи стало известно.

Кто остался с Рэнд вместо того, чтобы последовать за Брэнденом или совсем бросить объективизм? Ее самые уверенные сторонники. Кто ушел? Те, кто был голосом умеренности. (Это охлаждение групповых убеждений.) С этих самых пор власть Рэнд над оставшимися была абсолютна, и сомнения и вопросы не дозволялись.

Единственная необыкновенная вещь во всем этом — то, насколько обыкновенно все сложилось.

Вы могли бы подумать, что система убеждений, восхваляющая «разум», и «рациональность», и «индивидуализм», могла бы как-нибудь приобрести что-то вроде особого иммунитета…

Ну, не приобрела.

Это сработало так же успешно, как если бы кто-нибудь повесил табличку «Холодно» на холодильник, не включенный в розетку.

Активное усилие, необходимое для того, чтобы противостоять энтропии, не было предпринято, и тогда последовало неминуемое разложение.

И если вы называете это «самым невероятным культом в истории», вы просто называете реальность противными словами.

Пусть это будет уроком всем нам: восхваление «рациональности» ничего не стоит. Даже сказать: «Вы должны доказывать все ваши убеждения с помощью Разума, а не просто соглашаться с Великим Лидером», — значит просто запустить автоматическую программку, которая берет любое высказывание Великого Лидера и генерирует доказательство, которое вашим товарищам-последователям покажется Разум-ным.

Так где же найти истинное искусство рациональности? В изучении математических основ теории вероятности и теории принятия решений. В постижении когнитивных наук вроде эволюционной психологии или эвристики и искажений. В чтении исторических книг…

«Изучайте науку, а не только меня!» — это, наверное, самый важный совет, который Айн Рэнд должна бы была дать своим последователям, но не дала. Не было на земле человека, чьи плечи были бы достаточно широки, чтобы выдержать весь груз истинной науки, в которую вносят лепту столь многие.

Стоит отметить, я думаю, что герои Айн Рэнд были инженерами и архитекторами, Джон Галт, ее самый важный герой, был физиком, и тем не менее сама Айн Рэнд не была великим ученым. Насколько мне известно, она не была особенно хороша в математике. Она не могла возвыситься до соперничества с собственными героями. Может быть, поэтому она начала сбиваться с пути Tsuyoku Naritai.

Ну вот я, знаете, я восхищаюсь дерзостью Фрэнсиса Бэкона, но я уверен, что вправе застенчиво признаться: «Если б я мог перенестись назад во времени и как-нибудь объяснить Фрэнсису Бэкону проблему, над которой сейчас работаю, у него б глаза выскочили из глазниц, как пробки из бутылок шампанского, и взорвались».

Я восхищаюсь достижениями Ньютона. Но мое отношение к избирательному праву женщины начисто исключает возможность воспринимать Ньютона как образец морали. Точно так же, как мое знание байесовской теории вероятности не дает мне воспринимать Ньютона как абсолютный, непоколебимый, неоспоримый источник математического знания. И мое знание о специальной теории относительности, пусть она и не слишком известна и малоупотребима, препятствует тому, чтобы воспринимать Ньютона как абсолютный авторитет в физике.

Ньютон по объективным причинам не мог выяснить то, что я ставлю выше его идей, — но прогресс нечестен! В этом вся суть!

У науки есть герои, но нет богов. Великие Имена — это не те, кто превзошел нас, и даже не наши соперники — это уже пройденные вехи нашего пути, и самой важной вехой будет герой, которому еще предстоит появиться.

Быть еще одной вехой на пути человечества — это самая лучшая судьба для кого угодно, но она, по-видимому, оказалось слишком непритязательной, чтобы угодить Айн Рэнд. Так Айн Рэнд стала всего лишь Великим Пророком.

Два коана о культах

Элиезер Юдковский

1.Первый коан

2.Второй коан

Первый коан

Некий начинающий рационалист учился у мастера Оги. Однажды друг упрекнул его: «Ты постоянно слушаешь своего мастера и рассуждаешь про рациональное то и рациональное сё, — ты попал в лапы секты!».

Новичок был глубоко встревожен. Слова «Ты попал в лапы секты!» гремели в ушах, когда он ложился спать в ту ночь, и преследовали даже во сне.

На следующий день новичок подошел к мастеру Оги и рассказал о случившемся. «Мастер, меня постоянно терзают мысли о том, что я попал в самую настоящую секту, а ваше учение — не что иное как догма».

Оги ответил: «Если ты найдешь на дороге молоток и продашь его, то можешь запросить за него мало или много. Но если ты оставишь молоток себе и будешь заколачивать им гвозди, то кто станет сомневаться в его ценности?».

Новичок заявил: «Вот, именно это меня и беспокоит — ваши таинственные ответы в духе дзен».

Оги сказал: «Ладно, буду выражаться проще и приведу совершенно разумные аргументы, которые продемонстрируют, что ты попал не в секту. Но сначала ты должен надеть эту дурацкую шляпу».

Оги протянул новичку огромную коричневую ковбойскую шляпу.

«Э-э, мастер…», — начал было новичок.

«Когда я всё объясню», — прервал его Оги, — «ты поймешь, почему это было необходимо. Ну, или можешь и дальше не спать ночами, мучаясь вопросом о том, секта это или нет».

Новичок надел ковбойскую шляпу.

Оги заговорил: «Как долго ты будешь повторять мои слова и игнорировать их смысл? Беспорядок в мыслях начинается с привязанности к предпочитаемым выводам. Тебя слишком тревожит, насколько ты выглядишь рационалистом в своих глазах. Ты пришел ко мне, чтобы снова обрести уверенность. Если бы ты был по-настоящему любопытным, то, не зная в какую сторону двигаться, ты искал бы способ разрешить свои сомнения. Поскольку ты хотел избавиться от когнитивного диссонанса, ты охотно надел дурацкую шляпу. Будь я плохим человеком, я бы заставил тебя заплатить сотню серебряных монет. Когда задумываешься над вопросом, связанном с реальностью, полезность или бесполезность твоего знания скоро становится очевидной. Ты же уподобился мечнику, что беспрестанно кидает взоры по сторонам, — уж не засмеялся ли кто-нибудь над ним?..».

«Ладно-ладно, я понял!» — воскликнул новичок.

«Ты просил длинную версию», — заметил Оги.

Позднее этот новичок стал преемником Оги и обрел известность под именем Ни но Тачи. С той поры он не позволял ученикам цитировать свои слова в их дебатах, говоря: «Используйте техники, а не ссылайтесь на них».

Второй коан

Начинающий рационалист подошел к мастеру Оги и сказал: «Учитель, меня беспокоит, что наши рациональные додзё… ну… слегка сектантские».

«Это серьезный повод для беспокойства», — заметил Оги.

Новичок подождал немного, но Оги молчал.

Поэтому новичок заговорил снова: «Я имею в виду, что нам приходится носить эти мантии с капюшонами, — в них мы выглядим, прошу прощения, типа как хреновы масоны».

«А, — проронил Оги, — мантии и внешние атрибуты».

«Ну, да, мантии и атрибуты, — подхватил новичок. — Выглядят просто ужасно нерациональными».

«Я рассею все твои опасения, — ответил мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оги вытащил шляпу волшебника, украшенную полумесяцами и звездами.

Новичок взял шляпу, оглядел и возопил в отчаянии: «Да как она вообще может помочь!»

«Ты очень беспокоишься о взаимодействии одежды с теорией вероятности, — изрек Оги, — поэтому неудивительно, что для достижения понимания ты должен носить специальную шляпу».

Когда новичок завершил обучение, он взял себе имя Боузо1 и обсуждал рациональность не иначе как в клоунском наряде.

Эксперимент Аша о конформизме

Элиезер Юдковский

Соломон Аш, с помощью экспериментов, поставленных в 1950-е, а впоследствии хорошо воспроизводившихся, привлек внимание к явлению, которое сейчас известно как конформизм. В классическом эксперименте испытуемый видел загадку вроде той, что приведена на рисунке: «Какая из полос A, B, C той же длины, что и полоса X? Подумайте минутку, чтобы определиться с ответом».

Источник

Подвох был в том, что испытуемый проходил тест вместе с другими людьми, которые тоже смотрели на рисунок. Они играли роль других испытуемых, однако на деле были сообщниками экспериментатора. Эти «испытуемые» в эксперименте, один за одним, утверждали, что линия С той же длины, что и Х. Как много людей в такой ситуации согласились бы с этим очевидно неверным ответом, соглашаясь с мнением большинства? Каков по вашему мнению был их процент?

Три четверти испытуемых в эксперименте Аша дали «конформистский» ответ хотя бы раз. Треть испытуемых «подстраивалась» более чем в половине случаев.

Интервью после эксперимента показали, что хотя большинство участников заявили о своем неверии в данные ими конформистские ответы, несколько утверждали, что они на самом деле считали, что ответ большинства был верен.

Аша встревожили данные результаты:

«То, что обнаруженная нами склонность к конформизму в нашем обществе столь сильна … представляет собой определенную проблему. Перед нами встают вопросы о том, как мы получаем знания и какими ценностями руководствуемся при выборе действий.»

Вели ли себя испытуемые экспериментов Аша иррационально - нетривиальный вопрос. Теория Ауманна о согласии показывает, что честнейшие байесианцы не могут согласиться не соглашаться - если у них общие данные о их оценках вероятностей, их оценка будет одинаковой. Теорема Ауманна была доказана спустя больше чем двадцать лет после экспериментов Аша, однако она только формализует и укрепляет интуитивно понятную точку зрения - убеждения других людей часто являются легитимным свидетельством.

Если вы смотрите на рисунок, подобный приведенному выше, при этом зная тот факт, что другие люди в эксперименте были честны и смотрели на тот же рисунок, говоря, что С такого же размера, что и Х, каковы шансы, что только вы дали правильный ответ? Я не претендую на хорошее визуальное мышление - и не думаю таким образом, что я лучше среднего человека смогу определить, одинакового ли размера эти две линии. С точки зрения индивидуальной рациональности, я надеюсь, что заметил бы свое сильное замешательство и потом присвоил бы вероятность >50% мнению большинства.

С точки зрения групповой рациональности, мне кажется, что правильней всего для честного рационалиста было бы сказать, «Странно, но для меня одинаковыми выглядят В и Х. Но если мы все смотрим на один рисунок и отвечаем честно, у меня нет причины верить, что моя оценка лучше ваших.» Последняя часть важна - это намного менее выраженное заявление о несогласии, чем: «А, так перед нами оптическая иллюзия - я понимаю, почему вы считаете, что ответ С, но на самом деле ответ В.»

Так что нельзя автоматически признать испытуемых-конформистов в данных экспериментах иррациональными, основываясь только на тех данных, что я привел выше. Но, как можно ожидать, дьявол скрывается в подробностях экспериментальных результатов. Согласно мета-анализу сотен подобных опытов, который был сделан Смитом и Бондом (1996):

Конформность существенно возрастала, когда рядом с испытуемым добавляли трех сообщников экспериментатора, однако при дальнейшем увеличении их числа, до 10-15, не росла. Если бы люди использовали конформизм рационально, то мнение 15 испытуемых должно было бы быть существенно более сильным свидетельством, чем мнение трех.

Добавление человека, который не соглашается с мнением группы - который дает верный ответ или даже неверный, но отличающийся от выбора группы - резко снижает уровень конформизма, примерно на 5-10%. Если вы используете интуитивную версию согласия Ауманна, чтобы подумать о том, что когда один человек не соглашается с тремя, то правы скорее всего те трое, тогда в большинстве случаев вы должны бы приходить к тем же выводам, если 2 человека спорят с 6. (Это не автоматически верно, однако при прочих равных условиях - вполне.) С другой стороны, если вы относитесь к эмоционально неустойчивым людям, которым неприятно выделяться, то легко видеть, как даже единичный человек, который согласен с вами, или несогласен с группой, позволяет вам перестать так нервничать.

При этом, что неудивительно, испытуемые в случае, когда в группе помимо них был еще один несогласный с общим мнением, никак не связывали свой нонконформизм с присутствием этого человека. Подобно 90% водителей, которые считают, что водят выше среднего уровня - для некоторых из них это может быть истиной, но вряд ли верно для всех. Люди не знают о причинах своего конформизма или нонконформизма, что опровергает попытку защитить их, говоря, что это было проявлением рациональности. Например, в гипотезе, что люди социально-рационально выбирают лгать, чтобы не выделяться, было, что по крайней мере несколько человек в случае, когда в группе был один несогласный с общим мнением, сознательно не предвидели, что будет «осознанной стратегией», которой они будут следовать, когда встретятся с неанонимной оппозицией.

Когда нонконформист-одиночка вдруг начинает подстраиваться под группу, уровень конформизма испытуемых откатывается к столь же большой величине, как и в случае, когда не было никакого нонконформиста. Первым выступать против мнения группы весьма значимая (и трудная!) социальная деятельность, но ее нужно целенаправленно поддерживать.

Стабильным образом группы, состоящие полностью из женщин (женщина-испытуемая среди женщин — «подсадных уток»), в большей степени подвержены конформизму, чем целиком мужские группы. Подстраивалась более, чем в 50% случаев, примерно половина женщин, в то время как среди мужчин — треть. Если объявить, что средний человек делает выбор рационально, в то время как женщины, очевидно, более «конформисты», а мужчины более «бунтари», — то ни та, ни другая группа не рациональна по-настоящему.

Манипуляции с положением внутри-снаружи группы (то есть искусственное противопоставление подставных несогласных остальной группе) схожим образом показывает, что конформизм существенно выше среди людей, которые входят в группу.

Степень конформизма меньше в случае, когда используются более явные рисунки (например, тот, который приведен на этой странице), по сравнению с теми, где ошибка не столь заметна. Это трудно объяснить, если (все) испытуемые принимают социально рациональные решения с целью избегать того, чтобы выделяться.

Дополнение. Пол Кроули напомнил, что следует учесть падение уровня конформизма в случае, когда испытуемый может дать ответ так, чтобы группа его не слышала. Это также говорит против толкования в духе теоремы Ауманна.

Выражая беспокойство

Элиезер Юдковский

Ужасает в экспериментах Аша то, что людей легко заставить назвать черное белым, если поместить их в общество из людей, которые так говорят. Воодушевляет то, что даже при наличии одного-единственного несогласного с мнением толпы уровень конформизма существенно падает, причем для этого даже необязательно, чтобы этот несогласный говорил истину. И тоску наводит тот факт, что данный эффект является обратимым - если несогласный меняет свое мнение и начинает соглашаться с остальными, то уровень конформизма снова начинает расти.

Если вы являетесь нонконформистом для своей группы, то для нее это может быть реально полезно. Но это имеет свою цену. Вам надо будет продолжать этим заниматься, учитывая одновременно то, что вы можете и ошибаться.

Не так давно я получил занимательный опыт в виде обсуждения одного проекта с двумя людьми, у которых уже имелись заранее разработанные планы. По моему мнению, они были чересчур оптимистичны, и поэтому я внес ряд предложений, которые должны были увеличить запас прочности проекта. Вскоре к дискуссии присоединился четвертый участник, который принял сторону одного из тех двоих, и тоже начал вносить предложения. И где-то на этом этапе я осознал механизм работы сверхуверенности в группе - каждый раз, когда я начинал указывать на возможную проблему, четвертый участник тут же говорил что-нибудь ободряющее вроде «Не волнуйся, мы справимся с этим!»

Человек, работающий сам по себе, будет сомневаться просто по своей природе. В его голове постояно будут прокручиваться мысли вида «Точно ли я могу справиться с Х?», поскольку нет ничего предосудительного в том, чтобы сомневаться в собственных силах. Однако когда человек начинает работать в коллективе, поднимать такой вопрос касательно компетентности других людей становится невежливым. Вместе люди более оптимистичны, нежели поодиночке, они подавляют сомнения друг друга при помощи заверений, которые кажутся надежными, ведь человек редко осознает, что другие люди тоже подвержены внутренним сомнениям.

Это самая ужасная черта, которая была показана в экспериментах Аша - что любое беспокойство человека, согласного с группой, подавляется уверенными заявлениями прочих членов группы, которые обеспокоены тем, чтобы скрыть их собственное беспокойство и не понимают, что подобные опасения могут быть и у остальных. Данный феномен известен как «плюралистическое невежество».

Мы с Робином Хансоном долго спорили по поводу того, когда тот, кто претендует на звание рационалиста, должен осмеливаться не соглашаться с остальными. Моя позиция состояла в том, что у вас в любом случае нет никакого иного выбора, кроме как формировать свое мнение. Робин отстаивал более осторожную точку зрения, что вы - не просто другие люди - должны рассматривать возможность, что другие люди могут быть мудрее. В любом случае мы оба сходимся в том, что расширения теоремы Ауманна о согласии подразумевают чью-либо иррациональность в том случае, если наличествует общее знание о фактическом несогласии. В любом случае, каких бы позиций мы не придерживались, мы сходимся насчет скромности: что бы вам не говорили об индивидуализме, забудьте это и уделите внимание тому, что думают другие.

Итак. Смысл здесь в том, что рационалист должен рассматривать несогласие с группой как нечто весьма серьезное. Нельзя просто отмахнуться, сказав: «Каждый имеет право на свое мнение».

Я считаю, что наиболее важный урок, который можно извлечь из экспериментов Аша, заключается в необходимости отделять «выражение беспокойства» от «несогласия». Поднять тему, которую избегают все остальные, это не то же самое, что пообещать вообще не согласиться с группой в конце обсуждения.

Идеальный байесовский процесс, ведущий к принятию общего мнения, включает в себя обмен свидетельствами, которые непредсказуемы для слушателя. Результат соглашения Ауманна действителен только для общего знания, где вы знаете, я знаю, вы знаете, что я знаю и т.д. Статья Хансона «Мы не можем предвидеть несогласие» показывает картину того, как странно может выглядеть процесс конвергенции между идеальными рационалистами в оценке вероятности; это не похоже на то, словно два покупателя в магазине спорят по поводу цены.

К сожалению, в социуме не принято видеть разницу между «выражением недовольства» и «несогласием». Группа, состоящая из рационалистов, может понимать разницу, но по большей части люди не замечают нюансы этих выражений. Как только вы высказались, вы совершили необратимое социальное действие; вы становитесь гвоздем преткновения, возмутителем спокойствия группы, и вам не удаться отмотать все обратно. Все, кто расценил ваше беспокойство как обвинение в их некомпетентности касательно какой-либо задачи Х, вероятнее всего затаит на вас обиду, если в конце вы объявите о своем согласии с группой.

В эксперименте Аша мы видели как сила нонконформиста реально способна вдохновлять других. И этот же эксперимент показал, что сила конформизма не менее реальна. Если все в группе воздерживаются от высказывания личного мнения, то в конце концов воцаряется хаос. И в то же время не стоит забывать об уроках истории, которые показывают нам, какова цена за право быть одним из первых закричавших «А король-то голый!». Люди по своей природе не привыкли различать «выражение недовольства» и «несогласие даже с общеизвестным»; подобное разграничение является чертой рационалистов. Читая самые циничные книги о помощи себе (такие как «Государь» Макиавелли) вы могли встретить советы скрывать свой нонконформизм и соглашаться с группой, оставляя опасения при себе. И если вы все же решились первым указать на очевидный промах, не ждите, что группа будет благодарна вам за это.

В нонконформизме есть свои плюсы и минусы - как для «выражения беспокойства», так и для «несогласия» - и решение в любом случае только за вами.

Одинокий инакомыслящий

Элиезер Юдковский

Эксперимент Аша показал, что наличие одиночного инакомыслящего резко снижает частоту появления «конформистских» неправильных ответов. Проявлять индивидуализм легко, как показал эксперимент, если вас кто-то поддерживает. Все другие испытуемые в комнате, за исключением одного, говорят, что черное — это белое. Вы становитесь вторым, который говорит, что черное — это черное. И это кажется блистательным: двое, одинокие и непокорные повстанцы, против всего мира! (Дальнейшие интервью показали, что испытуемые, при наличии в группе инакомыслящего, испытывают по отношению к нему сильные товарищеские чувства — хотя, конечно, они не считают, что наличие инакомыслящего влияет на их собственный нонконформизм.)

Но вы в состоянии только присоединиться к протесту уже после того, как кто-нибудь окажется первым бунтарем, кто-нибудь, кто услышав, как все один за другим говорят, что черное — это белое, всё же скажет, что черное — это черное. И это, как показывает эксперимент, намного сложнее.

Бунтарь-одиночка не чувствует себя так, как будто идет в школу в черном рокерском балахоне и в берцах; скорее, он ощущает себя наряженным словно клоун.

В этом разница между тем, чтобы присоединиться к восстанию, и тем, чтобы покинуть стаю.

Если и есть что-то, чего я не могу выносить, так это притворство — вы могли заметить это, если читали какое-то время Overcoming bias. Ну, одинокий инакомыслящий является одной из наиболее распространенных, явно притворных характеристик. Каждый хочет быть ниспровергателем устоев.

Я не говорю, что акт присоединения к восстанию имеет меньшее значение. Есть восстания, стоящие того, чтобы к ним присоединиться. Требуется мужество, чтобы выдержать неодобрение группы, в которой вы состоите, или, что еще хуже, ее равнодушие. Нет нужды говорить, что поход на рок-концерт нельзя назвать восстанием. А вот, например, вегетарианство можно. Сам я не вегетарианец, но уважаю тех людей, которые это практикуют, поскольку я ожидаю, что требуется заметное количество тихого мужества, чтобы сказать людям, что гамбургеры не стоит есть. (Но только не в Bay Area, там это в порядке вещей.)

Однако, если вы скажете, что вы вегетарианец, люди будут думать, что понимают, почему, даже если это не так. Они могут не соглашаться. Они могут обидеться, если вы решите объявить это достаточно гордо, и даже, если на то пошло, они могут обидеться только потому, что их легко обидеть. Тем не менее, они будут знать, как к вам относиться.

Когда кто-нибудь ходит в школу в рокерском балахоне, учителя и прочие школьники понимают, какую роль в этом обществе он тем самым берет на себя. Эта роль именуется «Против Системы!» и является самым типичным способом протеста, который очевиден и понятен всем. Нет, правда, знаешь, я против Системы. Я не такой, как все, я бросаю вызов обывательскому мышлению, и люди возмущенно говорят «не знаю, зачем тебе…», но… на самом деле я не думаю каких-то вещей, до которых еще не додумался никто другой. Как кто-то сказал, «Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Что требует настоящего мужества — так это выдерживать открытое непонимание людей вокруг вас, когда вы делаете что-либо, что не вписывается в сценарий Обычного Восстания №37, что-либо, на что у них нет шаблона реагирования. Они не ненавидят вас за восстание, они просто думают, мол, странный чувак, и отворачиваются. Эта перспектива пугает куда сильнее. В этом различие между объяснением вегетарианства и объяснением крионики. В мире есть и другие сторонники крионики, но рядом с вами их нет. Вы должны объяснить суть этого в одиночку тем людям, которые считают, что это просто странно. Это не является запрещенным, но находится за границами стандартного мышления. Вы хотите чтобы после смерти вашу голову заморозили? Вы думаете, что это поможет вам избежать смерти? Что вы имеет в виду под информацией в мозгу? Э, что? Вы, что, псих?

Я испытываю желание найти объяснение постфактум в эволюционной психологии: вы можете собраться вместе с маленькой группой друзей и уйти из вашего племени, однако остаться в лесу одному — смерти подобно, по меньшей мере потомства вы точно не оставите. Мы не осознаем этого явно, но это не природа эволюционной психологии. Присоединяться к революции, о которой всем известно, страшно, однако куда страшнее делать что-то абсолютно иное. Что-то, что в древние времена могло не просто привести к расхождению во мнениях с группой, но к тому, что вы останетесь одиночкой.