Рациональность: От ИИ до Зомби

Вера в добрую волю собеседника. Принятие того, что люди верят во что-то по естественным причинам. Осознание факта, что воздействие того же набора стимулов на другого человека вызвало бы примерно те же самые убеждения. Умолчальный скептицизм ко всему, что кажется свидетельством в пользу некачественности или злонамеренности собеседника (поскольку нам, как обезьянам, несложно убедить себя в том, что у нас есть такие свидетельства, в то время как на самом деле их нет).[1]

Уверенность в существовании объективной истины. У меня было искушение назвать это «объективностью», «эмпиризмом» или «принципом Малдера», но эти названия не совсем подходили. В сущности речь идёт об убеждении, что практически на любой грамотно сформулированный вопрос действительно существует чёткий ответ. Возможно, этот ответ слишком дорого или даже невозможно найти и поэтому нам придётся всё-таки обходиться эвристиками (например: сколько кузнечиков живёт сейчас на Земле, лучше ли оранжевый цвет, чем зелёный, почему не существует аудиокниги «Бойцовский клуб», озвученной Эдвардом Нортоном), но, тем не менее, он существует.

Любопытство и/или желание найти истину. Первоначально я писал только о поиске истины, но мои коллеги указали, что кто-нибудь может двигаться в правильном направлении просто из любопытства в отношении другого человека и содержания его карты, не фокусируясь при этом на территории.

На воркшопах CFAR мы добиваемся первого и второго благодаря специальным лекциям, третьего — благодаря общей атмосфере, четвёртого — благодаря атмосфере и множеству совместной работы, которая приводит к тому, что людям комфортно общаться друг с другом и проявлять любопытство. Другие качества (такие как умение регулировать и подавлять эмоции в пылу момента или способность прибегать к мысленным экспериментам и разрешать их) тоже полезны, но не настолько важны, как перечисленные выше.

Как играть

Предположим, у вас есть убеждение, которые мы обозначим A (например, «ученики средней школы должны носить форму»), и вы спорите с кем-то, чьё убеждение сводится к ¬A. Поиск «корня разногласия» с этим человеком означает поиск второго утверждения B, которое обладает следующими свойствами:

Вы и ваш собеседник не согласны и по поводу B (вы считаете, что B, ваш собеседник считает, что ¬B).

Убеждение B является «корнем убеждения» для A: если выяснится, что B не верно, этого будет достаточно, чтобы вы посчитали, что А тоже ложно.

Аналогичным образом убеждение ¬B является «корнем убеждения» для ¬A.

В примере про школьную форму утверждением B, например, может быть утверждение «школьная форма может помочь сгладить классовые различия между богатыми и бедными учениками благодаря тому, что им будет сложнее судить друг о друге по одежде». Ваш собеседник может посчитать это «оптимистическим бредом». В идеале утверждение B должно быть ближе к реальности, чем утверждение A — то есть, более конкретным, более обоснованным, более чётко сформулированным, легче проверяемым и так далее. Оно должно быть в меньшей степени о принципах, обобщениях и выводах, и в большей степени позволять заглянуть в структуру, которая ведёт к этим выводам.

(Впрочем, оно не обязано быть проверяемым. Часто после нахождения B продуктивней начать искать C, а затем D, а после этого E и так далее, пока в итоге вы не дойдёте до чего-нибудь, что можно проверить или разрешить с помощью эксперимента).

На первый взгляд может быть неясно, почему нахождение B само по себе расценивается как победа. Ведь если вы не знаете, истинно ли B, вы не можете окончательно выбрать между A и ¬A. Однако, важно понимать, что если вы дошли до B, то вы уже разобрались со значительной частью ваших разногласий, и в этой части убеждения о причинно-следственных связях вселенной у вас и вашего собеседника теперь совпадают.

Если B, то A. Более того, если ¬B, то ¬A. Вы оба согласились, что из состояния B следует состояние A, и таким образом ваше «согласие не соглашаться» не обычное «ладно, оставайся со своей правдой, а я останусь со своей», а скорее «хорошо, посмотрим, что покажут свидетельства». Прогресс! И (что более важно) сотрудничество!

Способы поиска

Способы поиска - это самое слабое место упражнений CFAR на поиск «корня разногласия». Для поиска «корней убеждений» применяется какой-то вид «магии», с которым мы пока не разобрались. В целом метод сводится к «перебирайте корни ваших убеждений в поисках тех, с которыми ваш собеседник, скорее всего, не согласится, а затем сравните списки». Некоторым людям в случае некоторых тем очень легко определить, из чего проистекают их убеждения. В других случаях людям очень быстро начинает казаться, что их позиция объективная и незыблемая.

Советы:

Старайтесь замечать оттенки вкусов и мнений. Часто люди не озвучивают множество своих взглядов и мнений из-за социальных условностей или прочих подобных явлений. Обычно, если ослабить внутреннего цензора, становится проще замечать, почему мы считаем, что X, Y или Z.

Смотрите вперёд, а не назад. В случае, когда на вопрос «почему?» не удаётся получить осмысленный ответ, часто более продуктивно попробовать сделать предсказание по поводу будущего. Например, я могу не понимать, почему я считаю, что школьная форма — это хорошая идея, но если я включу свою «повествовательную машину» и начну описывать лучший мир, который, по моему мнению, получится в результате, скорее всего, я смогу разобраться какие причинно-следственные механизмы лежат в основе моих убеждений.

Сужайте масштаб. С частным примером «Стиву следовало поздороваться с нами вчера, когда он вышел из лифта» разобраться легче, чем с общим «Стиву стоит быть более общительным». Аналогично, зачастую проще ответить на вопросы вроде «Какую часть из наших 10 тысяч долларов нам стоит потратить на исследования, а какую на рекламу?» чем на вопросы вроде «Что более важно для нас сейчас: исследования или реклама?»

Применяйте «фокусирование» и другие похожие техники. Часто полезно гипотетически оценить перспективу, а затем обратить внимание на интуицию и заново оценить свою позицию. Например: (предположение сходу) «Я уверен, что если все будут носить школьную форму, то количество случаев травли уменьшится на пятьдесят процентов». (Пауза, слушаем собственные сомнения.) «Хотя нет, теперь, когда я произнёс это вслух, это кажется неверным. Однако, быть может, такие меры уменьшат случаи явной травли?»

Ищите корни своих убеждений независимо, чтобы не привязываться к мыслям своего собеседника. Здесь, по-моему, всё просто. Также стоит заметить, что если вам сложно вообще найти разногласия (например, чтобы попрактиковаться в поиске «корня разногласия» с друзьями»), то есть прекрасный способ начать: дайте каждому одинаковый список из 10-15 открытых вопросов, и пусть каждый запишет свои ответы, зафиксировав свою точку зрения до начала дискуссии.

В целом полезно держать перед мысленным взором идеальный «корень разногласия». Но стоит его разделять с реалиями существующего диалога. Мы обнаружили, что направлять разговор к поиску «корня разногласия» всегда полезно, однако, беспокойство по поводу того, как вы далеки от идеала, наоборот вредно. Следует задумываться о том, что полезное и продуктивное вы для диалога вы можете сделать прямо сейчас, и зачастую это означает, что вам стоит идти на здравые компромиссы — если у одного из вас есть хорошо сформулированные «корни убеждений», а другого — нет, то вполне нормально сфокусироваться на том, что есть. Если же никто из вас не может сформулировать единый «корень убеждения», но вместо этого у каждого из вас есть восемь совместных «корней», из которых любых пяти будет достаточно, так и скажите, и затем продвигайтесь туда, куда вам кажется оптимальным.

(Вариант: три одновременных поиска «корня разногласий» между тремя людьми и в каждый отдельный момент наименее активный участник занимается тем, что наблюдает за двумя другими собеседниками, пытается моделировать, что они говорят, и понимать, что именно они пытаются донести до собеседника и где именно у них не получается. Если он может предложить грубый «перевод» чьих-то слов, ему стоит так и сделать. В этот миг, вероятно, он займёт более важную роль для беседы, и роль наблюдателя/переводчика перейдёт к кому-то другому.)

В конечном счёте каждый ход должен быть направлен на то, чтобы отойти от свойственных большинству разногласий антагонизма, враждебности и стремления к «победе любой ценой». Обычно мы тратим огромную часть наших мыслительных ресурсов на то, чтобы понять структуру убеждений оппонента, сформировать гипотезу о том, что в этой структуре важно, и бросаться в эти важные части аргументами в надежде повалить всё здание. И в это же время мы стремимся скрывать собственную структуру убеждений, чтобы атаки противника оказались неэффективными.

(Это всё ужасно ещё и потому, что мы зачастую не можем даже понять, на чём базируется аргумент, и тратим время впустую. Если у вас был опыт неловкости, когда вы наблюдали за тем, как кто-то тратил десять минут, конструируя убедительное доказательство какого-то не имеющего прямого отношения к теме подпункта, которое совершенно точно не заставило бы вас изменить свою точку зрения, то вы понимаете цену чьего-то желания сказать: «Нет, для меня этот вопрос не имеет отношения к теме, давайте поговорим вот о чём».)

Если же мы можем перевести дебаты в состояние, где вместо битвы за истину мы сотрудничаем в поисках понимания, то значительная часть ресурсов окажется потраченной не зря. Вы знаете структуру собственных убеждений и в этом ваше громадное преимущество. Если мы можем переключаться в режим, в котором мы вместе можем заглядывать внутрь неё и искренне делиться находками, мы сможем продвигаться вперёд более эффективно, чем если бы мы были заняты догадками относительно убеждений оппонента. Для этого требуется, чтобы мы хотели знать настоящую правду (в частности, чтобы у нас был стимул искать пробелы в рассуждениях и фальсифицировать неверные убеждения не только у других, но и у себя) и чтобы мы чувствовали себя эмоционально и социально в безопасности с нашим собеседником. Однако, обоюдное стремление к маячащему впереди отблеску «корня разногласий» может создать безопасность и стремление к истине, которое может приблизить нас к предмету наших поисков, что в свою очередь даст ещё больше безопасности и стремления к истине, и так далее.

Подводные камни

Самое главное: важно различать, участвуете вы в сильной версии «корня разногласия» (кооперативной, с согласием обоих участников) или слабой версии (вы как агент пытаетесь улучшить качество беседы, возможно, сталкиваясь с прямым противодействием). В частности, если кто-то в данный момент рассержен на вас и рассматривает вас как врага, заявления вроде «Я просто считаю, что мы добьёмся большего, если будем разговаривать о скрытых причинах наших убеждений» не будут восприняты как призыв к кооперации. Они будут восприняты как ловушка.

Поэтому, если вы участвуете в слабой версии, основная стратегия заключается в том, чтобы задавать вопрос: «Что вы видите, а я нет?» Другими словами, демонстрируя собеседнику явно смирение и доброжелательность, разворачивайте структуру его убеждений ради его же блага, чтобы её понять и принять во внимание, а не для того, чтобы её разрушить. По моему опыту, люди «носом чуют», когда вы лишь изображаете доброжелательность, а на самом деле просто хотите, чтобы они раскрылись. Если вам сложно войти в нужный настрой, я советую вспоминать вам случаи из вашего прошлого, когда вы оказывались неправы настолько, что вам было неуютно — как вы себя чувствовали перед тем, как это выяснилось, и как после.

(Если вы не способны или не желаете проглотить свою гордость или отложить достаточно далеко в сторону своё чувство справедливости, в этом нет ничего плохого. Не каждый спор выигрывает от применения в нём стратегии «корень разногласия». Но если ваша настоящая цель — улучшить качество беседы, то вам лучше быть готовым заплатить эту цену. Вам придётся пройти лишнюю милю, потому что: а) то, что вам кажется необходимым расстоянием, практически наверняка — «недолёт», б) необходимое расстояние может оказаться недостаточным, чтобы разрушить укоренившуюся у собеседника модель, в которой вы — Враг. Рекомендуются ритуалы, вызывающие терпение и здравомыслие.)

Также в обеих версиях — но особенно в слабой — очень хорошо вести себя так, как вы бы хотели, чтобы себя вёл ваш собеседник. Раскрывайте собственную структуру убеждений, показывайте, как теоретически можно фальсифицировать ваши собственные убеждения, подчёркивайте пункты, в которых вы не уверены, и так далее. В частности, если вы не хотите, чтобы люди вас бесили неверными моделями того, что происходит в вашей голове, позаботьтесь о том, чтобы не выглядеть как авторитет в области того, что происходит у них в головах.

Старайтесь не заблудиться в тумане. Первый шаг «корня разногласия» всегда должен сводиться к прояснению терминов. Старайтесь привязывать всё к числам, не пользоваться словами вроде «много» или «мало», которые можно понять по-разному. Старайтесь говорить о наблюдаемых в реальном мире последствиях, а не о том, хороши они или плохи. В примере со школьной формой можно сказать в самом начале: «ученики в форме будут чувствовать себя лучше», но останавливаться на этом не стоит. Гораздо лучше попытаться выразить это утверждение в числах (если вы считаете, что однажды вы сможете эти числа получить). Часто после устранения двусмысленности разногласие «рассеивается». И это успех, а не провал!

И последний совет. Используйте бумагу и карандаш, или маркерную доску, или ещё что-нибудь для того, чтобы участники рассматривали конкретные предсказания и выводы как неизменяемые объекты (если кто-то хочет изменить или подправить формулировку, то это только приветствуется, но позаботьтесь о том, чтобы в каждый момент вы работали с ясным недвусмысленным утверждением). Во многих дискуссиях, например, в публичных политических дебатах, поощряется увёртливость, «борьба за очки», стратегия «прячься за двусмысленные формулировки и выгляди умнее». Ценность «корня разногласия» помимо прочего и в том, что здесь всего этого стараются избежать. Цель заключается в том, чтобы в любой момент все как можно лучше понимали, что именно пытается сказать оппонент, а не в том, чтобы сделать «соломенное чучело» из его аргументов и заставить его выглядеть глупо. Отслеживайте, когда у вас появляется искушение скатиться к привычному высмеивающему стилю поведения, и удерживайте себя в «настрое разведчика», а не в «настрое солдата».

Алгоритм

Ниже приводится алгоритм «корня разногласия» в том виде, в каком он даётся в нашем учебнике. Этот текст не слишком связан с тем, что написано выше, предполагалось, что его будут читать в контексте часовой лекции и нескольких практических занятий (поэтому в нём есть некоторые пробелы и странности). Здесь он приводится скорее для полноты и как пища для размышлений, а не как попытка подытожить написанное выше.

Найдите разногласие с другим человеком.

Вопрос, относительно которого вы верите во что-то одно, а ваш оппонент — во что-то другое.

Вопрос, относительно которого у вас с вашим оппонентом разные степени уверенности (например, вы убеждены, что X истинно с вероятностью 60%, а оппонент — что с вероятностью 90%).

Проясните сущность разногласия.

Определите используемые термины, чтобы не запутаться в семантических противоречиях, которые отвлекут вас от реального смысла.

Найдите конкретные примеры. Например, оценивайте, стоило ли вам вчера в утром в офисе поздороваться со Стивом, а не стоит ли вам быть более дружелюбным.

По возможности старайтесь рассуждать на языке действий, а не на языке убеждений. Легче оценивать аргументы вида «делать X более предпочтительно, чем Y», чем сокращённый вариант «X лучше Y».

Ищите «корни разногласия».

Ищите собственные «корни убеждений» независимо. Затем сравнивайте с тем, что нашёл ваш собеседник и ищите пересечения.

Ищите «корни убеждений» совместно, делая утверждения «Я считаю, что произойдёт X, потому что Y» и фокусируйтесь на фальсифицируемости («Потребуется A, B и C, чтобы я перестал считать, что X»).

Проверьте, что у вас получилось.

Потратьте время, чтобы «вжиться» в позиции обеих сторон и убедиться, что вы действительно нашли сущность разногласия (а не что-то, что в итоге не сможет продвинуть вас дальше).

Представьте вывод в виде утверждения «если-то». Воспользуйтесь своим внутренним симулятором и другими способами проверки, чтобы понять, нет ли каких-то невысказанных сомнений по поводу истинности этого утверждения.

Повторите!

Заключение

Мы считаем, что «корень разногласия» — это суперкруто. Если вы видите в этой стратегии какие-то недостатки, мы хотим о них узнать и исправить. На данный момент мы уверены, что исправление и улучшение «корня разногласий» гораздо выгодней, чем попытки внедрить какую-то совершенно другую стратегию. В частности, мы полагаем, что в принятии духа этого мыслительного приёма кроется гигантский потенциал, позволяющий людям более эффективно бороться со сложными и плохо понимаемыми темами (например, с вопросами экзистенциальных рисков), потому что эта стратегия позволяет одновременно удерживать в голове множество частично-неверных моделей и при этом выделять самое ценное из каждой.

Комментарии приветствуются. Критика очень приветствуется. Очень-очень-очень приветствуются рассказы из личного опыта о попытках научиться «корню разногласия», или попытках научить ему других, или попытках использовать его втайне от собеседника.

[1] Одна из важных причин верить в добрую волю собеседника заключается в том, что даже когда люди «неправы», они обычно правы частично. Среди их неверных убеждений есть крупицы золота, которые агент, заинтересованный в том, чтобы получить всю картину, может успешно добыть. Привычный способ разбираться с несогласиями зачастую приводит к тому, что это золото выбрасывается — или позволяя каждому защищать свой исходный набор убеждений, или заменяя взгляды всех на те, что считаются «лучшими». При этом выбрасываются данные, происходит каскадная передача информации, люди не стремятся «замечать замешательство» и так далее.

Основная идея здесь в том, что вселенная похожа на большой и сложный лабиринт, и каждый из нас видит лишь его часть. Расширение собственного языка и коммуникация позволит нам собрать информацию о частях этого лабиринта, не исследуя их самостоятельно. И это здорово! Но когда мы не согласны, что делать, из-за того, что мы видим разные слои реальности, неплохо бы пользоваться методами, которые позволяют нам объединять и синтезировать информацию, а не методами, которые заставляют нас выбирать часть и выкидывать остальное. Вспомните притчу о трёх слепцах и слоне. По возможности воздерживайтесь от подведения итогов, пока вы не получили все доступные данные.

Агент сверху ошибочно считает, что следует двигаться налево, поскольку ему кажется, что это кратчайший путь к цели. Агент справа понимает, что это ошибка, но сам он бы никак не смог дойти до этой точки.

Разум как меметическое иммунное расстройство

Фил Гоэц

1.Есть пророки в своём отечестве

2.Культурный иммунитет

3.Разум как подавитель иммунитета

4.Вакцины: обновление убеждений и эмоции

Есть пророки в своём отечестве

Я читаю книгу «Год, прожитый по Библии» А. Дж. Эйкобса. Он пытался следовать всем заповедям в Библии (Старый и Новый завет) буквально в течение одного года. Он быстро обнаружил, что:

многие из правил в Библии невозможны, нелегальны или следовать им сегодня просто стыдно; например, ношение бородки, привязывание денег к телу, забивание камнями изменщиков, запрет есть плод с дерева моложе 5 лет, запрет прикасаться ко всему чего касалась женщина во время менструации;

это не беспокоит почти никого из числа тех американцев1, что считают Библию словом Божьим.

Вы могли заметить что люди, принявшие религию в возрасте после 20 лет в целом более ревностно относятся к соблюдению её правил, чем люди, выросшие в той же самой религии. Те, кто вырос в религиозной семье, уже умеют справляться с неудобными частями веры, отделяя их, рационализируя отказ от них или просто о них забывая. Религиозные сообщества на самом деле в каком-то смысле защищают своих членов от религии — они создают набор неписанных правил о том, какие части религии участники сообщества могут легитимно игнорировать. Новообращённые же иногда пытаются всерьёз делать всё то что говорит им религия.

Я слышал, как миссионеры описывали разные безумства, которые проделывали их неофиты из каких-нибудь глухих мест, прочитав Библию в первый раз: они отказывались учиться у миссионеров-женщин; они настаивали на дословном соблюдении ветхозаветных заповедей; они вдруг решали что все в их деревне обязаны прилюдно признаться во всех своих грехах; они молились Богу и ожидали, что он сделает всё то о чём они его просят; они считали, что христианский Бог вылечит их болезни. Мы всегда немного смеялись над наивностью таких новообращённых; я с трудом слышал тихий голос в моей голове, повторяющий: «Но они просто верят в то что Библию надо воспринимать буквально…»

Как можно объяснить слепоту людей по отношению к религии, в которой они выросли?

Культурный иммунитет

Европа жила в христианстве почти 2000 лет. Европейская культура эволюционировала бок о бок с христианством. Культурно, меметически, она выработала устойчивость к христианству. Неофиты, обращённые в эту религию в Уганде, Новой Гвинее и других отдалённых местах, впервые столкнулись с христианскими мемами, не имея к ним иммунитета.

История религий часто напоминает историю вирусов. Иудаизм и ислам были очень вирулентны, когда только появились, заставляя первые поколения своих людей завоёвывать (ислам) или просто убивать (иудаизм) соседей за грех непохожести на них. Обе этих религии со временем стали более спокойными (Христианство было мирным с самого начала, так как возникло среди завоёванных людей. Когда его приняли римляне, оно не сделало их более воинственными, чем они были до этого).

Этот механизм не полностью повторяет аналогичный механизм болезней, слишком вирулентные из числа которых рискуют убить всех своих носителей. Обычно, религии не убивают своих носителей. Я подозреваю что с течением времени естественный отбор благоволит менее ярым фанатикам. Иными словами, культура со временем вырабатывает антитела против тех религий, с которыми она сосуществует — набор отношений и практик, делающий их менее вирулентными.

У меня есть теория о том, что «радикальный ислам» — это ислам, развившийся на Западе (а «местный» ислам не бывает радикальным). Больше половины из 75 исламских террористов, исследованных Бергеном и Пэнди в 2005 году(English), посещали западный колледж (только 9% учились в медресе). В целом, традиционное западное образование в колледже получил очень маленький процент мусульман. Человек, проживший всю свою жизнь в мусульманской стране, вряд ли испытает жгучее желание поехать заграницу и взорвать там чего-нибудь. Но когда кто-то из мусульманской нации едет в европейский колледж, возвращается с идеями эпохи Просвещения, — о разуме и о том, что оглядываться нужно не только на свои убеждения, но и на всё, что из них выводится — и применяет эти идеи к Корану… Вот тогда начинаются неприятности. Он потерял свой культурный иммунитет.

Я также вспоминаю о выступлении, которое проводил один из ассистентов Далай-Ламы. Это был не приглаженный западный буддизм; это был оригинальный буддизм, буддизм в шафранных робах прямиком с самолёта из Тибета. Этот человек говорил о своих убеждениях, и отвечал на вопросы присутствующих. Люди начали спрашивать его о некоторых последствиях его убеждений о том, что жизнь, любовь, чувства (и даже Вселенная в целом) в самой своей основе плохи и нежелательны. Он с большим трудом понял вопрос — не из за плохого знания языка, я полагаю; просто идея о том, что можно взять убеждение в одном контексте и применить его к другому контексту, была для него совершенной диковинкой. Его знание состояло из отдельных единиц. Каждая единица имела свою историю с собственным выводом и ограниченной областью применения (неудивительно, что многие считают, что для понимания буддизма требуется несколько десятилетий). Ему была незнакома мысль о том, что эти единицы могут как-то взаимодействовать; мысль о том, что можно взять идею из одного контекста и изучать её следствия в совершенно другом контексте. Возможно, это была одна из крайних форм культурного иммунитета.

Мы считаем буддизм мирной, заботливой религией. Религия, которая учит, что борьба и статус бесполезны, определённо должна быть более мирной, чем та, что учит, что весь мир должен склониться перед её влиянием; и религии, за которыми не стоят государства, (например, таким было раннее христианство) обычно спокойнее тех, у которых есть власть казнить и миловать. Но многое из традиционных представлений о буддизме появилось благодаря культурным нормам, мешающим буддистам соединить все точки в своём мировоззрении. Сегодня мы беспокоимся об исламских террористах. Через сто лет мы, возможно, будем беспокоиться о физиках-буддистах.

Разум как подавитель иммунитета

Я говорю обо всём этом потому, что интеллектуально развитые люди иногда совершают поступки, затмевающие своей глупостью всё, на что способны глупые люди. У этого много причин, но одна из них в том, что во всех культурах циркулируют как опасные мемы, так и культурные антитела к этим мемам. Проблема в том, что эти антитела не логичны. Напротив, они часто могут вообще отрицать логику. Это слепые пятна, которые позволяют нам жить с опасным мемом, не испытывая потребности действовать в соответствии с ним. Опасные эффекты этих мемов наиболее очевидны на примере религий, но я думаю, что какая-то часть этого есть во всех социальных нормах. В Америке есть сильная культурная норма, говорящая о том, что все люди равны (что бы это ни значило); изначально, это сильное и неоднозначное убеждение было сбалансировано набором настолько больших слепых пятен, что оно не побудило нас сразу освободить рабов или дать право голоса женщинам и людям, не владеющим землёй. Можно вспомнить и другую норму, говорящую о том, что только тяжёлый труд гарантированно приводит к успеху, и связанный с ней набор слепых пятен, который не даёт этому убеждению сделать из нас всех объективистов.

Даже небольшое количество разума может быть опасным грузом. Ландшафт рациональности не гладок; нет никакой гарантии, что удаление одного ошибочного убеждения улучшит ваши рассуждения вместо того, чтобы ухудшить их. Иногда разум позволяет нам видеть опасные аспекты наших мемов, но не те слепые пятна, которые нас от них защищают. Иногда он позволяет нам замечать слепые пятна, но не опасные мемы. В обоих случаях разум может привести человека к дисбалансу, подорвать его адаптацию к меметическому окружению и уничтожить цепи, мешающие дремлющим мемам довести себя до логического завершения (перефразируя Стива Вейнберга, можно сказать: «Для того, чтобы умный человек сделал что-то по-настоящему глупое, ему нужна теория». Вообще говоря, можно было бы цитировать и без изменений, ведь «глупое» — это просто слабый оттенок «злого». Коммунизм и фашизм начали с установки полного контроля над меметическим окружением, что позволило им создать свободного от культурного иммунитета человека, который будет делать то что ему скажут).

Вакцины: обновление убеждений и эмоции

Как можно понять, что ты удалил набор белых пятен из своего разума, не удалив одновременно их противовесы? Один из способов предотвратить такую потерю иммунитета — внимательно следить за тем, не отклоняешься ли ты от всех, кто находится рядом с тобой. Я постоянно отклоняюсь от мнения окружающих, так что для меня такая эвристика оказалась не очень полезной.

Другая эвристика — слушать свои чувства. Если ваши заключения совершенно вам не нравятся, то, возможно, вы потеряли когнитивный иммунитет к чему-то опасному.

1.Их доля составляет от трети до половины всего населения Америки.

Так ли очевидно «очевидное»?

Джордж Колэсрик

Эта статья посвящена теме, которую я уже несколько раз затрагивал в обсуждениях(English) и которая заслуживает большего внимания. Как правило, то, что само собой разумеется для одного человека, вовсе не обязательно будет таковым для другого. Очевидно ли это для вас? Возможно, да, и утверждение было для вас очевидным и до того, как был задан вопрос. Возможно, что вы ответили так только потому, что сработало суждение задним числом.

Представьте себе комментарий на Less Wrong — проницательный, вежливый, понятный — в общем, прекрасный во всех отношениях. А теперь представьте себе тот же комментарий, но только предваряемый словами «Общеизвестно, что». Казалось бы, это не меняет сути дела, но на деле единственное слово меняет комментарий к худшему в той степени, которую я не берусь определить.

Будь я настроен недоброжелательно, я мог бы свести описанный эффект к частному случаю ошибки, связанной с проекцией собственных представлений (English). Подразумеваемое умозаключение выглядит примерно так: «Я нахожу такое-то суждение очевидным. Следовательно, это суждение будет очевидным для всех». Трудность состоит в том, что оценка суждения как очевидного или вероятного — только порождение ума(English).

Клеймо «очевидности» идей связано с другой проблемой: «очевидное», скорее всего, не будет сказано вслух. Я не знаю, насколько универсально это утверждение, но точно могу сказать, что когда я проговариванию то, что мне кажется очевидным, я боюсь. Я боюсь, хотя пренебрежение этими опасениями не обязательно вызовет шквал презрительных комментариев. (Именно поэтому, на самом деле, я и пишу эту статью).

Даже те идеи, которые ретроспективно кажутся очевидными, бывает трудно предсказать. Сколько людей смогли бы со всей ясностью понять слабый антропный принцип1 без помощи Ника Бострома?

А как быть с теми предпосылками или убеждениями, которых вы уже придерживаетесь? Они должны быть очевидными, и иногда таковыми и являются, но не секрет, что наш мозг плохо складывает два и два. История Люка2 (English) показывает пример осознания того, что «Большой взрыв» идей, посетивших Люка, не был неизбежным. По крайней мере до тех пор, пока Люк не наткнулся на абзац из статьи И. Дж. Гуда. Я рад, что Люк снабдил меня примером, и я избавлен от необходимости придумывать собственный.

Перефразируя Элизиера, это вовсе не была «молния инсайта».

Я поднимаю вопрос об «очевидном», поскольку предлагаю сообществу ввести ряд норм:

Не бойтесь говорить что-то только потому, что оно «очевидно». Что-то вроде этого всегда говорили учителя: глупых вопросов не существует.

Не снабжайте классные идеи оговоркой «это общеизвестно, но все же стоит сказать, что…».

Не «минусуйте» без раздумий комментарий потому, что он сообщает нечто «очевидное». Не избегайте «очевидных» идей.

Не называйте идею очевидной, так, будто очевидность — ее неотъемлемое свойство. Может быть, в какой-то ситуации назвать нечто «очевидным» — это самый точный способ высказать то, что вы думаете, однако довольно трудно сделать это так, чтобы не выглядеть высокомерным. (Подозреваю, что на самом деле это одна из причин, по которой мы в таких ситуациях избегаем «я» и выбираем безличные формы: «это очевидно» или «общеизвестно, что…»).

Я не утверждаю, что предложенные нормы безусловно хороши, но полагаю, что их осуществление уменьшит количество мыслей, которые нельзя думать и слов, которые нельзя произносить.

1.Даже если вы далеки от философии и физики, вы могли слышать о связанной с антропным принципом «проблемой наблюдателя». Вкратце ее можно сформулировать так: наблюдатель влияет на наблюдаемое. Результаты эксперимента, исследования и т.д. всегда зависят от условий наблюдения, одним из которых является наблюдатель.

Сегодня влияние наблюдателя на объект и результат наблюдения общеизвестно и кажется простой и логичной идеей, до которой может додуматься всякий, однако чтобы сформулировать этот принцип и его следствия, понадобилось создать и усвоить теорию относительности. Идеи, которая время спустя кажутся простыми и логичными, далеко не всегда очевидны в момент их рождения (Прим. перев.).

2.В статье идет речь о столкновении (автор буквально говорит об ошеломляющем столкновении «лоб в лоб») Люка, одного из активных авторов Less Wrong, с поразившей его работой И. Дж. Гуда. Люк приводит цитату, которую можно свести к следующему утверждению: как только человек изобретет машину, более умную, чем ее создатель, это станет последним изобретением человечества. Люк всерьез задумался над этим утверждением, и попытка опровергнуть идею, высказанную в цитате, и ряд следствий этой идеи перевернула его жизнь (Прим. перев.).

Table of Contents

Ложные убеждения

Замечая замешательство

Загадочные ответы

Простая истина

Предисловие автора

Простая истина

Чрезвычайно удобные оправдания

Политика и рациональность

Против рационализации

Обновляй себя шаг за шагом

Один довод против армии

Нижняя строчка

О чём свидетельствуют отсеянные свидетельства?

Рационализация

Рациональное обоснование

Мотивированная остановка и мотивированное продолжение

Фальшивое оправдание

Это ваша настоящая причина отказа?

О лжи и Черных Лебедях

Эпистемология темной стороны

Против двоемыслия

Серьёзно, я обманул себя

Вера в самообман

Парадокс Мура

Не верь, что самообман удался

Свежий взгляд на вещи

Якорение и корректировка

Прайминг и контаминация

Мы верим всему, что нам говорят?

Кешированные мысли

Стандартный «нестандарт»

Страннее истории

Ошибка обобщения на основе вымышленного свидетельства

Добродетель узости

Генетическая логическая ошибка

Аффективная эвристика

Просто мессии

Сопротивление аффективным смертельным спиралям

Некритичная сверхкритичность

Любая деятельность хочет быть культом

Хранители истины

Хранители Айн Рэнд

Два коана о культах

Первый коан

Второй коан

Эксперимент Аша о конформизме

Умение отпускать

Важно уметь сказать «Упс»

Предложение спятить

Хватит уже надеяться

Как правильно сомневаться

Размышление о любопытстве

Законы рациональности беспристрастны

Оставь путь к отступлению

Кризис веры

Машина в призраке

Простая математика эволюции

Чуждый Бог

Чудо эволюции

Эволюции неразумны (но всё равно работают)

Эволюция к вымиранию

Трагедия группового отбора

Исполнители адаптаций, а не максимизаторы приспособленности

Эволюционная психология

Суперстимулы и крах западной цивилизации

Суть твоя - осколки бога

Ценности терминальные и инструментальные

Как люди понимают слова

Притча о болиголове

Слова как скрытые умозаключения

Экстенсионалы и интенсионалы

Типичность и асимметричное подобие

Замаскированные вопросы

Нейронные категории

Как алгоритм ощущается изнутри

Споры об определениях

Ощути смысл

Аргумент к традиционному пониманию

Пустые ярлыки

Табуируй свои слова

Замени символ на суть

Ошибки сжатия

У классификации есть последствия

Контрабанда характеристик

Аргумент «по определению»

Где проводить границу?

Общая информация и плотность в пространстве вещей

Слова как мысленные кисти

Когда слова ошибочны

Просто реальность

Реальность безобразна?

Вне лаборатории

Второй закон термодинамики и двигатели познания

Основы редукционизма

Распутывание вопроса

Неверные вопросы

Исправление неверного вопроса

Ошибка проецирования ума

Вероятность находится в голове

Цитата — не референт

Качественное замешательство

Думай как реальность

Редукционизм

Объяснение против разобъяснения

Лжередукционизм

Поэты саванны

Наслаждение обыденностью

Обыденная магия

Красота устоявшейся науки

Физикализм для продвинутых

Рука или пальцы

Злые атомы

Тепло или движение

Когда антропоморфизм стал глупым

Априори

Редуктивная отсылка

Зомби! Зомби?

Исключая сверхъестественное

Просто доброта

Раскладывание камней в правильные кучи

Настоящая дилемма заключенного

Количественный гуманизм

Пренебрежение масштабом

Парадокс Аллэ

Чувство морали

Стать сильнее

Бросая вызов сложностям

Цуёку наритаи («Хочу стать сильней!»)

Создание сообщества

Общий уровень здравомыслия

Чувство, что большее возможно

Прочие материалы

Прочие материалы с lesswrong.com

Пример мотивированного продолжения

Атеизм = не-теизм + анти-теизм

Забудьте кое-что, чему вас учили в школе

Непередаваемое превосходство

Пацифизм губит ухоженные сады

Полезная идея истины

Предполагая красоту

Против адвокатуры дьявола

Рациональность — это систематизированное выигрывание

Ученые уже всё это знают?

Учи невыучиваемому

Не выходи из комнаты

Обобщение на одном примере

Презумпция типичности — худший аргумент в мире?

16 видов полезных предсказаний

Научные основы самопомощи. Что мы о них знаем?

Индустрия самопомощи и научная литература

Некоторые научные советы

Методы обучения

Продуктивность

Счастье

Заключение

Список литературы

Как перестать откладывать дела

Введение

Уравнение прокрастинации

Уравнение прокрастинации в действии

Как побороть склонность откладывать дела на потом

Оптимизация оптимизма

Спирали успеха

Заместительная победа

Мысленное сравнение

Предостережение против чрезмерного оптимизма

Увеличение ценности

Поток

Значение

Энергия

Награды

Страсть

Управление импульсивностью

Самоограничение на данный момент

Постановка целей

Заключение

Как быть счастливым

Влияние на счастье

Счастье, личность и навыки

Счастье является субъективным и относительным понятием

Поток и внимательность

Как быть счастливее

Стратегическое мышление не свойственно нам по умолчанию

Живя осознанно

Вас может съесть гру

Да будет свет

Как получить удовольствие от неприятной компании

Семь Сияющих Историй

Что такое байесианство

Записи о фактах: как и зачем

Корень разногласия — стратегия для разрешения споров

Преамбула

Для чего применяется «Корень разногласия»

Необходимые условия

Как играть

Способы поиска

Подводные камни

Алгоритм

Заключение

Разум как меметическое иммунное расстройство

Есть пророки в своём отечестве

Культурный иммунитет

Разум как подавитель иммунитета

Вакцины: обновление убеждений и эмоции

Так ли очевидно «очевидное»?