Рациональность: От ИИ до Зомби

Даже те убеждения, что элегантно объясняют наши наблюдения, не обладают иммунитетом от этой проблемы. Слишком уж просто нам воспринимать туманно-научные (так или иначе авторитетные) фразы и делать выводы, что они «объясняют» что-либо, даже если они не меняют шансы, которые мы использовали для косвенной оценки наших ожиданий будущего.

Хуже всего, что даже прозаичные убеждения - те, что принципиально фальсифицируемы, что ограничивают варианты будущих наблюдений - могут застрять в голове, будучи поддержанными сетью иллюзий и искажений.

В 1951 году произошло необычайно жесткая игра между Дартмутом и Принстоном. Психологи Хасторф и Кантрил провели опрос среди болельщиков от каждой школы о том, кто же начал вести жесткую игру первым. Почти все были согласны в том, что это был не Принстон; однако, на 86% студентов Принстона, веривших, что начал Дартмут, приходилось лишь 36% студентов Дартмута, тоже обвинявших Дартмут. (Большинство студентов Дартмута верило, что «обе стороны начали».)

Нет никаких оснований полагать, что это было противоположным настоящим убеждениям провозглашение. Студенты, вероятно, следовали разным убеждениям в разных оценках будущего поведения игроков в будущих играх. И все же, совершенно обычные фактические убеждения Дартмута сильно отличались от совершенно обычных фактических убеждений Принстона.

Можем ли мы винить разницу в доступных источниках информации? Сами по себе искажения в разных источниках новостей, на которые полагаются группы - серьезная проблема.

Однако факторов больше. Когда студентам была показана запись игры и они должны были посчитать количество нарушений, то Дартмутские насчитали в среднем 4.3 нарушения со стороны Дартмута (половина из которых была названа «мягкими»), в то время как Принтсонские - 9.8 нарушений со стороны Дартмута (треть из которых была названа «мягкими»).

Чего уж тут надеяться на согласие конкурирующих фракций по сложным вопросам или моральной философии; студенты, верные разным группам, не могли согласится о том, что они видели (3).

Когда над дорогим нам «чем-то» нависла угроза, - мировоззрением, социальным статусом или чем-либо еще, - наши мысли и даже восприятие спешат на защиту (4) (5). Некоторые психологи сегодня полагают, что наша способность придумывать явные оправдания для наших выводов специально эволюционировала для того, чтобы помогать нам выигрывать споры (6).

Одним из определяющих психологию 20-го века озарений, освещающим всех, от Фрейда до когнитивных психологов наших дней, является идея сложных подсознательных процессов, в значительной степени ответственных за наше поведение, и искаженности (большей, чем кажется на первый взгляд) историй, которые мы рассказываем себе о наших мотивах и поступках.

По факту, мы часто не замечаем сам процесс рассказывания таких историй. Когда кажется, что мы «прямо переживаем» что-то о себе посредством интроспекции, часто бывает, что это основано на незначительных косвенных причинных моделях (7, 8). Когда мы защищаем наши убеждения, то можем выдумывать хрупкие причины, не имеющие никакого отношения к тем, благодаря которым мы действительно пришли к таким убеждениям (9). Вместо того, чтобы судить объяснения на основе их предсказательной силы, мы пытаемся найти смысл в том, что, как нам кажется, мы знаем.

Как мы можем стать лучше? Как мы можем приобрести реалистичный взгляд на мир, если наши умы так склонны к рационализации? Как мы можем реалистично взглянуть на свой внутренний мир, если даже наши мысли под подозрением? Как мы можем снизить искаженность, если даже наша деятельность по исправлению этого имеет свои искажения?

Есть ли твердая кочка в этом болоте?

Математика Рациональности.

На рубеже 20-го века создание простых (например, теоретико-множественных) аксиом для арифметики дало математикам возможность оценивать корректность их выводов. Если человек или калькулятор выдает «2+2=4», теперь мы можем сказать больше, чем просто «интуитивно это кажется верным». Мы можем объяснить почему это верно, и мы можем доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Но логика и математика позволяют нам моделировать более интересные системы, чем карманный калькулятор. Мы можем формализовать рациональные убеждения в целом, используя теорию вероятности для сбора сливок со всех успешных форм вывода. Мы даже можем формализовать рациональное поведения в целом, разработав теорию принятия решений.

Теория вероятности описывает идеальные рассуждения в условиях неуверенности, если бы у нас было достаточно времени, вычислительных мощностей и самоконтроля. Учитывая предыдущие знания (априорные) и новое свидетельство, теория вероятности однозначно определяет наилучший набор новых убеждений (апостериорные), которые я могу принять. Так же, теория принятия решений определяет, какие действия я должен предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, что я имею о Бобе, есть ответ теории принятия решений о том, как я должен действовать, чтобы удовлетворить свои предпочтения.

Люди являются идеальными мыслителями или разработчиками решений настолько же, насколько могут быть идеальными калькуляторами. Наш мозг небрежно слеплен эволюцией. Даже сильно постаравшись, мы не способны вычислить правильный ответ на «что мне следует думать?» и «как мне следует поступить?». У нас не хватает времени и вычислительных мощностей, и эволюции оказалась недостаточно дальновидной и компетентной, чтобы создать менее багнутую систему.

Максимально эффективный, свободный от ошибок мыслитель в реальном мире, по факту, все равно будет полагаться на эвристики и аппроксимации. Оптимальные алгоритмы, путь вычислений которых можно проследить, выпадают из непротиворечивой теории вероятности.

И все же, даже зная, что мы не можем быть полностью непротиворечивыми, мы можем стать лучше. Зная о существовании идеала, с которым мы можем себя сравнивать (исследователи называют это «Байесовской рациональностью»), мы можем улучшать наши рассуждения и действия. И хотя, мы никогда не станем идеальными байесовскими агентами, математика рациональности поможет нам понять, почему некий ответ является верным, заметить где мы облажались.

Только представь изучение математики исключительно с помощью заучивания. Тебе сказали, что “10 + 3 = 13,” “31 + 108 = 139,” и т.д., но это не слишком поможет, если ты не будешь понимать последовательность, стоящую за закорючками. Трудно искать методы улучшения рациональности, не имея при этом парадигмы для оценки успешности этих методов. Цель этой книги - помочь построить такую парадигму индивидуально каждому.

Прикладная рациональность.

В своем блог-посте про разницу между восторженными рациональностью «рационалистами» и «рационалистами анти-эмпиристами» Скотт Александр пишет (10):

[O]чевидно - здорово иметь как можно больше свидетельств, в том же смысле, что и иметь как можно больше денег. Но так же очевидно, что и полезно уметь распоряжаться имеющимися ресурсами с умом, так же, как и полезно уметь распоряжаться с умом ограниченным бюджетом.

Техники рациональности помогут выжать больше из имеющихся свидетельств в тех случаях, когда они неоднозначны или когда наши искажения и пристрастия мешают интерпретировать их. Это применимо и к таким обыденным ситуациям, как та, что с Бобом. К разногласиям политических фракций (и спортивных болельщиков). И так же применимо к технологическим и философским загадкам, вроде дебатов о трансгуманизме и том, должны ли мы использовать технологии для радикального изменения нашего состояния. Признавая, что те же математические правила применимы к каждой из описанных областей, как и господство когнитивных искажений, автор, в «Как действительно изменить свое мнение», обрисовывает множество примеров проблем.

Первая цепочка статей в «Как действительно изменить свое мнение», - «Чрезвычайно удобные оправдания», - фокусируется на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях, когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Отсюда мы движемся в темные воды вместе с цепочкой «Политика и Рациональность». Мейнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

В игре Дартмута с Принстоном есть пара подсказок. Большая часть наших рассуждений - рационализация, рассказывание историй, которые помогают нам воспринимать наши убеждения как последовательные и оправданные. при этом редко улучшая их точность. Об этом автор пишет в «Против рационализации», затем следует цепочка «Против двоемыслия» (о самообмане) и «Свежий взгляд на вещи» (о вызове признавать свидетельства, даже если они не слишком подходят нашим ожиданиям и предположениям).

Поднятие уровня своей рациональности подразумевает знакомство с множеством интересных и сильных идей. Часто, это так же означает знакомства с людьми для обсуждений этих идей и даже сообществами, поощряющими саморазвитие. «Смертельные Спирали» описывает потенциальные риски, влияющие на группы, созданные вокруг общих интересов и блестящих идей, которые надо обойти или перебороть, если мы рассчитываем получить хоть какую-то выгоду от сообщества рационалистов. «Как действительно изменить свое мнение» заканчивается цепочкой «Отпустить».

Наша природа не подразумевает изменение нашего мнения, как это делал бы байесовский агент. Чтобы заставить студентов Дартмута и Принстона заметить, что же происходило в реальности, понадобится больше, чем обучение их теории вероятности. Как писал Люк Мюлхаузер в «Силе автономного Агента» (11):

Ты не байесовский гомункул, чье мышление «загрязнено» когнитивными искажениями.

Ты просто когнитивное искажение.

Ошибка подтверждения, ошибка статуса кво, ошибка соответствия и прочие не присосались к нашему мышлению; они являются его сутью.

Это не значит, что снижение их влияния невозможно. Мы не являемся идеальными калькуляторами под слоем арифметических ошибок. Множество из наших ограничений в математике являются следствием особенностей работы мозга. И тем не менее, мы способны тренировать математические навыки; мы способны обучаться различать ситуации, где можно, а где нельзя доверять математической интуиции и делиться этим знанием с другими; мы способны менять окружающую среду и создавать инструменты, снимающие бОльшую часть нагрузки.

Наши искажения - часть нас самих. Но в нас так же присутствует тень Байеса - сломанный аппарат, способный, тем не менее, приблизить нас к правде. Не гомункул, но все же что-то. Возможно, достаточно, чтобы начать.

Robin Hanson, “You Are Never Entitled to Your Opinion,” Overcoming Bias (blog) (2006), http://www.overcomingbias.com/2006/12/you_are_never_e.html.

Это следует из того, что тут шесть возможностей и у тебя нет причин ожидать одну из них сильней по сравнению с другими. Мы так же предполагаем, пусть и нереалистично, что ты можешь быть уверен в том, что поклонник принадлежит именно к этой шестерке людей, и ты не отбрасываешь другие возможности. (Что если влюбленность у большего числа людей, чем «один»?)

Albert Hastorf and Hadley Cantril, “They Saw a Game: A Case Study,” Journal of Abnormal and Social Psychology 49 (1954): 129–134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/ Hastorf1954.pdf.

Pronin, “How We See Ourselves and How We See Others.”

Robert P. Vallone, Lee Ross, and Mark R. Lepper, “The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre,” Journal of Personality and Social Psychology 49 (1985): 577–585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.

Hugo Mercier and Dan Sperber, “Why Do Humans Reason? Arguments for an Argumentative Theory,” Behavioral and Brain Sciences 34 (2011): 57–74, https://hal.archives-ouvertes.fr/file/index/docid/904097/filename/Mercie….

Richard E. Nisbett and Timothy D. Wilson, “Telling More than We Can Know: Verbal Reports on Mental Processes,” Psychological Review 84 (1977): 231–259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.

Eric Schwitzgebel, Perplexities of Consciousness (MIT Press, 2011).

Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,” Psychological Review 108, no. 4 (2001): 814–834, doi:10.1037/0033-295X.108.4.814.

Scott Alexander, “Why I Am Not Rene Descartes,” Slate Star Codex (blog) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.

Luke Muehlhauser, “The Power of Agency,” Less Wrong (blog) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.

Чрезвычайно удобные оправдания

Правильная скромность

Элиезер Юдковский

Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное па в танце.

А как насчет инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчет студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнес к хорошей скромности.

А что насчет студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Возможно, действия студента из предыдущего примера вызваны схожими эмоциями. Но студент из предыдущего примера поступает более разумно.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность - относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным отношениям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что также студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.

Конец эпохи в физике не обязательно сопровождается салютом и фанфарами. Гораздо чаще он начинается с чего-то, что кажется лишь маленькой несостыковкой… Но из-за того, что физики придерживаются своей высокомерной идеи, что их модели должны работать абсолютно всегда, а не просто большую часть времени, они всегда стараются выяснить причину этих маленьких несостыковок. Обычно несостыковка исчезает после более внимательного ее изучения. А иногда она разрастается настолько, что опровергает всю теорию. По этому поводу сказано: «Если ты не стремишься к совершенству, ты остановишься еще до того, как сделаешь свои первые шаги».

Но подумайте, как нагло с точки зрения общества выглядит стремление быть правым абсолютно всегда! Я подозреваю, что если бы Наука заявляла, что теория эволюции верна большую часть времени, но не во всех случаях, — или если бы Наука признавала, что, возможно, Земля иногда может быть плоской, но никто не знает этого точно, — то у ученых определенно была бы лучшая репутация в обществе. Наука не казалась бы такой враждебной, потому что мы бы тогда не спорили с людьми, которые считают Землю плоской — оставалось бы место для компромисса. Если вы много спорите, вас считают конфликтным человеком. Если вы регулярно отказываетесь идти на компромисс, это еще хуже. Считайте это вопросом статуса в племени: ученые определенно заработали дополнительные очки уважения за такие социально полезные вещи, как медицина и мобильные телефоны. Но этот статус не оправдывает их настойчивости в вопросе того, что только научные идеи об эволюции имеют право изучаться в школах. В конце концов, у священников тоже высокий статус. Ученые пытаются прыгнуть выше головы — они заработали немного уважения и теперь считают, что имеют право быть вождями всего племени! Им стоит быть поскромнее и иногда идти на компромисс.

Многие люди, похоже, имеют весьма туманное представление о «скромности рационалиста». Опасно придерживаться правила, которое вы понимаете лишь отчасти. У вашей картины мира может быть такое количество степеней свободы, что она оправдает практически любой поступок. Когда люди пользуются смутными моделями, с помощью которых они могут отстаивать что угодно, в итоге они обычно верят в то, во что хотели верить изначально. Это так удобно, что люди часто не хотят отказываться от этой неопределенности. Но этика нужна для того, чтобы управлять нашим поведением, а не для того, чтобы под него подстраиваться.

«Скромность» — это добродетель, которую часто понимают неверно. Это не значит, что нам нужно отказаться от понятия скромности, но нам стоит использовать его осторожно. Возможно, стоит взглянуть на алгоритм действий, который предлагает «скромная» модель поведения, и спросить: «Если я буду поступать таким образом, я стану сильнее или слабее?» Если вы просто смотрите на мост и думаете о проблеме индукции, может казаться разумным рассуждение о том, что ничто не вечно, независимо от предпринятых мер предосторожности. Однако, если вы сравните, что изменится в реальном мире, если вы добавите несколько дополнительных тросов, и что изменится, если вы просто пожмёте плечами, то вроде бы довольно очевидно, в каком случае мост станет более надёжным.

Подавляющее большинство примеров «скромности рационалиста», которые я видел, были отговорками для пожимания плечами. Например, человек, покупающий лотерейный билет, говорит: «Но вы не знаете наверняка, что я проиграю». Человек, не верящий в эволюцию, говорит: «Но вы не можете строго доказать мне, что это правда». Человек, отказывающийся решать задачу, которая выглядит очень сложной, говорит: «Ее, наверное, слишком тяжело решить». Проблема здесь в мотивированном скептицизме, также известном как «искажение опровержения» — мы более критически рассматриваем утверждения в пользу теории, в которую мы не хотим верить. Скромность, в ее самом неверно понимаемом виде, это самое универсальное оправдание для того, чтобы не верить во что-то. Ведь, в конце концов, нельзя быть в чем-то уверенным до конца. Остерегайтесь абсолютно универсальных оправданий!

Еще одна проблема в том, что скромность не требует от вас никаких жертв. Деннет в своей книге «Разрушая чары: религия как природное явление» говорит, что, хотя во многие религиозные утверждения очень трудно верить, людям намного легче удается верить в то, что они должны в них верить. Деннет использует для этого термин «вера в убеждении». Что бы значило реальное убеждение, реальная вера в то, что трое эквивалентны одному? Намного легче убедить себя, что вы должны каким-то образом верить, что трое эквивалентны одному, и говорить это вслух в нужный момент проповеди. Деннет предполагает, что многие «религиозные убеждения» должны рассматриваться как «религиозные провозглашения» — люди считают, что они должны в них верить, и знают, что они должны именно так говорить.

Довольно легко отвечать на каждый контраргумент: «Ну, разумеется, я могу и ошибаться». А затем, почтительно преклонив колени перед Скромностью и выполнив надлежащий ритуал, можно поступать точно также, как поступали и до этого.

Всегда хочется заработать наибольшее количество очков с наименьшими усилиями. Всегда хочется учитывать все поступающие свидетельства таким образом, чтобы как можно меньше изменять свои убеждения и особенно действия. Джон Кеннет Гэлбрейт сказал: «Оказавшись перед выбором между тем, чтобы изменить свои убеждения, и тем, чтобы доказать себе, что в этом нет нужды, почти каждый выбирает второе.»1 И чем большие неудобства человек будет испытывать после изменения своих убеждений, тем больше усилий он потратит на доказательства его ненужности.

Но, знаете, если вы не собираетесь меняться, нет смысла тратить такие усилия на то, чтобы это рационализировать. Я часто видел людей, которые получали новую информацию, соглашались с ней, а затем подробно объясняли, почему они собираются делать то же самое, что делали до этого, но с другим оправданием. Смысл мышления в том, чтобы строить планы. Если вы не планируете менять свои планы, зачем тратить силы на их оправдания? Когда вы получаете новую информацию, самое трудное - среагировать на нее и обновить свои убеждения, вместо того чтобы позволить этой информации исчезнуть в черной дыре. И неправильно понимаемая скромность создаёт прекрасную чёрную дыру — вам нужно лишь признать, что вы тоже можете ошибаться. По этому поводу сказано: «Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью».

Третья альтернатива

Элиезер Юдковский

«Вера в Санту дает детям ощущение чуда и заставляет их вести себя хорошо в надежде на получение подарков. Если Санта-убеждение разрушается правдой, дети теряют ощущение чуда и прекращают вести себя хорошо. Таким образом, даже если это убеждение ложно, это благородная ложь, которая полезна по определенным причинам».

Обычно это называют ложной дилеммой, софизмом исключения среднего, софизмом компромисса. Даже если мы принимаем лежащие в основе фактические и моральные исходные посылки, приведенные выше в аргументах, это не может быть использовано. Даже предположение, что политика Санты (заставлять детей верить в Санта-Клауса) лучше, чем не делать ничего, это не значит что данное убеждение является наилучшим из всех возможных альтернатив. Другие варианты поведения также могут дать детям ощущение чуда, наподобие просмотра фантастического шоу или снабжения их научно-фантастической литературой. Подобным же образом (если я правильно помню) манера предлагать детям своеобразные взятки за хорошее поведение заставляет детей вести себя хорошо только в те моменты, когда на них смотрят взрослые, а без взяток вести себя плохо.

Благородная ложь представляет собой общий случай софизма компромисса; и ответом на данный софизм является то, что если нам действительно нужно достичь чего-то, мы можем создать третью альтернативу по достижению этого.

Как мы можем получить третью альтернативу? Первый шаг в этом — решить поискать ее, последний — решение принять ее. Звучит очевидно, однако большинство людей терпят неудачу на этих двух шагах, а не на самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые появляются честно, потому что трудно найти превосходящие стратегии. Но есть сомнительная причина ложной дилеммы — это суждение о том, что это лучше, чем не делать ничего. В этом случае, судящий не хочет искать третью альтернативу; находение таковой разрушит его суждение. Последнее, что Сантаист хотел бы услышать, это то, что данная ложь работает лучше взяток или что космические корабли могут вдохновлять так же как летающие олени.

Лучшее враг хорошего. Если цель — по-настоящему помогать людям, тогда превосходящая альтернатива это причина для праздника — как только мы находим лучшую стратегию, мы можем помогать людям более эффективно. Но если цель просто оправдать определенную стратегию, претендуя при этом на помощь людям, третья альтернатива становится вражеским аргументом, соперником.

Современные когнитивные психологи рассматривают принятие решений как поиск альтернатив. В настоящей жизни, недостаточно сравнивать варианты, вы должны в первую очередь создавать варианты. Во многих проблемах число альтернатив велико, так что вам нужен критерий остановки поиска. Когда вы ищете дом для покупки, вы не будете перебирать все дома в городе; в определенный момент вы остановитесь и купите.

Но что, если наши сознательные мотивы для поиска — критерий, который мы признаем для себя — не совпадает с подсознательными влияниями? Когда мы выполняем вроде бы альтруистический поиск, поиск альтруистического способа действий и находим стратегию, при которой выигрывают все кроме нас — мы не останавливаемся; мы продолжаем искать. Разумеется, при этом мы говорим, что ищем стратегию, которая принесет другим еще больше пользы. Но предположим, что мы нашли стратегию, которая приносит другим меньше пользы, но зато благоприятна и для нас? Мы тут же останавливаемся! На деле, мы скорее всего будем сопротивляться любому предложению продолжить поиск снова — например оправдываясь недостатком времени (хотя у нас всегда находятся когнитивные ресурсы для поиска оправданий текущей стратегии).

Будьте внимательней, когда обнаруживаете, что вы отстаиваете оборонительный способ действий, а не оптимальный; или думаете, что иметь небольшое преимущество в сравнении с нулевым действием лучше, чем выбирать наибольшее преимущество из всех действий.

Ложные дилеммы часто представляются как оправдание неэтичных действий, как нечто попавшееся под руку и очень удобное. Лгать, например, часто удобнее, чем говорить правду; и верить в то, с чего вы начали рассуждение, — более удобно, чем обновлять убеждения. Отсюда популярность аргументов в пользу Благородной Лжи; это служит как защита уже существующего убеждения — никто не видел Благородного Лжеца, который создает новую Благородную Ложь; они продолжают лгать о том, с чего начали. Лучше остановить эти поиски быстро!

Чтобы сделать лучше, спросите себя напрямую: если бы я увидел, что есть альтернатива, превосходящая мою текущую, я бы обрадовался или бы замешкался в нежелании, перед тем, как перешел на нее? Если ответы «нет» и «да», боюсь, что вы не ищете третью альтернативу.

Что приводит к другому хорошему вопросу, который нужно задать себя напрямую: потратил ли я хотя бы пять минут на то, чтобы закрыть глаза и рассмотреть даже самые дикие и креативные варианты в попытках придумать лучшую альтернативу? Причем это должны быть именно пять минут на часах — иначе вы просто моргаете — закрываете и открываете сразу же глаза и говорите: «Ну, я поискал альтернативы, но их нет». Моргание это хорошее средство уйти от своих обязанностей. Поэтому рекомендуется смотреть пять минут именно по часам.

И эти дикие и креативные варианты — были ли вы достаточно внимательны, чтобы не просмотреть хороший? Прилагали ли усилия, чтобы убедиться в том, что любой рассмотренный выбор очевидно плохой?

Удивительно, как много Благородных Лжецов и прочих подобных готовы принять этические нарушения — оплакивая свои муки совести — когда они не потратили и пяти минут на поиск альтернатив. Существуют определенные ментальные поиски, которые мы подсознательно желаем видеть неудавшимися; и когда шансы на успех нам не подходят, люди часто выбирают самый доступный возможный вариант — сдаться.

Лотереи: бессмысленная трата надежды

Элиезер Юдковский

Традиционно принято критиковать лотереи за то, что играют в них те, кто меньше всего может позволить себе проиграть; что лотерея — унитаз для спуска денег, сливающий средства тех, кому они больше всего нужны. Некоторые апологеты лотерей (и даже кое-какие комментаторы блога Lesswrong.com) пытаются оправдать покупку лотерейных билетов как разумную: мы нечувствительно теряем доллар в день, покупая приятное предвосхищение, мечтая о себе-миллионере.

Но рассмотрим, что же именно здесь подразумевается. Такой ход мыслей должен означать, что вы захламляете свой ценный мозг иллюзией, действительная достоверность которой — что-то около нуля: тонкая полоска везения, которую вы не властны сделать реальностью. Лотерейные шары определят ваше будущее. Эта иллюзия о том, что богатство настигнет вас без усилий: без стремления мыслить и учиться, без талантов, даже без упорства.

Это и делает лотереи еще одним видом «унитаза», только сливающим эмоциональную энергию. Они потворствуют тому, чтобы люди вкладывали свои мечты, свои надежды на лучшее будущее в крохотную вероятность. Если бы не лотерея, возможно, они могли бы подумать о том, чтобы поступить в технический колледж, или открыть свое дело, или продвинуться по службе, — о чём-то, что в самом деле могут сделать именно они, о надеждах, которые бы требовали от них стать сильнее. В своих фантазиях, эдак к 20-й визуализации пленительной мечты, мозг человека, возможно, заметит способ действительно ее осуществить. Разве фантазии и мозги не для этого? Но разве может этот приземленный, ограниченный рамками действительности расклад сравниться с подслащенной перспективой мгновенного богатства (не когда на продажу выставлены акции соблазнительных интернет-стартапов, а в обычный вторник)?

Правда, почему бы нам просто не сказать, что покупать лотерейные билеты — идиотское занятие? Люди бывают глупы время от времени, так что это не должно быть такой уж удивительной гипотезой.

Не является открытием, что человеческий мозг не проводит 64-битные вычисления с плавающей точкой, и не может снизить эмоциональную силу положительного предвосхищения, умножив ее на 0,00000001, если не приложить к этому усилий. Также неудивительно, что многие люди не осознают, что численное вычисление ожидаемой полезности должно превосходить или замещать их неточные финансовые инстинкты, и что вместо них стоит верить этому вычислению как единственному аргументу, который уравновешивал бы их положительное предвосхищение - но вычисление это эмоционально слабый аргумент, поскольку представляет собой цифры на бумаге, а не видения сказочных богатств.

Кажется, этого достаточно, чтобы объяснить популярность лотерей. Почему же столь многих спорщиков тянет оправдать эту образцовую форму саморазрушения?

Чтобы преодолеть искажение мышления, нужно: 1) сначала заметить его, 2) затем подробно проанализировать, 3) определить, чем же оно плохо, 4) выяснить, как его обойти, и, наконец, 5) осуществить это. Досадно, как много людей, пройдя первые два шага, застревают на третьем — по правде говоря, самом легком из всех пяти. Систематическая ошибка мышления — это баг, а не фича, и мы должны не пытаться сделать из нее что-то хорошее, а просто избавиться от нее.

Новая улучшенная лотерея

Элиезер Юдковский

Люди продолжают настаивать на том, что лотереи это не бессмысленная трата надежды, а сервис, который дает возможность купить фантазию — «мечты о становлении миллионером за меньшие деньги, нежели мечты о становлении голливудской звездой в кино». Один комментатор написал: «Есть большая разница между нулевыми шансами стать богатым и ничтожно малыми. Покупка билета позволяет вашей мечте о богатстве перейти от нулевых шансов к ничтожно малым».

На деле же, и это один из моментов, которые я хочу донести, между нулевым и ничтожно малым шансом стать богатым разница ничтожно малого порядка. Если вы сомневаетесь, положим, что этот ничтожно малый шанс — единица, деленная на гуголплекс.

В любом случае, если мы притязаем на то, что сильная сторона лотереи — возможность купить надежду на ничтожно малые шансы, то это предполагает, что мы соглашаемся на разработку новой улучшенной лотереи. Она выплачивает выигрыш в среднем раз в пять лет, в случайный момент времени, который определяется, скажем, моментом распада атомов слаборадиоактивного элемента. Вы сможете однажды купить билет за доллар и обрести не просто несколько дней крохотного шанса стать богатым, а несколько лет такового. Более того, богатство может настигнуть вас в любой момент! В любую минуту может зазвонить телефон, чтобы рассказать вам, что вы, да-да, именно вы — миллионер!

Представьте, насколько это было бы лучше, чем обычная схема розыгрыша лотереи, которая проводится только в определенное время, несколько раз в неделю. Скажем, шеф приходит и дает вам указание переработать проект, или пополнить складские запасы, или сделать еще что-нибудь надоевшее. И вместо того, чтобы браться за работу, вы можете поставить перед собой телефон и глядеть на него, надеясь на чудесный звонок, ведь есть крохотный шанс, что именно в этот момент вы, да-да, вы получите суперприз! И даже если этого не случится сейчас, что ж, не стоит разочаровываться: это может произойти в следующую минуту!

Подумайте, насколько больше фантазий возможно с Новой улучшенной лотереей. Вы можете покупать в магазине, добавляя дорогие вещи в вашу покупательскую корзину — если ваш телефон не зазвонит, чтобы вам сообщили, что вы выиграли, вы всегда можете выложить все обратно, не так ли?

Возможно, Новая улучшенная лотерея может даже отображать постоянно плавающее распределение вероятностей по возможности того, что сейчас кто-то выиграет, или по шансам на победу определенных лотерейных билетов, а также общий прогноз, выражающийся через вышеуказанные распределения Пуассона. Вообразите, насколько приятным это могло бы быть! Батюшки, прямо сейчас шансы выиграть где-то в десять раз выше, чем обычно! И, вы только посмотрите, у номера 42, на который я сделал особую ставку, вероятность выпадения в эту минуту удвоилась! Можно отобразить эту информацию на экранах мобильников, владельцы которых в игре, и они смогут просто посмотреть в телефон и узнать свои шансы. Только представьте, как волнующе это будет! Куда увлекательней, чем пытаться свести собственные доходы и расходы. Куда интереснее, чем делать домашнюю работу! Эта новая мечта должна стать настолько притягательной, что сможет соревноваться не только с надеждой поступить в технический колледж, но даже с возможностью рано возвращаться с работы. Люди смогут просто неотрывно глазеть на экран весь день, и им не надо будет мечтать о чем-нибудь еще!

Действительно, давать людям соблазнительные мечтания, которые никогда не станут реальностью, — значимая услуга, так уж и быть. Она должна быть таковой, ведь люди готовы расставаться с деньгами. Хотя на самом деле это может быть и не так, ведь люди могут и ошибаться.

Пока что современные государства, обладающие подлой монополией на лотереи, все еще не предлагают эту удобную и очевидную услугу. Почему? Потому что хотят назначить цену повыше. Они хотят, чтобы люди тратили деньги каждую неделю. Чтобы люди тратили сотни долларов ради трепетного ожидания выигрыша, десятки и сотни раз, вместо того, чтобы смотреть на экран телефона, ожидая счастливого момента. Так что если вы убеждены, что лотерея — это услуга, то цена ее несоизмеримо завышена (в особенности для беднейших в обществе), и ваш священный долг как гражданина — требовать учреждения Новой улучшенной лотереи.

Но ведь шанс все равно есть, не так ли?

Элиезер Юдковский

Несколько лет назад я беседовал с одним человеком, и по ходу разговора он сказал, что не верит в эволюцию. Я ответил: «Сейчас не девятнадцатый век. Когда Дарвин впервые предложил теорию эволюции, в ней еще можно было сомневаться. Но мы живем в двадцать первом веке. Мы можем читать гены. У человека и шимпанзе ДНК совпадают на 98%. Мы знаем, что люди и обезьяны являются родственниками. Это факт».

Он сказал: «Может быть, совпадение ДНК является случайным».

Я ответил: «Шансы на это равны примерно двум в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс все равно есть, не так ли?»

Есть несколько причин, по которым прошлый-я не может праздновать чистую с моральной точки зрения победу в этом споре. Первая причина заключается в том, что я не помню, откуда взял число 27500000002750000000, хотя, скорее всего, я не слишком ошибся на уровне «мета-порядка». Другая причина в том, что мой прошлый-я не задумывался о том, насколько откалиброванной была эта уверенность. На протяжении всей истории человечества люди, оценивавшие вероятность некоего события в 1 к 27500000002750000000, ошибались, несомненно, чаще, чем один раз в 27500000002750000000 случаях. К слову, позже оценка совпадения ДНК была снижена с 98% до 95% - причем относится она только к 30 000 известным генам, а не ко всему геному, поэтому моя оценка была неверна даже на уровне «мета-порядка».

Однако, ответ моего собеседника по-прежнему кажется мне довольно забавным.

Я не помню, что я ответил на его последнюю реплику — скорее всего, что-то вроде «Нет»— но я запомнил этот разговор, поскольку благодаря ему я чуть лучше понял то, как Непросвещённые понимают законы мышления.

Я впервые понял, что для человеческой интуиции есть качественная разница между «Невозможно» и «Шансы очень малы, но их стоит учитывать». Это можно увидеть и на Overcoming Bias в обсуждении «Новой Улучшенной Лотереи», где один пользователь написал: «Между нулевыми шансами на выигрыш и шансами, равными эпсилону, существует большая разница». На что я ответил: «Нет, не большая - порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон один, делённое на гуголплекс».

Проблема в том, что теория вероятностей позволяет рассчитать значения, которые настолько малы, что на них бессмысленно тратить ресурсы своего мозга - но к этому времени они уже будут рассчитаны. Люди путают карту с территорией, поэтому на интуитивном уровне вероятность, явно определённая в виде символов, ощущается как «шанс, который нужно учитывать», даже если число, описываемое этими символами, настолько мало, что, представив его в виде реального объекта, мы бы не смогли его даже разглядеть, поскольку оно было бы меньше пылинки. Для описания настолько маленьких чисел есть слова, но нет чувств — столь малого количества нейронов и нейромедиаторов не хватит, чтобы ощутить хоть что-то. Именно поэтому люди и покупают лотерейные билеты — никто не способен по-настоящему прочувствовать ничтожность столь малой вероятности.

Но еще более любопытным мне показалось качественное деление между аргументом «точным» и аргументом «вероятностным» - причем «вероятностный» аргумент в этом случае можно просто проигнорировать. Мол, вероятность, равная нулю, требует полного отказа от нее, а вероятность, равная один к гуголу, все еще может учитываться.

Разумеется, мы живем в свободной стране и никто не посадит вас в тюрьму за неверные рассуждения. Но если вы собираетесь игнорировать аргумент о том, что вероятность равна всего лишь один к гуголу, зачем обращать внимание на аргумент о том, что вероятность равна нулю? То есть, если вы всё равно собираетесь игнорировать любые свидетельства, чем «вероятностное» свидетельство хуже «точного»?

По ходу своей жизни я неоднократно учился на ужасно вопиющих примерах рассуждений других людей и часто обнаруживал, что полученные выводы можно проецировать и на менее очевидные случаи. Например, здесь я понял, что если не игнорируешь вероятность один к гуголу лишь потому, что тебе так хочется, по этой же причине нельзя игнорировать и вероятность 0,9. Это такой же опасный путь.

Вспомните об этом, если захотите сказать: «Но вы не можете доказать мне, что я не прав». Если вы собираетесь игнорировать аргумент, основанный на вероятности - почему бы просто сразу не проигнорировать все доказательство?

Софизм серого

Элиезер Юдковский

Софистик: «Мир не черный и белый. Не существует чистого добра и чистого зла. Все серое. Таким образом, нет никого, кто был бы лучше другого»

Zetet: «Зная только серый, вы заключаете, что все виды серого - это один оттенок. Вы смеетесь над простотой двухцветной точки зрения, однако заменяете ее одноцветной…»

— Marc Stiegler, David’s Sling

Я не знаю, есть ли у ошибки, допущенной Софистиком, официальное название, но я называю её «софизмом серого». Мы видели его проявление в предыдущем посте, когда собеседник, считавший, будто шансы, равные двум в степени семьсот пятьдесят миллионов к одному, против его утверждения означают, что «шансы еще есть». Для него любые вероятности — просто «неопределенности», и поэтому он считает, что может их игнорировать, если ему так удобней.

«Луна сделана из зеленого сыра» и «Солнце сделано по большей части из водорода и гелия» — предложения о некоторой неопределенности, однако они неопределены не в равной степени.

Все - оттенки серого, однако есть оттенки серого столь светлые, что они почти белые, и есть оттенки столь темные, что они почти черные. Или даже если нет, мы все равно можем сравнить оттенки и сказать «это темнее» или «это светлее».

Годы назад, одним из маленьких и странных, формирующих меня как рационалиста, моментов было чтение этого параграфа из «Игрока в игры» Иэна Бэнкса, особенно предложение, выделенное жирным:

«Карательная система не знает невиновных. Любая машина насилия считает, что все либо за нее, либо — против. Мы — против. И вы были бы тоже, дай вы себе труд задуматься. Уже один образ мышления делает вас врагом. Может, это и не ваша вина, потому что каждое общество воспитывает в своих гражданах определенные ценности, но дело в том, что некоторые общества придают ценностям максимальное значение, а некоторые — минимальное. Вы происходите из общества второго типа, а рассказать вас о себе просит общество первого типа. Уклониться будет так трудно, что вы и представить себе не можете, сохранить нейтралитет — практически невозможно. Вы просто не можете не сочувствовать той политике, в которой воспитаны, поскольку она не является чем-то независимым от остальных частей вашего «я». Она — составляющая вашей личности. Мне это известно, и им это известно. И вам лучше принять все как есть».

Сейчас не надо писать негодующих комментариев, говорящих, что если бы общества не вкладывали свои ценности, тогда каждое последующее поколение должно было бы начинать с нуля. Это не то, что я вынес из параграфа.

То, что я вынес из параграфа, было что-то, что кажется очевидным в ретроспективе, что я, возможно, мог бы взять из сотни разных мест; но именно этот параграф что-то сдвинул во мне.

Это было само понятие Количественного Пути, примененного к жизненным проблемам, таким как моральные суждения и стремление к самосовершенствованию. То, что даже если бы вы не могли включить или выключить, вы все еще хотели бы увеличить или уменьшить.

Слишком очевидно, чтобы это стоило обсуждать? Я бы сказал что это не так уж очевидно, для многих блоггеров, говорящих об Overcoming Bias: «Невозможно, никто не может полностью избавиться от искажений». Меня не волнует, если это говорит профессиональный экономист, ясно что они еще не въехали в то, как применять Количественный Путь в повседневной жизни и делах наподобие самосовершенствования. Если я не могу что-то убрать совсем, может быть неплохо было бы это хотя бы уменьшить.

Или обсудим разговор между Робином Хансоном и Тайлером Ковеном. Робин Хансон сказал, что он предпочитает уделять 75% внимания предписаниям экономической теории, в противовес своей интуиции: «Я стараюсь в основном напрямую применять экономическую теорию, добавляя немного личных или культурных суждений». Тайлер Ковен ответил:

С моей точки зрения нет такой вещи как «применяемая напрямую экономическая теория»… теории всегда применяются через наши личные и культурные фильтры, и не может быть каких-то других путей.

Да, но вы можете попробовать минимизировать этот эффект, или вы можете делать вещи, связанные с увеличением его. И даже если вы пытаетесь минимизировать его, тогда во множестве случаев я не думаю, что неразумно называть выход «прямым» — даже в экономике.

«Все несовершенны». Мохандас Ганди был несовершенен и Иосиф Сталин был несовершенен, но они не были одинаково несовершенны. «Все несовершенны» это отличный пример замены двухцветной точки зрения на одноцветную. Если вы скажете: «Никто не совершенен, но некоторые люди менее несовершенны, нежели другие», вы можете не получить аплодисментов; но тем, кто старается делать лучше, вы дадите надежду. Никто не совершенен, в конце концов.

(Всякий раз, когда кто-то говорит мне «перфекционизм плох для тебя», я отвечаю: «Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди».)

Точно так же глупы те, кто говорит: «Каждая научная парадигма накладывает какие-то из своих предположений на то, как она интерпретирует эксперименты» и действует так, словно он доказал, будто наука стоит на одной ступени с шарлатанством. Любое мировоззрение накладывает какие-то из своих структур на свои наблюдения, но есть те точки зрения, что пытаются минимизировать этот эффект, и те, что гордятся им. Нет белого, но есть тени серого, что намного светлее других, и глупо относиться к ним так, словно они все на одном уровне.

Если Луна вращалась вокруг Земли последние несколько миллиардов лет, если вы видели ее в небе последние годы, и вы ожидаете увидеть ее на своем месте завтра — это неопределенность. И если вы ожидаете, что невидимый дракон излечит вашу дочь от рака, — это тоже неопределенность. Но у них совершенно разные степени неопределенности: одно дело — ожидать вещи, которые уже случались так, что их можно было предсказать до двенадцати знаков после запятой, и совсем другое — ожидать, что произойдет нечто, что противоречит наблюдаемому порядку вещей. И называть их одним словом «вера» кажется немного натянутым.

Это психология особого рода, которая приводит к «Наука тоже основана на вере, вот так!» Обычно это говорится людьми, которые утверждают, что вера — это хорошо. Тогда почему они говорят «Наука тоже основана на вере!» в таком злобно-торжествующем тоне, а не как комплимент? И довольно опасный комплимент, с их точки зрения. Если наука основана на «вере», тогда наука относится к тем же явлениям что и религия: их тогда можно непосредственно сопоставить. Если наука — это религия, то это религия, что лечит болезни и открывает тайны звезд. И тогда возможно сказать: «священники науки могут честно и открыто, с доказательствами, ходить по Луне, что можно счесть чудом веры, а ваши священники от веры не могут того же». Вы уверены что вы хотите продолжать, верующие? Возможно, в дальнейшем отражении, вы предпочтете отказаться от этого дела с «Наука тоже религия!»

Есть странная динамика: вы пытаетесь очистить свой оттенок серого, и достигаете точки, где становится уже светлее, и кто-то встает и говорит глубоко возмущенным тоном: «Но это же не белый! Это серый!» Одно дело, когда кто-то говорит: «Это не такое светлое, как вы думаете, поскольку там есть определенные проблемы X, Y, Z». Другое дело, когда кто-то злобно говорит: «Это не белый! Это серый!» без указания на определенные темные пятна.

В этом случае я начинаю в большей степени, чем обычно, подозревать, что психология несовершенна: что кто-то, возможно, заключил сделку со своими ошибками и теперь отказывается слышать о любой возможности улучшения. Когда кто-то находит оправдание тому, что он не пытается стать лучше, он часто отказывается признать, что кто-то может стараться стать лучше, и любой способ улучшения и любое свидетельство, что возможно двигаться вперед, чтобы стать лучше, они воспринимают как преступление против них. Таким образом, они гордо говорят сначала «я рад что я серый», а затем, уже злобно: «И ты тоже серый!»

Если нет белого и черного, все еще есть более светлое и более темное, и не все серые тона одинаковы.

Приложение: нам еще привели цитату из Азимова: «Когда люди думали, что Земля плоская, они ошибались. Когда они думали, что она сферическая, — они тоже ошибались. Но если вы думаете, что считать ее сферой или плоскостью одинаково ошибочно, вы заблуждаетесь больше, чем все они вместе взятые».

Абсолютный авторитет

Элиезер Юдковский

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Все, что у вас есть, - это теории; вы не знаете наверняка, что вы правы. Вы, ученые, меняли свое мнение о том, как работает гравитация - откуда нам знать, что завтра вы не поменяете свое мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть ее с помощью нескольких предложений, вы сильно разочаруетесь.

Мир Непросвещенных делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если ученые меняли свое мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять - как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать ее против любого возможного контраргумента и ни в чем не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признает, что наука неидеальна - что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определенности, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймет первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав ее отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

Вы сами признали, что вам нельзя доверять - так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания якобы исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определенные вещи, а ученики обязаны ему верить и повторять все, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь свое мнение разрешается - с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом - написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником - эта неопределенность не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями - и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путем и Количественным Путем довольно сильно раздражает тех, кто смотрит на нее со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надежным, чем основанные всего лишь на вероятностях догадки ученых - догадки о том, например, что завтра Луна взойдет в определенном месте и определенной фазе, точно так же, как это было при каждом ночном наблюдении со времен изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому Непросвещенные и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признает ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определенность» как теннисным мячом, используя его с легкостью перышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить еще хоть одну крошечную долю вероятности. «Я идеален», - говорят они без всякой задней мысли, - «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы все это объяснить - ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определенными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это - разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

«Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

«Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Ученые понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и все. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории - абсолютно каждое новое свидетельство может быть в ее пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые все равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что ученые имеют меньше права на определенность, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всем.»

«Ученые не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идете ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда ученый говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что ее невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

«Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените свое мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределенность может быть меньше пылинки, но она все равно будет. А если вы не готовы поменять свое мнение даже под влиянием слов самого Бога - тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок, что ее вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определенности?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определенности жить можно - что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространенных методов защиты Абсолютного Авторитета - это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

Моральные релятивисты говорят:

Мир не делится на черное и белое; следовательно:

Все серое; следовательно:

Ни один человек не лучше другого; следовательно:

Я могу делать все, что захочу, и вы меня не остановите ухахахаха.

Но мы должны иметь возможность предотвращать убийства.

Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод - это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» - неверно, из убеждения релятивистов в том, что «Мир не делится на черное и белое», не следует, что на самом деле мир делится лишь на черное и белое. Ошибка здесь (и достаточно ее одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, о чем стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B - суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот еще что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что еще нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что ее изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определенными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чем он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чем-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определенной идее, не слишком хорошо отражает откалиброванную уверенность в ней - они между собой даже не связаны.

А что до «абсолютной уверенности» - ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибетесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймете, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 - это не просто определенность; это бесконечная определенность.

На самом деле, мне кажется, что во избежание непонимания публики ученым стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определенные причины для сомнений.

Как убедить меня, что 2 + 2 = 3

Элиезер Юдковский

В «Что такое «свидетельство»?», я писал:

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.

Cihan Baran ответил(English):

Я не могу представить себе ситуацию, в которой 2 + 2 = 4 было бы ложно. Возможно, это означает, что я убеждён в «2 + 2 = 4» безоговорочно.

Признаю, я тоже не могу представить ситуацию, из которой вытекала бы ложность «2 + 2 = 4» (конечно, есть различные переобозначения, но это не «ситуации» и речь тогда идёт уже не о 2, 4, = или +). Но это не делает моё убеждение безоговорочным. Я легко представляю ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Скажем, я просыпаюсь ранним утром, вытаскиваю из ушей два кусочка ваты, кладу их на прикроватный столик рядом с двумя другими кусочками ваты — и замечаю, что теперь кусочков ваты три, и при этом никаких кусков ваты не появлялось и не исчезало, несмотря на то, что согласно моей памяти, 2 + 2 должно было равняться 4. К тому же, если представить это действие мысленно, становится очевидно, что для того, чтобы получить XXXX из XX и XX, необходимо взять дополнительный X. Вдобавок, 2 + 2 = 4 противоречит остальной мысленной арифметике, поскольку вычитание XX из XXX даёт XX, но вычитание XX из XXXX даёт XXX. Это снова конфликтует с памятью о том, что 3 – 2 = 1, но странно доверять памяти перед лицом физических и мысленных подтверждений того, что XXX – XX = XX.

Ещё я проверю карманный калькулятор, Гугл, и, возможно, свою копию «1984», где Уинстон пишет, что «Свобода — это возможность сказать, что дважды два — три». Всё это убедительно говорит о том, что весь остальной мир тоже считает, что 2 + 2 = 3, соглашаясь с моими мысленными вычислениями и не соглашаясь с моей памятью.

Как я мог так заблуждаться? Что могло настолько сбить меня с толку? В голову приходят несколько объяснений. Во-первых, какая-нибудь нейрологическая неполадка (наверное, я слишком сильно чихнул) увеличила все суммы в моей памяти на единицу. Во-вторых, гипноз. В-третьих, глюк или намеренное изменение компьютерной симуляции, в которой я нахожусь. В любом случае, скорее что-то неладно с моей памятью, чем 2 + 2 когда-то действительно равнялось 4. И, конечно же, ни одно из этих трёх правдоподобных объяснений не избавит меня от ощущения очень, очень сильного замешательства.

Другими словами, свидетельства, убедившие меня в том, что 2 + 2 = 3, относятся к тому же классу свидетельств, что сегодня убеждают меня в том, что 2 + 2 = 4: перекрёстный огонь физических наблюдений, мысленных представлений и социального согласия.

Когда-то я понятия не имел, что 2 + 2 = 4. Это убеждение возникло не из-за какого-то случайного процесса — тогда мозгу было бы безразлично, что именно запомнить, «2 + 2 = 4» или «2 + 2 = 7». Ответ, хранящийся в моём мозге, поразительно похож на результат размещения двух кусочков ваты рядом с двумя другими кусочками ваты — и это заставляет задуматься, какая именно сцепленность породила это странное соответствие между разумом и реальностью.

Ведь для убеждения-о-фактах существует лишь два варианта: либо он попал в мозг благодаря процессу сцепления разума с реальностью, либо нет. Если нет, то убеждение может быть верным лишь благодаря стечению обстоятельств. Если в убеждении есть хотя бы намёк на внутреннюю сложность (то есть, его симуляция требует компьютерную программу больше 10 битов длиной), то пространство вариантов становится столь большим, что возможность совпадения исчезает.

Безоговорочные факты — не то же самое, что и безоговорочные убеждения. Если сильные свидетельства убеждают меня в том, что факт безоговорочен, то это не означает, что я всегда верил в этот факт, без нужды в сильных свидетельствах.

Я убеждён, что 2 + 2 = 4, но я легко могу придумать ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: ситуация из того же класса, что и ситуация, сегодня убеждающая меня в том, что 2 + 2 = 4. Потому я не боюсь, что я пал жертвой слепой веры.

Если здесь есть христиане, знающие теорему Байеса (нумерофобы, пожалуйста, покиньте помещение), то я хотел бы спросить вас о ситуации, убедившей бы вас в истинности ислама. Предположительно, это будет примерно той же самой ситуацией, что породила вашу сегодняшнюю веру в христианство: вы вытащены из чрева мусульманки, воспитаны мусульманскими родителями, постоянно говорившими о том, что следует быть мусульманином (причём убеждение в истине ислама должно быть безоговорочным). Или всё не так просто? Если да, то какая ситуация заставит вас принять ислам, или, хотя бы, не-христианство?

Бесконечная определенность

Элиезер Юдковский

В «Абсолютном авторитете» я говорил о том, что бесконечная определенность нам не требуется:

Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99,9999% случаев, и не в (1 − 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света — это уже совсем другой вопрос. Карта — это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы — не говоря уж об абсолютной уверенности — это совсем другое дело. Если вы подбросите монетку и закроете ее рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности — это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос - можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперед и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4,0000004») или истинно в 999 999 999 999 из 1 000 000 000 000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своем предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию — как убедить меня в том, что 2 + 2 = 3 — это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения работы мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки — то есть утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против мотивированного скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в (1 − 1/гуголплекс) и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде 3^^^3. Но даже уверенность величиной в 1 - 1/3^^^3 ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас играются с оцениванием вашим мозгом убедительности этого самого утверждения, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

0 и 1 не являются вероятностями

Элиезер Юдковский

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.

Положительная и отрицательная бесконечности - это не целые числа, а, скорее, специальные символы для описания поведения целых чисел. Люди иногда говорят что-то вроде «5 + бесконечность = бесконечность», потому что, если начать отсчет с 5 и подниматься все выше и выше, никогда не останавливаясь, мы будем бесконечно получать все большие и большие числа. Но из этого не следует, что «бесконечность - бесконечность = 5». Не получится начать безостановочный отсчет с 0 вверх, затем безостановочный отсчет вниз, и в итоге прийти к числу 5.

Из этого можно заключить, что бесконечность не только не является целым числом - она не ведет себя как целое число. Если вы по неосторожности попытаетесь смешать бесконечности с целыми числами, вам придется определить особые нестабильные правила поведения, которые не нужны при работе с 1, 2, 3 и всеми остальными целыми числами.

Хотя бесконечность и не является целым числом, не стоит переживать по поводу того, что можно запутаться при работе с числами. Люди видели пять овец, миллионы песчинок и септиллионы атомов, но никто никогда не встречал бесконечность чего бы то ни было. То же самое справедливо и для непрерывных величин - люди измеряли пылинки размером в миллиметры, животных размером в метры, города длиной в километры и галактики размером в тысячи световых лет, но никто и никогда измерял что-то размером в бесконечность. В реальном мире понятие бесконечности особо не требуется.

(Более эрудированным читателям добавлю, что им не нужно детально объяснять мне, скажем, разницу между порядковыми и кардинальными числами. Да, я знаком с различными определениями бесконечности из теории множеств, но я не вижу пользы от их применения в теории вероятности. Подробнее ниже.)

При традиционном способе написания вероятностей их величины находятся между 0 и 1. Монета может выпасть орлом с вероятностью 0.5; синоптик может присвоить вероятность 0.9 тому, что завтра пойдет дождь.

Но это не единственный способ записи вероятностей. Вероятности можно, например, преобразовывать в шансы с помощью формулы O = (P / (1-P)). Так, вероятность 50% превратится в шансы 0.5/0.5, или 1, обычно записываемые как 1:1, в то время как вероятность 0.9 превратится в шансы 0.9/0.1, или 9, обычно записываемые как 9:1. Чтобы сделать обратное преобразование, нужно использовать формулу P = (O / (1+O)), и это превращение полностью обратимо и является изоморфным - вычисление величины вероятности возможно двумя обратимыми способами. Ввиду изоморфности вероятностей и шансов выбирать удобный способ можно на свое усмотрение.

Шансы, например, удобнее использовать при выполнении Байесианских обновлений. Представим, что я бросаю шестигранный кубик: если выпадает любая сторона, кроме 1, существует 10%-ный шанс услышать звонок, а если выпадает сторона 1, шанс услышать звонок становится 20%. Я бросаю кубик и слышу звонок. Каковы шансы на то, что выпала сторона 1? Априорные шансы - 1:5 (что соответствует числу 1/5 = 0.2), а отношение правдоподобия - 0.2:0.1 (что соответствует числу 2), и можно просто перемножить эти два числа и получить апостериорные шансы 2:5 (что соответствует числу 2/5 или 0.4). Затем, если мне нужно, я перевожу все это обратно в вероятности и получаю (0.4/1.4) = 2/7 = ~29%.

Итак, с шансами удобнее работать при Байесианских обновлениях - если использовать вероятности, придется применять теорему Байеса в ее более сложном виде. Но вероятности удобнее для вопросов вроде «Если я брошу шестигранный кубик, каковы шансы увидеть число от 1 до 4?» Можно сложить все вероятности величиной 1/6 для каждой стороны и получить 4/6, но нельзя сложить отношение шансов 0.2 для каждой стороны и получить отношение шансов 0.8.

Зачем я обо всем этом говорю? Чтобы показать, что «отношение шансов» - такой же разрешенный способ перевода неопределенности в реальные числа, как и «вероятности». Отношения шансов более удобны для одних операций, вероятности - для других. Знаменитое доказательство, называемое теоремой Кокса (плюс некоторые ее дополнения и усовершенствования), демонстрирует, что все способы выражения неопределенности, которые имеют разумные ограничения, в итоге оказываются друг другу изоморфны.

Почему важно то, что отношения шансов разрешены так же, как и вероятности? Вероятности в своем обычном виде записываются в виде чисел от 0 до 1, и оба крайних числа - 0 и 1 - кажутся вполне достижимыми величинами: можно легко встретить 1 зебру или 0 единорогов. Но при переводе вероятностей в шансы 0 остается 0, однако 1 превращается в положительную бесконечность. В этом случае абсолютная истина не кажется настолько легкодостижимой.

Форма, в которой Байесианские обновления делать даже удобнее - логарифмы отношения шансов; это тот способ, которым советовал думать о вероятностях Э. Т. Джейнс. Например, априорная вероятность утверждения равна 0.0001 - это соответствует логарифму отношения шансов величиной около -40 децибел. Затем вы видите свидетельство, которое кажется в 100 раз более правдоподобным в случае истинности этого утверждения, чем в случае его ложности. Это 20 децибел свидетельств. Теперь апостериорный логарифм отношения шансов равен примерно -40 дБ + 20 дБ = -20 дБ, что равно апостериорной вероятности около 0.01.

При переводе вероятностей в логарифмы отношения шансов 0 превращается в отрицательную бесконечность, а 1 - в положительную. Теперь и бесконечная определенность, и бесконечная невероятность кажутся еще более недостижимыми.

При использовании вероятностей величины 0.9999 и 0.99999 кажутся отличающимися всего на 0.00009, а 0.502 находится гораздо дальше от 0.503, чем 0.9999 - от 0.99999. Чтобы получить вероятность 1 из вероятности 0.99999, кажется, что надо преодолеть дистанцию всего лишь в 0.00001.

Но если перевести вероятности в отношения шансов, 0.502 и 0.503 становятся 1.008 и 1.012, а 0.9999 и 0.99999 превращаются в 9,999 и 99,999. А если перевести их в логарифмы отношения шансов, 0.502 и 0.503 превращаются в 0.03 и 0.05 децибел, а 0.9999 и 0.99999 становятся 40 и 50 децибелами.

При работе с логарифмами отношения шансов разница между двумя величинами неопределенности равна количеству свидетельств, которые нужны при переходе от одной величины к другой. Таким образом, логарифмы отношения шансов предоставляют удобный способ нахождения величины в пространстве степеней уверенности.

Использование логарифмов отношения шансов позволяет увидеть, что достижение бесконечной определенности требует бесконечно сильного свидетельства, также как и достижение бесконечной абсурдности требует бесконечно сильного контрсвидетельства.

Кроме того, все виды стандартных теорем в теории вероятности оговаривают особые случаи при использовании 1 и 0 - например, что происходит при попытке сделать Байесианское обновление наблюдения, которому была присвоена вероятность 0.

Так что, думаю, вполне разумно говорить о том, что 1 и 0 не входят в пространство величин вероятностей; как и отрицательная и положительная бесконечности, которые не подчиняются основным аксиомам булевой алгебры и не являются обычными числами.

Главная причина, по которой все это может расстроить тех, кто использует обычную теорию вероятности - это то, что придется заново выводить теоремы, полученные на основе предположения, что можно сложить все вероятности и получить 1.

Однако в реальном мире при броске кубика вероятность выпадения любого числа в диапазоне от 1 от 6 не является действительно бесконечной. Кубик может упасть на ребро, или уничтожиться в результате падения метеорита, или Темные Повелители Матрицы вмешаются и напишут «37» на одной из его сторон.

Если вы задали магический символ для «всех неучтенных возможностей», тогда вы можете игнорировать все события, описываемые этим магическим символом, и получить величину в виде магического символа «Т», который означает бесконечную уверенность.

Но я бы предпочел найти способ, в котором теорема работает без использования магических символов с особым поведением. Это было бы гораздо более изящно. Подобно математикам, которые отказываются принимать закон исключенного третьего или бесконечные множества, я бы хотел быть приверженцем теории вероятности, который не верит в абсолютную определенность.

Твоя рациональность — моё дело

Элиезер Юдковский

Некоторые отзывы на «Лотереи: бессмысленная трата надежды» упрекали меня за резкость в критике чужих решений; если кто-то другой выбирает купить лотерейные билеты, кто я такой, чтобы быть несогласным? Это особый случай более важного вопроса: Какое мне дело, если кто-то скорее предпочтёт верить в то, что приятно, чем в то, что верно? Не может ли каждый сам выбрать: стоит ли заботиться о правде?

Очевидным придирчивым возражением будет: «Почему тебя волнует то, волнует ли меня, чьё-то мнение о правде?» Это отчасти непоследовательно для вашей функции полезности: содержать негативное определение чьей-то функции полезности иметь определение полезности кого-то ещё. Но это лишь придирка, не ответ.

Ну вот мой ответ: я верю, что для меня, как человека, правильно быть заинтересованным в будущем и в том, чем станет человеческая цивилизация в будущем. Один из этих интересов - человеческое стремление к истине, медленно растущее в поколениях (ведь это не всегда было Наукой). Я хочу быстрее повысить это стремление, в этом поколении. Это моё желание ради Будущего. Ради всех нас, игроков на этом безграничном игровом поле, берём мы за него ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная идея? Да, и не просто крайне «опасная». Люди сгорали насмерть из-за того, что какой-то жрец решил, что они думают не тем образом, которым следует думать. Решение сжечь людей, поскольку они «не думают должным образом» — отвратительный образ мысли, не так ли? Вы бы не хотели, чтобы люди думали так, потому это и отвратительно. Люди, которые думают так… ну, мы обязаны что-то с ними сделать…

Я согласен! Вот моё предложение: давайте выступать против плохих идей, но не поджигать их носителей.

Силлогизм, который мы желаем избежать, гласит: «Я думаю, Сьюзи сказала плохую вещь, следовательно, Сьюзи должна быть сожжена». Некоторые попытки избежать этот силлогизм исходят из обозначения неправильной мысль, что Сьюзи сказала плохую вещь. Никто никогда не должен никого судить; любой, кто осуждает, совершает страшный грех, и должен быть выставлен за это к позорному столбу.

С моей стороны, я отрицаю по следующей причине. Мой силлогизм гласит: «Я думаю, Сьюзи сказала что-то неправильное, поэтому я буду выступать против её слов, но я не буду её сжигать или останавливать её речь насилием или законом…»

Все мы игроки на этом безграничном игровом поле, и один из моих интересов на будущее — сделать игру честной. Контринтуитивная идея, лежащая в основе науки, о том, что фактические разногласия должны решаться через эксперименты и математику, а не насилие и запреты. Это важное замечание может быть расширено за пределы науки, к честному бою ради всего будущего. Вам следует побеждать благодаря убеждению людей, и не следует позволять себе сжигать их. Это один из принципов Рациональности, которому я торжественно клянусь в верности.

Люди, которые защищают релятивизм или эгоизм, не представляются мне действительно релятивизмичными или эгоистичными. Если бы они были действительно релятивизмичными, они бы не судили. Если бы они были действительно эгоистичны, они бы занимались заработком денег вместо горячих споров с остальными. Скорее, они выбрали сторону Релятивизма, чья цель на этом безграничном игровом поле — предотвратить игроков — всех игроков — от определённых суждений. Или они выбирают сторону Эгоизма, чья цель — сделать всех игроков эгоистичными. И затем они играют в игру, честно или нечестно, в соответствии со своей мудростью.

Если здесь есть какие настоящие Релятивисты или Эгоисты, мы их не слышим — они остаются безмолвными, не-игроками.

Я не могу помочь, но забочусь о том, как вы думаете, потому что, как бы я ни не мог помочь, я вижу вселенную: каждый миг человек отворачивается от истины, делая историю человечества немного более мрачной. Во многих случаях это лишь небольшая тьма. (Кто-то всё время не прекращает получать боль). Врущие самим себе в уединении своих мыслей не омрачают человеческую историю так сильно, как врущие людям или сжигающие их. Уже здесь есть часть меня, которая не может помочь, но горюет. И всё время пока я не пытаюсь сжечь вас — лишь спорю с вашими идеями — я верю, что это верно для меня как человека, поэтому я забочусь о людях — моих товарищах. Это также позиция, которую я защищаю в отношении Будущего.

Политика и рациональность

Политика — убийца разума

Элиезер Юдковский

Когда речь идёт о политике, люди начинают терять голову. Причины этой особенности настолько до банальности очевидны, что можно привести их ещё раз. В среде эволюционной адаптации политическая обстановка была вопросом жизни и смерти (а также секса, богатства, союзников, репутации и многого другого). И сегодня, начиная спор о том, должны ли «мы» поднять минимальную заработную плату, ты применяешь весь богатый набор адаптаций к среде эволюционной адаптации. Ты возвращаешься во времена, когда тебя могли убить за нахождение на неверной стороне баррикады (зато, если ты находился на верной стороне баррикады, то уже ты получал возможность убить немало досаждавшего тебе соперника!).

Если ты хочешь высказать какое-то соображение, касающееся науки или рациональности, то совершенно не стоит хоть каким-нибудь образом задевать современную политику, когда есть возможность этого избежать. Если твоя основная мысль неотделимо связана с политикой — расскажи о Людовике XVI и великой французской революции. Политика — та важная область, в которой следует применять рациональность, но в которой категорически не следует изучать рациональность.

Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже.

Учёные, привыкшие в своей профессиональной деятельности непредвзято осматривать вопрос со всех сторон и здраво взвешивать все «за» и «против», превращаются в скандирующих лозунги зомби, как только разговор затрагивает область, занятую Синими или Зелёными; как только в разговоре становится уместным вспомнить об отношении своей группировки к обсуждаемому вопросу.

Традиционный пример задачи на немонотонное мышление из области искусственного интеллекта звучит так: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон квакер и республиканец. Является ли Никсон пацифистом?»

В чём, хочется мне спросить, заключается смысл выбора именно этой ситуации в качестве примера? Автор хочет растормошить в читателе политические эмоции и отвлечь его от основного вопроса? Автор хочет, чтобы республиканцам было неуютно на курсах изучения искусственного интеллекта, чтобы ни один республиканец не отважился заниматься этой областью информатики? И нет, я не республиканец, как вы могли бы подумать. И не демократ.

Этот пример отвлекает. Почему кто-то, столкнувшись с задачей продемонстрировать пользу немонотонных рассуждений, выбрал именно его? Скорее всего, причина в том, что автор не смог удержаться от соблазна бросить хорошее, добротное язвительное замечание в сторону этих ненавистных Зелёных. Отвешивать оплеухи приятно; разве можно не поддаться желанию откусить кусочек шоколадного печенья?

Но не все приятные вещи полезны. И несчастные читатели явно не видят никакой пользы в необходимости продираться через уйму разъярённых комментариев, спровоцированных брошенной вскользь насмешкой, не несущей никакой смысловой нагрузки.

Я говорю не о том, что этот сайт должен держаться в стороне от политики, или о том, что нам надо перенять у Википедии нейтральную точку зрения. Просто попытайся сопротивляться соблазну сделать добротный ощутимый язвительный комментарий, если этого возможно избежать. Если интересующая тебя тема напрямую касается попыток убрать теорию эволюции из школьной программы — говори, но не обвиняй в этом всю партию республиканцев целиком: твоими читателями могут быть республиканцы, и они могут считать, что причина состоит в действиях нескольких негодяев, а не во взглядах всей партии. Не имеет никакого значения, кто виноват на самом деле, и что ты думаешь по этому поводу. Возможность обсуждать щекотливые вопросы, не скатываясь в цветную политику, очень полезна для духовного развития нашего сообщества.

Не делайте политические споры однобокими

Элиезер Юдковский

Робин Хэнсон недавно предложил разрешить магазины(English), в которых можно было бы продавать запрещенные продукты. Есть ряд отличных аргументов в пользу подобной политики — врожденное право на личную свободу, карьерный стимул для бюрократов запрещать всё и вся, то, что законодатели столь же предвзяты, как и все. Но даже так (ответил я), некая бедная, честная, но не особо образованная мать пятерых детей может пойти в эти магазины и купить «Напиток доктора Снейкойла из серной кислоты» для своих воспаленных суставов и умереть, оставив своих отпрысков рыдать на национальном телевидении.

Я просто сделал простое фактическое наблюдение. Почему ряд людей решили, что это аргумент в пользу регулирования?

Если судить по вопросам, то даже простой факт (например, что жизнь на Земле возникла в результате естественного отбора), согласно естественным ожиданиям, должен быть аргументом для одной из сторон в битве; факты сами по себе не принадлежат к какой-либо стороне, и так называемый «баланс свидетельства» должен отражать это. На самом деле согласно Байесовскому определению доказательств «сильные свидетельства» - это именно те доказательства, которые мы ожидаем найти только у одной стороны аргументации.

Но нет причин, чтобы сложные действия со многими последствиями демонстрировали это однобокое свойство. Почему кажется, будто люди хотят, чтобы их политические дебаты были однобокими?

Политика — это убийца разума. Аргументы там — солдаты. Если вы определились на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать все аргументы, которые, как представляется, благоприятствуют врагу. Иначе получается, будто вы бьете в спины своих солдат. Если вы находитесь внутри этого шаблона, то политические дебаты будут для вас однобокими — издержки и недостатки вашей любимой политики будут для вас вражескими солдатами, которых следует атаковать всеми возможными методами.

Также следует опасаться другого подобного неудачного шаблона — думать, что Очень Мудрый Путь — это идеально ровный компромисс между любыми двумя политическими позициями, которые получают больше всего эфирного времени. У политики могут быть несбалансированные недостатки и преимущества. Если политические вопросы не склоняются в ту или иную сторону, то мы не будем в состоянии принимать решения о них. Однако существует людская тенденция отрицать все издержки любимой политики или отрицать все преимущества нелюбимой политики; таким образом люди склонны думать, что компромиссы в политике отклоняются гораздо дальше, чем это есть на самом деле.

Если вы разрешите к продаже некоторые из запрещенных товаров, то какая-то бедная, честная, малообразованная мать пятерых детей купит что-либо, что убьет ее. Это предсказание о фактическом следствии, а в качестве фактического вопроса оно выглядит довольно простым - здравомыслящий человек должен с готовностью признаться, что это правда, независимо от того, какую позицию он занимает по вопросам политики. Это признание не мешает вам думать, что запрещение вещей просто делает их более дорогими, что те, кто регулирует запреты, будут злоупотреблять своей властью, или что ее личная свобода перевешивает ваше желание вмешиваться в ее жизнь. Однако факт остаётся фактом: она умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди показывают сильную отрицательную реакцию на воспринимаемую несправедливость; из-за этого мы воспринимаем данный факт очень тяжело. Есть два распространенных способа решения возникающего когнитивного диссонанса. Во-первых, можно изменить свое мнение о фактах — отрицать, что несправедливые события вообще могут иметь место, или отредактировать историю так, чтобы она казалась справедливой. Во-вторых, можно скорректировать свою мораль — отрицать что события несправедливы.

Некоторые либертарианцы могут сказать, что если вы идете в магазин «запрещенных товаров», игнорируя предупреждающие таблички, которые говорят, что «ВЕЩИ ИЗ ЭТОГО МАГАЗИНА МОГУТ УБИТЬ ВАС», и покупаете там что-либо, что вас убивает, то это только ваша вина и вы сами этого заслуживаете. Если это морально правильно, то получается, будто нет вообще никакого недостатка в том, чтобы продавать запрещенные продукты. Получается не просто чистый выигрыш, это будет *односторонний компромисс без каких-либо недостатков.

Другие возражают, что регулирующие органы можно обучить выбирать рационально и учитывать интересы потребителя; если бы это соответствовало фактам, то (согласно их принципам) не было бы недостатков в регулировании.

Нравится вам это или нет, но при рождении существует лотерея на интеллект — хотя это один из тех случаев, когда несправедливость Вселенной настолько велика, что большинство людей предпочитает отрицать факты. Экспериментальные доказательства чисто генетического компонента, который составляет 60-80%, являются ошеломляющими, однако даже если это опровергнут, вы не выбираете, какими окажутся ваши родители или начальная школа.

Мое воспитание говорит мне, что отрицание реальности — это морально неправильно. Если бы я мог выдавать желаемое за действительное в отношении того, что напиток из серной кислоты может быть для меня полезен, то получалось бы, что я делаю что-то, против чего меня предупреждали и пошел бы против своего воспитания. Некоторые люди рождаются в определенных условиях — мы не будет говорить о генах, поскольку эта часть слишком уж несправедлива, — где местный знахарь говорит им, что правильно — это верить, а неправильно — проявлять скепсис. Из самых лучших побуждений они следуют этому совету и умирают. В отличии от вас, их не научили, что люди отвечают за личный выбор, когда следуют примеру общества. Вы правда думаете, что настолько умны, что были бы по-научному скептичны, даже если бы родились в шестом веке н.э.? Да, при рождении существует лотерея, независимо от того, во что вы верите касательно генов.

Говорить «Люди, которые покупают опасные продукты, заслуживают того, чтобы пострадать!» — не значит трезво мыслить. Это всего лишь способ отрицать то, что ты живешь в несправедливой вселенной. По-настоящему трезвомыслящий человек скажет: «Да, серная кислота может стать причиной ужасной болезненной смерти, и нет, мать пятерых детей не заслуживает этого, однако мы все же откроем такие магазины, поскольку согласно нашим вычислениям для нас это будет выгодно». Вы можете представить, чтобы политик так сказал? Я тоже не могу. Но поскольку экономисты имеют влияние на политику, это может помочь, если они подумают об этом в частном порядке — возможно, даже скажут это в журнальных статьях, однако преподнося это в запутанной форме со множеством смыслов, чтобы СМИ не имели возможности цитировать их.

Я не думаю, что случай, когда кто-либо делает глупый выбор и умирает, может быть поводом для праздника. Я расцениваю это как трагедию. Людей не всегда можно спасти от последствий их действий; однако я провожу моральную черту при смертной казни. Если вы мертвы, то вы не можете учиться на своих ошибках.

К сожалению, вселенная не согласна со мной. И мы еще посмотрим в будущем, кто останется правым.

Добавлено: две основных причины для политической однобокости это такие когнитивные искажения как аффектированное решение и вера в справедливый мир(just-world fallacy) (English).

Весы правосудия, блокнот рациональности

Элиезер Юдковский

Богиня правосудия повсеместно изображается держащей в одной руке весы. У весов есть свойство — когда одна чашка опускается, вторая поднимается выше. Это очень удобно и легко отслеживаемо. И также обычно является грубым искажением.

В человеческом дискурсе существует естественная тенденция превращать обсуждение в своего рода битву, продолжение войны, спорт; и в спорте вам нужно следить только за тем, сколько очков набрала ваша команда и команда противника. Там есть только две стороны, и каждое очко, проигранное одной стороной, это очко, заработанное другой. Каждый в таком обсуждении мысленно ведет счет, у какого оратора больше очков в споре. В конце дебатов победителем получается тот, у кого очков больше; и таким образом, все что он сказал, должно быть истинно, а все, что говорил его противник, соответственно, ложно.

«Аффективная эвристика в оценке рисков и преимуществ» (English) описывает то, как испытуемые в своих оценках смешивают возможные преимущества технологии (например ядерной энергии) и возможные риски данной технологии в единое общее хорошее или плохое ощущение касательно технологии. Предположим, что я сначала рассказываю вам, что определенный вид ядерных реакторов производит меньше отходов, чем все другие. А потом упоминаю, что данный реактор менее стабилен, нежели остальные и угроза расплавления, если одновременно произойдет много сбоев, у него куда выше.

Если реактор имеет большую вероятность сбоя, то это кажется аргументом «против него» или аргументом «против» любого, кто захочет строить такой реактор. А если реактор производит меньше отходов, то это аргумент «за» реактор или «за» его постройку. Так что же, данные факты противостоят друг другу? Ни в коем случае. По крайней мере в реальном мире. Эти два факта могут находиться по разные стороны баррикад в различных дебатах, однако логически они не связаны; факты понятия не имеют на какой они стороне. Количество отходов, производимое реактором, зависит от физических свойств его конструкции. Другие физические свойства делают его более нестабильным. Даже если ряд этих свойств один и тот же, вам следует рассматривать вероятность расплавления и ожидаемый выход отходов отдельно. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные приведенным выше, показывают, что люди склонны оценивать технологии — и многие другие задачи — по общему плохому или хорошему ощущению. Если вы скажете людям, что конструкция реактора позволяет сократить объем производимых отходов, они также неосознанно снизят вероятность расплавления реактора. Это означает, что будет получен неправильный ответ на физические вопросы, у которых есть вполне определенных ответы, основанные на фактах, поскольку вы смешиваете логически не связанные вопросы — рассматривая факты как солдат разных армий в войне и думая, что любой солдат одной стороны может сражаться с любым солдатом другой стороны.

Весы могут служить Юстиции, если она исследует сугубо фактический вопрос вины или невиновности. Джон Смит либо убил Джона Доу, либо нет. Однако мы знаем (согласно Э. Т. Джейнсу), что все байесовские свидетельства состоят из потоков вероятности между гипотезами; нет такой вещи как свидетельство, которое «поддерживает» или «возражает» отдельной гипотезе, кроме тех случаев, когда и другие гипотезы становятся хуже или лучше. Так что если Юстиция исследует отдельный, строго фактический вопрос с пространством бинарных ответов, весы будут подходящим инструментом. Однако если требуется рассматривать более сложный случай, то ей потребуется отбросить либо свои весы, либо свой меч.

Не все аргументы можно свести к «за» или «против». Леди Рациональность носит с собой блокнот, куда она пишет все факты, которые не принадлежат ни одной из сторон.

Фундаментальная ошибка атрибуции

Элиезер Юдковский

«Фундаментальная ошибка атрибуции — склонность делать выводы об уникальных и постоянных чертах человека на основе его поведения, которое может полностью объясняться ситуацией, в которой он находится.» — Gilbert and Malone (English)

Мы склонны слишком поспешно усматривать соотношение между действиями других людей и их личностными чертами. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы сразу признаем его «злым человеком». Но когда вы сами пинаете торговый автомат, то это из-за того, что ваш автобус опоздал, электричка ушла чуть раньше, ваш отчет был сдан не вовремя, а теперь еще и дурацкий торговый автомат уже второй день подряд просто жрет ваши деньги на обед. Конечно, думаете вы, в такой ситуации любой может пнуть автомат.

Мы объясняем наши собственные действия окружающей ситуацией, рассматривая свое поведение как совершенно нормальный ответ на сложившиеся условия. Но когда кто-либо еще пинает торговый автомат, мы не можем увидеть, что произошло с этим человеком ранее. Мы видим только удар по автомату без известной нам причины, вследствие чего заключаем, что этот человек злой по своей натуре — поскольку он накинулся на автомат безо всякой причины.

Давайте рассмотрим исходные вероятности. В мире куда больше опоздавших автобусов, нежели мутантов, которые родились с очень высоким уровнем агрессии, и которые из-за этого спонтанно бьют торговые автоматы. На данный момент средний человек, на деле, мутант. Если я правильно помню, то в среднем отдельный человек имеет от 2 до 10 соматически выраженных мутаций. Однако, как бы ни были расположены ДНК, очень маловероятно, что они приведут к повышенной агрессивности. Точно так же, любой аспект чьей-то личности скорее всего не очень далеко от среднего значения. Предположение обратного сдвигает нас в сторону невероятности.

Но даже когда люди точно знают о причинах ситуации, они чаще всего оценивают наблюдаемое поведение неправильно. Когда субъектам говорят, что рассказчику случайным способом определяют, говорить ли ему в защиту абортов или против абортов — люди продолжают думать, что мысленно рассказчик считает именно так, как указано в его речи. (Jones and Harris 1967, «The attribution of attitudes.)

Кажется довольно интуитивным объяснять дождь водными духами; объяснять огонь некоей огненной субстанцией (флогистоном), которая проистекает из горящей материи; объяснять усыпляющий эффект лекарства его «снотворной силой». Но реальность обычно включает в себя более сложные механизмы: циклы испарения и конденсации лежат в основе дождей, окисляющее горение в основе огня, химическое воздействие на нервную систему для снотворных. Однако механизмы звучат куда сложнее, нежели сущности; о них труднее думать, их сложнее понять. И таким образом, когда кто-либо пинает автомат, нам проще всего думать, что он имеет внутреннюю склонность пинать автоматы.

Но только до тех пор, пока мы сами не оказываемся на месте пинающего — в этом случае мы считаем, что ведем себя совершенно нормальной в данной ситуации; конечно же любой бы так делал. На самом деле мы переоцениваем вероятность того, что другие отреагировали бы так же как и мы — это так называемый «эффект ложного консенсуса». Пьющие студенты ощутимо переоценивают долю их товарищей, которые тоже пьют, однако непьющие наоборот — недооценивают количество пьющих. «Фундаментальная ошибка атрибуции» говорит о нашей склонности объяснять поведение других их внутренней диспозицией (их личностными чертами), при этом меняя данную тенденцию на обратную для самих себя (свое поведение мы объясняем внешней диспозицией или обстоятельствами).

Чтобы понять, почему люди действуют так, как они действуют, нам нужно прежде всего осознать, что каждый человек считает свое поведение абсолютно нормальным. Не следует задавать вопрос, какая странная черта характера у них с рождения, из-за какой они могут вести себя так, как это видится. Лучше спросите, в какой ситуации, по мнению этих людей, они находятся. Да, личностные черты бывают самыми разными — но никаких наследственных черт не хватит, чтобы объяснить все возможные виды поведения, которые вы можете наблюдать.

Предположим, что я даю вам две кнопки, красную и зеленую. Красная разрушает мир, зеленая блокирует нажатие красной. Какую вы нажмете? Зеленую. Любой, кто дает отличный ответ скорее всего усложняет вопрос (English).

И до сих пор люди иногда спрашивают меня, почему я хочу спасти мир (English). Словно это последствия психологической травмы в детстве или что-то типа того. На самом деле это кажется достаточно очевидным решением…с моей точки зрения.

У меня могут быть взгляды, которые требуют объяснения — почему я верю в эти вещи, когда большинство людей не верит? — но при данных убеждениях мои реакции не кажутся заслуживающими подробных и необыкновенных объяснений. Возможно, я жертва ложного консенсуса; возможно, я переоцениваю количество людей, которые нажали бы зеленую кнопку, если дать им эту задачу. Но знаете, я все же побился бы об заклад, что таких по меньшей мере немалое количество.

Большинство людей считают себя совершенно нормальными, с их точки зрения. Даже люди, которых вы ненавидите, люди, которые делают ужасные вещи — никто из них не является исключительным мутантом. Жаль, но это вовсе не мутации. Когда вы поймете это, вы будете готовы прекратить быть шокированными человеческими поступками.

Злые ли ваши враги от природы?

Элиезер Юдковский

Как ранее обсуждалось, мы склонны слишком поспешно усматривать связь между действиями других людей и их врожденными установками. Мы скорее предположим, что их необычное для нас поведение объясняется их необычными чертами личности, нежели спросим напрямую или попытаемся представить ситуацию, которая объясняла бы данное поведение. Мы предполагаем, что с человеком что-то не так.

Когда кто-либо задевает нас — совершая действие, которое мы (правильно или неправильно) не одобряем — тогда, согласно моим наблюдениям, данное когнитивное искажение усиливается вдвое. Похоже, что появляется очень сильная склонность обвинять в злых поступках злую личность того, кто их совершает. Однако если попробовать рассматривать вопрос не с точки зрения морали, а как определенный вопрос об исходной вероятности, мы должны спросить, во что мог бы верить Враг касательно ситуации, что могло бы снизить кажущуюся нелепость их поведения. Это позволит нам предположить менее исключительные установки и таким образом уйти немного от невероятных предположений.

11 сентября 2001 года девятнадцать мужчин-мусульман угнали четыре реактивных самолета в откровенно самоубийственной попытке нанести вред США. Как бы вы предположили теперь, почему они могли это сделать? Потому что они видели в США маяк свободы и были рождены с врожденной ненавистью к свободе?