Рациональность: От ИИ до Зомби

Основной причиной этой проблемы может быть необходимость параллельно изучать несколько предметов (каждый из них, разумеется, требует прочитывать большие объемы текстов и выполнять немалое количество домашних работ); расписание запланированопод неистовую зубрежку, за это время невозможно глубоко разжевать и неторопливо переварить знания. Ученикам колледжей не позволяется быть озадаченными; если кто-то из них решит сказать «Постойте, а понимаю ли я это на самом деле? Может, лучше будет, если я проведу несколько дней, читая статьи на эту тему, или обращусь к другому учебнику», он провалится на всех курсах, которые взял на четверть. Через месяц он смог бы понять материал куда лучше и запомнить надолго, но месяц после экзаменов — слишком поздно; в безумной функции полезности, принятой в университетах, это пустой звук.

Многие учащиеся, прошедшие через этот процесс, после этого даже не осознают, если что-то озадачивает их, и не замечают белых пятен в своем мышлении. Их отучили брать паузу на размышление.

II. Я где-то читал (не помню, где именно), что в некой стране физики, казалось, всё больше становились похожими на фанатичных религиозных экстремистов. Это озадачивало меня, пока автор не предположил, что студенты-физики воспринимают услышанные знания как твёрдую истину и таким образом усваивают привычку доверять авторитету.

Выдавать людям авторитетные знания в огромных объемах может быть опасно, особенно если эти знания верны. Это может навредить критическому мышлению.

Но как же нужно поступать? Рассказывать учащимся историю физики, как одни идеи, в свою очередь, сменялись другими, верными? «Вот старая идея, вот новая, вот эксперимент: новая идея победила!» Повторите этот урок десять раз, и какой навык мышления вы привьете? «Новые идеи всегда выигрывают; каждая новая мысль в физике оказывается верной». Так вы по-прежнему не научите никого критическому мышлению, потому что только покажете, как выглядит история задним числом. Вы привьете студентам мысль, что различать справедливые и ложные идеи — это совершенно прозрачно и прямолинейно, и даже если нет ничего, что подтвердило бы новую блестящую мысль, она, похоже, верна.

Не исключено, что возможно преподавать историю физики с исторически реалистичной точки зрения (не опираясь на ретроспективный взгляд) и показывать студентам различные альтернативы, казавшиеся вероятными в свое время, воспроизводя имевшие тогда место разногласия и дискуссии.

Возможно, вы смогли бы избежать подачи знаний студентам на блюдечке с голубой каемочкой: покажите им различные версии уравнений (выглядящие похожими на правду!) и попросите объяснить, какие из них справедливы, или разработать эксперименты, которые смогут различить альтернативы. Это не настолько затруднительно, как если бы мы требовали замечать необычное без подсказок и изобретать объяснения с нуля, но этот способ был бы громадным улучшением по сравнению с тем, чтобы просто запоминать авторитетные знания.

Пожалуй, вы смогли бы выработать привычку думать так: «Мысли, изложенные в авторитетных источниках, зачастую несовершенны, но необходимо приложить огромные усилия, чтобы найти идею лучше. Большинство возможных изменений привело бы к худшему, хотя каждое улучшение — это обязательно изменение».

Непередаваемое превосходство

Элиезер Юдковский

Есть целый литературный жанр, предлагающий продать вам секретный ингредиент успеха Билла Гейтса или Уоррена Баффета, создателя сверхуспешной холдинговой компании Berkshire Hathaway. Основная идея: вы, да-да, именно вы можете стать следующим Ларри Пейджем.

Но скорее всего даже Уоррен Баффет не сможет сделать из вас следующего Уоррена Баффета. Настолько невероятный успех потому и называется невероятным, что никто ещё не догадался, как достичь его наверняка.

Эти книги в большинстве своём – пустая трата надежды. Они скармливают нам исступление от близкой, но недостижимой возможности славы; поэтому я называю их «порнографией превосходства», с поджанрами вроде «порнографии инвестирования» или «порнографии бизнеса», рассказывающими, как любой бариста может основать следующий Старбакс, а любой экономист - попасть в список Fortune 500. Называть эти произведения «порнографией превосходства», наверное, нехорошо по отношению к настоящей порнографии, которая, по крайней мере, явная фикция.

В нашем мире есть невероятно мощные техники, которые наша цивилизация научилась преподавать, техники наподобие «проверяй идеи экспериментом» или «используй капитал, чтобы добыть больше капитала». Вы, да-да, именно вы, можете стать учёным! Может, не совсем каждый, но достаточно людей могут стать учёными, используя выучиваемые техники и передаваемое знание, чтобы поддержать нашу техногенную цивилизацию.

«Вы можете заново инвестировать выручку от предыдущих инвестиций!» Может, вы и не взорвёте рынок, как Уоррен Баффет, но подумайте о цивилизации в целом, практикующей это правило. Мы справляемся намного лучше, чем это делали древние общества без банков и бирж. (Нет, серьёзно, в целом мы до сих пор лучше.) Потому что приём Реинвестирования может быть передан, может быть записан словами, может работать даже для обычных людей без экстраординарной удачи… мы не считаем его невероятным триумфом. Каждый может его применить, значит, наверное, не так уж он и важен(English).

Уоррен Баффет сумел заставить многих людей ценить инвестирование. Он выдал череду советов, и действенных советов притом, исходя из тех, что я читал. По крайней мере, у меня сложилось впечатление, что если бы он знал, как рассказать, что осталось, он бы попросту рассказал.

Но Berkshire Hathaway и Баффет лично до сих пор тратят огромное количество времени, высматривая выдающихся менеджеров. Зачем? Потому что они не знают никакого систематически надёжного способа брать смышлёных детей и превращать их в обитателей Fortune 500.

Есть вещи, которым можно научиться у звёзд. Но вы не можете ожидать так просто поглотить всю их душу; последние кусочки экстраординарности будут самыми сложными. В лучшем случае, вы выучите несколько полезных трюков, которые также могут выучить немало других людей, но так и не подберётесь к желаемому статусу звезды. Если, конечно, у вас самих нет правильного набора генов, годов усилий, вложенных в тренировки, гор удачи на всём пути, и т.д., и т.п.; идея в том, что вам не добраться туда, читая порнографию.

(Если кто-то и в самом деле изобретёт новый выучиваемый суперприём, способный двинуть нашу цивилизацию далеко вперёд, то уже к тому моменту, как вы его закончите учить, появятся сотни других звёзд, применяющих этот трюк!)

Есть много уроков, которые можно извлечь отсюда, но один из главных - история учит не тому, как побеждать, а тому, как не проигрывать (English).

Намного легче избегать повторения легендарных провалов, чем повторять легендарные успехи. Также ошибки намного легче обобщать между областями. Предполагаемые инструкции «как стать звездой» крайне конкретные (Баффет != Эйнштейн), тогда как уроки «как не быть идиотом» в разных профессиях имеют много общего.

Кен Лэй, может научить, как не погубить ещё один Enron, намного надёжнее, чем Уоррен Баффет – как основать ещё один Berkshire Hathaway. Кейси Серин может научить, как терять надежду, лорд Кельвин - как не поклоняться своему невежеству…

Но такие уроки не сделают из вас звезды. Они могут предотвратить вашу жизнь от несчастий, но это не то же самое, что великие победы. Ещё хуже, эти уроки могут показать, что вы делаете что-то не так, что вы, да-да, именно вы вот-вот пополните списки дураков.

Намного легче продавать порнографию превосходства.

О красоте математики

Элиезер Юдковский

Взглянем на последовательность {1, 4, 9, 16, 25, …}. Можно заметить, что это квадраты: A[k] = k^2. Предположим, однако, что вы не увидели закономерности с первого взгляда. Есть ли способ предсказать следующий элемент последовательности? Да, можно найти разности между соседними элементами (разности первого порядка) и получить следующе:

{4 – 1, 9 – 4, 16 – 9, 25 – 16, …} = {3, 5, 7, 9, …}

Даже если вы не заметили, что это последовательные нечётные числа, сдаваться пока рано. Если вы найдете разности соседних чисел ещё раз (назовем это разностями второго порядка), то у вас получится следующее:

{5 – 3, 7 – 5, 9 – 7, …} = {2, 2, 2, …}

Если вы не сможете увидеть, что это повторяющаяся двойка, то в этом случае вы действительно безнадежны.

Но если вы предскажете, что и следующая разность второго порядка — это тоже 2, то это позволит предположить, что следующая разность первого порядка — 11, а следующий элемент исходной последовательности должен равняться 36. И это, как вы вскоре убедитесь, верно.

Копнув достаточно глубоко, можно обнаружить скрытую закономерность, внутреннюю структуру, устойчивые соотношения под переменчивой поверхностью.

Исходная последовательность была получена возведением в квадрат идущих друг за другом чисел. Однако нам удалось продолжить её, используя, казалось бы, совершенно другой подход — такой, который мы, в принципе, могли бы применить, даже не осознавая, что получаем квадраты. Можете ли вы доказать, что эти способы всегда равносильны? (Ведь до сих пор, как вы заметили, мы этого не доказывали, а только предполагали по индукции.) Можете ли вы, как любил спрашивать Пойя, упростить доказательство так, чтобы оно было ясным с первого взгляда?

По современным стандартам это очень простой пример, но это пример такой вещи, в поисках которой математики порой тратят целые жизни.

Радость математики заключается в том, что мы изобретаем некоторые объекты, а затем обнаруживаем, что они обладают всевозможными удивительными свойствами, которые мы не намеревались им прививать. Это как сконструировать тостер и увидеть, что ваше изобретение по какой-то неясной причине работает ещё и как реактивный ранец и mp3-плеер.

Числа открывали и переоткрывали множество раз на протяжении истории человечества. (Похоже, что на некоторых артефактах, датируемых 30000 г. до Р. Х., действительно находятся насечки, подозрительно напоминающие счетные.) Но я сомневаюсь, что кто-нибудь из людей, придумавших счёт, представлял себе, какой работой он обеспечит будущие поколения математиков. Или то возбуждение, которое однажды будет окружать Великую теорему Ферма или проблему факторизации в RSA-криптографии… И тем не менее всё это неявно уже содержится в определении натуральных чисел, как разности первого и второго порядка — в последовательности квадратов.

Именно это создает впечатление математической вселенной, существующей «где-то там», в платоновском Идеальном, которое люди скорее изучают, нежели создают. Наши определения переносят нас в различные участки Идеального, но мы не создаем там ничего самостоятельно. Так кажется, как минимум, потому, что мы не помним создания всех тех замечательных вещей, которые мы открыли. Первооткрыватели натуральных чисел отправились в Страну счёта, но не создали её, а последующие математики потратили столетия, изучая эту Страну и обнаруживая в ней всевозможные вещи, которые никто не мог даже попытаться себе представить в 30 000 г. до Р. Х.

Сказать, что люди «изобрели числа» (или неявную сущность, скрытую в числах) — всё равно, что заявить, будто Нил Армстронг своими руками слепил Луну. Вселенная существовала до того, как появились разумные существа, её изучающие, и это подразумевает, что физика предшествовала физикам. Это головоломка, я знаю; но если вы заявите, что физики были первыми, то все станет еще запутаннее, ведь возникновение физика требует, хм, достаточно много физики. Физика опирается на математику, так что последняя (или хотя бы та её часть, которая используется физикой) должна предшествовать математикам. Иначе не было бы структурированной вселенной, существующей достаточно долго, чтобы за миллиарды лет организмы, не знающие даже сложения, смогли эволюционировать в математиков.

Удивительно, что математика — это игра без разработчика, и, тем не менее, в неё в полной мере можно играть.

О, а вот и доказательство, что закономерность, которую мы обсуждали выше, верна:

(k + 1)^2 = k^2 + (2k + 1)

Или, более наглядно:

Думаете, задача квадратов настолько тривиальна, что не заслуживает вашего внимания? Думаете, что нет ничего удивительного в разностях первого и второго порядка? Думаете, они так очевидно подразумеваются в квадратах, что не могут считаться отдельным открытием? Тогда рассмотрите кубы:

1, 8, 27, 64…

А теперь — без прямых вычислений и каких-либо математических действий — можете ли вы с первого же взгляда сказать, какой будет разность третьего порядка?

И, конечно, когда вы узнаете, какова у последовательности кубов разность третьго порядка, вы осознаете, что по-другому и быть не могло.

Пацифизм губит ухоженные сады

Элиезер Юдковский

Основная причина гибели хороших интернет-сообществ — отказ от самозащиты.

Где-нибудь в необъятных недрах интернета найдётся место, где это происходит прямо сейчас. Когда-то это был чистый ухоженный сад интеллектуальных бесед, куда приходили образованные и заинтересованные люди, привлечённые высоким уровнем доносящихся оттуда речей. Но в сад прибывает глупец, и уровень бесед чуточку падает — или даже не на чуточку, если глупец вмешивается в разговоры с достойной лучшего плодовитостью. Сад вянет ещё сильнее, если глупец вежлив и слова его понятны; тогда жители сада связаны обязательством ответить, и тогда глупец начинает захватывать беседы.

И сад начинает гнить, и поэтому в нём уже не так весело играть; привыкшие к саду давние гости не покидают его, но новые люди уже не так охотно приходят сюда. Качество же новоприбывших тоже чуточку снижается.

Затем приходит ещё один глупец, и два глупца начинают говорить друг с другом, и после этого некоторые старожилы — люди самих высоких требований и самих радужных перспектив — покидают сад в поисках лучшей доли где-нибудь там, за горизонтом…

Я успел застать ныне забытый USENET, хоть я и был тогда очень молод. Тот первый интернет пал жертвой Вечного Сентября в незапамятные времена; в сегодняшнем же интернете всегда имеется какой-нибудь способ бороться с нежелательными сообщениями или посетителями. Скорее всего, причиной этому служит спам: бедствие столь вопиющее, что никто его не защищает, и столь обширное, что никто не может его просто игнорировать — так что где-то должен быть банхаммер.

Но некоторые сообщества не хотят опускаться до использования банхаммера, если речь идёт о вторжении глупцов. Они слишком добры, чтобы становиться кошмарными цензорами.

В конце концов, любой воспитанник мира университетской науки знает, что цензура — смертный грех. Смертный грех внутри этих огороженных неприступной стеной садов, вход в которые стоит больших денег и значительных усилий, где студентов волнует мнение своих профессоров, и упаси боже, если вахтёр осмелится открыть рот во время конференции.

Легко наивно возмущаться ужасами цензуры, уже живя в холёном саду. Точно также легко наивно восхищаться добродетелью безусловного ненасильственного пацифизма, когда на страже границ твоей страны уже стоят вооружённые солдаты, а покой твоего города охраняет полиция. До тех пор, пока полиция выполняет свою работу, благочестивость не налагает на тебя никаких серьёзных обязательств и не стоит практически никаких усилий.

Особенность интернет-сообществ, однако, состоит в том, что уже нельзя понадеяться на то, что полиция пропустит благородные лозунги мимо ушей и продолжит исполнять свою работу. Сообществу приходится платить за доброту и всепрощение.

В самом начале, когда сообщество ещё цветёт, цензура кажется ужасающей и излишней мерой. Всё ещё довольно неплохо. Это всего лишь один глупец, и если мы не можем вынести одного глупца, то, гм, терпимость и понимание явно не относятся к числу наших сильных сторон. Глупец может уйти и сам по себе, нет нужды паниковать и вводить цензуру. И пусть участвовать в жизни сообщества стало не так весело — разве какое-то банальное веселье может быть внятным оправданием кошмаров цензуры? Это словно считать, что можно избить человека, если тебе не понравилось, как он на тебя посмотрел.

(Это не очень хорошая аналогия: вступление в сообщество — процесс полностью добровольный, и если многообещающего нового участника насторожит то, как на него смотрят, то он просто не будет вступать в сообщество)

И в конце концов, кто будет цензором? Кому в принципе можно доверить такую власть?

Если сад ухожен, то, скорее всего, довольно многим. Но если сад хоть чуточку разделён внутри, если в нём есть фракции, если в нём найдутся люди, не слишком доверяющие потенциальному носителю банхаммера…

(в глазах таких людей внутренняя политика часто представляется чем-то намного более важным, чем какое-то там нашествие варваров)

…то тогда попытка защитить сообщество обычно объявляется попыткой государственного переворота. Как он посмел объявить себя судией и палачом? Он что, думает, что владеть сервером — значит владеть людьми? Владеть нашим сообществом? Он считает, что возможность редактирования исходников делает его богом?

Должен признаться: долгое время я не понимал, почему предложение о защите встречает такой отпор (я считал, что причина — наивность и больше ничего). Мысль о том, что это последствия инстинкта эгалитаризма, не дающего вождям сосредоточить слишком много власти в своих руках. «Среди нас нет лучших, все мы мужчины, способные сражаться; я принесу свой лук и стрелы» — такая поговорка ходила в одном племени охотников-собирателей (в отличие от шимпанзе, у людей есть «уравнители»: оружие, способное убивать быстро и с расстояния. Похоже, что вожди появились лишь ко времени развития земледелия, когда усложнившаяся жизнь уже не позволяла просто взять и покинуть племя).

Возможно, всё потому, что я вырос в тех областях интернета, где всегда был сисоп, и поэтому мне кажется естественным считать, что владелец сервера несёт определённую ответственность. Возможно, всё потому, что я интуитивно ощущаю: противоположность цензуры — не академия, а двач (да и у того всё равно есть какие-то механизмы для борьбы со спамом). Возможно, я вырос на том просторном пустыре, где главной и единственной важной свободой была свобода выбора того ухоженного сада, который был тебе по нраву, и которому по нраву был ты; на пустыре, дышащим мечтой о поиске страны с хорошими законами. Возможно, я принимал за должное то, что если тебе не нравится местный архиволшебник, то правильным решением будет просто уйти (такое случилось со мной однажды; и я действительно просто взял и ушёл).

А, возможно, потому, что владельцем сервера часто был я. Но я играю честно, поддерживая модераторов даже тогда, когда мы расходимся во взглядах касательно внутренней политики. Я знаю, что происходит, когда сообщество начинает сомневаться в своих модераторах. Любой мой политический враг (если его популярность позволяет ему быть опасным), скорее всего не принадлежит к числу людей, могущих злоупотреблять получаемой вместе с титулом модератора властью (по крайней мере, для конкретно этихцелей); и когда он надевает костюм модератора, я громогласно его поддерживаю: его нужно подгонять, а не останавливать. Выросшие в академии люди попросту не осознают, насколько велика толщина стен недопущения, удерживающих троллей снаружи их холёного сада так называемой «гласности».

Если у сообщества действительно есть основания для сомнения в модераторах, если его модераторы в самом деле используют свою власть в личных целях — то, наверное, это сообщество не стоит того, чтобы его спасать. Но это, как правило, встречается лишь на словах, и почти никогда — на деле, насколько мне известно.

В любом случае, озарение касательно эгалитаризма (глубинного стремления не допустить, чтобы лидер осуществлял слишком много власти), убивающего интернет-сообщества, пришло ко мне совсем недавно. Во время чтения какого-то комментария на LessWrong’е (я не помню, какого именно), если быть точным.

Но я это наблюдал. Снова и снова, одним из участников этой пьесы был я, подталкивающий модераторов и поддерживающий все их решения, нравились ли они мне как люди, или нет; и всё равно, модераторы боялись сделать то, что могло бы предотвратить медленное разложение. Они были слишком скромны и степень их сомнения в себе была на порядок выше, чем моя степень сомнения в них. Дело происходило в прибежище рационалистов, а третье главное искушение рационалистов — грех недоуверенности (English).

Такова суть интернета: войти может любой. И любой может выйти. И поэтому в интернет-сообществе должно быть весело, ведь иначе оно погибнет. Если ты будешь ждать до последнего, ждать до тех пор, пока не увидишь абсолютный, неоспоримый, вопиющий кошмар — ждать столько, сколько бы ждал полицейский-офицер перед тем, как открыть огонь — потакать своей совести и добродетелям, усвоенным внутри огороженной стеной крепости, и начнёшь действовать лишь тогда, когда ты будешь уверен в своей правоте и не будешь бояться вопрошающих взглядов — то в момент принятия мер будет уже поздно.

Я видел, как сообщества рационалистов умирали из-за того, что они слишком мало доверяли своим модераторам.

Но это — не то же самое, что и система кармы, на самом деле.

Если речь идёт о системе кармы, то доверять нужно себе.

Мне хочется привести небезызвестную цитату: «Ты можешь не верить в себя. Но поверь в меня, того, кто верит в тебя!»

Потому что я действительно и без шуток думаю, что, если ты хочешь минусануть комментарий, который кажется тебе низкокачественным — но всё же ты медлишь, боясь, что на самом деле желание минусануть возникло лишь из-за того, что ты не согласен с заключением или недолюбливаешь автора, нервничая из-за того, что кто-то может обвинить тебя в конформизме, бездумном поддакивании или (о ужас!) в осуществлении цензуры — то, я уверен, как минимум в девяти случаях из десяти этот комментарий действительно будет низкокачественным.

У тебя есть минусовалка. Используй её. Или USENET.

Полезная идея истины

Элиезер Юдковский

Помню, как я однажды сдавала письменную работу по экзистенциализму. Преподаватель вернула мне её с оценкой «плохо». Она подчеркнула слова «истина» и «истинный» везде, где они встречались в эссе, примерно двадцать раз, и рядом с каждым поставила вопросительный знак. Она хотела узнать, что я понимаю под истиной.

— Даниэлла Эган

Я понимаю, что значит называть гипотезу элегантной, или фальсифицируемой, или соответствующей экспериментальным данным. Мне кажется, что называть убеждение «истинным», или «настоящим», или «действительным» — это всего лишь делать различие между утверждением, что вы во что-то верите, и утверждением, что вы во что-то очень-очень сильно верите.

— Дейл Каррико

Итак, что такое истина? Движущаяся толпа метафор, метонимий, антропоморфизмов, — короче, сумма человеческих отношений, которые были возвышены, перенесены и украшены поэзией и риторикой и после долгого употребления кажутся людям каноническими и обязательными.

— Фридрих Ницше

Задача на ложные убеждения «Салли–Анна» — это эксперимент, который используется, чтобы установить, понимает ли ребёнок разницу между убеждением и реальностью. Проводится он так:

Ребёнок видит, как Салли прячет шарик в закрытую корзину, а Анна за этим наблюдает.

Салли выходит из комнаты, а Анна вынимает шарик из корзины и прячет его в закрытую коробку.

Анна выходит из комнаты, и Салли возвращается.

Экспериментатор спрашивает ребёнка, где Салли будет искать шарик.

Дети до четырёх лет говорят, что Салли будет искать шарик в коробке, а более старшие дети — что в корзине.

Человеческие дети, начиная с возраста (обычно) в четыре года, впервые начинают понимать, что это значит, когда убеждения утрачивают связь с реальностью. Трёхлетний ребёнок моделирует только то, где находится шарик. Четырёхлетний ребёнок, начиная вырабатывать теорию сознания, отдельно моделирует, где находится шарик, и отдельно — где находится шарик по убеждению Салли, и может заметить, когда эти понятия конфликтуют — когда у Салли есть ложное убеждение.

Любое осмысленное убеждение имеет условие истинности, то есть реальность может каким-то образом быть такой, чтобы это убеждение было истинным или наоборот, ложным. Если мозг Салли содержит мысленный образ шарика в корзине, то в реальности шарик действительно может лежать в корзине — и в этом случае убеждение Салли называется «истинным», поскольку реальность удовлетворяет его условию истинности. Либо же возможно, что Анна вынула шарик и спрятала его в коробке, и в этом случае убеждение Салли называется «ложным», поскольку реальность не удовлетворяет его условию истинности.

Математик Альфред Тарский однажды описал понятие «истины» как бесконечную серию условий истинности:

Предложение «снег белый» истинно тогда и только тогда, когда снег белый.

Предложение «небо голубое» истинно тогда и только тогда, когда небо голубое.

Теперь кажется, что различие тут тривиально: зачем вообще говорить о предложениях, если предложение выглядит настолько похожим на реальность, когда и предложение, и реальность описаны на одном и том же языке?

Но когда мы оглядываемся на задачу «Салли–Анна», это различие становится куда яснее: убеждение Салли закодировано конфигурацией нейронов и нейронных путей в мозгу Салли, во влажной и чрезвычайно сложной органической ткани массой в килограмм с третью, находящейся внутри черепа Салли. Сам же шарик — это маленькая пластиковая сфера, которая перемещается между корзиной и коробкой. Сравнивать убеждение Салли с шариком — значит сравнивать совершенно разные вещи.

Тогда зачем вообще говорить об абстрактных «предложениях», а не об убеждениях, закодированных нейронами? Может быть так, что Салли и Фред верят «в одно и то же», то есть их мозги содержат внутренние модели шарика в корзине — то есть оба утверждения, каждое в своём мозге, имеют одинаковое условие истинности. В этом случае можно абстрагировать то, что эти убеждения имеют между собой общего, то есть общее условие истинности, в виде предложения или утверждения, которое мы считаем истинным или ложным отдельно от каких-либо верящих в него мозгов.

Некоторые мыслители выражают панику по поводу того, что любое суждение об истине — любое сравнение убеждения с реальностью — является частью чьего-то мышления, и, казалось бы, всего лишь сравнивает чужое убеждение со своим собственным:

То есть получается, что все эти разговоры об истине — это всего лишь сравнение чужих убеждений со своими и попытка установить свой авторитет? Получается, что слово «истина» — всего лишь оружие в борьбе за власть?

Мало того, мы даже не можем напрямую сравнить чужие убеждения с своими собственными. Мы можем только сравнить, внутри себя, наше убеждение о чьём-то чужом убеждении с нашим собственным убеждением — сравнить нашу карту их карты с нашей картой территории.

Аналогично получается, что когда мы говорим о наших собственных убеждениях, что они «истинны», это означает, что мы сравниваем свою карту своей карты со своей картой территории. Обычно люди не ошибаются в своём представлении о том, во что они верят. Хотя из этого правила есть определённые исключения, обычно карта карты верна, то есть люди обычно имеют верные убеждения о том, какие убеждения они имеют:

Следовательно, сказать «Я считаю, что небо голубое, и это верно!» — обычно значит выразить ту же информацию, которую выражают предложения «Я считаю, что небо голубое» или просто «Небо голубое», то есть информацию о том, что ваша мысленная модель мира содержит голубое небо.

Медитация:

Если это так, то получается, что постмодернисты правы? Получается, что все эти рассуждения об «истине» — это всего лишь попытка установить приоритет ваших собственных убеждений над чужими, и нет способа сравнить убеждение с самой реальностью, а не с содержимым чьей-то головы?

Здесь и далее «медитация» — это загадка, которую читателям предлагается попытаться решить самостоятельно, прежде чем двигаться дальше. Это моя несколько неуклюжая попытка отразить результаты исследований, показавших, что читатели значительно чаще запоминают какой-то факт или решение проблемы, если сначала пытаются решить проблему сами, прежде чем прочитать решение. Удастся вам решить проблему или нет, главное — попытаться и только затем читать дальше. Здесь отражена также проблема, существующая по мнению Майкла Вассара: поскольку статьи такого рода часто кажутся очевидными после прочтения, читателям зачастую сложно визуализировать разницу между «до» и «после», и для целей обучения эту разницу полезно себе представлять. Поэтому, пожалуйста, попытайтесь сначала высказать свой собственный ответ на медитацию — в идеале прошепчите его себе, либо двигайте губами, представляя, как вы его проговариваете, чтобы сделать его явным и доступным для вашей памяти — прежде чем продолжать. Попытайтесь также осознанно заметить разницу между вашим ответом и ответом, приведённым в статье, включая любые дополнительные или отсутствующие детали, и не пытайтесь увеличить или уменьшить это различие.

…

…

…

Ответ:

Ответ, который я дал Дейлу Каррико — который заявил мне, что знает, что означает фальсифицируемость убеждения, но не знает, что означает его истинность, — состоял в том, что мои убеждения определяют мои экспериментальные предсказания, но только реальность может определять мои экспериментальные результаты. Если я очень сильно верю в то, что я умею летать, то это убеждение может сподвигнуть меня сделать шаг с обрыва, ожидая, что он безопасен; но только истинность этого убеждения может спасти меня от смертельного падения.

Поскольку мои ожидания иногда конфликтуют с тем, что я затем вижу и ощущаю происходящим вокруг меня, мне нужны разные названия для того, что определяет мои экспериментальные предсказания, и для того, что определяет мои экспериментальные результаты. Первое я называю «убеждениями», а второе — «реальностью».

Вы не получите прямого столкновения между убеждениями и реальностью — или между чужими убеждениями и реальностью — если будете сидеть в комнате с закрытыми глазами. Но если вы откроете глаза, ситуация изменится!

Давайте проследим за тем, как ваш мозг получает информацию о том, что ваши шнурки развязаны:

Фотон покидает Солнце и летит к Земле через её атмосферу.

Ваш шнурок поглощает и снова испускает этот фотон.

Отражённый фотон проходит через зрачок вашего глаза и направляется на сетчатку.

Фотон падает на клетку-палочку или клетку-колбочку, или, ещё точнее, он падает на фоторецептор, форму витамина А, известную как ретиналь. Эта молекула затем изменяет свою форму, вращаясь вокруг двойной связи, благодаря поглощению энергии фотона. Связанный белок под названием опсин в ответ претерпевает смену конформации, и это возмущение далее распространяется на тело нервной клетки, которая наполняет энергией протон и увеличивает его поляризацию.

Постепенное изменение поляризации распространяется на биполярную клетку и затем клетку ганглия. Если поляризация клетки ганглия превышает определённую границу, клетка испускает нервный импульс — распространяющееся электрохимическое явление поляризации-деполяризации, которое проходит по мозгу со скоростью от 1 до 100 метров в секунду. Таким образом, свет из внешнего мира преобразуется в информацию внутри нервной системы, совместимую с субстратом остальных мыслей.

Нервный сигнал подвергается предварительной обработке другими нейронами в сетчатке, затем в латеральном коленчатом теле в середине мозга, после чего в зрительной коре, находящейся в задней части головы, восстанавливается уменьшенное изображение окружающего мира — изображение, закодированное в частотах испускания сигналов нейронами, составляющими зрительную кору. (Это изображение искажено, поскольку центр поля зрения обрабатывается со значительно большей степенью детализации, чем его края, — то есть распределяется между большим числом нейронов и большей площадью коры.)

Информация из зрительной коры затем направляется в височные доли, которые отвечают за распознавание объектов.

Ваш мозг распознаёт форму развязанного шнурка.

Так ваш мозг обновляет свою картину мира, включая в неё тот факт, что ваши шнурки развязаны. Даже если до этого он ожидал увидеть их связанными! У вашего мозга нет никакой причины не обновлять свою картину мира, если только в этом не замешана политика. Когда фотоны, направляющиеся в сторону глаза, преобразуются в нервные сигналы, они принимают форму, совместимую с другой содержащейся в мозгу информацией, и могут сравниваться с предыдущими убеждениями.

Убеждения и реальность взаимодействуют постоянно. Если бы мозг и его окружение никогда не соприкасались, нам не нужны были бы ни глаза, ни руки, и мозг мог бы иметь намного более простое строение. Организмам вообще не нужны были бы мозги.

Хорошо, убеждения и реальность — это разные сущности, которые пересекаются и взаимодействуют. Но из того, что нам нужны отдельные понятия для «убеждений» и «реальности», ещё не следует потребность в понятии «истины», то есть сравнения между ними. Возможно, мы могли бы говорить отдельно (а) о представлениях некоего разумного существа о том, что небо голубое, и (б) о самом небе. Вместо того, чтобы говорить «Джейн считает, что небо голубое, и она права», мы могли бы сказать «Джейн считает, что небо голубое; кроме того, небо голубое» и тем самым выразить ту же информацию (а) о наших убеждениях относительно неба и (б) о наших убеждениях относительно убеждений Джейн. Мы всегда могли бы, применяя схему Тарского «Предложение “X“ истинно тогда и только тогда, когда X», заменить любое утверждение об истинном предложении утверждением о его условии истинности, о соответствующем состоянии реальности (неба или чего-нибудь ещё). Так мы могли бы вообще избежать этого надоедливого слова «истина», о котором философы ведут бесконечные споры и которым злоупотребляют разные раздражающие личности.

Пусть есть некое разумное существо — для определённости пусть это будет искусственный интеллект, который занимается своей работой в одиночку и которому никогда не требовалось ни с кем спорить о политике. ИИ знает, что «Моя модель полагает с вероятностью 90%, что небо голубое»; он уверен в том, что эта вероятность — это именно то предложение, которое сохранено в его оперативной памяти. Отдельно ИИ моделирует, что «Вероятность того, что мои оптические датчики обнаружат за окном голубой цвет, равна 99% при условии, что небо голубое», и не путает это утверждение с утверждением о том, что его оптические датчики обнаружат голубой цвет, когда он полагает, что небо голубое. Значит, этот ИИ определённо может отличать карту от территории; он знает, что разные состояния его оперативной памяти имеют последствия и причинно-следственные связи, отличные от тех, какими обладают разные состояния неба.

Но может ли этому ИИ понадобиться общее понятие истины — может ли ему понадобиться придумать слово «истина»? Почему, если бы у него было это понятие, он мог бы работать лучше?

Медитация: Если мы имеем дело с искусственным интеллектом, которому не нужно ни с кем спорить о политике, может ли ему когда-нибудь понадобиться слово или понятие «истина»?

…

…

…

Ответ: Абстрактное понятие «истины» — общая идея о соответствии карты и территории — нужно, чтобы выразить такие идеи, как:

Обобщение по всем возможным картам и городам: если ваша карта города точна, то более вероятно, что навигация по этой карте вовремя доставит вас в аэропорт.

Чтобы начертить верную карту города, кто-то должен выйти на улицу и посмотреть на здания. Вы не сможете составить точную карту, сидя в комнате с закрытыми глазами и пытаясь представить, каким бы вы хотели видеть город.

Истинные убеждения с большей вероятностью делают правильные экспериментальные предсказания, чем ложные убеждения; поэтому, если мы будем больше доверять гипотезам, делающим правильные экспериментальные предсказания, наша модель реальности со временем будет становиться всё более верной.

В этом и состоит главное преимущество рассуждений и размышлений об «истине»: мы можем обобщать правила составления карт, соответствующих территориям, и извлекать уроки, которые можно распространять на другие области, а не только на цвет того или иного неба.

Как и всегда, тотальная философская паника оказалась в данном случае необоснованной. Но наша внутренняя оценка «истины» как сравнения между картой карты и картой реальности есть ключевая практическая проблема: в этой схеме мозгу очень простопринять за истину абсолютно бессмысленное предложение.

Пусть некий профессор литературы рассказывает на лекции, что знаменитые писатели Кэрол, Дэнни и Элейн являются «пост-утопистами», что следует из того, что их произведения имеют признаки «колониального отчуждения». Для большинства студентов типичным результатом будет то, что в аналоги ассоциативных массивов в их мозгах к объектам «Кэрол», «Дэнни» и «Элейн» будет добавлено свойство «пост-утопист». Когда в последующей контрольной работе встретится вопрос «Приведите пример писателя — пост-утописта», студент напишет «Элейн». Что, если студент напишет «Я думаю, что Элейн — не пост-утопист»? Тогда профессор смоделирует…

…и пометит ответ как неправильный.

В конце концов…

Предложение «Элейн — пост-утопист» истинно тогда и только тогда, когда Элейн — пост-утопист.

…правильно?

Может, конечно, быть и так, что этот термин действительно что-то означает (хотя я сам его выдумал). Может даже быть и так, что, хотя профессор не может дать хорошего и явного ответа на вопрос «А что вообще такое пост-утопизм?», тем не менее можно показать многим разным профессорам литературы новые произведения неизвестных им авторов, и все они независимо придут к одному и тому же ответу, из чего последует, что какое-то доступное чувствам свойство текста они явно обнаруживают. Мы не всегда знаем, как работают наши мозги, и мы не всегда знаем, что мы видим, и небо было голубым задолго до того, как появилось слово «голубой»; чтобы часть картины мира в вашем мозгу имела смысл, не требуется, чтобы вы могли объяснить её словами.

С другой стороны, может быть и так, что профессор узнал о «колониальном отчуждении», зазубрив то, что ему в своё время говорил его профессор. Может быть так, что единственный человек, чей мозг когда-то вкладывал в эту фразу реальный смысл, уже умер. Так что к тому времени, как студенты узнают, что слово «пост-утопист» — это пароль, который требуется называть в ответ на запрос «колониальное отчуждение», обе фразы стали не более чем словесными ответами. которые требуется заучивать, не более чем набором ответов для теста.

Эти две фразы не выглядят «оторванными» от реальности сами по себе, потому что они не оторваны друг от друга: пост-утопизм как будто имеет последствие в виде колониального отчуждения, а если вы спросите, что следует из колониального отчуждения, то это означает, что автор, скорее всего, пост-утопист. Но если вы очертите кругом эти два понятия, то обнаружите, что ни с чем больше они не связаны. Это плавающие убеждения, никак не связанные со всей остальной моделью. И тем не менее нет никакого внутреннего тревожного сигнала, который бы звучал, когда такое происходит. Точно так же, как «неправота ощущается как правота» — так же, как обладание ложным убеждением ощущается как обладание истинным убеждением, по крайней мере до проведения эксперимента, — так и бессмысленное убеждение может ощущаться как осмысленное.

Группы, обладающие совершенно бессмысленными убеждениями, могут даже враждовать. Если кто-то спросит «Является ли Элейн пост-утопистом?» и одна группа закричит «Да!», а вторая — «Нет!», они могут подраться просто из-за разных кричалок: для начала вражды необязательно, чтобы слова что-то значили. С тем же успехом может начаться драка между группой, кричащей «Ку!», и группой, кричащей «Кю!» Говоря более общо, важно различать видимые последствия высказанного убеждения, содержащегося в мозгу профессора (студенты должны написать на контрольной то, что нужно, иначе профессор посчитает их ответ неверным) и видимые последствия состояния реальности, не оформленного словесно (то есть состояния территории, при котором Элейн действительно является пост-утопистом).

Одним классическим ответом на эту проблему был верификационизм, который считал, что предложение «Элейн — пост-утопист» является бессмысленным, если оно не говорит нам, какие сенсорные ощущения мы ожидаем испытать, если это предложение истинно, и как эти ощущения будут отличаться в случае, когда предложение ложно.

Но теперь представьте, что я направляю фотон в пустоту между галактиками, и он улетает далеко в глубины космоса. В расширяющейся Вселенной этот фотон в конце концов пересечёт космологический горизонт, за которым, даже если фотон упадёт на зеркало, которое отразит его обратно в направлении Земли, он никогда не вернётся сюда, потому что за это время Вселенная расширится слишком быстро. Следовательно, после того, как фотон пересечёт определённую черту, у утверждения «Фотон продолжает существовать вместо того, чтобы исчезнуть» не будет совершенно никаких экспериментальных последствий.

И тем не менее мне кажется — и, надеюсь, вам тоже, — что утверждение «Фотон внезапно исчезает из мироздания сразу же, как только у нас пропадает возможность его когда-либо увидеть, и тем самым нарушает закон сохранения энергии и ведёт себя не так, как все видимые нам фотоны» ложно, а утверждение «Фотон продолжает существовать, улетая в никуда» истинно. И подобные вопросы могут иметь важные последствия в контексте принятия решений: представьте, что мы думаем о снаряжении околосветового корабля, летящего как можно дальше, так что он пересечёт космологический горизонт до того, как он замедлится, чтобы колонизировать какое-нибудь далёкое сверхскопление галактик. Если бы мы думали, что корабль исчезнет из Вселенной, как только пересечёт космологический горизонт, мы бы не стали и рассматривать возможность отправить его в полёт.

Спрашивать себя об ощутимых последствиях наших убеждений полезно и мудро, но они не подходят на роль фундаментального определения осмысленных утверждений. Это отличная подсказка, сигнализирующая о том, что что-то может быть оторванным от реальности «плавающим убеждением», но не абсолютное правило.

Можно попробовать ответить, что для того, чтобы утверждение было осмысленным, реальность должна иметь возможность быть такой, чтобы это утверждение могло быть истинным или ложным; а поскольку Вселенная состоит из атомов, должна существовать такая конфигурация атомов Вселенной, чтобы это утверждение было истинным или ложным. Например, чтобы утверждение «Я в Париже» было истинным, нужно переместить в Париж составляющие меня атомы. Литературный критик может заявлять, что Элейн имеет свойство, называемое пост-утопизмом, но нет никакого способа перевести это заявление в способ перераспределить атомы Вселенной так, чтобы сделать его истинным или же ложным; следовательно, у него нет условия истинности, то есть оно бессмысленно.

И действительно, существуют такие заявления, при которых, если вы остановитесь и подумаете: «Как можно перестроить Вселенную так, чтобы это было истинным или ложным?», то вы внезапно осознаете, что вы не так хорошо понимаете условие истинности этого заявления, как вы думали. Например, «Страдание закаляет дух» или «Все экономические кризисы — результат плохой денежной политики». Эти утверждения необязательно бессмысленны, но их гораздо проще высказать, чем представить себе мир, в котором они истинны или ложны. Точно так же, как и вопрос об ощутимых последствиях, вопрос о способе конфигурации Вселенной является важным индикатором осмысленности или бессмысленности.

Но если бы вы сказали, что для осмысленности утверждения должна существовать конфигурация атомов, делающая его истинным или ложным…

Тогда такая теория, как квантовая механика, изначально была бы бессмысленной, поскольку нет никакого способа распределить атомы так, чтобы сделать её истинной.

И наше открытие, что Вселенная состоит не из атомов, а из квантовых полей, обратило бы все осмысленные утверждения во всём мире в бессмысленные — потому что оказалось бы, что нет никаких атомов, которые можно было бы перераспределить, чтобы выполнить их условия истинности.

Медитация: Какое правило могло бы ограничить наши убеждения только теми, которые могут иметь смысл, не отсекая при этом раньше времени ничего, что в принципе может быть истинным?

Предполагая красоту

Элиезер Юдковский

Если вы посмотрите на последовательность {1, 4, 9, 16, 25, …} и не увидите в ней квадраты чисел, то вы все еще можете успешно предсказать последующие числа, если заметите разности первого порядка — {3, 5, 7, 9, …}. Действительно, ваше предсказание может попасть в точку, хотя у вас нет никакой возможности это проверить, не посмотрев на выдачу генератора. Соответствие может быть выражено алгебраически или даже геометрически. Это и вправду довольно изящно.

Что бы ни прославляли люди, они будут склонны прославлять это еще сильнее; поэтому некоторые скептики считают, что погоня за изящностью подобна болезни; она создает стройную математику вместо того, чтобы разбираться в беспорядке реального мира. «Тебе повезло», — скажут они, — «но тебе не будет везти всегда. Если ты ожидаешь подобной изящности, то ты исказишь видение мира в угоду своим представлениям и отсечешь те куски реальности, которые не вписываются в твою милую картинку».

Я имею в виду, например, следующее. К вам в руки попадает последовательность {1, 8, 27, 64, 125, …}. Отыскав разности первого порядка, вы получите {7, 19, 37, 61, …}. Все эти числа объединяет лишь то, что они простые, но они даже не идут в последовательности простых чисел подряд. Тут, очевидно, нет изящного порядка, какой мы видели у квадратов чисел.

Вы можете попытаться заставить последовательность вести себя, по-вашему, правильно, настаивая, что разности первого порядка должны быть равномерно распределены, а любые отклонения — ошибки измерения (впрочем, лучше о них просто не думать). «Вы решите», — скажет скептик, — «что разности первого порядка отстоят друг от друга примерно на двадцать, являясь простыми числами, так что следующая разность, вероятно, 83, тогда следующим числом в исходной последовательности будет 208. Но действительность с вами не согласится — это 216».

Сами виноваты, раз ожидали ясности и изящества там, где их нет. Вы оказались чересчур привержены абсолютам, слишком нуждались в совершенстве. Здесь-то и зарыта собака (уф… внимание!) редукционизма!

Уже из выбранного мной примера вы могли догадаться, что я не считаю это хорошим подходом к задаче. Ведь здесь не то чтобы совсем не было закономерности, просто нужно было копнуть немного глубже. Последовательность {7, 19, 37, 61, …} непримечательная (встреть вы ее на улице, могли бы и не узнать), но найдите разности второго порядка, и получите {12, 18, 24, …}. Теперь третьего, и у вас будет {6, 6, …}.

Вы забрались глубже, отыскав устойчивый уровень, но он уже был в примере всё это время.

Если вы слишком быстро хватаетесь за увиденную закономерность, допытываетесь совершенства здесь и сейчас, пытаетесь взломать модель, то, возможно, вам никогда не удастся добраться до устойчивого уровня. Если вы подправляете разности первого порядка, чтобы сделать их «более равномерными» в соответствии со своими эстетическими понятиями (еще до того, как обнаружите настоящий закон, заключенный в самой математике), то найденные вами разности второго и третьего порядков окажутся неверными. Может быть, вы даже не затрудните себя найти их. С того момента, как вы приведете разности первого порядка в соответствие со своими представлениями о прекрасном, вы обретете счастье. Или будете громогласно заявлять, что его обрели.

Ничего из вышесказанного никак не противоречит редукционизму. Порядок заключен здесь, просто спрятан глубже. Мораль моей басни в том, что не надо искать прекрасного? Или в том, чтобы горделиво исповедовать это повсеместное мировоззрение об уродливости мироздания? Нет; мораль в том, чтобы переходить на более глубокий уровень в свое время; сначала отмерять, а уж потом резать; не прерывать исследование ради красоты раньше времени. Пока вы в состоянии не принимать преждевременную иллюзорную красоту за чистую монету, все необходимые меры предосторожности на случай, что реальность окажется неизящной, уже соблюдены.

Но разве это не (уф…) вера — искать красоту там, где ее еще не видно?

Как я недавно подметил, если вы скажете «Я много раз видел смену времен года и ожидаю, что завтра солнце взойдет вон в той точке горизона», это будет недостоверно. И если вы скажете, «Я предполагаю, что мне явится джинн и подарит мне сказочное богатство», то это также будет недостоверно. Но это не одна и та же степень недостоверности; недостаточно справедливо называть то и другое одним словом «вера».

Искать математическую красоту, где ее пока не видно, не столь же надежно, как ожидать, что солнце поднимется на востоке. Но, однако, не кажется, что это та же градация неуверенности, что и в случае с джинном, особенно если перед этим вы изучили последние 57 тысяч случаев, когда человечеству удалось найти скрытую закономерность.

И все же постулаты и аксиомы математики — самодостаточные и закрытые структуры. Можем ли мы рассчитывать, что беспорядочный реальный мир обнаружит скрытую красоту? В следующем выпуске нашей радиопередачи мы расскажем об этом. Не переключайтесь!

Против адвокатуры дьявола

Элиезер Юдковский

Из статьи Майкла Рьюза:

Ричард Докинз однажды назвал меня подонком. Он сделал это весьма публично, но не подразумевал желание меня обидеть. Я и не обиделся: мы были и остаёмся друзьями. Причиной его гнева — или даже страданий — было то, что я в ходе публичной дискуссии защищал позицию, которой по-настоящему не придерживался. Мы, философы, все время так делаем; это вариант аргумента «reductio ad absurdum». Отчасти мы делаем это, чтобы подстегнуть дебаты (особенно на уроках), отчасти, чтобы увидеть, насколько далеко можно завести позицию, пока она не разрушится, (и увидеть, почему разрушится), и, отчасти, (будем честны) излить кровожадность, поскольку нам нравится возмущать оппонентов.

Докинз тем не менее, обладает моральной непорочностью — кто-то даже сказал бы моральной закостенелостью — пылкого христианина или идейного феминиста. Даже во имя спора он не может поддержать то, что считает неверным. Делать так не просто ошибочно, считает он; это неправильно в каком-то очень глубоком смысле. Жизнь серьёзна, и есть зло, с которым нужно бороться. Здесь нет места компромиссам или неоднозначностям, даже в педагогических целях. Как говорят квакеры: «Да будет слово ваше: да, да; нет, нет».

Майкл Рьюз ничего не понял.

Когда я был ребёнком, мой отец учил меня скептицизму —

(Папа был в той же степени заядлым скептиком и поклонником Мартина Гарднера и Джеймса Рэнди, в какой и ортодоксальным евреем. Пусть это будет доводом в пользу анти-лечебной силы отделения религии от повседневной жизни.)

— он приводил в пример гипотезу: «Есть объект в поясе астероидов, состоящий целиком из шоколадного торта». Тебе придется изучить каждый объект пояса, чтобы опровергнуть эту гипотезу. Однако, несмотря на то, что эту гипотезу невероятно тяжело опровергнуть, нет и ни одного довода в её пользу.

И маленький Элиезер попросил свой разум поискать аргументы в пользу существования шоколадного торта в поясе астероидов. И вот его разум выдал ответ: «Так как шоколадный торт в поясе астероидов - один из классических примеров плохой гипотезы, если кто-нибудь когда-нибудь изобретёт машину времени, то какой-нибудь шутник подбросит шоколадный торт в пояс астероидов в двадцатом веке, чтобы всё это оказалось правдой».

Так — в очень раннем возрасте — я обнаружил, что мой разум способен, если постараться, придумать аргументы в пользу чего угодно.

Я знаю людей, которых это открытие лишило здравого смысла. Они пришли к выводу, что Разум может быть использован, чтобы отстаивать что угодно. Тогда бессмысленно доказывать, что Бога не существует, потому что вы с тем же успехом могли бы доказывать, что он существует. Ничего не остаётся, кроме как верить, во что захотите.

Сдавшись, они разрабатывают целые философские системы, чтобы их отчаяние выглядело Глубокой Мудростью. Если они заметят, что вы пытаетесь использовать Разум, они просто улыбнутся, погладят вас по голове и скажут: «О, когда-нибудь ты поймёшь, что можешь аргументировать за что угодно».

Быть может, даже сейчас мои читатели думают: «Ох, Элиезер может рационализировать что угодно, это дурной знак».

Но вы знаете… быть ментально гибким не всегда обрекает вас на катастрофу. Я имею в виду, вы этого ожидаете. Но оказывается, что практика отличается от теории.

Рационализация пришла ко мне слишком просто. Было заметно, что это просто игра.

Если бы у меня было хуже с воображением или меня легче было бы поставить в тупик - если бы я не обнаружил, что могу аргументировать любое предположение, и неважно, насколько оно бредовое - тогда, возможно, я бы мог перепутать это занятие с мышлением.

Но я могу даже привести аргументы в пользу существования шоколадного торта в поясе астероидов. Это даже не было трудно; мой мозг сразу же выдал аргумент. Было совершенно ясно, что это мышление — поддельное, а не настоящее. Я ни на мгновение не перепутал игру с реальной жизнью. Я не начал думать, что в поясе астероидов действительно может оказаться шоколадный торт.

Можно было бы ожидать, что любой ребёнок, обладающий достаточно живым умом, чтобы придумать аргументы в пользу чего угодно, точно обречён. Но интеллект не всегда приносит столько вреда, как вы могли бы подумать. В данном случае он просто помог мне в очень раннем возрасте начать различать «рассуждение» и «рационализацию». Между ними ощущалась разница.

Возможно, память меня обманывает… но мне кажется, что даже в таком юном возрасте я посмотрел на предложенный моим мозгом удивительно умный аргумент в пользу путешествующего во времени шоколадного торта и подумал: я должен избегать этого.

(Хотя существуют другие, гораздо более тонкие когнитивные воплощения процессов рационализации, чем бесстыдный, очевидный, сознательный поиск подходящих аргументов. Бессловесное уклонение от рассмотрения той или иной идеи может сбить вас с пути не хуже, чем преднамеренный поиск аргументов против неё. Эти коварные процессы я начал замечать только годы спустя).

Интуитивно я ощущал, что настоящее мышление - это нечто, что дает вам правильный ответ, нравится он вам или нет, а поддельное мышление — это способность доказать что угодно.

Это был невероятно ценный урок —

(хотя, как и многие другие принципы, которые молодой я приобрёл путём анализа вещей, обратных глупости. Он был хорош, когда требовался совет по конкретным проблемам, но мог завести в страшные дебри, когда я пытался применять его, чтобы сделать абстрактные выводы, например, о природе морали)

— который был одним из главных факторов, приведших к моему разрыву с иудаизмом. Тщательно продуманные аргументы и контраргументы древних раввинов были похожи на то фальшивое мышление, которое помогло мне придумать историю про шоколадный торт в поясе астероидов. Только раввины забыли, что это игра, и действительно воспринимали всё всерьёз.

Поверьте, я понимаю традиционный довод в пользу практики адвоката дьявола. Защищая противоположную позицию, вы делаете свой ум более гибким. Вы вытряхиваете себя из привычных рамок. У вас появляется шанс собрать свидетельства против своей позиции, вместо того чтобы защищать её. Вы поворачиваете стол и видите вещи с другой точки зрения. Переход на другую сторону — это честная игра, так что вы разворачиваетесь на 180 градусов, чтобы играть честно.

Возможно, именно это Майкл Рьюз имел в виду, когда обвинил Ричарда Докинза в «моральной ригидности».

Конечно, я не намерен учить людей говорить: «Так как я верю в фей, я не должен ожидать, что мне удастся найти хорошие доказательства того, что фей не существует, так что я не буду искать, потому что это умственное усилие имеет невысокую ожидаемую полезность». Всё это происходит под лозунгом «если вы хотите отстрелить себе ногу, нет ничего проще».

Может быть, существуют какие-то этапы жизни или состояния ума, когда игра в адвоката дьявола может вам помочь. Студенты, которые никогда не задумывались о том, чтобы попробовать искать доводы в пользу обеих сторон проблемы, могут извлечь пользу из понятия «адвокат дьявола».

Но с кем-то, кто находится в этом состоянии ума, я бы скорее начал с того, что политические прения не должны выглядеть односторонними. Нет оснований не ожидать, что с обеих сторон дебатов существуют сильные доводы; одно и то же действие может иметь разные последствия. Если вы не можете представить себе хороших доводов против политического курса, к которому вы благосклонны, или хороших доводов за тот курс, который вы ненавидите, но другие люди одобряют, тогда очень вероятно, что у вас проблема, которая называется «неспособность увидеть другие точки зрения».

Вы, дорогой читатель, вероятно, достаточно хороши в искусстве рассуждения, что если вы смогли закрепиться на правильной дороге, вы не сойдете с нее, если будете играть адвоката дьявола по необходимости. Вы просто будете подсознательно избегать любых аргументов Дьявола, которые будут заставлять вас всерьез нервничать, а затем поздравите себя с выполнением необходимого. Людям на таком уровне нужно более сильное средство. (Пока я рассказал только о средне-сильном средстве).

Если вы можете привести себя в состояние настоящего сомнения и искреннего любопытства, вам уже не нужен адвокат дьявола. Вы можете исследовать противоположную позицию потому что думаете, что она может и правда быть истинной, а не потому что вы играете в игры с шоколадным тортом, путешествующим сквозь время. А если вы не можете привести себя в такое состояние, то может ли вам помочь игра в адвоката дьявола?

У меня нет проблемы придумать аргументы, почему Сингулярность не настанет в ближайшие 50 лет. С некоторыми усилиями я могу представить случай, в котором ее не будет и через 100 лет. Еще я могу придумать правдоподобные сценарии, в которых Сингулярность настанет через две минуты, например, если кто-то делает тайный проект, и он завершается вот прямо сейчас. Я могу придумать правдоподобные аргументы для 10, 20, 30 и 40 лет.

Это не потому что я хорошо играю в адвоката дьявола и придумываю умные аргументы. Это потому что я правда не знаю. Настоящие сомнения присутствуют в каждом случае и я могу их проследить до источника настоящего аргумента. Или, если хотите, я правда не знаю, потому что я могу придумать все эти правдоподобные аргументы.

С другой стороны, мне действительно сложно визуализировать утверждение, что нет типа разума, принципиально более сильного, чем человеческий. Мне сложно поверить, что человеческий мозг, которого едва хватило на то чтобы построить технологическую цивилизацию и придумать компьютеры, теоретически является потолком эффективности интеллекта. Я не могу хорошо аргументировать за это, потому что я сам этому не верю. Или, если хотите, я не верю в это, потому что я не могу за это хорошо аргументировать. Если вы хотите, чтобы кто-то за это аргументировал, найдите того, кто правда в это верит. С очень раннего возраста я стремлюсь избегать образа мыслей, в котором вы можете аргументировать за что угодно.

В состоянии ума и этапе жизни, в котором вы пытаетесь отличить друг от друга рациональность и рационализацию и пытаетесь понять разницу между сильными и слабыми аргументами, игра в адвоката дьявола не может привести вас к неподдельным способам мышления. Ее единственная сила в том, что в некоторых случаях она может показать вам поддельные способы, которые одинаково хорошо работают за обе стороны, и показать вам места, в которых вы не уверены.

Не бывает гроссмейстеров, которые умеют играть только за белых или только за черных. Но в битвах Разума солдат, который дерется за обе стороны с одинаковой силой, имеет нулевую силу.

Так что Ричард Докинз понимает кое-что, чего не понимает Майкл Рьюз: что Разум - это не игра.

Добавлено: Брэндон утверждает, что адвокатура Дьявола это важный социальный, а не индивидуальный процесс. Я об этом, признаюсь, не подумал.

Рациональность — это систематизированное выигрывание

Элиезер Юдковский

«Рационалисты должны выигрывать», сказал я, и, похоже, мне придется прекратить так говорить, потому что под этим понимают не то, что я хотел сказать.

Откуда вообще взялась эта фраза? Из обсуждения задачи Ньюкома: сверхсущество Омега дает вам на выбор две коробки, прозрачную коробку А с тысячей долларов (или аналогичной ценностью) и непрозрачную коробку Б, в которой может быть либо ничего, либо миллион долларов. Омега говорит вам: «В коробке Б есть миллион долларов только в том случае, если я предсказал, что вы возьмете только коробку Б, оставив А». Омега играл в эту игру много раз и предсказывает правильно 99 раз из 100. Вы возьмете обе коробки или только Б?

Распространенная позиция — на деле она вообще доминирующая в современной философии и теории принятия решений — что единственным разумным выбором будет взять обе коробки; Омега уже принял решение и ушел, так что ваше действие не повлияет на содержимое коробок в любом случае (их аргументация). Теперь, так получилось, что определенные типы безрассудных людей вознаграждаются Омегой (который делает это даже до того, как они приняли решение), но это не меняет заключения, что разумнее всего взять две коробки, что сделает вас богаче на тысячу долларов в любом случае, вне зависимости от содержимого Б.

Именно такой тип мышления я хотел раскритиковать, говоря что рационалисты должны выигрывать.

Миямото Мусаси сказал: «Основной целью, когда ты держишь в руках меч, должно быть стремление нанести рану врагу, в любой ситуации. Парируешь ты, бьешь, отбиваешь, делаешь выпад, касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

Я сказал: «Если тебе не удалось найти правильный ответ, бессмысленно говорить, что ты действовал правильно».

Вот что я на самом деле хотел донести, когда говорил, что рационалисты должны выигрывать.

Существует точка зрения, которая говорит, что определенный ритуал процесса познания — это образец разумности; таким образом он определяет, что должны делать разумные люди. Но, увы, часто разумные люди проигрывают неразумным, потому что вселенная не всегда разумна. Интеллект это лишь один из путей делать что-либо, не всегда самый подходящий; как если бы профессора разговаривали друг с другом в дискуссионном зале, что иногда срабатывает, иногда нет. Если же толпа варваров атакует дискуссионный зал, по-настоящему толковый и гибкий агент оставит разумность.

Нет. Если «иррациональный» агент превосходит вас систематическим и предсказуемым образом, тогда самое время посмотреть, думаете ли вы «рационально».

Я опасаюсь, что «рационалист» будет держаться за свой метод познания, даже если он терпит неудачу за неудачей, утешая себя: «Я веду себя так добродетельно и разумно, просто ужасно нечестно, что вселенная не дает мне того, что я заслуживаю. Другие просто жульничают, делая все нерационально, вот почему они меня обходят».

Это то, от чего я стараюсь предостеречь, говоря, что рационалисты должны выигрывать. Не скулить, а выигрывать. Если вы продолжаете проигрывать, возможно, вы делаете что-либо не так. Не утешайте себя тем, как вы были замечательно рациональны, если вы проиграли. Это не то, как должно все идти. Это не рациональность неправильна, это вы неправильно используете рациональность.

Это касается и эпистемологической рациональности, если вы осознаете, что думаете о убеждении Х как о разумном (потому что большинство людей верят в это же или просто потому что оно звучит привлекательно), хотя сам по себе мир определенно демонстрирует Y.

Но люди, похоже, понимают это иначе, нежели я имею в виду — словно любой, кто объявляет себя рационалистом, мгновенно преисполняется непобедимого духа, что позволяет им получать все что угодно без усилий и без каких-либо помех или чего-то подобного, я не знаю.

Возможно, альтернативную фразу можно найти у Мусаси, который сказал: «Путь школы Ити — это дух выигрывания, вне зависимости от длины и формы твоего клинка».

«Рациональность — это дух выигрывания»?

«Рациональность — это путь выигрывания»?

«Рациональность — это систематизированное выигрывание»?

Ученые уже всё это знают?

Элиезер Юдковский

poke утверждает:

«Умение выдвигать относящиеся к делу гипотезы – важный навык, развивая который, ученый проводит значительную часть своего времени. Это может не входить в традиционное описание науки – что не означает его отсутствия в институте современной науки, который добывает подлинное, актуальное знание здесь, в реальном мире: несовершенно ваше описание, а не наука».

Знаю, что я называл себя в молодости «глупым», но это лишь словесный оборот; «неумелое владение высоким интеллектом» было бы точнее. Элиезер18 обычно не делал очевидных ошибок – только его «очевидное» не было моим «очевидным».

Нет, я не проходил традиционное обучение. Но когда я оглядываюсь и вижу, что Элиезер18 делал неверно – я вижу множество современных ученых, делающих те же ошибки. Я не вижу ни одного признака, что они были предупреждены лучше, чем я.

Сэр Роджер Пенроуз – физик мирового уровня – все еще полагает, что сознание имеет причиной квантовую гравитацию. Предполагаю, что никто никогда не предупреждал его о таинственных ответах на таинственные вопросы – ему говорили лишь, что его гипотезы должны быть фальсифицируемы и иметь наблюдаемые следствия. Как и Элиезеру18.

«Cознание имеет причиной квантовую гравитацию» имеет проверяемые следствия. Сказанное подразумевает, что можно взглянуть на нейроны и обнаружить когерентную квантовую суперпозицию1, (которая, коллапсируя2?) способствует обработке информации, и что вы никогда не сможете воспроизвести поведение на входе-выходе нейрона, используя расчетную микроанатомическую симуляцию…

… но даже после того, как вы сказали: «Сознание имеет причиной квантовую гравитацию», вы не сможете на этой основе предсказать, как именно ваш мозг помыслит «Я мыслю, следовательно, я существую!» или таинственную красноту красного – даже если вы думаете, что тем самым прояснили вопрос.

Это громадный знак опасности – теперь я понимаю, но это не знак опасности, о которой я был предупрежден, и я сомневаюсь, что Пенроузу когда-либо говорил о ней его научный руководитель. Сомневаюсь, что и Нильс Бор был когда-либо предупрежден о ней, когда пришло время формулировать Копенгагенскую интерпретацию.

Насколько я могу сказать, причина, по которой Элиезер18, и сэр Роджер Пенроуз, и Нильс Бор не были предупреждены, в том, что не существует общепринятого предупреждения.

Я не обобщал понятие «таинственных ответов на таинственные вопросы» в столь многих словах, пока не начал писать байесианский анализ того, что отличает технические, нетехнические и полутехнические научные объяснения.

Сейчас, конечный результат того анализа может быть сформулирован не-технически в терминах четырех знаков опасности:

объяснение действует скорее как затычка для любопытства, чем как управление ожиданием.

у гипотезы нет подвижных частей – секрет не в особом составном механизме, а в явно неделимом веществе или силе.

те, кто предлагает объяснение, лелеют свое невежество; они с гордостью говорят, как явление одерживает победу над обычной наукой или как оно непохоже на обычные природные явления.

даже после того, как ответ дан, явление остается тайной и наделено теми же качествами удивительной необъяснимости, которые у него были изначально.

В принципе, все это могло быть заявлено как прямое следствие витализма. Так же, как простейшая теория вероятности могла быть придумана Архимедом, или древние греки могли разработать теорию естественного отбора. Но фактически никто никогда не предупреждал меня о какой-либо из этих четырех опасностей, в таких выражениях – в лучшем случае предупреждали, что у гипотез должны быть проверяемые следствия. И я не формулировал знаки опасности явным образом, пока не попытался помыслить вопрос в целом в терминах распределения вероятностей – требовалась некоторая избыточность подхода.

У меня просто нет причин верить, что эти предупреждения передаются при научном обучении – это определенно не так для большинства ученых. Среди прочего, это советы по управлению ситуациями смятения и отчаяния, научного хаоса. Как обычному ученому или научному руководителю мог бы представиться случай использовать подобную технику?

Мы только что провели дискуссию о провале одномирности в физике. Ясно, что никто не говорил им о формальном определении Бритвы Оккама, в виде тайного знания или как-то иначе.

Есть известный эффект, состоящий в том, что у великих ученых есть множество великих учеников. Может быть, это связано с тем, что наставники передают навыки, которые они не могут описать. Но я не думаю, что это засчитывается как часть стандартной науки. И если великие наставники не смогли облечь свое руководство в слова и огласить его во всеуслышание, это означает, что такие вещи вряд ли хорошо воспринимаются.

Мыслить в отсутствие явных свидетельств и не ошибиться мгновенно и бесповоротно – очень, очень трудно. Когда ты учишься в школе, ты можешь упустить один момент, а затем научишься пятидесяти другим моментам, которые окажутся верными. Когда ты обдумываешь новое знание в отсутствие сокрушительно подавляющего руководства, ты можешь упустить один момент и через 50 шагов очнуться во Внешней Монголии.

Я вполне уверен, что ученые, которые выключают свой мозг и погружаются в какую-нибудь уютную чепуху, как только покидают пределы своей специальности, не осознают, что разум есть двигатель, и за каждым надежным убеждением есть история причинности. Также, подозреваю, им никогда не говорили, что существует строгая рациональная вероятность, наделенная статусом свидетельства, в котором нет места произволу; даже если вы не можете рассчитать ответ, и даже если вы не получаете надежного указания, чем верить.

Сомневаюсь, что ученые, которых СМИ, рисующие изумительно детальные картины Жизни в 2050 году, попросили погадать о будущем, знали об ошибке конъюнкции. Или знали о том, как представительная эвристика может добиться того, что более детальные истории могут казаться более правдоподобными, притом что каждая лишняя деталь «разбавляет» вероятность. Представление о том, что каждая дополнительная деталь нуждается в собственном обосновании – о том, что невозможно выдумать длинную подробную историю, в точности как те, которым вас учили на уроках биологии или истории – жизненно необходимо для точного мышления в отсутствие определенных свидетельств. Но как подобное представление попадет в курс стандартного научного обучения? Когнитивные искажения были открыты лишь несколько десятилетий назад, и знание о них не распространялось до весьма недавних пор.

Далее, «эмоциональные пике» вокруг понятий вроде «эмерджентность» или «сложность», которые определены достаточно смутно, чтобы вы могли наговорить о них кучу умных слов. Вокруг того рода ошибок, что обычно делал Элиезер18, строятся целые научные направления! (Хотя я никогда не западал на эту вашу «эмерджентность»)

Иногда я говорю, что цель науки – накопить такую гору свидетельств, что даже ученые не смогут ее игнорировать; и что это отличительная черта ученого – не-ученый даже тогда оставит их все без внимания.

Если числом свидетельств – пусть огромным – можно добиться того, что вы в итоге отчаетесь, прекратите искать отговорки и просто сдадитесь – отбросите старую теорию и никогда больше ее не упомянете – тогда это все, что требуется, чтобы распахнуть двери Науки в будущее и воздвигнуть технологическую – а не религиозную – цивилизацию.

Книги Карла Сагана, Мартина Гарднера и другие артерии Традиционной Рациональности задуманы, чтобы преодолеть это различие – преобразовать кого-то из не-ученого в потенциального ученого и защитить его от экспериментально опровергнутого бреда.

Какое еще обучение получают профессиональные ученые? Частотная статистика учит вычислять статистическую значимость. Обучение по стандартной методике позволит им мусолить бумаги в рамках крепко устоявшейся парадигмы. Если б Наука требовала от среднего ученого больше – не думаю, что она смогла бы двигаться дальше. У нас хватает проблем от людей, проникших в науку до жути неподготовленными.

Ник Тарлтон отлично сформулировал итоговую проблему – на самом деле лучше, чем я. Если вы выдвигаете странно звучащую гипотезу, еще не подкрепленную свидетельствами, и пытаетесь проверить ее экспериментально, Наука не говорит, что вы дурак. Наука не доверяет своим старейшинам решать, какие гипотезы «не заслуживают проверки». Но это выверенно неточный общественный стандарт, и если вы попытаетесь сделать его стандартом индивидуальной эпистемологической рациональности, он позволит вам слишком многое принимать на веру.

Обращаясь к аналогии с либертарианством, основанном на прагматическом недоверии, это различие между «Сигареты не должны быть вне закона» и «Кури Мальборо!». Вы помните, чтобы вас хоть раз предупреждали об этой ошибке так подробно? Тогда почему бы людям не делать точно такую же ошибку? Сколько людей добровольно пройдут лишний километр – будут строже к себе, чем требуется? Некоторые, но не многие.

Многие ученые поверят любым глупостям вне лаборатории, пока они могут убедить себя, что эти глупости не были однозначно опровергнуты, или пока им удается не задавать вопросов. Где тот стандартный вузовский курс, после которого люди видят делающего глупость и спрашивают «Он что, отсутствовал, когда объясняли, почему нельзя?» Насколько я знаю, его нет.

Может, если вам очень повезло с преподавателем, он передал вам редкостные умения вроде «Спроси себя, какие задачи в твоей области наиболее важны, и работай над одной из таких вместо того, чтобы купиться на что-то простое и банальное» или «Будь точнее в выражениях, чем требует редактор, ищи новые способы избежать влияния твоих ожиданий на эксперимент, даже если это не общепринято».

Но я действительно не думаю, что существует тайная общепринятая научная традиция выверенного рационального мышления при ограниченных свидетельствах. Половина ученых все еще верят, что они верят в Бога! Сложные навыки не общеприняты.

1.Ква́нтовая (когерентная) суперпози́ция— это суперпозиция состояний, которые не могут быть реализованы одновременно с классической точки зрения, это суперпозиция альтернативных (взаимоисключающих) состояний.

2.Редукция или коллапс волновой функции — мгновенное изменение описания квантового состояния (волновой функции) объекта, происходящее при измерении.

Учи невыучиваемому

Элиезер Юдковский

Предыдущий в минисерии: Непередаваемое превосходство

Следует за: Искусственное сложение (English)

Литературный конвейер, который я называю «порнографией превосходства» не слишком хорош в том, что делает. Но это провал довольно важной задачи. Сравнив пользу цивилизации в целом от звёздных навыков Уоррена Баффета и от менее гламурного, но более передаваемого трюка «инвестируйте заново ваши доходы», вряд ли вы будете сомневаться. Легко заметить, как сильно изменится мир, если придумать, как выразить всего лишь ещё один навык, до сих пор бывшим секретным ингредиентом успеха. Не порнографическое обещание постичь душу звезды. Всего лишь способ надёжно передать ещё одну мысль, даже если она не означает всего…

Что делает успех таким сложным для повторения?

Голые статистические шансы всегда непередаваемы. Неважно, что вы можете сказать насчёт удачи, вы не можете научить кого-нибудь иметь её. Искусство хватать возможности и открывать себя положительным случайностям (English) обычно недооценивают. Я видел людей, останавливающихся на своём пути из-за «неудачи», которую предприниматель из Силиконовой долины раздавил бы, словно паровой каток – лежачего полицейского… Но даже так, остаётся чистый элемент случайности.

Успех Эйнштейна (English) зависел от его генов, давших ему потенциал, чтобы развить навыки сверх обычного уровня. Если навыки зависят от умственных способностей, вы не можете передать их большинству людей… но даже если такой потенциал – один-на-миллион, то шесть тысяч Эйнштейнов, разгуливающих по планете - совсем не плохо. (А если немного пофантазировать, то кто сказал, что гены непередаваемы? Просто требуется немного более продвинутая технология, чем школьная доска, только и всего.)

Итак, мы исключили истинно непередаваемое - что осталось? До куда можно отодвинуть границу? Чему возможно научить – пусть и очень сложно – но чему не учат?

Мне однажды сказали, что половина Нобелевских лауреатов были учениками других Нобелевских лауреатов. Этот источник (English, pdf) утверждает, что 155 из 503. (Интересно, что тот же источник подсказывает, что число Нобелевских лауреатов с «Нобелевскими дедушками» (учителями учителей) всего лишь 60.) Даже если сделать поправку на отбор выдающихся учеников и политическое проталкивание кандидатов, факты подсказывают, что можно перенимать вещи, находясь в ученичестве – наблюдение из-за плеча, беседы в свободной форме, постоянная правка ошибок в течение работы. Ни один Нобелевский лауреат ещё не преуспел в том, чтобы поместить всё это в книгу.

Что же это такое, чему учатся преемники Нобелевских лауреатов, но не может быть выражено словами?

Этот предмет притягивает меня, так как он сообщается с мета-уровнем, с источником в глубине, с пропастью между генератором и его выходом (English). Мы можем объяснить эйнштейнову теорию относительности студентам, но не можем сделать из них Эйнштейнов. (Если посмотреть на это с правильного угла, то весь гений человеческого интеллекта ничто иное как непередаваемое прозрение, которое есть у людей, но которое мы не можем объяснить компьютеру.)

Количество бессловесного интеллекта в нашей работе обычно недооценивается, потому что сами по себе слова намного легче анализировать (English). Но когда я обращаю внимание, я вижу, что большая часть моих поисковых способностей проявляется во вспышках восприятия, говорящих мне, что именно важно, какую мысль нужно думать следующей.

Когда я встретил своего ученика Марселло, он уже был лучше в математических доказательствах, чем я, по крайней мере, намного быстрее. Он соревновался на национальном уровне, но на подобных соревнованиях вам говорят, какие задачи важны. (А ещё на соревнованиях вы сразу сдаёте листочек с решениями и перескакиваете к следующей задаче, не анализируя, можно ли упростить доказательство, объять его целиком, получить из него ещё что-нибудь.) Но действительно важная вещь, которой я пытался научить – проверяя, можно ли вообще ей научить – было ощущение, какиепроблемы ИИ куда-нибудь ведут, а какие - пустышки. «Ты можешь жать на педали так же хорошо, как и я, - сказал я ему, когда он спросил меня, хорошо ли справляется, - но девяносто процентов времени рулю до сих пор я» Это были постоянные упорные попытки облечь в слова причины, почему я думал, что мы ещё не нашли по-настоящему важного прозрения, таящегося где-то в задаче, почему мы должны отбросить текущее доказательство Марселло, переформулировать задачу и попытаться ещё раз, с другого угла, чтобы узнать поймём ли мы проблему по-настоящему в этот раз.

Мы проходим через череду событий, и наш мозг использует неявный алгоритм, чтобы размолоть полученный опыт в сухой остаток, а затем - ещё один неявный алгоритм, чтобы сформировать из него нейронную сеть: процедурный навык, источник бессловесной интуиции, который вы знаете настолько быстро, что вы не знаете, что знаете его. «Нулевой шаг», - так я его называю, шаг в обуславливании вещей, который идёт до первого шага в решении и пролетает настолько быстро, что вы не понимаете, что он был.

Я горжусь умением облекать вещи в словесную формулировку, вникать в одномоментные вспышки озарений и высматривать в них узор и направление, даже если я не могу указать на механизмы, ответственные за них. Но когда я пытался передать остриё, фронт моих работ, где я расширял знание, слова были бессильны, и мне оставалось разбирать с Марселло задачу за задачей, надеясь, что его мозг уловит невыразимый ритм пилотирования: налево, направо; вот это, наверное, достойно развития, это – нет; это кажется ценным озарением, а это – всего лишь чёрная коробка вокруг нашего незнания.

Я ожидал, что так и будет; я никогда не надеялся, что самые главные части мыслей можно будет легко переложить на слова. Если бы это было так просто, то мы бы действительно создали искусственный интеллект в семидесятых.

Цивилизация продвигается, обучая выходу из генератора, а не генерированию. Эйнштейн произвёл многочисленные открытия, затем сгенерировал знание достаточно словесное, чтобы быть переданным студентам в университетах. Когда же нужен ещё один Эйнштейн, цивилизация может лишь затаить дыхание и надеяться.

Но если эти бессловесные навыки есть продукт опыта, то почему не передать опыт(English)? Или, если книги не слишком хороши, а они, наверное, и близко к этому не подходят, то почему бы не провести людей через череду тех же событий, чтобы передать опыт?

Звёзды могут и не знать, что было критически важным опытом.

Критически важные события могут быть сложными для воспроизведения. Например, каждый уже знает ответ к специальной теории относительности, и теперь мы не можем тренировать людей, давая им эту же задачу. Даже знание, что там что-то о взаимосвязи между пространством и временем, уже довольно сильный спойлер. Самая важная часть задачи и есть та, где ученик сверлит взглядом белый лист бумаги до тех пор, пока капли крови не выступят на лбу, пытаясь сообразить, о чём думать дальше. Навыки гениев редки, я уже упоминал (English), потому что мало возможностей практиковать их.

В дело может быть вовлечена удача или природный талант, подсказывая правильные вещи для изучения – нахождения высококачественного решения в пространстве бессловесных процедурных умений. Даже если мы проведём человека через те же испытания, останутся компоненты чистой случайности, влияющие на вероятность изучения того же невыразимого навыка.

Но, я думаю, всё ещё есть причина, продолжать описывать неописываемое и учить невыучиваемому.

Представьте развитие умений играть в азартные игры с изобретением теории вероятности несколько веков назад. В покере до сих пор сохранилась часть искусства, которое звёзды покера могут лишь частично передать на словах. Но в прошлом никто и понятия не имел, как вычислить шанс выпадения одних единиц на трёх кубиках. Может, опытный игрок и имел невыразимое понятие, что некоторые вещи более вероятны, чем другие, но не мог высказать его словами – не мог передать никому, что он узнал о вероятности, кроме как, может, через долгий процесс наблюдения за учеником из-за плеча и корректирования его ставок.

Чем больше мы узнаём что-либо в определённой области и наблюдаем звёзд за работой, тем больше мы узнаём о человеческом разуме в целом, тем больше мы можем надеяться, что новый навык превратится из непередаваемого в выучиваемый, а затем в публицируемый.

Вы можете объединить некоторые пути в семейство, даже если не способны выразить их словами. И даже если сами вы получили что-то благодаря удаче (включая генетическую удачу), вы можете уменьшить роль слепого случая.

Предупреждения о тупиках, задержавших вас. Это очевидный способ помочь.

Если вы выложите на стол набор мыслей, являющихся продуктом невыразимого навыка, кто-нибудь, читая их, может уловить ритм и сделать скачок к невысказанной вещи стоящей за мыслями. Это потребует намного меньше удачи, чем события, которые изначально и привели вас к приобретению этого навыка.

Есть хорошие аттракторы в пространстве решений – кластеризованные под-решения, которые дают доступ к остальным решениям в аттракторе. Тогда – даже если некоторые мысли не могут быть помещены в слова и требуется удача, чтобы набрести на них изначально – объяснения, как найти дверь, может быть достаточно, чтобы заякорить аттрактор.

Некоторый важный опыт вполне дублируем: например, можно советовать людям, какие книги читать или какие области изучать.

Наконец, прогресс науки в целом может лучше объяснить определённую область, и в некоторый момент вы внезапно поймёте, что именно вы знаете и как правильно высказать свои мысли.

И конечно, коронная фраза этой статьи: это те изменения, которые я надеюсь увидеть в некоторых аспектах человеческой рациональности, навыках, которые были до сих пор непередаваемыми или передаваемыми только от учителя к ученику напрямую. За последние несколько десятилетий мы немало узнали о них, и, я думаю, пора бы попытаться систематизировать полученные сведения.

Я жажду уменьшить роль удачи и таланта в обучении рационалистов высшего разряда.

Не выходи из комнаты

Скотт Александер

Психологи определяют «якорение» как способность раздражителя активировать мозг таким образом, что это влияет на ответы на последующие раздражители. Если это звучит недостаточно зловеще, можете переформулировать это как «любая случайная вещь, произошедшая с вами, может перехватить ваши суждения и личность на следующие несколько минут».

К примеру, вы входите в комнату и замечаете в углу чемодан-«дипломат». Ваш мозг теперь — гордый владелец активированного концепта «дипломат». Он на какое-то время настроен думать о дипломатах, и если уж на то пошло, об офисах, бизнесе, конкуренции и амбициях. На следующие несколько минут вы будете склонны воспринимать все социальные взаимодействия как конкурентные и вести себя соответственно. Эти небольшие сдвиги будут достаточно значительны, чтобы их можно было измерять, например, тем сколько денег Вы готовы поставить в игре «Ультиматум». Если это звучит как странная эзотерическая ерунда типа симпатической магии, я только могу отослать Вас к исследованию Кея, Уиллера, Барга и Росса от 2004 года (English)1.

Мы недавно обсуждали плюсы и минусы веры в Санта-Клауса. Вот, к примеру, один из плюсов: датские дети, которым показали изображение шапки Санта-Клауса, были более склонны делиться конфетами с другим ребенком. Почему? Исследователи предположили, что шапка активирует концепт Санта-Клауса, а Санта-Клаус активирует идеализированный концепт дарения и щедрости. Ребёнок после этого склонен относиться к щедрости положительно. Естественно, тот же эффект может быть использован и в обратном направлении. В том же исследовании дети, которым показали логотип известного магазина игрушек, были менее склонны делиться конфетами.

Но ведь этот эффект ограничен исследованиями в паре психологических лабораторий, так? Он не использовался для чего-нибудь вроде, скажем, изменения результатов крупных выборов?

Я знаю о двух хороших исследованиях эффекта прайминга в политике. В первом(English) субъектам подсознательно2 подсказывали буквенно-числовые комбинации, которые напоминали об атаках 11 сентября (например «911» или «WTC»), или случайные буквенно-цифровые сочетания. После этого их просили оценить деятельность администрации президента Буша. Те, кто видел случайные строки, оценивали Буша на неутешительные 42%. Те, кто подвергся якорению, напоминавшему о войне с террором, давали ему оценку в среднем 75%. Изменение довольно значительное, даже при том что никто из испытуемых не смог сознательно вспомнить какие либо упоминания о терроризме.

Во втором исследовании (English) учёные проанализировали данные из 2000 выборов в штате Аризона и выяснили, что место сбора подписей оказывает заметный эффект на результаты голосования. То есть люди, голосовавшие в школах, были более склонны поддерживать политики, направленные на улучшение образования, те, кто голосовал в церкви, были более склонны поддерживать социально консервативные предложения. Сдвиг предпочтений составляет примерно три процента. Подумайте обо всех выборах, завершившихся с перевесом менее чем в три процента…

Возражение: после не значит вследствие! Религиозные люди, возможно, просто живут ближе к церквям и знают, где находится местная церковь, и так далее. Именно поэтому учёные провели большую работу по регрессионному анализу и поправкам к данным. Результат получился тем же.

Возражение: возможно, поправки были не слишком хорошими! Те же учёные собрали голосовавших в своей лаборатории, показали им фотографии зданий и пригласили участвовать в условном голосовании по образовательным вопросам. Те, кому показывали фотографии школ, были более склонны голосовать за образовательные инициативы, чем те, кто видел обычные здания.

Какие техники эти исследования предлагают рационалистам? Мне хочется сказать, что лучший способ защититься — никогда не покидать своей комнаты, но есть и менее радикальные методы. Во-первых, избегайте сильных раздражителей за несколько минут до принятия важного решения. Все знают о террористических атаках 11 сентября, но эти события влияли только на решения тех людей, которые были подвергнуты действию соответствующих раздражителей прямо перед ответом 3.

Во-вторых, постарайтесь принимать решения в нейтральной обстановке и придерживаться их. Самый простой способ нейтрализовать влияние места голосования — это решить, за кого голосовать, пока ещё не вышел из дома, и потом придерживаться этого решения (кроме случаев, когда вас посещает какое-то внезапное озарение на пути к кабинке для голосования). Вместо того, чтобы не покидать свою комнату, лучше принимать решения в ней и выносить их в готовом виде в наполненный раздражителями мир.

Я не могу не вспомнить о старой традиции рационалистов «очищать свой разум» перед принятием важного решения. Или совет «утро вечера мудренее».

Независимо от того, будете ли вы применять какие нибудь формальные техники, отдых в свободном от раздражителей окружении в течение нескольких минут будет неплохим выбором.

1.Полагаю, симпатическая магия действительно имеет какие-то эффекты наподобие плацебо, именно по вышеприведённой причине.

2.Якорение — один из феноменов, провоцирующих истерию вокруг сублиминальных сообщений в рекламе. Плохая новость состоят в том, что эффект вполне реален: изображение попкорна, незаметно для сознания промелькнувшее на экране, может заставить вас думать о попкорне. Хорошая новость состоит в том, что эффект не так уж опасен: ваше желание купить попкорн будет таким же, как если бы вы увидели обычное изображение попкорна на экране.

3.Очевидное возражение: если вы оцениваете действия администрации Джорджа Буша, было бы странным, если бы вы не вспомнили о террористических атаках. Я не видел исследований, напрямую затрагивающих такой вариант, но возможно, что внешняя ссылка, пришедшая не в ходе собственных рассуждений, активирует вас сильнее, чем если бы вы вспомнили об этих событиях самостоятельно

Обобщение на одном примере

Скотт Александер

«Все делают общие выводы из одного примера. По крайней мере, я делаю именно так.» — Влад Талтош, «Исола», Стивен Браст

Мой старый преподаватель, Дэвид Берман, любил говорить о том, что он называл «заблуждением о типичном разуме». Иллюстрировал он это следующим примером:

В конце 19 века происходили споры о том, чем является «воображение» — просто речевым оборотом или реальным феноменом. То есть, способны ли люди действительно создавать в уме изображения, которые они наглядно видят, или они просто используют фразу «Я мысленно себе это представил» в качестве метафоры?

Когда я это услышал, моей первой реакцией было «Как, #@$%, можно об этом спорить? Естественно, мы можем представлять вещи в уме. Любой кто так не думает — либо настолько фанатичный бихевиорист, что не доверяет собственному опыту, либо просто безумен». К сожалению, профессор мог привести огромный список достаточно известных людей, отрицавших существование мысленных образов, включая видных людей той эпохи. И всё это до того как бихевиоризм вообще появился.

Спор был разрешён Фрэнсисом Галтоном, удивительным человеком, который помимо прочих достижений изобрёл евгенику, «мудрость толпы» и стандартное отклонение. Галтон давал людям очень детальные опросники и выяснил, что некоторые люди способны пользоваться мысленными образами, а некоторые — нет. Те, кто мог, попросту предполагали что все могут так же, те же кто не мог, предполагали что никто не может представлять вещи в уме. Уверенность людей в своей правоте была столь непоколебима, что временами они придумывали совершенно абсурдные объяснения — например, что другие врут или просто не понимают вопроса. Способность представлять вещи в уме варьировалась в широких пределах: примерно пять процентов опрошенных обладали абсолютным эйдетическим воображением1, и примерно пять процентов были совершенно неспособны формировать изображение в уме2.

Доктор Берман назвал эту тенденцию людей считать, что структура их мышления может быть обобщена для применения к другим людям, «заблуждением о типичном разуме».

Он взялся за эту идею и развил её. Он интерпретировал некоторые отрывки биографии Джорджа Беркли, чтобы показать что у Беркли было эйдетическое воображение, и именно поэтому идея Вселенной как чувственного восприятия так его интересовала. Он также предположил, что опыт сознания и квалиа варьируется так же, как воображение, и что философы, отрицавшие их существование (Райл? Деннет? Бихевиористы?), просто были людьми, чей мозг был лишён возможности легко испытывать квалиа. В целом, он верил, что философия разума полна примеров философов, взявших за образец собственный умственный опыт и строивших теории на его основе, и других философов с другим умственным опытом, критикующих первых и не понимающих, как можно было так ошибиться.

Формально, термин «заблуждение о типичном разуме» можно применять лишь к моделям структуры нашего мышления. Но я находил и множество примеров, связанных скорее с психикой, нежели с разумом: тенденцию обобщать на основе собственной личности и поведения.

К примеру, я — один из самых глубоких интровертов, которых вам, скорее всего, доводилось встречать; более замкнутые люди вообще ни с кем не контактируют. В течении всей школьной жизни я подозревал, что другие дети имеют что-то против меня. Они постоянно хватали меня, когда я был чем-то занят, и пытались втянуть меня в какие-то свои игры с друзьями. Когда я протестовал, они не обращали внимания и говорили мне, что я должен бросить свои бессмысленные занятия и пойти с ними. Я считал их хулиганами, специально пытающимися достать меня, и постоянно придумывал способы спрятаться от них или отпугнуть.

В конце концов я понял, что это было двойным непониманием. Они считали, что я должен быть таким же, как они, и единственное, что мешало мне участвовать в их играх — это стеснительность. Я же считал, что они — такие же, как я, и единственное, что может заставить их отрывать занятого человека от дела, — это желание ему досадить.

Также: я не переношу шум. Если кто-нибудь шумит, я не могу спать, не могу учиться, не могу сконцентрироваться, не могу делать ничего — только биться головой в стену и надеяться, что они прекратят шуметь. Одно время у меня была шумная соседка по дому. Когда я просил её быть потише, она говорила, что я слишком чувствительный, и мне стоит просто отдохнуть. Я не скажу, что был сильно лучше неё: она была жуткой чистюлей и постоянно возмущалась из-за того, что я оставлял вещи где попало. Я же, в свою очередь, говорил, что ей стоит просто отдохнуть, и всё равно незаметно, есть на комоде пыль или нет. Мне не приходило в голову, что эта чистоплотность была для неё так же необходима и безусловна, как тишина для меня, и дело действительно было в разнице способов обработки информации у нас в мозге, а не просто в тараканах у неё в голове.

Фразы «просто тараканы в её голове» и «просто слишком чувствителен» говорят нам о проблеме, связанной с заблуждением о типичной психике, а именно: заблуждение о типичной психике невидимо. Мы склонны преуменьшать роль разной организации мышления в разногласиях, и приписывать проблемы тому, что другой участник конфликта намеренно или случайно действует нам наперекор. Я знаю, что громкий шум серьёзно мучит и изнуряет меня, но когда я говорю об этом с другими, они думают что я просто немного помешан на тишине. Подумайте о тех бедолагах, неспособных создавать визуальные образы, которые считают, что все остальные просто метафорически рассуждают об образах в своём воображении и не собираются отказываться от этих метафор.

Я пишу сюда потому, что именно рациональность может помочь нам справиться с этими проблемами.

Есть определённые доказательства тому, что наш обычный способ взаимодействия с людьми включает в себя что-то вроде моделирования их внутри нашего собственного мозга. Мы думаем о том, как бы мы отреагировали, делаем поправку на различия между людьми, и предполагаем, что другой человек будет действовать именно так. Этот способ взаимодействия очень привлекателен, и часто кажется, будто он должен неплохо работать.

Но если статистика говорит нам, что метод, который работает с вами, необязательно сработает с кем-нибудь другим, то вера своему внутреннему чутью — это именно заблуждение о типичной психике. Надо быть хорошим рационалистом, отбросить внутреннее чутье и следовать за данными.

Я понял это, когда недавно работал школьным учителем. Много книг посвящены методам преподавания, которые нравятся студентам и способствуют лучшему усвоению материала. В свои школьные годы я был, эм-м… подвергнут ряду этих методов, и у меня не осталось никакого желания мучить своих студентов подобным образом. И когда я попробовал разные креативные подходы, которые, как мне казалось, понравились бы мне-ученику… всё окончилось полной неудачей. Что же в конце концов сработало? Методы, близкие к тем, которые я так ненавидел в детстве. Ох. Ладно. Теперь я знаю, почему они так широко используются. А я-то всю жизнь думал, что мои учителя — просто ужасные педагоги, не понимая, что я просто странный статистический выброс, на которого подобные методы не действуют.

Я пишу сюда ещё и потому, что мне кажется эта тема имеет отношение к обсуждению соблазнения, которое проходит в обсуждении Bardic, начатом MBlume. Там есть много не слишком лестных вещей о женщинах, в которые тем не менее верят мужчины. Некоторые считают, что женщины никогда не согласятся на романтические отношения со своими друзьями-мужчинами, предпочитая альфа-самцов, которые к ним в итоге плохо относятся. Другие считают, что женщины сами хотят, чтобы им врали и обманывали их. Я мог бы продолжать, но думаю в том обсуждении всё это и так неплохо представлено.

Тем не менее, от большинства женщин я слышу, что это полная ерунда и женщины вовсе не такие. Что же тут происходит?

Ну, боюсь, я в чём-то верю «соблазнителям». Они вложили много сил и времени в своё «искусство» и, по крайней мере по собственным заявлениям, довольно в этом успешны. И все эти несчастные романтически разочарованные парни, которых я встречаю, не могут полностью ошибаться.

Моя теория состоит в том, что женщины в данном случае становятся жертвой заблуждения о типичной психике. Те женщины, которых я об этом спрашивал — далеко не репрезентативная выборка из всех женщин. Это такие женщины, с которыми стеснительный и довольно замкнутый парень знаком и может поговорить о психологии. Точно так же, женщины, которые пишут в Интернете на эту тему — не репрезентативная выборка. Это женщины с хорошим образованием, у которых есть чётко выраженное мнение по гендерным вопросам и время, чтобы писать о своём мнении в блог.

И, чтобы не показаться шовинистом, то же самое справедливо и для мужчин. Я слышу много плохого о мужчинах (особенно с точки зрения их отношения к романтике), но я не могу сказать такого о себе, своих близких друзьях или о ком-либо, кого я знаю. Но эти мнения настолько распространены и так широко поддерживаются, что у меня есть определённый повод им верить.

Эта статья становится всё менее строгой и всё дальше уходит от темы заблуждения о типичном разуме. Сначала я перешёл к заблуждению о типичной психике, чтобы обсудить материи скорее психологического и социального плана, нежели умственного. А теперь она расширилась так, чтобы включить в себя и другую похожую ошибку — суждение о всех людях по собственному социальному кругу, убеждение в том, что твоё окружение репрезентативно; такое убеждение очень редко оказывается верным3.

Изначально статья называлась «Заблуждение о типичном разуме», но я убрал из названия все намёки и переименовал её в «Обобщение на одном примере», потому что именно это связывает все перечисленные ошибки. Мы непосредственно знаем только один разум, одну психику, один социальный круг, и нам хочется считать их типичными даже в присутствии доказательств обратного.

Для читателей LessWrong это, думаю, особенно важно, так как эти люди, насколько я могу судить, в большинстве своём выпадают из общего ряда на любом из изобретённых психометрических тестов.

1.Эйдетическое воображение, слабо связанное с «фотографической памятью», это способность визуально представлять себе что либо и видеть это так же ясно, ярко и чётко как и при обычном зрении. Пример, который приводил мой профессор, состоит в том что, хотя многие люди могут представить себе тигра, только эйдетик способен сосчитать на нём полоски.

2.Согласно результатам Галтона, людей неспособных формировать визуальные изображения было очень много в математике и науке вообще. Со времён Галтона эти идеи подвергались сомнению, но я не могу найти соответствующих исследований.

3.Пример, который окончательно меня убедил: как вы думаете, какой процент старшеклассников списывают на контрольных и экзаменах? Какой процент воровали что-либо из магазина? Попробуйте предположить ответы на эти вопросы сами, прежде чем смотреть ответ. Кто-то недавно провёл исследования на эту тему, и результаты таковы: две трети списывали и треть воровала в магазинах. Это шокировало меня и всех, кого я знаю — мы не списывали и не воровали в школе, и не знали никого, кто бы так делал. Я целый вечер потратил на то, чтобы найти данные, опровергающие или ставящие под сомнение результаты исследования, и не смог ничего найти.

Презумпция типичности — худший аргумент в мире?

Скотт Александр

Некоторое время назад Дэвид Стоув провёл конкурс на самый худший аргумент в мире, но учитывая, что он отметил победителем собственного номинанта, да ещё и поддерживающего его философские взгляды, едва ли процесс отбора можно назвать объективным.

Если он может вот так единолично объявить худший аргумент в мире, то могу и я. Я назначаю самым худшим аргументом в мире приём: «X относится к категории, чей типичный представитель вызывает у нас определённую эмоциональную реакцию. Следовательно такую же эмоциональную реакцию должен вызывать и X, даже если это далеко не самый обычный представитель категории.»

Назовём это «презумпцией типичности». Звучит довольно глупо, когда выражаешь этот принцип так. Да кто вообще так делает?

Но звучит он глупо, только если мы рассуждаем исключительно в терминах категорий и признаков. Когда этот софизм облачают в разговорные слова, он становится столь силён, что большая часть плохих доводов в истории политики, философии и культуры чем-то походит на презумпцию типичности. До них мы ещё доберёмся, а пока рассмотрим простой пример.

Предположим, что кто-то захотел поставить памятник Мартину Лютеру Кингу за его ненасильственное сопротивление расизму. Несогласные могут возразить так: «Но ведь Мартин Лютер Кинг был преступником!»

Любой историк может это подтвердить. Технически, преступник — это человек, нарушивший закон. Как известно, Кинг действовал вопреки закону, запрещающему проведение демонстраций против сегрегации. За это он попал в Бирмингемскую тюрьму, где и написал своё знаменитое письмо.

В этом случае Мартин Лютер Кинг — нетипичный преступник. Классическим примером преступника можно считать, скажем, грабителя. Он гонится за наживой, обманывает ни в чём неповинных людей, подрывает основы общества. Всё это мы осуждаем, и потому, назвав человека преступником, мы автоматически начинаем относиться к нему хуже.

Всё те же несогласные скажут: «Мартин Лютер Кинг — преступник, а так как преступников все ненавидят, ненавидеть нужно и Кинга». Но у Кинга нет тех признаков, которые и заставляют нас плохо относиться к преступникам, а именно лживости, асоциальности и жажды наживы. Следовательно, несмотря на то, что он преступник, нет причин его презирать.

Всё это звучит логично и последовательно, когда подаётся в таком формате. К сожалению, это на сто процентов противоречит инстинктивному побуждению ответить: «Мартин Лютер Кинг? Преступник? Он не был преступником! А ну возьми свои слова обратно!» Вот почему презумпция типичности столь успешна. Как только ты это сказал, ты попался в ловушку. Спор больше не о статуе, а о том, был ли Мартин Лютер Кинг преступником. А так как, технически, преступником он был, спор заранее проигран.

В идеале нужно суметь ответить: «Ну, Мартин Лютер Кинг был хорошим преступником.» Увы, это довольно сомнительный дискуссионный манёвр, его сложно применить в некоторых случаях, где обычно используется вышеописанный софизм.

Теперь я хочу рассмотреть несколько частных случаев. Многие имеют политическую подоплёку 1, за что я извиняюсь, но довольно сложно вычленить плохой аргумент из конкретных споров. Ни один из них не призван намекнуть, что позиция, которую он поддерживает, неверна (на самом деле, я разделяю некоторые из них). Примеры лишь показывают, что некоторые конкретные аргументы ошибочны. Например:

«Аборт — это убийство!» Типичный пример убийства — это Чарльз Мэнсон, врывающийся к тебе домой и стреляющий в тебя. Такой тип убийств плох по многим причинам: ты предпочитаешь не умирать, у тебя есть определённые мечты и надежды, которые погибнут вместе с тобой, твои семья и друзья испытают определённые душевные страдания, а остальное общество будет жить в страхе, пока Мэнсона не поймают. Если определить убийство как «забирание жизни другого человека», тогда, технически, аборт — убийство. Но у него нет многих отрицательных последствий убийства в стиле Чарльза Мэнсона. Хотя аборты можно критиковать по многим другим причинам, фраза «аборт — это убийство» призывает испытывать одинаковые негативные чувства в случае Мэнсона и в случае аборта, игнорируя отсутствие многих характерных черт при последних обстоятельствах. Тех черт, которые изначально и породили эти негативные чувства 2.

«Модификация генов для лечения болезней — это евгеника!» Окей, тут ты меня поймал: если определять евгенику как «попытки улучшить генетический пул человечества», это действительно верно. Но что не так с евгеникой? «Что не так с евгеникой? Гитлер занимался евгеникой! Неэтичные учёные из пятидесятых годов, которые стерилизовали чёрных женщин без их согласия, занимались евгеникой!» А что не так с Гитлером и теми учёными? «Что значит, „что с ними не так“? Гитлер убил миллионы людей! Те учёные тоже разрушили жизни многих.» Разве использование модификации генома для лечения болезней делает что-то подобное? «Ну… не совсем.» Тогда что с ним не так? «Это евгеника!»

«Эволюционная психология — это сексизм!» Если определять «сексизм» как «веру в различие между полами», это верно по крайней мере про часть эволюционной психологии. Например, принцип Бейтмэна постулирует, что у видов, где женские особи инвестируют больше усилий в воспитание потомства, ритуалы спаривания предполагают, что мужские особи будут ухаживать за женскими чтобы основать пару, а это закладывает фундаментальное психологическое различие между полами. «Отлично, значит, ты признаешь, что это сексизм!» Напомни, почему именно сексизм — это плохо? «Потому что сексизм утверждает, что мужчины лучше женщин, и что у женщин должно быть меньше прав!» Это как-то следует из принципа Бейтмэна? «Ну… не совсем.» Так что же с ним не так? «Это сексизм!»

Второй, чуть более изящный способ использования презумпции типичности выглядит так: «X принадлежит к категории, чей типичный представитель вызывает некоторую эмоциональную реакцию. Следовательно, мы должны применять ту же эмоциональную реакцию к X, даже если X приносит пользу, которая перевешивает вред.»

«Смертный приговор — это убийство!» Убийство в стиле Чарльза Мэнсона приносит только вред. Поэтому оно вызывает столь сильное отторжение. Сторонники высшей меры наказания считают, что оно позволяет уменьшить преступность или принести другую сопутствующую пользу. Другими словами, они считают, что это «хорошее убийство» 3, как во вводном примере Мартин Лютер Кинг был «хорошим преступником». Но так как обычное убийство — это табу, сложно воспринять выражение «хорошее убийство» всерьёз, ведь даже само упоминание слова «убийство» может вызывать точно такую же негативную реакцию, как и в стандартном случае.