Рациональность: От ИИ до Зомби

Слова как скрытые умозаключения

Элиезер Юдковский

Предположим, что я наткнулся на бочку, верх которой запаян, но в которой есть дыра такого размера, что в неё пролезает рука. Я просовываю ладонь внутрь и нащупываю что-то маленькое и изогнутое. Я вытаскиваю объект наружу — это голубоватое яйцо. Я просовываю руку ещё раз: что-то жёсткое и плоское, с рёбрами — после извлечения это оказывается кубом красного цвета. В итоге я вытащил 11 яиц и 8 кубов, и каждое яйцо синее, и каждый куб красный.

На этот раз, просунув руку внутрь, я нащупал ещё один объект яйцеобразной формы. Пока я не извлёк его из бочки, я пытаюсь угадать: как он выглядит?

Имеющиеся свидетельства не доказывают, что каждое яйцо в бочке синее, и что каждый куб красный. Свидетельства даже не дают этому сильных обоснований: 19 — не очень большой размер выборки. Тем не менее, я предполагаю, что это яйцо синее — или, что менее вероятно, но всё же занимает второе место, красное. Думать о других вариантах бессмысленно: возможностей столько, сколько существует различимых цветов — и почему яйцо должно быть выкрашено в один цвет? Может быть, на нём нарисована лошадь.

Посему я говорю «синее», и слова эти покрыты послушной долгу патиной смиренности: ибо я искушённый рационалист, привыкший следить за своими допущениями и догадками. Я тыкаю пальцем в небо, но я осознаю, что я тыкаю пальцем в небо, верно?

Однако, когда из теней выпрыгивает объект котообразной формы, покрытый жёлтыми и чёрными полосами, в моей голове проносится «Ой! Тигр!». Не «Хммм… полосатые объекты большого размера и жёлтого цвета, форма которых типична для представителей семейства кошачьих, ранее очень часто обладали свойствами «голодный» и «опасный», и поэтому — несмотря на то, что строгой логической необходимости в этом нет — можно сделать довольно неплохой с эмпирической точки зрения вывод о том, что ааааааргххххХРУМ ХРУМ ЧАВК»

По какой-то странной причине в процессе эволюции человеческий мозг научился производить это умозаключение быстро, автоматически, и не отслеживая все использованные допущения явно.

И если я назову яйцевидные объекты словом «сияйца» (что будет означать «синие яйца»), а красные кубы словом «крубы», то тогда, нащупав в бочке ещё один яйцевидный объект, я могу подумать «о, это сияйцо» вместо того, чтобы рассуждать о проблеме индукции и прочих вещах того же рода.

Убеждение о том, что ты можешь определить слово так, как тебе нравится, — распространённое заблуждение.

Это было бы правдой, если бы мозг воспринимал слова исключительно как логические конструкции, аристотелевы классы, а ты никогда бы не вытаскивал информацию, изначально не положенную внутрь.

И всё же мозг продолжает своё занятие категоризацией вне зависимости от того, одобряем ли мы это сознательно. «Все люди смертны, Сократ человек, следовательно Сократ смертен» — рассуждали философы древней Греции. Ну что же, если смертность — часть определения логического понятия «человек», то ты не можешь классифицировать Сократа как человека до тех пор, пока ты не убедишься в его смертности. Однако — в этом и состоит проблема — Аристотель прекрасно знал, что Сократ является человеком. Мозг Аристотеля поместил Сократа в категорию «люди» также эффективно, как и твой мозг категоризирует тигров, яблоки, и всё своё окружение: быстро, безмолвно, и без сознательного одобрения.

Аристотель заложил правила, согласно которым никто не мог установить, что Сократ был «человеком», не пронаблюдав его смерти. Тем не менее, Аристотель и его ученики спокойно делали выводы о том, что ещё живые горожане были людьми, и, следовательно, смертными; они видели отличительные свойства — человеческие лица и человеческие тела — и их мозги совершали прыжок в сторону неявных свойств, таких, как смертность.

Неверное понимание алгоритма действий своего разума, к счастью, не мешает ему выполнять свою работу. Иначе последователи Аристотеля умерли от голода, неспособные сделать вывод об съедобности объекта на основании всего лишь того, что он выглядел и пах, как банан.

И последователи Аристотеля отправились классифицировать окружающее на основании неполной информации, точно также, как делали и все предыдущие поколения людей. Процесс мышления учеников Аристотеля нисколько не изменился из-за того, что они узнали принципы классической логики, однако они приобрели ошибочное представление о том, чем они занимались.

Если бы ты спросил философа-последователя Аристотеля о том, смертна ли Кэрол, торговец бакалейными товарами, то ты бы услышал положительный ответ. Почему? «Все люди смертны, Кэрол — человек, значит, Кэрол — смертна» — объяснил бы философ. Что это — предположение или несомненный факт? На этот вопрос философ бы ответил «разумеется, несомненный факт» (по крайней мере, если бы дело происходило раньше шестнадцатого века). Поинтересуйся, откуда он знает, что люди смертны, и получи ответ о том, что это закреплено в определении.

Последователи Аристотеля по-прежнему были людьми, они сохранили свою изначальную природу, но они приобрели неверные убеждения о своём внутреннем функционировании. Они смотрели в зеркало самосознания и видели что-то, непохожее на них самих; корректность их рефлексии была нарушена.

Твой мозг видит в словах нечто большее, чем просто логические определения без эмпирических последствий, и тебе следует последовать его примеру. Одного лишь создания нового слова достаточно для того, чтобы твой разум выделил ему категорию, и тем самым запустил бессознательные умозаключения о похожести. Или заблокировал умозаключения о похожести: создав два ярлыка, я могу заставить твой разум выделить две категории. Ты обратил внимание на то, что я сказал «ты» и «твой мозг» так, будто это две разные вещи?

Наличие заблуждений о том, как работает содержимое твоего черепа никак не влияет на это содержимое; иначе Аристотель пал бы бездыханным в тот же миг, когда заключил, что мозг — орган для охлаждения крови. Философские ошибки обычно не взаимодействуют с требующими доли секунды бессознательными умозаключениями.

Но философские ошибки могут чрезвычайно испортить процессы осознанного мышления, в том числе и те, которые используются для коррекции первых впечатлений. Если ты считаешь, что можно «определить слово так, как тебе нравится», не понимая, что твой мозг продолжает категоризировать без сознательного надзора, то ты не потратишь никаких усилий на то, чтобы выбрать свои определения с умом.

Экстенсионалы и интенсионалы

Элиезер Юдковский

— Что такое красный?

— Красный — это цвет.

— Что такое цвет?

— Цвет — это свойство вещи.

Но что такое вещь? И что такое свойство? И вскоре собеседники теряются в лабиринте слов, определенных через другие слова. Стивен Харнард описывал эту проблему, как обучение китайскому языку через китайско-китайский словарь.

С другой стороны, если вы меня спросите: «Что такое красный», я могу показать на знак «Стоп», затем на кого-то в красной рубашке, на светофор, если он в данный момент красный, на кровь, если я случайно порезался, на красную визитку. И наконец, я мог бы открыть палитру цветов на компьютере и указать курсором на красную область. Скорее всего, этого было бы достаточно, однако, если вы знаете значение слова «нет», то какой-нибудь сторонник строгости настаивал бы, чтобы я указал на небо и сказал: «Нет».

По-моему, я украл этот пример у С. И. Хаякавы, но я не особо в этом уверен, потому что это одно из моих туманных детских воспоминаний. (Когда мне было 12, мой отец случайно удалил все мои файлы на компьютере, и у меня не осталось никаких воспоминаний о том, что было раньше).

Но, кажется, именно тогда я впервые узнал про разницу между экстенсиональным и интенсиональным определением. Дать «интенсиональное определение» — определить слово или фразу в контексте других слов, как это делается в словаре. Дать «экстенсиональное определение» — указать на пример, как это делают взрослые, когда объясняют что-то ребенку. Предыдущее предложение — интенсиональное определение «экстенсионального определения», что делает его экстенсиональным примером «интенсионального определения».

С точки зрения «голливудской рациональности» и поп-культуры в целом, «рационалисты» одержимы смыслами слов и плавают в бесконечном вербальном пространстве, оторванном от реальности.

Но настоящие «традиционные рационалисты» давно настаивают на сохранении прочной связи с опытом1:

Если вы заглянете в учебник химии в поисках определения лития, вы, возможно, обнаружите, что это элемент, атомный вес которого очень близок к семи. Но если у автора более логический склад ума, то он сообщит вам, что вам следует искать среди минералов, стекловидных, прозрачных, серых или белых, очень твердых, хрупких и нерастворимых, такой, который придает малиновый оттенок несветящемуся пламени; этот минерал, растертый в порошок вместе с известью или с так называемым крысиным ядом и расплавленный, может быть частично растворен в соляной кислоте; если этот раствор выпарить и осадок с помощью серной кислоты должным образом очистить, то обычными методами он может быть обращен в хлорид; если этот хлорид получить в твердом виде, расплавить и подвергнуть электролизу с помощью полудюжины мощных элементов, то образуется шарик розового, серебристого металла, который будет плавиться на газолиновой горелке; вот это вещество и есть образчик лития.

Чарльз Сандерс Пирс

Это пример «логического склада ума», как его видят «традиционные рационалисты», а не голливудские сценаристы.

Отметим, что Пирс не показывает нам кусочек лития. В комплекте с его книгой не идут куски лития. Скорее он дает карту сокровищ — интенсионально описанную процедуру, которая, будучи выполненной, приведет нас к экстенсиональному примеру лития. Это не то же самое, что и кинуть в вас куском лития, но и не то же самое, что и сказать «атомный вес семь». (Однако, если у вас особенно острый глаз, то фраза «три протона» позволит вам сразу понять, что речь идёт о литии…)

Итак, я описал, что такое интенсиональное и экстенсиональное определения. С их помощью можно передать кому-нибудь смысл, который вы вкладываете в концепт. Когда я выше разговаривал про «определения», я говорил про способ передачи концептов, т.е. о том, как сообщить кому-то, что именно вы имеете ввиду, когда говорите «красный», «человек», «тигр» или «литий». Теперь давайте поговорим о самих концептах.

Реальный интенсионал концепта «тигр» для меня — реакция совокупности нейронов (в височной коре), обрабатывающих входящий сигнал зрительной коры с целью определить, тигр это или нет.

Реальный экстенсионал концепта «тигр» для меня — все, что я называю тигром.

Интенсиональные определения не учитывают все интенсионалы; экстенсиональные — все экстенсионалы. Если я покажу на одного тигра и скажу «тигр», коммуникация может провалиться, если те, кому я показал, подумают что я имею в виду «опасное животное» или «самец тигра» или «жёлтая штука». Аналогично, если я скажу «опасное животное с жёлто-черными полосками», не указав пальцем на что-либо, слушатель может вообразить гигантского шершня.

У вас не получится описать словами все детали существующего в вашей голове механизма, позволяющего вам отличать тигров от не-тигров. Он слишком сложен. И вам не удастся показать пальцем на всех тигров, которых вы когда-либо видели, не говоря уже о том, чтобы показать на всё, что вы можете называть тигром.

Чтобы лучше всего выразить концепт, чтобы точнее всего передать смысл понятия, оно определяется через совокупность интенсионалов и экстенсионалов. Но даже с учётом этого, мы лишь передаем карты концептов или инструкции для постройки таковых, а не реальные категории в том виде, в котором они существуют в нашем разуме или в реальности.

(Разумеется, немного изобретательности, и можно соорудить исключения для этого правила. Например, «Четвёртого февраля 2008 года Элиезер Юдковский опубликовал предложение, содержащее термин „хурагалони“». Только что я показал весь экстенсионал этого концепта. Но, за исключением математики, определения обычно являются картами сокровищ, а не сокровищами).

И это ещё одна причина, почему вы не можете «определять слова так, как вам захочется» — вы не можете запрограммировать концепты прямо в чей-то мозг.

Даже внутри Аристотелевой парадигмы, где мы притворяемся, что определения являются концептами, нет одновременной свободы интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную каменную сферу, примерно в 1/10 массы Земли и на 50% дальше от Солнца». Мне придется отдельно показывать, что это интенсиональное определение совпадает с конкретной экстенсиональной штукой в моем опыте, или даже совпадает с реальной штуковиной. С другой стороны, если я скажу «это Марс» и покажу на красную точку на ночном небе, мне придется отдельно показывать, что эта экстенсиональная красная точка совпадает с конкретным интенсиональным определением, которое я мог бы предложить, или с каким-то моим интенсиональным убеждением — вроде «Марс — бог войны».

Но большая часть мозговой деятельности по сооружению интенсионалов протекает подсознательно. У нас нет осознанного понимания, что наше определение красного света с неба как «Марса» никак не связано со словесным определения «Марс — это бог войны». Неважно, какие интенсиональные определения я изобрету для Марса, мой разум верит в то, что «Марс» — это отсылка на ту точку на небе , которая является четвертой планетой Солнечной системы.

Если мы учтём, как на самом деле работает человеческий разум, то идея «я могу определять слова так, как мне захочется» вскоре превращается в «я могу верить в то, во что мне захочется, относительно любого заданного набора объектов» или «я могу по желанию объявлять, что предмет принадлежит или не принадлежит к любому наперёд заданному множеству, описываемому понятием». Подобно тому, как вы не можете передать весь интенсионал концепта словами, потому что это большой и сложный тест на принадлежность к множеству, осуществляемый вашими нейронами, вы не можете управлять всем интенсионалом концепта сознательно, потому что он создается подсознательно. Именно поэтому аргументация «по определению» так популярна. Если бы изменения определений изменяли эмпирическую реальность определяемых объектов, то спорить о них было бы неинтересно. Но стоит лишь слегка злоупотребить определениями, и они превращаются в волшебные палочки (в спорах, разумеется, а не в реальности).

1.Цитируется по переводу Т. В. Булыгиной и А. Д. Шмелева, изданному в сборнике «Семиотика» под редакцией Ю. С. Степанова, М., Радуга, 1983 — Прим.перев.

Кластеры подобия

Элиезер Юдковский

Давным-давно философы Академии Платона заявили, что наилучшее определение человека — это «двуногое существо без перьев». Согласно легенде, Диоген Синопский незамедлительно выставил на обозрение ощипанную курицу и произнес: «Вот он — человек Платона». Последователи Платона тут же изменили определение на «двуногое существо без перьев с плоскими ногтями».

Никакой словарь и никакая энциклопедия не перечисляют вообще всё, что свойственно людям. У нас красная кровь, по пять пальцев на каждой руке, костистые черепа, 23 пары хромосом, однако, то же самое можно сказать и про другие виды животных. Мы создаем сложные устройства, которые делают другие сложные устройства, используем синтаксический комбинаторный язык, мы обуздали реакцию деления в качестве источника энергии. Эти признаки уже относятся только к людям, но не ко всем людям. Многие ли строили ядерные реакторы? Можно записать цепочку необходимых и достаточных генов, которая будет описывать людей и только людей — во всяком случае, пока что — однако, это далеко не все свойства, присущие всем людям.

Но пока вы держитесь на расстоянии от ощипанных куриц, фраза «ищи двуногих и без перьев» может хорошо послужить для выделения конкретных объектов, которые являются людьми, в отличии от домов, ваз, бутербродов, кошек, цветов или математических теорем.

Как только определение «двуногое существо без перьев» оказалось связанным с конкретными двуногими существами без перьев, можно начинать наблюдать за этой группой для сбора других характеристик, — помимо отсутствия перьев и двуногости, — которыми обладают члены этой группы. Эти конкретные двуногие существа без перьев так же используют язык, создают сложные инструменты, говорят на комбинаторном языке с использованием синтаксиса, кровоточат красным (если их проткнуть), умирают, приняв болиголов.

Таким образом, категория «человек» растет и включает в себя все больше и больше характеристик, и теперь нас так просто не проведешь, когда Диоген вновь покажет на ощипанную курицу. Эта ощипанная курица, очевидно, не так уж подобна другим «двуногим без перьев».

(Если бы логика Аристотеля была хорошей моделью человеческой психологии, то платоники, увидев ощипанную курицу, сказали бы: «Да, это человек, к чему ты это все?»)

Если первое двуногое существо без перьев, которое вы увидите, окажется ощипанной курицей, то, возможно, вы начнёте думать, что слово-ярлык «человек» обозначает именно ощипанных куриц. В таком случае я могу изменить мою карту сокровищ на «двуногое без перьев с плоскими ногтями», и, если я достаточно мудр, сказать: «Вон там Диоген стоит, видишь? Это человек, и я человек, и ты человек, а вот шимпанзе — не человек, но довольно близок».

Первая подсказка должна лишь вести к кластеру подобия — группе объектов, у членов которой есть множество общих характеристик. Теперь эта подсказка выполнила свое предназначение, и я могу продолжить передачу информации, например, «Люди, в данный момент, смертны», ну или что угодно, что я решу сказать о нас, двуногих существах без перьев.

О словарях полезней думать не как о книгах, содержащих определения аристотелевых логических классов, а как о книгах подсказок, призванных помочь сопоставить слова-ярлыки с кластерами подобия или сопоставить ярлыки и свойства объектов, которые помогут такой кластер выделить.

Типичность и асимметричное подобие

Элиезер Юдковский

Птицы могут летать. А вот страусы нет. Но какая из двух птиц более типичная птица: малиновка или страус?

Какое из кресел является более типичным: офисное, кресло-качалка или кресло-мешок?

Большинство людей скажут, что малиновка — более типичная птица, а офисное кресло — более типичное кресло. Изучающие этот феномен когнитивные психологи, говорят о нем, как о «эффекте типичности» или «эффекте образца»(Rosch and Lloyd, 1978). Скажем, если попросить испытуемых нажимать кнопки правда/ложь для высказываний вроде «малиновка — это птица» или «пингвин — это птица», то для типичных примеров кнопку нажимают существенно быстрее. (Я все еще распаковываю свои книги, но я практически уверен, что этот эксперимент описан в Lakoff, 1986) Наличие корреляции при измерении типичности можно показать разными способами: можно измерить время нажатия кнопки, или попросить людей оценить примеры по шкале от 1 до 10: насколько пример (малиновка) подходит для категории (птица)?

Итак, мы умеем мысленно измерять типичность, и это, возможно, работает как эвристика. Но есть ли соответствующее этой эвристике когнитивное искажение?

Какое из следующих высказываний для вас выглядит более естественным: «98 это приблизительно 100» или «100 это приблизительно 98»? Если вы относитесь к большинству, то первое высказывание покажется вам более осмысленным (Sadock, 1977). Руководствуясь похожими причинами, люди, которых попросили оценить, насколько Мексика похожа на США, стабильно оценивают это подобие выше, чем те, которых просили оценить, насколько США похожи на Мексику (Tversky and Gati, 1978).

Ну а если это все еще кажется вам безобидным, то в исследовании Рипса (1975) показано, как люди более вероятно ожидают, что болезнь на острове будет передаваться от малиновок к уткам, чем от уток к малиновкам. Разумеется, ничего логически невозможного в этом нет, однако, с практической точки зрения, если утки отличаются от малиновок какой-то особенностью, из-за которой болезнь с меньшей вероятностью передаётся от уток к малиновкам, то обязано существовать и отличие малиновок от уток, из-за которого болезнь с меньшей вероятностью будет передаваться от малиновок к уткам.

Разумеется, можно рационализировать это: «Ну, у малиновок может быть больше видов неподалеку, что будет способствовать более быстрому распространению болезни в начале», но будьте осторожны и не перестарайтесь в рационализации оценок вероятностей людьми, которые даже не понимают, о каких именно различиях идёт речь. И не забывайте, что Мексика больше похожа на США, чем США на Мексику, и что 98 ближе к 100, чем 100 к 98. И проще это интерпретировать так: люди используют (и это было показано экспериментально) эвристику подобия, как замену вероятности распространения болезни, и эта эвристика (как было показано экспериментально) — асимметрична.

Канзас необычайно близок к центру США, а Аляска необычайно отдалена от центра. Так что, скорее всего, Канзас ближе к большинству точек в США, а Аляска — дальше. Но из этого не следует, что Канзас ближе к Аляске, чем Аляска к Канзасу. Люди же, однако, рассуждают (образно говоря), что близость — свойство, присущее Канзасу, а удаленность - свойство, присущее Аляске. Так что Канзас близок — даже к Аляске, а Аляска удалена — даже от Канзаса.

И вот опять мы видим, что аристотелевская идея категорий — логических классов с членством, определенным совокупностью признаков, по отдельности каждый из которых необходим, а вместе они достаточны, не такая уж хорошая модель человеческой когнитивной психологии. (Кто бы мог подумать, что наука продвинется вперед за 2350 лет?) Мы даже не рассуждаем с помощью бинарного подхода правда/ложь - высказывания о принадлежности могут быть более или менее истинными. (Замечу, что это не то же самое, что и быть более или менее вероятным.)

Еще одна причина прекратить притворяться, будто вы — или кто-то еще — в самом деле сможете обращаться со словами, как с аристотелевскими логическими классами.

Lakoff, George. (1986). «Women, Fire and Dangerous Things: What Categories Tell Us About the Nature of Thought», University of Chicago Press, Chicago.

Rips, Lance J. (1975). «Inductive judgments about natural categories», «Journal of Verbal Learning and Verbal Behavior», 14:665-81.

Rosch, Eleanor and B. B. Lloyd, eds. (1978). «Cognition and Categorization», Hillsdale, N.J.: Lawrence Erlbaum Associates.

Sadock, Jerrold. (1977). «Truth and Approximations.» В «Papers from the Third Annual Meeting of the Berkeley Linguistics Society», pp. 430-39. Berkeley: Berkeley Linguistics Society.

Tversky, Amos and Itamar Gati. (1978). «Studies of Similarity». В Rosch and Lloyd (1978).

Кластерная структура пространства вещей

Элиезер Юдковский

Идея «конфигурационного пространства» состоит в переводе описаний объектов в их позиции. Кажется, что синий «ближе» к сине-зеленому, чем к красному, но насколько ближе? Если просто смотреть на цвета, то на этот вопрос ответить трудно. Но будет понятней, если вспомнить, что (относительные) координаты этих цветов в пространстве RGB — (0; 0; 5), (0; 3; 2) и (5; 0; 0). Если изобразить эти точки на трёхмерном рисунке, будет еще понятней.

Точно также, если рассуждать о малиновке, можно думать о ней привычным способом: коричневый хвост, красная грудка, обычный для малиновки облик, максимальная скорость без груза, типичный для этого вида набор ДНК и индивидуальные аллели. А можно рассматривать малиновку, как точку в конфигурационном пространстве, измерения которого описывают всё, что мы знаем о малиновках или можем узнать.

Малиновка больше вируса, но меньше авианосца — таким образом в конфигурационном пространстве можно ввести измерение «объёма». Малиновка весит больше атома водорода, но меньше галактики — измерение «массы». «Объём» и «масса» разных малиновок будут очень сильно коррелировать между собой, так что точки-малиновки в этих двух измерениях будут выглядеть почти как отрезок прямой линии. Однако, корреляция не будет полной, поэтому нам всё же нужны два отдельных измерения.

В этом и есть преимущество рассмотрения малиновок как точек в пространстве: у нас бы не получилось так легко увидеть линейность, если бы мы продолжали думать о малиновках, как о маленьких и милых махающих крыльями существах.

ДНК малиновок — это переменная с очень большим количеством измерений, но о ней всё равно можно думать, как о части описания расположения малиновки в пространстве вещей — в виде миллионов координат (по одной на каждый нуклеотид), которые могут принимать одно из четырёх значений, или даже что-то более элегантное. Форму малиновки, ее цвет (отражательную способность) точно также можно рассматривать как часть описания, где малиновка находится в конфигурационном пространстве, пусть даже они принадлежат к разным измерениям.

Точка (0; 0; 5) в пространстве цветов содержит ту же самую информацию, что и реально существующий синий цвет на HTML странице. Точно также мы не должны терять информацию, представляя малиновок, как точки в пространстве. Мы можем вообразить малиновку на весах, которые показывают 0,07 килограмм. Или можем представить малиновку-точку с координатой-массой +70. В обоих случаях мы представляем массу малиновки одинаково.

Мы можем даже вообразить конфигурационное пространство с одним или больше измерением для каждой отдельной характеристики объекта, так что позиция точки-объекта в этом пространстве будет соответствовать всей информации, которая у нас имеется об объекте. Пусть эта информация и окажется избыточной - например, в пространстве будут измерения для массы, объема и плотности.

Если это вам кажется слишком уж экстравагантным, то в квантовой физике используется многомерное конфигурационное пространство (с бесконечным числом измерений), в котором одна точка обозначает расположение каждой частицы во вселенной. Так что мы себя ведём ещё довольно скромно — точка в нашем конфигурационном пространстве описывает лишь один объект, а не всю вселенную.

Если мы не уверены насчет точной массы и объёма малиновки, то можно вообразить маленькое облако в пространстве вещей, некий объём неопределенности, внутри которого может располагаться малиновка. Плотность этого облака в некоторой точке соответствует нашей уверенности, что масса и объём малиновки равны значениям, которые являются координатами этой точки. Если вы уверены насчет плотности малиновки больше, чем насчет массы и объёма, то ваше облако вероятностей будет сильно сконцентрированным в измерении плотности, а в подпространстве массы/объёма сконцентрированы вокруг наклонной линии. (Облако в этом случае будет поверхностью из-за соотношения Объём ⋅ Плотность = Масса)

Когнитивные психологи используют понятие «радиальных категорий» для описания границ не-аристотелевых понятий. Центральное понятие «мать» означает женщину, которая участвует в зачатии, рождении и воспитании ребёнка. Донор яйцеклеток, которая никогда не увидит своего ребенка будет матерью? Она — «генетическая мать». Как насчет женщины, в которую имплантировали эмбрион, чтоб она его выносила? Она — «суррогатная мать». Ну а женщина, которая воспитывает ребенка, которого не рожала? Она — «приемная мать». Аристотелевский силлогизм звучал бы: «У людей десять пальцев, у Фреда — девять, следовательно — Фред не человек», но в действительности люди думают об этом так: «У людей десять пальцев, Фред — человек, следовательно, Фред — человек с девятью пальцами».

На языке интенсионалов мы можем описать радиальность категорий так: у объекта свойства категории обычно присутствуют, но некоторые могут отсутствовать. Интенсионал слова «мать» будет похож на распределенное по пространству вещей сияние, яркость которого соответствует тому, насколько координаты точки в пространстве соответствуют категории «мать». Сияние будет сконцентрировано в центре, который соответствует одновременно зачатию, рождению и воспитанию. Объём, в который попадут доноры яйцеклеток, тоже будут светиться, но не так ярко.

Или мы можем представить радиальность экстенсионально. Предположим, мы отобразили всех птиц в мире на пространство вещей и определили в нём расстояние так, что оно как можно лучше соответствует человеческому представлению о подобии: малиновка больше похожа на другую малиновку, чем они обе похожи на голубя, однако малиновки и голуби ближе друг к другу, чем к пингвину, и так далее.

В центре птичности окажется множество соседствующих плотных кластеров: малиновки, воробьи, канарейки, голуби и множество других видов. Орлы, ястребы и другие хищные птицы попадут в другой кластер неподалеку. Пингвины окажутся в более далеком кластере, как и курицы, и страусы.

Результат, скорее всего, будет чем-то напоминать галактический кластер: плотное скопление галактик в центре, и несколько неподалеку.

Или мы можем думать одновременно об интенсионале мыслительной категории «птица» и об экстенсионале реальных птиц. Центральный кластер малиновок и воробьев светится очень ярко — здесь высокий уровень птичности. Кластеры-сателлиты страусов и пингвинов светятся тусклей из-за менее типичной птичности, а Авраам Линкольн находится в нескольких мегапарсеках от них всех и не светится совсем.

Я предпочитаю именно эту визуализацию — светящиеся точки, —потому что, по-моему, структура интенсионалов в нашем разуме вторична по отношению к структуре экстенсиональных кластеров. Первична структура реального мира — эмпирическое распределение птиц в пространстве вещей. А затем мы, наблюдая птиц, формируем мыслительную категорию, интенсионал которой грубо покрывает это распределение.

Это ещё один способ понять, почему слова не являются аристотелевскими классами — структура эмпирических кластеров реальной вселенной не такая прозрачная. Природный кластер, группа очень похожих друг на друга предметов, может и не иметь набора необходимых и достаточных признаков: ни набора характеристик, которыми обладают все члены множества, ни набора, которыми никто из не-членов не обладает.

Но даже если категории необратимо туманны и ухабисты, для паники повода нет. Я бы не стал возражать, если бы кто-нибудь заявил, что «птицы — это такие летающие штуки с перьями». Но ведь пингвины не летают! Ну и ладно. У правила есть исключения, так что это не конец света. Не стоит ожидать, что определения будут точно совпадать с эмпирической структурой пространства вещей, ведь карта меньше по размеру и намного проще территории. Цель определения «такие летающие штуки с перьями» в том, чтобы привести слышащего к кластеру птиц, а не в том, чтобы дать полное описание всех существующих птиц вплоть до молекулярного уровня.

Когда вы проводите границу вокруг группы экстенсиональных точек, образующих кластер в пространстве вещей, скорее всего, на каждое выдуманное вами интенсиональное правило вы обнаружите как минимум одно исключение.

Однако, если на практике определение вполне сносно позволяет указать на нужный эмпирический кластер, то возражения к формулировке этого определения вполне оправданно можно назвать «придирками».

Замаскированные вопросы

Элиезер Юдковский

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методы рассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».

Нейронные категории

Элиезер Юдковский

В «Замаскированых вопросах» я рассказал про сортировку «сияиц» и «крубов». Обычное сияйцо — синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб — красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно — прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку «сияйцо» — незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем («Все люди смертны») и философами Академии Платона («Двуногое без перьев и с плоскими ногтями»).

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, — то есть узел «цвет» активируется в состоянии «+» и одновременно узел «текстура» активируется в состоянии «+», — связь между цветом и текстурой усиливается, в результате чего активация «цвет+» будет вызывать активацию «текстура+» и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

Предположим, вы уже видели достаточно сияиц и крубов, спустившихся по конвейеру. Но вдруг вы видите, как по ленте приближается нечто пушистое, яйцевидное и — ну надо же! —красновато-фиолетовое (для нашей нейронной сети это будет означать активацию узла «цвет» с силой -2/3). Вы еще не тестировали светимость и содержимое. Каков будет ваш прогноз? Это сияйцо или круб?

Дальше мы увидим, как сила активации узлов в Сети 1 начнёт меняться. Положительная активация идет к светимости от формы, негативная — к содержимому от цвета, и от содержимого в светимости… Разумеется, все эти сигналы идут параллельно!!! И асинхронно!!! Прямо как в человеческом мозге…

Наконец Сеть 1 приходит в стабильное состояние, в котором узлы «светимость» и «содержимое» активированы очень сильно в положительную сторону. Сеть могла бы сказать, что нам следует «ожидать» (пусть мы это ещё и не проверяли), что этот объект светится в темноте и содержит ванадий.

И смотрите, Сеть 1 демонстрирует такое поведение, несмотря на отсутствие узла, который явно бы говорил, является ли объект сияйцом или нет. Вся сеть выносит имплицитную оценку!!! Сияйцность - аттрактор!!! Появляющийся в результате эмерджентного поведения!!! Благодаря распределенному обучающему алгоритму!!!

Сети с такой архитектурой могут казаться очень привлекательными, однако, использовать их в реальной жизни довольно проблематично. Сети с обратными связями не всегда быстро останавливаются: иногда в них начинаются колебания, иногда можно наблюдать хаотичное поведение, или же они просто слишком долго думают. Если вы видите что-то большое, желтое и полосатое, и вам надо ждать пять минут, прежде чем сеть придет к аттрактору «тигр», то это очень-очень плохо. Да, процессы в этих сетях идут асинхронно и параллельно, но этого всё равно не хватает для работы в реальном времени.

Есть и другие проблемы. Например, одно и то же свидетельство может оказаться учтено дважды, потому что сигнал ходит туда-сюда: вы подозреваете, что объект светится в темноте, это способствует активации убеждения о ванадии внутри объекта, что, в свою очередь, способствует активации убеждения о свечении в темноте.

К тому же, если вы захотите увеличить Сеть 1, это потребует O(N2)O(N2) соединений, где NN - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует O(N)O(N) новых соединений, а не O(N2)O(N2).

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих N2N2 соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то от вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.

Споры об определениях

Элиезер Юдковский

Очень многие разговоры — даже разговоры о (предположительно) когнитивистике — скатываются в споры об определениях. Если взять в качестве примера классическое «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?», то ход последующего спора можно представить примерно следующим образом:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?

АЛЬБЕРТ: Разумеется! Что за глупый вопрос? Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет.

БАРРИ: Секундочку! Если никто не может этого услышать, то как это может быть звуком?

В этом примере Барри спорит с Альбертом из-за действительно отличающегося интуитивного понимания того, что представляет из себя звук. Однако, Стандартный Диспут может возникнуть и множеством других путей. У Барри может быть мотив отвергать вывод Альберта. Или Барри может быть скептиком, который, услышав аргумент Альберта, машинально исследовал его на наличие логических ошибок, а затем, найдя контраргумент, автоматически принял его, не запустив второй слой поиска в попытке найти контрконтраргумент, таким образом убедив себя в правоте противоположной позиции. Для этого необязательно, чтобы прежняя интуиция Барри — та интуиция, которую проявил бы Барри, спроси мы его до того, как заговорил Альберт — отличалась от интуиции Альберта.

Ну, в любом случае, даже если интуиция Барри изначально не отличалась от альбертовой, сейчас они точно разнятся.

АЛЬБЕРТ: В смысле? Корни дерева ломаются, ствол начинает валиться и в итоге врезается в землю. Всё это создаёт вибрации, передающиеся по воздуху и через землю. Именно сюда уходит энергия падения: в тепло и звук. Ты хочешь сказать, что если люди ушли из леса, то деревья начинают нарушать закон сохранения энергии?

БАРРИ: Но никто ничего не слышит. Если в лесу нет людей — будем считать, что в лесу нет вообще никаких обладателей нервной системы, достаточно сложной для того, чтобы уметь «слышать» — то никто не слышит звука.

Альберт и Барри более подробно описали мысли, заставившие сработать или не сработать их детекторы «звука»(English), и они ощущают, что завербованные ими аргументы поддерживают их позицию. Но всё же, пока что спор фокусируется на лесе, а не на определениях. И можно заметить, что спорщики, на самом деле, не расходятся во мнениях о том, что происходит в лесу.

АЛЬБЕРТ: Этот спор входит в тройку тупейших споров, в которых я когда-либо участвовал. Ты трясущийся фейчихахуа, замаринованный в запредельном идиотизме.

БАРРИ: Да ну? Это мне говорит человек, по которому видно, что в детстве его часто били по голове сельскохозяйственным инвентарём. Чтобы, видимо, потушить загоревшиеся волосы.

Оскорбление предложено и принято; теперь никто не может отступить, не боясь потерять лицо. Строго говоря, это нельзя назвать частью «спора» в понимании рационалистов, но эта сцена столь важна для развития Стандартного Диспута, что я всё равно решил упомянуть её здесь.

АЛЬБЕРТ: Дерево создаёт акустические вибрации. По определению, это звук.

БАРРИ: Никто ничего не слышит. По определению, это не звук.

Спор уходит в сторону, фокусируясь на определениях — несмотря на то, что довод «по определению» совершенно бессмыслен, когда речь идёт о чём-то приземлённее чистой математики. Важно помнить, что всё, верное «по определению» верно во всех возможных мирах, и поэтому наблюдение справедливости этого факта никогда не сможет сказать тебе, в каком именно мире ты живёшь: оно не ограничивает возможные миры.

АЛЬБЕРТ: Мой компьютер может записать звук — даже когда нет никого рядом, чтобы его услышать — и сохранить это в файл. Такие файлы называются «звуковыми файлами». В файле хранится последовательность колебаний воздуха, а не последовательность возбуждений нейронов чего-либо мозга. «Звук» означает последовательность колебаний.

Альберт отправляет в наступление аргумент, который кажется доводом в пользу того, что слово «звук» имеет определённое значение. Этот вопрос уже не имеет отношения к тому, происходили ли в лесу акустические вибрации. Однако, этот переход обычно остаётся незамеченным.

БАРРИ: Да ну? Давай посмотрим, согласится ли с тобой словарь.

Я увидел много вещей, вызывавших бы у меня любопытство, окажись я в этом сценарии. Можно пойти в лес и посмотреть на деревья, или разобраться в выводе волнового уравнения, касающегося колебаний воздуха, или проанализировать анатомическое строение уха, или изучить принципы работы слуховой коры мозга. Однако вместо того, чтобы заняться чем-либо из этого списка, я должен, очевидно, посоветоваться со словарём. Почему? Неужели словарь составляли профессиональные ботаники, врачи и нейробиологи? Я могу увидеть логику в решении заглянуть в энциклопедию, но причём тут словарь?

АЛЬБЕРТ: Вот! Определение 2c в Мерриэме-Уэбстере: «Звук: физическое явление, вызываемое колебательными движениями частиц воздуха или другой среды»

БАРРИ: Вот! Определение 2b в Мерриэме-Уэбстере: «Звук: чувство, вызываемое воздействием на орган слуха, восприятие слуховых ощущений»

АЛЬБЕРТ И БАРРИ, хором: Дурацкий словарь! Лучше не стало.

Редакторы словарей занимаются историей, а не законотворчеством. Редактор словаря находит используемые сейчас слова и записывает их; затем добавляет то (малую часть того(English)), что, как ему кажется, имеют в виду люди, употребляющие это слово. Если употреблений несколько, то он записывает несколько определений.

АЛЬБЕРТ: Смотри. Предположим, я оставил в лесу микрофон и он записал последовательность акустических вибраций, связанных с падением дерева. Если кто-нибудь прослушает эту запись, он назовёт это «звуком»! Это — общепринятое употребление. Прекрати высасывать из пальца какие-то свои чокнутые определения!

БАРРИ: Во-первых, я могу определить слово так, как мне нравится. Главное — употреблять его последовательно. Во-вторых, моё значение имеется в словаре. В-третьих, кто дал тебе право решать, что можно считать общепринятым употреблением, а что нельзя?

С точки зрения рациональности, Стандартный Диспут кишит ошибками. Часть этих ошибок я уже описал, и часть из них мне ещё предстоит описать; то же самое касается и средств защиты от них.

Но сейчас я хочу лишь обратить ваше внимание на то, что Барри и Альберт, скорее всего, дадут один и тот же ответ на любой вопрос, касающийся вещей, действительно происходящих внутри леса, но всё равно никто из них не чувствует этого согласия. Просто печальное напоминание.

Споры об определениях — ложная тропинка, незаметно ведущая в тупик. Никто не пошёл бы по этой тропинке, если бы знал, куда она ведёт. Если спросить у Альберта (или у Барри), почему он до сих пор участвует в споре, то он бы ответил что-то вроде «этот подлый негодяй Барри (или Альберт) пытается протащить контрабандой своё определение слова «звук», чтобы обосновать своё смехотворное мнение; и мой долг — защитить стандартное определение»

Но представим, что я вернулся назад во времени и успел оказаться рядом с Барри и Альбертом до начала спора.

(Из ниоткуда возникает Элиезер, сидящий внутри своеобразного транспортного средства, очень похожего на машину времени из старого фильма «Машина времени»)

БАРРИ: Боже! Путешественник во времени!

ЭЛИЕЗЕР: Я прибыл к вам из будущего! Внимайте моим словам! Я прошёл долгий путь — около пятнадцати минут — для того, чтобы…

АЛЬБЕРТ: Пятнадцать минут?

ЭЛИЕЗЕР: …для того, чтобы задать вам этот вопрос!

(Немая сцена, пропитанная смесью замешательства и предвкушения)

ЭЛИЕЗЕР: Вы считаете, что слово «звук» должно означать как акустические вибрации (волны давления, передающиеся через физический объект-проводник), так и слуховые впечатления (восприятие кем-то звука)? Или вы считаете, что «звук» нужно определить так, чтобы он означал только лишь акустические вибрации, или только лишь аудиторные переживания?

БАРРИ: Ты вернулся в прошлое, чтобы спросить у нас вот это?

ЭЛИЕЗЕР: Мои мотивы — моё личное дело! Отвечайте!

АЛЬБЕРТ: Эммм… Я не понимаю, почему это должно кого-то беспокоить. Можно выбрать любое определение. Главное, употреблять его последовательно.

БАРРИ: Брось монетку. Точнее, брось монетку дважды.

ЭЛИЕЗЕР: Я считаю, что, в случае возникновения такой проблемы, обе стороны должны взглянуть на происходящее уровнем организации ниже и начать описывать событие, используя более элементарные компоненты: например, акустические вибрации или слуховые впечатления. Или каждая сторона может придумать новое слово — например «алберзаль» или «баргулум» — для того понятия, которое они ранее обозначали словом «звук»; это позволяет обеим сторонам употреблять новые слова последовательно. Таким образом, никому не придётся пойти на уступки или потерять лицо, но при этом возможность успешного обмена информацией сохраняется. Ну и, разумеется, всегда стоит отслеживать, о каком именно утверждении, доступном для проверки опытом, идёт речь. Вы считаете мои предложения разумными?

АЛЬБЕРТ: Видимо, да…

БАРРИ: Зачем мы об этом разговариваем?

ЭЛИЕЗЕР: Чтобы сберечь вашу дружбу пред лицом неожиданной беды, о которой вы — отныне и теперь — никогда не узнаете, ибо будущее уже изменилось!

(Элиезер и машина исчезают в клубах дыма)

БАРРИ: На чём мы остановились?

АЛЬБЕРТ: Секундочку… Вот: «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?»

БАРРИ: Оно создаёт алберзаль, но не баргулум. Давай дальше.

Этот рецепт не уничтожает каждый диспут о категоризации. Однако, он уничтожает значительную их долю.

Ощути смысл

Элиезер Юдковский

Когда я слышу, как кто-то говорит: «Смотрите — бабочка», произнесенные фонемы «бабочка» попадают в мои уши и вибрируют в барабанных перепонках, попадают во внутреннее ухо, «щекочут» нервы, что приводит к активации нейронов слуховой коры. В которой начинается обработка этих фонем — распознавание слов, реконструкция синтаксиса и прочие сложности.

Но в итоге, через несколько мгновений, у меня появится желание взглянуть туда, куда указывает мой друг, и я увижу там визуальный паттерн, который будет интерпретирован как бабочка. И я довольно сильно удивлюсь, если вместо бабочки я увижу волка.

Мой друг смотрит на бабочку, его горло вибрирует, а губы движутся, звуковые волны незримо передаются по воздуху, мои уши слышат, нервы передают и мой мозг распознает и, ну надо же, я понимаю, на что смотрит мой друг. Разве это не чудо? Если бы мы не знали про звуковые волны, то все газеты трубили бы о невероятном открытии — люди владеют телепатией! Человеческие мозги способны передавать мысли друг другу!

Да, мы действительно телепаты. Однако, если магия является обыденностью и все ваши друзья ею тоже владеют, она никому не интересна.

Думаете, телепатия — это просто? Попробуйте собрать компьютер, который будет телепатически общаться с вами. Телепатия или «язык», или как вам будет угодно назвать нашу способность к частичной передаче мыслей, сложнее чем кажется.

Однако, было бы довольно неудобно думать что-то вроде: «Сейчас я преобразую часть моих мыслей в линейную последовательность фонем, которые вызовут похожие мысли у моего партнёра по диалогу…»

Поэтому мозг прячет от нас сложность, точнее даже вовсе её не показывает. И это приводит к тому, что у людей появляется странное представление о словах.

Как я отметил ранее, когда большой желтый и полосатый объект кидается на меня, я думаю: «А-а-а! Тигр!», а не «Так… Объект с характеристиками огромности, желтости и полосатости был ранее отмечен как обладающий еще и характеристиками «голодный» и «опасный», следовательно, хотя логически это и не выводимо, а-а-а… ХРУМ-ХРУМ-ХРУМ».

Точно также естественный отбор не станет содействовать организму, который, услышав: «А-а-а! Тигр!», будет думать: «Так… Я только что услышал «Ти» и «гр», которые у моих соплеменников ассоциируются с их внутренними аналогами моего концепта «тигр», и они, скорее всего, склонны издавать эти звуки, заметив объект, который они классифицируют как а-а-а-и-и-и-и ХРУМ-ХРУМ помогите он откусил мне руку ХРУМ-ХРУМ».

Можно рассматривать это как проектное ограничение когнитивной архитектуры у людей — любому хотелось бы, чтобы у него не было лишних шагов между распознаванием слуховой корой звуков «тигр» и активацией концепта тигра.

Вернёмся к притче о сияйцах и крубах и к централизованной сети, которая быстро и легко распределяет объекты по категориям. Можно представить себе прямую связь между узлом, который распознаёт слово «сияйцо», и узлом в центре сети. Центральный узел — понятие сияйца — активируется почти сразу же, как Старшая Сортировщица Сьюзен говорит: «Сияйцо!»

Или в целях передачи информации — на что тоже не должна уходить вечность — как только вы видите синюю штуку в форме яйца, и центральный узел «сияйцо» возбуждается, вы кричите Сьюзен: «Сияйцо!»

И изнутри этот алгоритм ощущается так, как будто ярлык и понятие очень тесно связаны. Смысл кажется неким свойством, присущим самому слову.

Знатоки распознают в этом ещё один частный случай «ошибки проецирования ума» по Э. Т. Джейнсу. Нам кажется, будто у слова есть смысл, и этот смысл — свойство самого слова, точно так же, как краснота — свойство красного яблока, а таинственность — свойство таинственного явления.

Более того, в большинстве случаев мозг не проводит границу между словом и его значением — разве что при изучении нового языка он позаботится отделить одно от другого. И даже тогда, если вы увидите, как Сьюзен указывает на синий яйцевидный предмет и говорит «Сияйцо!», вы подумаете: «Интересно, что значит „сияйцо“?», а не «Интересно, какую мысленную категорию Сьюзен связывает со звуковым ярлыком „сияйцо“?».

Рассмотрим в свете этого ту часть стандартного спора об определениях, где две стороны спорят о том, что на самом деле означает слово «звук». Точно также они могли бы спорить о том, красного или зелёного цвета одно конкретное яблоко.

Альберт:

— Микрофон моего компьютера может записать звук, даже когда рядом нет никого, кто мог бы его услышать, сохранить его в файл, и этот файл будет называться «звуковым». И то, что сохранено в файле — это последовательность вибраций воздуха, а не последовательность возбуждения нейронов в чьём-то мозгу. «Звук» — это последовательность вибраций.

Барри:

— Что, серьёзно? А давай посмотрим, что словарь скажет по этому поводу?

Альберт интуитивно чувствует, что у слова «звук» есть смысл, и этот смысл — акустические вибрации. А ещё он чувствует, что дерево, падающее в лесу, производит звук (а не становится причиной явления, попадающего в категорию «звук»).

Барри, в свою очередь, ощущает, что

звук.смысл == слуховые переживания

лес.звук == неверно

А не:

мойМозг.НайтиПонятие("звук") == понятие_СлуховоеПереживание

понятие_СлуховоеПереживание.совпадение(лес) == неверно

Хотя последнее гораздо ближе к тому, что на самом деле происходит. Однако, эволюция не готовила людей к этому знанию, во всяком случае, не больше, чем к инстинктивному знанию о том, что мозг состоит из нейронов.

Противоречащие друг другу интуитивные представления Альберта и Барри подливают масла в огонь дискуссии, уже дошедшей до того, что они спорят о том, что значит слово «звук». И им кажется, что они спорят о факте, не отличающемся от любого другого факта, и этот спор ничем не отличается от, например, спора, является ли небо голубым или зелёным.

Вы можете даже не заметить, что забрели совсем не туда, пока не попытаетесь исполнить рационалистский ритуал: предложить проверяемый эксперимент, результат которого зависит от фактов, о которых вы так горячо спорите…

Аргумент к традиционному пониманию

Элиезер Юдковский

«Стандартный спор об определениях» иногда содержит примерно такой фрагмент:

Альберт:

— Предположим, я оставил в лесу микрофон и записал последовательность акустических вибраций от падающего дерева. Если я проиграю кому-нибудь запись, они скажут, что на записи «звук». Традиционно это слово понимается именно так! И не надо тут выдумывать всякие ненормальные определения!

Барри:

— Во-первых, я могу определять значение слова так, как мне угодно, главное, что я использую его последовательно. Во-вторых, значение, которое я в него вкладываю, есть в словаре. В-третьих, кто дал вам право решать, какое понимание слова соответствует традиции, а какое — нет?

Само понятие традиционного понимания слова всплывает не во всех спорах об определениях. По-моему, чаще всего люди берут в руки словарь, потому что считают, что у слов есть смысл и что словарь прилежно фиксирует, какой именно. Некоторые люди, судя по всему, даже верят, что словарь определяет смысл слов и составители словаря для этих людей — это законодатели языка. Может быть, это потому, что в начальной школе учитель — авторитет для них в то время — сказал им, что они должны подчиняться словарю? И с тех пор они считают, что это обязательное к исполнению правило?

Составители словарей читают то, что пишут другие люди, и фиксируют, что эти слова, судя по всему, означают. Они — историки. Оксфордский словарь может исчерпывающе описывать лексику английского языка, но он не имеет силы закона.

Но разве не существует социального императива, предписывающего нам использовать слова в том смысле, в котором они обычно понимаются? Разве наша человеческая телепатия, наша драгоценная сила языка, не требует всеобщей слаженности усилий? Быть может, нам добровольно следует относиться к редакторам словарей, как к верховным судьям, — даже если они предпочитают считать себя историками, — просто чтобы поддерживать молчаливое соглашение, от которого зависит вся речь.

Словосочетание «авторитетный словарь» некорректно почти во всех случаях. Как пример исключения можно упомянуть «Официальный словарь терминов стандартов IEEE» [«Официальный словарь» в этом названии в оригинале тоже пишется как «authoritative dictionary» — «авторитетный словарь». — Прим.перев.] Членам IEEE необходимо достигать чёткого соглашения о терминах и определениях, они решают вопросы голосованием, и потому «Официальный словарь терминов стандартов IEEE» - это настоящий закон, авторитет которого поддерживается авторитетом IEEE.

В отличии от IEEE, в обычной жизни язык возникает не в результате обдуманного соглашения. Скорее, он больше похож на инфекцию — кто-то придумывает слово, а потом оно растворяется в культуре. (Кто-нибудь мог бы вспомнить слово «мем», предложенное Ричардом Докинзом тридцать лет назад. Но вы и так уже поняли, о чём я тут пишу. Если же нет, можете воспользоваться Гуглом и тоже заразиться этим словом.)

И тем не менее, как показывает пример IEEE, соглашение относительно используемого языка тоже может быть совместно созданным общественным благом. Если мы желаем обменяться мыслями посредством языка, человеческой телепатии, то использование одного и того же слова для схожих концептов — в наших общих интересах. (Конечно, предпочтительней, если эти концепты будут схожи с точностью до предела разрешения нашего мысленного представления.) При этом у нас может не быть никаких общих интересов использовать какое-то конкретное слово.

С точки зрения общих интересов, не слишком важно, используем ли мы слово «ото» для обозначения звука или «звук» для обозначения ото. Однако, в наших общих интересах использовать одно и то же слово, каким бы оно ни было. (Предпочтительно, чтобы часто употребляемые слова были короткими, но не будем пока углубляться в теорию информации).

Использование одинаковых ярлыков для размышлений — тоже в общих интересах, но острой необходимости в этом нет. Так просто удобней. Если я знаю, что «ото» для вас означает «звук» (то есть, вы ассоциируете слово «ото» с концептом, который очень похож на тот, с которым я ассоциирую слово «звук»), то я могу сказать: «Если смять бумагу, она будет издавать хрустящий ото». Для этого мне придется приложить лишь чуть больше усилий.

Точно также, если вы скажете: «Какую трость создаёт упавший на пол шар для боулинга?» и я знаю, какой концепт у вас связан с фонемами «трость», то я смогу понять, что вы подразумевали. Возможно, мне придётся на некоторое время задуматься, потому что обычно слово «трость» у меня связано с другим концептом. Но я вполне неплохо всё пойму.

Желающих пообщаться людей трудно остановить! Даже оказавшись на необитаемом острове без общего языка, мы можем взять в руки палки и общаться с помощью изображений на песке.

Альберт, используя «аргумент к традиционному пониманию», подразумевает, что соглашение о языке является совместно установленным общественным благом. Тем не менее, единственная цель Альберта в этот момент — в полемических целях обвинить Барри в нарушении соглашения и угрозе общему благу. Спор о падающем дереве больше не сводится к ботанике или семантике. Теперь это политический спор. И Барри в ответ оспаривает право Альберта устанавливать определения.

Владеющий навыком «ухватить задачу» рационалист заметит, что спорщики сильно отклонились от темы разговора.

Уважаемый читатель, неужели это всё действительно необходимо? Ведь Альберт знает, что Барри подразумевает под «звуком». Барри знает, что Альберт подразумевает под «звуком». Оба они знают о словосочетаниях «акустические вибрации» и «слуховые переживания», и каждое из этих словосочетаний у обоих связано с одним и тем же концептом, и эти концепты, в свою очередь, описывают происходящие в лесу события без каких-либо двусмысленностей. Если бы Альберт и Барри попали на необитаемый остров и попытались бы обменяться информацией, у них не возникло бы проблем.

Метод ведения дискуссии, при котором обе стороны знают, что хочет сказать оппонент, и одновременно обвиняют друг друга в предательстве общего блага (которое состоит в отказе от «традиционного понимания»), очевидно, не слишком эффективен для коммуникации. А ведь весь смысл одинакового использования одинаковых слов состоит именно в том, чтобы успешно передавать информацию.

Так зачем же спорить о значении слов? Если проблема заключается лишь в конфликте имён, который разросся до невиданных масштабов, если речь только о том, что два разных понятия оказались названы одним словом, то обеим сторонам нужно лишь придумать два новых слова и последовательно их использовать.

Однако, процессу классификации часто сопутствуют скрытые умозаключения и замаскированные вопросы. Атеизм — это «религия»? Если кто-то доказывает, что в атеизме используются рассуждения, схожие с теми, что используются в иудаизме, или что атеизм провоцирует насилие в таких же количествах, что и ислам, то у этого человека есть очевидный мотив запихать всё, что ему кажется общим, в размытое понятие «веры».

Или рассмотрим спор о том, должны ли «чёрные» и «белые» принадлежать к одной категории «люди». Здесь нет смысла придумывать два новых слова, ведь обсуждается именно идея, что между ними с точки зрения морали не следует проводить границу.

Однако, когда решается эмпирический или моральный вопрос, апеллировать к традиционному пониманию слова уже нельзя.

Если мы решаем, как объединять схожие объекты, чтобы потом получить некий вывод, то наш итоговый эмпирический ответ будет зависеть от того, как и что мы объединили. А это означает, что определения могут быть неверными. На основании разных определений мы сделаем разные предсказания. И нельзя голосованием решить, какое из них правильное.

Если для какого-то эмпирического вывода вам нужно понять, стоит ли объединять в одну группу атеизм и религии с верой в сверхъестественное, то вы не найдете ответ в словаре.

И если вы хотите понять, являются ли чернокожие людьми, вы не найдете ответ в словаре.

Ведь если все будут верить, что красная точка на ночном небе — это Марс, Бог Войны, словарь будет определять «Марс», как «Бог Войны». Если все будут верить, что огонь — это высвобождение флогистона, то словарь и будет определять «огонь» как «высвобождение флогистона».

Использование слов — это своего рода искусство. Даже когда определения не являются в буквальном смысле истинными или ложными, они могут быть более умными или более дурацкими. Составители словарей всего лишь историки, описывающие, как слова употреблялись в прошлом. Если вы будете смотреть на них, как на верховных судей, определяющих смыслы слов, это привяжет вас к мудрости прошлого и лишит возможности стать лучше.

Однако, отступив от мудрости прошлого, постарайтесь убедиться, что люди смогут догадаться, о чём вы плывёте.

Пустые ярлыки

Элиезер Юдковский

Давайте рассмотрим (да, опять) аристотелевскую идею категорий. Предположим, у нас есть объект со свойствами A, B, C, D, и E (ну или по крайней мере он выглядит похожим на Е).

Фред: Ты имеешь ввиду вон ту штуку синего цвета, круглую, пушистую и…

Я: В рамках аристотелевской логики конкретные свойства или их названия не важны. Поэтому я просто использую буквы.

Далее, я выдумываю аристотелевскую категорию «зава», описывающую все те и только те объекты, у которых есть свойства A, C, и D.

Я: У объекта 1 есть свойства зава, В и Е.

Фред: А еще он синий, то есть А, так ведь?

Я: Когда я говорю, что у него есть свойство зава, это подразумевается.

Фред: Да, но я все же хочу, чтобы ты упомянул это в явной форме.

Я: Хорошо. У объекта 1 есть свойства А, В, зава и Е.

Теперь я ввожу новое слово «юки», которое описывает те и только те объекты, которые обладают свойствами В и Е. И слово «зиппо», описывающее те и только те объекты, которые обладают свойством Е, но не свойством D.

Я: Объект 1 — зава и юки, но не зиппо.

Фред: Подожди, он ведь светится? Я имею ввиду — он же Е?

Я: Да. С учетом имеющейся информации, иначе и быть не может.

Фред: Я бы предпочёл, чтобы ты проговаривал такие вещи.

Я: Ладно. Объект 1 — А, зава, В, юки, C, D, E, но не зиппо.

Фред: Потрясающе! И это все можно понять, просто посмотрев на объект?

Впечатляет, правда? Давайте введем больше слов. «Боло» — А, С и юки. «Мун» — А, С и зиппо. И «мерлакдониан» — боло и мун.

Кажется бессмысленно запутанным? Я тоже так думаю. Давайте заменим ярлыки на определения.

«Зава, В и Е» превращается в [A, C, D], B, E.

«Боло и А» превращается в [A, C, [B, E]], A.

«Мерлакдониан» превращается в [A, C, [B, E]], [A, C, [E, ~D]].

Важно помнить: аристотелевская идея категорий подразумевает, что [A, C, D] — это вся информация о «зава». Я могу не только использовать любой ярлык, но и прекрасно обойдусь совсем без ярлыков — правила, регулирующие аристотелевские классы, замечательно работают и для структур вроде [A, C, D]. Использование ярлыка «зава» или какого-либо другого нужно лишь для нашего удобства (или неудобства), а для правил никакой разницы нет.

Предположим, что «человек» определяется как «двуногое смертное существо без перьев». В таком случае классический силлогизм будет выглядеть так:

Все [смертные, ~оперенные, двуногие] смертны.

Сократ — [смертный, ~оперенный, двуногий].

Следовательно, Сократ смертен.

Теперь этот приём выглядит не так впечатляюще, не правда ли?

Ярлыки здесь скрывают посылки, и благодаря этому создаётся иллюзия, что мы получили какой-то нетривиальный вывод. Если мы заменяем ярлыки определениями, то мы видим эту иллюзию и понимаем эмпирическую бесполезность тавтологии. Нельзя утверждать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

Существует идея (которую, как вы, наверное, заметили, я ненавижу): «вы можете определять слова как вам угодно». Эта идея происходит от аристотелевских категорий. Действительно, если вы будете строго и безошибочно следовать правилам Аристотеля - люди никогда так не делают, Аристотель прекрасно знал, что Сократ был человеком, хотя из его правил это никак не вытекало, - но если какая-то воображаемая нечеловеческая сущность будет строго следовать этим правилам, она никогда не придёт к противоречию. Она вообще ни к чему не придёт, она тоже не сможет сказать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

В рамках аристотелевской системы ярлыки произвольны. Однако, я хочу сказать не столько об этом, сколько о том, что аристотелевская система замечательно работает и вовсе без ярлыков. Она выдаёт точно такой же поток тавтологий, просто эти тавтологии выглядят гораздо менее впечатляюще. Ярлыки нужны лишь для создания иллюзии нетривиального вывода.

Поэтому, если вы желаете ввести какую-то поговорку в аристотелевском духе, то она должна звучать не как «Я могу определять слова как захочу» или «Процесс определения слова не имеет последствий», а скорее как «Определения не нуждаются в словах».

Табуируй свои слова

Элиезер Юдковский

Цель игры «Табу» от Hasbro — помочь партнёру угадать слово, написанное на карточке, при этом не произнося ни этого слова, ни ещё пяти дополнительных слов, написанных на карточке. Например, тебе может понадобиться показать слово «бейсбол», не используя слов «спорт», «бита», «удар», «подача», «база» (и, разумеется, «бейсбол»).

Когда я узнал о существовании этой игры, я удивился. Почему бы просто не сказать ««искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»?

С другой стороны, эти правила были для меня не в новинку. Я развивал соответствующие навыки уже несколько лет. Правда, с другой целью.

Вчера мы видели, как подстановка определений вместо соответствующих слов позволяет выявить эмпирическую непродуктивность классического аристотелевского силлогизма:

Все [смертные, ~пернатые, двуногие] смертны.

Сократ — [смертный, ~пернатый, двуногий].

Следовательно, Сократ смертен.

Однако, этот принцип можно применять более широко:

— Дерево, падающее в пустынном лесу, создаёт звук — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не создаёт звука — заявляет Барри.

Поскольку один говорит «звук», а другой «~звук», то мы явно нашли противоречие, верно? Но представим, что было бы, если бы они разыменовали свои указатели перед тем, как говорить:

— Дерево, падающее в пустынном лесу, удовлетворяет [тест на принадлежность: это событие порождает акустические вибрации] — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не удовлетворяет [тест на принадлежность: это событие порождает слуховые впечатления] — заявляет Барри.

Теперь кажущееся столкновение исчезло, и для этого было достаточно всего лишь запретить использовать слово «звук». В случае, если разногласия возникнут вокруг термина «акустические вибрации», можно сыграть в «табу» ещё раз и сказать «волны давления, передающиеся через физический объект-проводник»; если понадобится, можно пропустить через «табу» слово «волна» и заменить его на волновое уравнение. Если затабуировать «слуховые впечатления», то можно получить «форма обработки сенсорной информации в человеческом мозге, которая получает на вход временной ряд преобразованных частот».

Но представь, с другой стороны, следующий спор:

— Сократ входит в категорию [тест на принадлежность: эта личность погибнет, выпив цикуты] — заявляет Альберт.

— Сократ входит в категорию [тест на принадлежность: эта личность не погибнет, выпив цикуты] — заявляет Барри.

В этот раз произошло существенное столкновение ожиданий Барри и Альберта: они ожидают разных событий после того, как Сократ выпьет чашу цикуты. Однако, если они описали свои категории, используя слово «человек», то оба могут не заметить этого несогласия.

Ответ на вопрос «Совпадают ли мнения Альберта и Барри?» сильно зависит от того, за чем именно наблюдать в диалоге: за ярлыками (Альберт говорит «звук», Барри говорит «не звук»), или за испытаниями (Альберт предложил тест на акустические вибрации, Барри предложил тест на слуховые впечатления).

Собери вместе группу самозваных футурологов и спроси у них, будет ли у нас искусственный интеллект через тридцать лет. Я думаю, что по крайней мере половина из них ответит утвердительно. Если далее ничего не предпринимать, они пожмут друг другу руки и скажут много приятных слов про этот выявленный только что консенсус. Однако стоит лишь наложить табу на термин «искусственный интеллект» (и на слова «компьютеры», «думать» и подобное), а после поинтересоваться, что они ожидают увидеть — и, вполне возможно, ты обнаружишь полноценный конфликт ожиданий, скрывавшийся под бесцветным привычным словом. С другим небезызвестным термином(English) дела обстоят примерно так же.

Иллюзию единства различных религий можно рассеять, наложив табу на слово «Бог» и попросив верующих объяснить, в чём именно состоят их убеждения (или наложив табу на слово «вера» и попросив верующих объяснить, почему они носят свои убеждения). Правда, большинство не сможет что-либо ответить вообще: большая часть их убеждений — всего лишь провозглашения, и невозможно получить разъяснения терминов, увеличивая масштаб аудиозаписи.

Если ты столкнулся с философскими трудностями, то первая линия обороны заключается не в составлении определений спорных терминов, но в попытке мыслить, не используя этих терминов вообще. И не используя их коротких синонимов. И случайно не изобрети при этом какого-нибудь нового слова, в которое будет вложен тот же самый чёрный ящик. Опиши внешние наблюдения и внутренние механизмы; недостаточно просто показать на рукоять, чем бы ни являлась эта рукоять.

Альберт говорит, что у людей есть «свобода воли». Барри утверждает, что у людей нет «свободы воли». Ну что же, это несогласие явно породит заметный спор. Большинство философов дали бы Альберту и Барри совет попробовать в точности определить, что именно они называют «свободой воли»; и оба спорщика, рассуждая на эту тему, явно смогут подготовить объёмный философский трактат в качестве побочного продукта. Я дал бы Альберту и Барри совет описать, что именно за качество имеют (или не имеют) люди, вообще не используя в этом описании фразы «свобода воли» (а также слов «выбирать», «действовать», «решать», «предопределено», «ответственность» или какие-либо их синонимы).

Это один из нестандартных методов в моём наборе инструментов, и, по моему скромному мнению, этот метод работает намного лучше стандартного. Он и более трудоёмок в использовании; как известно, бесплатный сыр бывает только в мышеловке.

Замени символ на суть

Элиезер Юдковский

Что нужно, чтобы (как в предыдущем эссе) воспринимать «бейсбол» как «искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»? Что нужно, чтобы играть в рационалистскую версию «Табу», цель которой не вспомнить синоним, которого нет на карточке, а придумать, как описать явление, не используя привычных концептов в качестве костылей?

Нужно визуализировать. Заставлять свой внутренний взор воспринимать детали так, будто вы их видите впервые. Необходимо смотреть cвежим взглядом.

Это «бита»? Нет, это длинный, округлый, конусообразный, деревянный стержень, сужающийся у одного конца так, чтобы человек мог ухватить его и махнуть им.

Это «мяч»? Нет, это покрытый кожей сфероид, покрытый симметричным узором стежков, твердый, но не как металл. Его можно взять в руку и бросить, или ударить деревянным стрежнем, или поймать.

Это «базы»? Нет, это фиксированные позиции на игровом поле, которые игроки стараются достигнуть как можно быстрей из-за их «безопасности» в рамках искусственных правил игры.

Больше всего свежему взгляду мешает то, что у вашего разума уже есть готовые короткие обобщения в виде удобных простых концептов. Вроде «бейсбола», «биты», «базы». Нужны сознательные усилия, чтобы не дать разуму соскользнуть на привычную дорожку, легкий путь наименьшего сопротивления, где мелкое невыразительное слово врывается и смывает все детали, которые вы стараетесь увидеть. Слово само по себе может нести в себе разрушительную силу ярлыков и яд запасённых мыслей.

Табуирование — способность описывать без использования привычных указателей/ярлыков/инструментов — одна из фундаментальных способностей рационалиста. Она находится на том же базовом уровне, что и привычка постоянно задавать вопросы: «Почему?» или «Какие ожидания порождает это убеждение?».

Это искусство тесно связано с:

Прагматизмом. Табуирование лучше помогает сосредоточить внимание на ожиданиях, чем обычное проговаривание убеждений.

Редукционизмом. Табуирование заставляет вас обращать внимание на то, как устроен рассматриваемый объект или явление на более низком уровне. Вы обращаете внимание на части, а не скользите взглядом по целому.

Умением «ухватить задачу». Слова часто отвлекают от вопроса, который вы хотите задать на самом деле.

Избеганием запасённых мыслей, которые заполняют разум при использовании привычных слов. Табуирование привычных слов позволяет с этим справиться.

С правилом писателей «показывай, а не рассказывай», уважаемому рационалистами.

И умением не терять из виду исходную цель.

Как табуирование помогает не терять из виду цель?

Из «Потерянных целей»:

В то самое время, когда вы читаете этот текст, в каком-нибудь университете за партой сидит студент или студентка, и усердно изучает какой-то материал, который он или она вообще не собираются когда-нибудь применять и который им вовсе не интересен. Они хотят получить высокооплачиваемую работу, а для нее нужна «корочка», а для получения «корочки» надо получить степень магистра, для получения которой сначала надо получить степень бакалавра. А университет, в котором можно получить эту степень, требует пройти курс по узорам вышивания двенадцатого века. Поэтому студенты прилежно изучают эти узоры. Они намерены про них забыть сразу же после экзамена, однако всё равно тратят довольно много усилий, потому что им нужна «корочка».

Зачем вы ходите в «школу»? Чтобы получить «образование» и в конце концов «степень». Забудьте слова в кавычках и их синонимы, представьте все детали из реального мира, и, скорее всего, вы заметите, что «школа», судя по всему, — это совместное сидение в помещении вместе со скучающими подростками и выслушивание материала, который вы и так знаете. «Степень» окажется бумагой с какими-то написанными словами, а «образование» — забыванием материала сразу же после экзамена.

Классификация часто приводит к сомнительным обобщениям. Например, те, кто действительно чему-то учится в классе попадают в категорию «получающие образование», поэтому «получение образования» считается чем-то хорошим. Однако, потом любой, кто оказывается в колледже, оказывается в категории «получающий образование», независимо от того, учится он чему-то или нет.

Ученики, которые понимают математику, прекрасно справятся с тестами. Однако, если поставить школе цель готовить людей, которые получают в тестах высокие баллы, ученики потратят всё своё время на подготовку к тестам. Если ваша цель попадёт в неправильную мысленную категорию, это может привести к появлению такого же неправильного стимула. Вы хотите учиться, поэтому вам нужно «образование», и пока вы занимаетесь чем-то, что попадает в категорию «образование», вы можете не замечать, учитесь вы или нет. Вы также можете заметить, что вы не узнаёте ничего нового, но не осознать, что вы уже забыли про изначальную цель, потому что вы «получаете образование», а ваша цель у вас в голове описана именно так.

Категоризировать — выбрасывать информацию. Если вам скажут, что упавшее дерево издало «звук», вы не узнаете, что это был за звук — вы не слышали, как это дерево падало. Если монета выпала «орлом», вы не знаете, как она оказалась ориентированной на плоскости. Синяя яйцеобразная штука может быть «сияйцом», но какого именно оттенка синего и какой именно формы она? Классификацию используют для отбрасывания не релевантной информации, для отделения золота от песка, но часто получается, что привычная классификация отбрасывает и релевантную информацию тоже. И если вы столкнулись с такой проблемой, первым и лучшим решением будет сыграть в рациональное «табу».

Например, «сыграть в „табу“ » — само по себе скользкое обобщение. Версия Хасбро не то же самое, что и версия рационалистов: для того, чтобы исключить мышление привычными словами недостаточно исключить лишь пять синонимов, написанных на карточке. «Табу» рационалистов оказывается внутри границ концепта «игра в „табу“ », но не все, что находится внутри этих границ, позволяет посмотреть на мир свежим взглядом. Если вы просто будете «играть в „табу“ ради свежего взгляда», то начнёте думать, что все, что считается игрой в «табу», может считаться свежим взглядом.

«Табу» по версии рационалистов — это не игра. Вы не сможете здесь схитрить или обойти правила. Вам придется добровольно ограничить себя: перестать использовать и те синонимы, которых нет на карточке. Вам так же придется останавливать себя, когда вы попытаетесь придумать новое простое слово или фразу, которые будут играть ту же роль умственных костылей, что и старые привычные слова. Вы стараетесь увидеть больше деталей на карте, а не переименовывать города, разыменовать указатель, а не ввести новый, увидеть события такими, какие они есть, а не переписать клише о них другими словами.

Рассмотрев задачу во всех деталях, вы сможете увидеть потерянную цель. Чем вы на самом деле занимаетесь, играя в «табу»? Для чего нужна каждая из частей процесса?

Если вы посмотрите на ваши действия, как будто вы смотрите на них первый раз, то сможете увидеть свежим взглядом и ваши цели. Если вы сможете посмотреть на себя по-новому, то увидите, что вы занимаетесь чем-то, что вас вряд ли привлекло бы, если бы не успело войти в привычку.

Цель теряется из виду, как только суть (обучение, знания, здоровье) заменяется на символ (степень, тестовые баллы, медобслуживание). Чтобы заново найти потерянную цель или избавиться от скользкого обобщения, вам нужно сделать наоборот.

Замените символ на суть. Замените знак на то, что он обозначает. Замените свойство проверкой принадлежности. Замените слово на его смысл. Замените ярлык на концепт. Замените конспект на детали. Замените вспомогательный вопрос на основной. Разыменуйте указатель. Перейдите на нижний уровень организации. Смоделируйте процесс в уме, а не просто произнесите его название. Увеличьте масштаб на вашей карте.

«Простая истина» получилась благодаря табуированию слова «истина». Я описал смысл этого слова на более низком уровне без привлечения слов вроде: «точный», «корректный», «представляет», «отражает», «семантика», «убеждение», «знание», «карта», «настоящий». (Помните, цель не в том, чтобы играть в «табу» — слово «истинный» появлялось в том тексте, но не для того, чтобы определить истину. В игре «Табу» от Хасбро это считалось бы ошибкой, но на самом деле мы не играем в эту игру. Спрашивайте себя, выполнил ли свое назначение документ, а не написали ли его в соответствии с правилами.)

Правило Байеса описывает «свидетельство» с помощью чистой математики, без использования слов вроде «подразумевает», «означает», «поддерживает», «доказывает», или «оправдывает». Если вы попробуете определить подобные философские термины, вы лишь начнёте ходить по кругу.

И есть слово, которое табуировать важнее всего. Я неоднократно предупреждал, что им не стоит злоупотреблять. В некоторых случаях даже следует избегать этого понятия. И теперь вы знаете, почему. Размышлять об этом предмете вполне можно. Но истинное его понимание определяется вашей способностью описать, что вы делаете и почему — без использования этого слова и его синонимов.

Ошибки сжатия

Элиезер Юдковский

Есть известное высказывание: «Карта не есть территория». Единственная точная на 100% карта Калифорнии в натуральную величину с сохранением всех деталей на уровне атомов — это сама Калифорния. Однако в Калифорнии есть некоторые важные повторяющиеся детали — например, шоссе, — которые можно описать, используя значительно меньше информации (не говоря уже о физической материи для хранения этой информации), чем потребовалось бы для описания каждого атома в пределах границ штата. Поэтому есть и другое высказывание: «Карта не есть территория, но территорию нельзя свернуть и положить в бардачок».

На бумажной карте Калифорнии в масштабе 10 километров к 1 сантиметру ( миллион к одному) нет места для того, чтобы показать точное расположение двух опавших листьев, лежащих на тротуаре в сантиметре друг от друга. Даже если карта попытается показать листья, листья будут отображаться одной и той же точкой на карте. Точнее, карте потребуется разрешение в 10 нанометров, что гораздо меньше доступного для подавляющего большинства книжных принтеров, не говоря уже о человеческих глазах.

Реальность очень велика. Даже видимая для нас часть реальности — это миллиарды световых лет. Но ваша карта реальности записана на нескольких фунтах нейронов, упакованных так, чтобы поместиться внутри черепной коробки. Не хочу никого обидеть, но по сравнению с реальностью ваш череп — очень крохотный.

И поэтому совершенно неизбежно некоторые объекты, которые в реальности различны, оказываются на вашей карте сжатыми в одну точку.

Но изнутри это ощущается не как: «Ого, посмотрите-ка, я сжимаю два объекта в одну точку на моей карте». Это ощущается, словно существует лишь один объект и вы непосредственно его и наблюдаете.

Достаточно маленький ребенок или достаточно древний греческий философ не знают про такие штуки, как «акустические вибрации» или «слуховые переживания». И, когда дерево упадет, будет лишь одно — единственное событие, называемое «звуком».

Осознание того, что точка на вашей карте скрывает два различных явления, по сути — научная задача. Огромная сложная научная задача.

Иногда ошибки сжатия случаются из-за путаницы между двумя одинаковыми явлениями, называющихся одним словом. Вы знаете про акустические вибрации и про работу слуховых отделов мозга, но называете их одним словом — «звук», и запутываете себя. Но более опасная ошибка сжатия возникает в тех случаях, когда вы даже не подозреваете, что в вопросе могут быть замешаны две разные сущности. В вашей голове есть только одна папка, обозначенная «звук», и каждая мысль про «звук» попадает в эту единственную папку. Это не то же самое, что иметь две папки с одним и тем же названием. По умолчанию карта сжата — зачем мозгу создавать две ментальные коробки, когда хватает и одной?

Или вообразите себе книгу детективного жанра, в которой главный герой должен догадаться, что у подозреваемой есть сестра-близнец. Обычная детективная работа героя сведётся лишь к тому, что он заметит, что Кэрол носит красное, что у неё чёрные волосы, что у неё кожаные сандалии. Однако, все эти факты будут о Кэрол. Достаточно легко усомниться в отдельных фактах, вроде НоситКрасное(Кэрол) или ТемныеВолосы(Кэрол). Может ТемныеВолосы(Кэрол) — ложно. Может Кэрол красит волосы. Может быть Шатенка(Кэрол). Но детективу потребуется немало смекалки, чтобы догадаться, что НоситКрасное(Кэрол) и ТемныеВолосы(Кэрол) — тот самый файл «Кэрол» в который попадают все наблюдения, связанные с Кэрол, — должен быть разбит на два отдельных файла. Может быть существуют две Кэрол, и та Кэрол, что носит красное, и та, что с темными волосами — две разные женщины.

Именно так выглядит создание двух различных коробок. И это зачастую требует гениального озарения. Легче ставить под сомнение имеющиеся у себя факты, чем определяющую их онтологию.

В отличие от бумажной карты Калифорнии карта реальности, которая содержится в человеческом мозге, способна динамически расширятся, когда мы вводим более детальные описания объектов. Но изнутри это ощущается не столько как увеличение масштаба, сколько как деление невидимого атома — мы берём один предмет (он ощущается как один) и делим его на два разных.

Часто в результате появляются новые слова, например, «акустические вибрации» и «слуховые переживания» вместо просто «звук». По-видимому, где-то при появлении нового названия и создаётся новая ментальная коробка. Детектив, скорее всего, будет называть одну из подозреваемых «Кэрол-2» или «другая Кэрол», когда догадается, что их двое.

Но расширить собственную карту сложней, чем выдумать названия для новых городов. Необходимо озарение научного уровня, чтобы понять, что такие штуки, как акустические вибрации или слуховые переживания, вообще существуют.

В качестве более современных примеров можно взять слова «интеллект» или «сознание». Нередко встречаются новостные заголовки, кричащие, что ученые «объяснили сознание», просто потому что команда неврологов исследовала электрический ритм в сорок герц, который может быть связан с кросс-модальным переносом сенсорной информации, или ретикулярную активирующую систему, ответственную за бодрствование. Это, конечно, крайности — обычно ошибки менее очевидны, но они одного поля ягоды. Наиболее интересные части «сознания» это рефлективность, самосознание, понимание того, что человек, которого я вижу в отражении зеркала это «я». Это и трудная проблема субъективного опыта, выделенная Чалмерсом. Мы так же обозначаем словом «сознание» и разницу между сном и бодрствованием. Но это разные концепты с одинаковым именем, и соответствующие им явления являются отдельными научными загадками. Можно объяснить бодрствование, не объясняя при этом рефлективность или субъективность.

Ошибки сжатия так же лежат в основе философской техники «заманить и подменить» — вы рассуждаете о сознании, определяя его через способность думать о мышлении, а затем применяете выводы для другого свойства сознания, вроде субъективности. Разумеется, эти явления могут быть одним и тем же, но, чтобы это понять по-настоящему, нужно сначала эти понятия разделить и только потом, благодаря какому-то гениальному озарению, объединить снова.

Расширение карты, как уже говорил — научный вызов. Это часть научного искусства, умения расследовать, как устроен мир. И, разумеется, вам не удастся решить научную задачу, обратившись к словарю, и вы не научитесь исследовать мир с помощью техники «я могу определять слова как мне захочется». Если некий единый объект вызывает у вас замешательство своими многообразными и внутренне противоречивыми свойствами, вполне возможно, что проблема в карте, которая сжимает слишком много в одну точку. В таком случае полезно попробовать разделить их и создать новые ментальные коробки. Это не то же самое, что дать определение единому объекту. Скорее этот процесс запускается, когда вы разбираетесь, как говорить об объекте, не используя привычные ментальные костыли-понятия.

Вот и получается, что увеличения детализации собственной карты связано с рационалистской версией игры Табу и с мудрым использованием слов. Ведь слова часто соответствуют точкам на нашей карте: ярлыкам, которыми мы помечаем наши суждения, и ментальным коробкам, куда мы складываем информацию. Отказ от использования некоего слова — или наоборот создание новых слов — зачастую необходим для расширения карты.

У классификации есть последствия

Элиезер Юдковский

Ваш геном содержит множество генетических вариаций и мутаций. Скорее всего, вы знаете лишь о некоторых из них. Возможно, вы знаете про аллели, которые определяют вашу группу крови: присутствие или отсутствие антигенов А, В и резус-фактора. Если вам будут переливать кровь, содержащую антиген, которого у вас нет, это приведет к аллергической реакции. Этот факт открыл Карл Ландштейнер (вместе со способом определять совместимость групп крови), и в результате стало возможным перелить кровь пациенту, не убив его (Нобелевская премия по медицине 1930 года). Кроме того, если женщина с группой крови А будет беременна ребенком с группой А+, то у нее может развиться аллергия на антиген +. И если у нее будет еще один ребенок с А+, то ей придётся принимать противоаллергенные препараты в ходе беременности или этот ребёнок окажется в опасности. Поэтому люди и узнают про группы друг у друга, прежде чем жениться.

О, и чуть не забыл: люди с группой А — серьезные и изобретательные, а с группой В — сумасбродные и веселые. Люди с группой О — кооперативные и дружелюбные, а с группой АВ — спокойные и владеющие собой. (Можно было бы подумать, что О будет обратным А и В, а АВ будет просто А плюс В, но нет…) Вся эта информация взята из японской теории личности, основанной на группе крови.

Судя по всему, группа крови играет в Японии ту же роль, что и астрологические знаки на Западе. Вплоть до «гороскопов по группе крови» в ежедневных газетах.

Всё это особенно странно, поскольку группы крови никогда не считались чем-то загадочным. Ни в Японии, ни где-то в другом месте. Мы и знаем про них только благодаря Карлу Ландштейнеру. Ни таинственный знахарь, ни почтенный чародей не говорили ни слова про группы крови. Никакие древние пыльные свитки не укутывают упомянутую ошибку аурой старины. Если специалисты-медики завтра признаются, что эти группы были лишь грандиозной мистификацией, то у нас, мирян, не будет ни малейшего свидетельства, доступного невооруженному глазу, чтобы опровергнуть их слова.