Рациональность: От ИИ до Зомби

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они действительно верят в непознаваемое божество без конкретных, заранее известных им признаков с соответствующе высокой вероятностью. Кто‑то действительно верящий в столь неопределённое божество, немедленно опознал бы своего странного нечеловеческого создателя, когда Дарвин сказал своё «Ага!».

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они с искренней непредвзятостью ожидают, когда наука обнаружит Бога. Наука уже обнаружила вполне богоподобного создателя людей, но не такого, о котором религиозные люди хотели бы узнать. Они ожидали обнаружения их Бога — божества очень конкретного типа, которого им хотелось бы узреть. Их ожидание будет бесплодным, ибо великое открытие уже сделано и победителем оказался Азатот.

Что ж, тем лучше для нас, людей. Мне нравится Создатель, которого я могу перехитрить. Лучше, чем быть домашним животным. Я рад, что наш Бог — Азатот, а не Один.

Примечание редактора: Перевод этого эссе взят с сайта Данилы Сентябова с его разрешения.

1.Francis Darwin, ed., The Life and Letters of Charles Darwin, vol. 2 (John Murray, 1887).

2.Манихейство — древняя религия, согласно которой материальный мир не сотворён единственным Создателем, а рождён в результате конфликта двух равноправных сил — всеблагого Света и бездуховного Мрака. Подробнее можно прочитать в Википедии. — Прим.перев.

3.Речь идёт о популярной идее, будто «погремушки» появились у змей «из гуманистических целей», чтобы оповещать окружающих об опасности. Источник цитаты — George C. Williams, Adaptation and Natural Selection: A Critique of Some Current Evolutionary Thought, Princeton Science Library (Princeton, NJ: Princeton University Press, 1966).— Прим.перев.

4.В Средние века было распространено представление о самозарождении мышей и других вредителей из «нечистот».— Прим.перев.

Чудо эволюции

Элиезер Юдковский

Чудо эволюции в том, что она вообще работает.

Я говорю буквально. Если уж вы хотите восторгаться эволюцией, именно это достойно восхищения.

Каким образом во вселенной впервые возникла оптимизация? Если некий разумный агент сотворил природу, кто сотворил разумного агента? Где первый создатель, у которого нет создателя? Загадка не в том, как уже первый этап этой последовательности может быть супер-разумным и супер-эффективным. Загадка в том, как он вообще мог появиться.

Эволюция разрешает бесконечную регрессию не потому, что она сверхумная и сверхэффективная, а потому, что она тупая, неэффективная, но всё равно работает. В этом и заключается чудо.

По профессиональным причинам мне часто приходится обсуждать медлительность, случайность и слепоту эволюции. После чего кто-нибудь говорит: «Вы только что сказали, что эволюция не способна планировать одновременные изменения и что эволюция крайне неэффективна, так как мутации случайны. Но разве не это же утверждают креационисты? Что вы не можете собрать часы, случайно перемешивая детали в коробке?»

Но нельзя возражать креационистам словами, что вы на самом деле можете собрать часы, тряся коробку с деталями. Просто эволюция работает не так. Если вы считаете, что эволюция действительно представляет из себя воздушные вихри, собирающие Боинги 747, то креационисты успешно исказили ваше представление о биологии — продали вам чучело.

В действительности сложные механизмы эволюционируют либо последовательно улучшаясь, либо приспосабливая уже существующие сложные механизмы под новую цель. Белки прыгают с дерева на дерево, используя лишь свои мышцы, но длина их прыжка в определенной степени зависит от аэродинамики их тел. И сейчас существуют белки-летяги, настолько аэродинамичные, что они могут парить на небольшие расстояния. Если бы птицы оказались уничтожены, потомки белок-летяг могли бы занять эту экологическую нишу в течении десяти миллионов лет, их летательные мембраны превратились бы в крылья. А креационисты говорили бы: «Что толку от половины крыла? Вы бы просто упали и разбились. Как бы птицебелки могли эволюционировать последовательно?»

Вот так одна сложная адаптация может породить новую сложную адаптацию. Сложность также может нарастать постепенно, начиная с одной случайной мутации.

Сначала появляется какой-нибудь ген А — простой, но хотя бы чуть-чуть полезный сам по себе, благодаря чему он распространяется в генофонде. Потом появляется ген B, от которого есть польза только в присутствии A, но так как A уже широко распространён в генофонде, в пользу B действует серьёзное давление отбора. Далее возникает модифицированная версия А*, которая зависит от B, но не разрушает зависимость B от А/А*. Потом появляется С, связанный с А*, и B*, который зависит от А* и С. И вскоре мы имеем «нечленимо сложный» механизм, который ломается, стоит вытащить одну деталь.

И тем не менее, вы всё ещё можете отследить путь обратно к единственному элементу: вы можете, не ломая механизм, сделать один элемент менее зависимым от другого, и, повторив это несколько раз, вы сможете вытащить деталь, не сломав механизм, и так пока не превратите механические часы в грубые солнечные.

Например: ДНК хранит информацию очень точно. В устойчивом формате, который позволяет осуществлять точную дупликацию. Рибосома переводит эту сохраненную информацию в последовательность аминокислот, в белок, который может принимать множество химически активных форм. Объединенная система, ДНК и рибосома, может создать любой белковый механизм. Но в чём польза от ДНК без рибосомы, которая переводит информацию в белки? В чём польза от рибосомы без ДНК, которая бы объяснила, какой белок производить?

От организмов не всегда остаются окаменелости, поэтому эволюционная биология не всегда может выяснить, как именно происходило последовательное улучшение. Но в данном случае мы действительно знаем, как это произошло. РНК способна переносить информацию и самореплицироваться, как и ДНК, хотя РНК и не так устойчива, а её копии не столь точны. И РНК, как и белки, способна принимать химически активные формы, хотя и не столь универсальные, как аминокислотные цепочки белков. Почти наверняка РНК — это одиночная А, которая предшествовала взаимозависимым А* и B.

Отметить, что РНК выполняет объединенную работу ДНК и белков плохо, столь же важно, как и отметить то, что она вообще её выполняет. Восхитительно, что одна единственная молекула может одновременно хранить информацию и управлять химическими процессами. Делать эту работу ещё и хорошо было бы совершенно лишним чудом.

Что же было первым репликатором на свете? Это вполне могла бы быть нить РНК, ведь, «по какому-то странному стечению обстоятельств», химические элементы, составляющие РНК — это те химикаты, что могли естественным образом появиться на добиологической Земле 4 миллиарда лет назад. Пожалуйста, обратите внимание: эволюция не объясняет возникновение жизни. Эволюционная биология не предназначена для объяснения первого репликатора, потому что первый репликатор не произошёл от другого репликатора. Эволюция описывает статистические тенденции репликации. Первый репликатор не был статистической тенденцией, он был просто случаем. Идея, что эволюция должна объяснять возникновение жизни — это настоящее соломенное чучело, ещё одно креационистское непонимание эволюции.

Если бы вы наблюдали за первичным бульоном в день возникновения первой самовоспроизводящейся молекулы, день, который изменил Землю, вас бы не впечатлило то, насколько хорошо этот первый репликатор воспроизвел себя. Первый репликатор наверняка копировал себя, как пьяная мартышка под ЛСД. Вы не увидели бы никаких признаков той тщательной тонкой настройки, которая воплощена в современных репликаторах, потому что первый репликатор был случайностью. Эта одинокая ниточка РНК, или химический гиперцикл, или узор в грязи, не обязана была воспроизводиться изящно. Достаточно было сделать это хоть как-то. И даже тогда — это всё ещё было невероятно, если воспринимать это как единичный случай. Но это должно было случиться только один раз, а приливных луж было очень много. И вот несколько миллиардов лет спустя репликаторы ходят по Луне.

Первая случайно самореплицирующаяся молекула была самой важной молекулой в истории. Но если бы вы восхваляли ее слишком сильно, приписывая ей всяческие способствующие воспроизводству возможности, вы бы упустили всю суть.

Не думайте, что в политических дебатах между эволюционистами и креационистами тот, кто восхваляет эволюцию больше всех, должен быть на стороне науки. Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все. Вы попадаете в креационистскую ловушку, настаивая, что да, торнадо может собрать Боинг 747! Разве это не здорово! Как чудесно разумна эволюция, насколько она заслуживает восхищения! Посмотрите на меня, я расписываюсь в своей верности науке! Чем больше я скажу хороших вещей о эволюции, тем больше я на стороне эволюции, против креационистов!

Но превознесение эволюции уничтожает истинное чудо: оно не в том, как хорошо эволюция создаёт вещи, а в том, что происходящий естественным образом процесс вообще способен что-то создавать.

Так что давайте избавимся от идеи, что эволюция прекрасно создаёт новые виды или чудесно управляет их судьбой, а мы, люди, должны подражать ей. Для человеческого интеллекта подражать эволюции как творцу было бы как для современной сложно организованной бактерии брать пример с первого репликатора как с биохимика. Как выразился Томас Гексли, «бульдог Дарвина»:

Давайте поймем раз и навсегда, что этический прогресс общества строится не на подражании космическому процессу и тем более не на бегстве от него, а на противостоянии ему.

Гексли сказал это не потому, что он не верил в эволюцию, а потому что он понимал её слишком хорошо.

Эволюции неразумны (но всё равно работают)

Элиезер Юдковский

В предыдущем эссе я писал:

Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все.

В этом эссе я опишу некоторые широко известные неэффективности и ограничения эволюций. Я говорю «эволюции» во множественном числе, потому что цель эволюции лис прямо противоположна цели эволюции кроликов, и ни одна из них не может расспросить эволюцию змей, чтобы научиться выращивать ядовитые клыки.

Итак, я говорю здесь об ограничениях эволюции, но это не значит, что я пытаюсь пропагандировать креационизм. Это стандарный курс эволюционной биологии для продолжающих (если добавить выведение уравнений, будет продвинутый). Эволюции, ограниченные таким образом, всё ещё могут объяснить наблюдаемые биологические изменения; фактически эти ограничения как раз и придают им смысл. Помните, что прелесть эволюций не в том, насколько хорошо они работают, а в том, что они работают вообще.

Человеческий интеллект настолько сложен, что нет достаточно рабочего способа рассчитать, насколько он эффективен. Естественный отбор, хотя и не прост, - проще, чем человеческий мозг; как следствие, он медленнее и менее эффективен, как и подобает первому процессу оптимизации, который когда-либо существовал. На самом деле эволюции просты настолько, что мы можем точно рассчитать, насколько они глупы.

Эволюционные изменения медленны. Насколько? Предположим, есть полезная мутация, которая обеспечивает преимущество в приспособленности на 3%. В среднем, носители этого гена имеют в 1,03 раза больше детей, чем не-носители. При условии, что мутация распространяется свободно, сколько займёт её внедрение во всей популяции? Это зависит от численности населения. Ген, передающий 3% -ное преимущество приспособленности, распространяющееся среди 100 000 человек, потребует в среднем 768 поколения для достижения повсеместности в генофонде. Для населения в 500 000 потребуется 875 поколений. Общая формула такова:

требуемое количество поколений для фиксации гена в генофонде = 2*ln(N)/s

где N — размер популяции, а (1 + s) — приспособленность. (Если у каждого носителя этого гена в 1,03 раза больше детей, чем у не-носителя, s равняется 0,03). Таким образом, если размер популяции составляет 1 000 000 особей — примерная численность населения во времена охоты и собирательства — то потребуется 2763 поколения, чтобы ген, дающий преимущество на один процент, распространился в генофонде.

В этом нет ничего удивительного. Генам приходится самим выполнять всю работу, потому что нет никакой Феи Эволюции, которая бы наблюдала за генофондом и решала: «Хм, этот ген, кажется, быстро распространяется, надо раздать его всем!»

В условиях человеческой рыночной экономики любой, кто, оставаясь в рамках закона, получает 20% прибыли от инвестиций — особенно если за этим стоит очевидный, прозрачный механизм — стремительно получает ещё больше капитала от инвесторов, а другие начинают копировать его предприятие. Генам же приходится распространяться без помощи фондовых рынков, банков и подражателей. Как если бы Генри Форду пришлось сделать одну машину, продать её, купить деталей на ещё 1,01 машину (в среднем), продать эти машины, и так до тех пор, пока не дойдёт до миллиона.

Это если предполагать, что ген вообще распространится. Следующее уравнение проще и вовсе не связано с размером популяции:

вероятность закрепления гена = 2s

У мутации, которая несёт 3%-ное преимущество (что чертовски много для мутаций), 6% вероятность распространения в популяции, по крайней мере на этот раз. Мутации могут повторяться, но при популяции из миллиона особей и точности копирования 10^-8 ошибок на поколение вам придётся подождать сотню поколений, чтобы получить ещё один шанс, а потом у неё всё равно будет 6% шанс закрепиться.

И всё-таки в конечном итоге эволюции неплохо удаётся добираться до финальной точки. (Это лейтмотив.)

На развитие сложных адаптаций требуется очень много времени. Сначала появляется аллель А, который выгоден сам по себе, и уходит тысяча поколений, прежде чем он закрепится в генофонде. Только после этого аллель B, зависимый от А, может начать развиваться. Меховая шуба не станет серьёзным преимуществом, если у окружающей среды нет статистически достоверной склонности устраивать вам морозильник. А гены составляют часть окружающей среды для других генов, и если B зависит от A, то B не получит серьёзного преимущества, пока A не будет достоверно присутствовать в окружающей среде.

Предположим, что B дает преимущество 5% при наличии A, а без него не даёт никакого. Тогда до тех пор, пока A всё ещё имеет 1% -ную частоту в популяции, B даст преимущество только 1 из 100 раз, поэтому суммарное преимущество наличия B составляет 0,05%, а вероятность закрепления В составляет 0,1%. В случае развития сложной адаптации сначала гену А придётся развиваться на протяжении более чем тысячи поколений, потом гену B придётся развиваться ещё тысячу поколений, и тогда A∗ разовьётся ещё через тысячу поколений… и несколько миллионов лет спустя вы получите новую сложную адаптацию.

И при этом другие эволюции не перенимают её. Если эволюция змей разработает потрясающий новый яд, это не поможет эволюции лис или эволюции львов.

Сравните всё это с человеком-программистом, который может разработать новый сложный механизм с сотней взаимозависимых частей всего за один день. Как это вообще возможно? Я не знаю ответа, и предполагаю, что наука тоже не знает(en); человеческий мозг намного сложнее, чем эволюции. Я мог бы махнуть рукой и сказать что-то вроде «целенаправленная обратная цепочка с использованием комбинаторных модульных представлений», но это не помогло бы вам спроектировать своего собственного человека. Тем не менее: люди предусмотрительны и способны разрабатывать новые элементы системы c расчётом на то, что в будущем будут разработаны другие новые элементы; производить согласованные одновременные изменения в взаимозависимом механизме; учиться, наблюдая отдельные тестовые примеры; фокусироваться на проблемных точках и разбираться с ними, используя абстрактное мышление; придумывать, как ещё можно поиграть с настройками вместо того, чтобы ждать, что луч из космоса создаст удачное изменение. По меркам естественного отбора это просто волшебство.

Люди способны делать вещи, которые эволюции сделать не смогут (здесь можно поставить точку) за всё то время, сколько ещё проживёт Вселенная. Как однажды сказала выдающийся биолог Синтия Кеньон за обедом, на котором я имел честь присутствовать: «Один аспирант за час может сделать то, что эволюция не смогла за миллиард лет». Согласно текущим знаниям биологов, эволюции изобрели полностью вращающееся колесо в общей сложности трижды.

И не забывайте о том, что программист может запостить фрагмент кода в интернете.

Да, некоторые изделия эволюции впечатляют даже в сравнении с лучшими технологиями Homo sapiens. Но наш кембрийский взрыв только начался, мы едва только начали накапливать знание, примерно… четыре сотни лет назад? В чём-то биология всё ещё превосходит лучшие человеческие технологии: мы не можем создать самовоспроизводящуюся систему размером с бабочку. В других случаях человеческая технология делает биологию только так. У нас есть колёса, у нас есть сталь, у нас есть ружья, у нас есть ножи, у нас есть заострённые палки; есть ракеты, транзисторы, атомные электростанции. С каждым десятилетием наша чаша весов склоняется всё ниже.

Повторю: для человеческого разума искать вдохновение в конструкторском мастерстве естественного отбора — то же самое, как если бы сложная современная бактерия подражала бы неуклюжей биохимии первого репликатора. Первый репликатор, появись он в сегодняшней конкурентной среде, был бы мгновенно съеден. Та же участь ждёт и человека-проектировщика, который станет вносить в свои стратегии случайные точечные мутации и ждать 768 итераций тестов, прежде чем внести 3%-ное улучшение.

Не превозносите эволюции ни на миллиметр больше, чем они того заслуживают.

Далее в программе: ещё больше захватывающих математических ограничений эволюции!

Эволюция к вымиранию

Элиезер Юдковский

Существует очень сильно распространённое заблуждение, согласно которому эволюция работает на благо видов. Вы, наверное, слышали чьи-нибудь рассуждения о том, что два кролика производят на свет восемь крольчат потомства и тем самым «способствуют выживанию своего вида»? Современный эволюционный биолог никогда бы такого не сказал. Скорее бы он породнился с кроликом.

При обсуждении этого вопроса тоже необходимо одновременно держать в уме несколько абстрактных концепций и при этом не смешивать их. Эволюция не работает на уровне конкретных особей. Особи сохраняют те гены, с которыми были рождены. Эволюция оперирует на уровне популяций — видов — во времени. Возникает естественная тенденция думать, что раз Фея Эволюции работает на уровне видов, она, должно быть, оптимизирует ради этих видов. Но на самом деле меняются лишь частоты встречаемости генов в популяции, а они не увеличиваются и не уменьшаются в зависимости от того, насколько этот ген поможет виду в целом. Как мы увидим в дальнейшем, для вида вполне возможно эволюционировать к вымиранию.

Почему мальчиков и девочек рождается примерно одинаковое количество? (Не учитывая безумные страны, использующие технологии искусственного полового отбора.) Чтобы понять, почему это удивительно, учтите, что от одного мужчины могут забеременеть сразу 2, 10, 100 женщин. Не похоже, чтобы одинаковое количество самцов и самок было необходимо для обеспечения выживания вида. Это ещё более удивительно для большинства видов животных, у которых самец практически не участвует в выращивании потомства - в вопросе родительских инвестиций люди экстраординарны, даже среди приматов. Сбалансированное половое распределение обнаруживается даже у видов, где самец оплодотворяет самку, а затем исчезает в тумане.

Рассмотрим две группы на разных сторонах горы: в группе А каждая мать рожает 2 дочерей и 2 сыновей, в группе В каждая мать рожает 3 дочерей и 1 сына. Группа А и группа В будут иметь одинаковое количество детей, но в группе В будет на 50% больше внуков и на 125% больше правнуков. Можно подумать, что это серьёзное эволюционное преимущество.

Но стоит учесть: чем реже начинают встречаться самцы, тем более репродуктивно ценными они становятся - не для группы, а для отдельного родителя. У каждого ребёнка есть отец и мать. Поэтому в каждом поколении общее генетическое влияние всех самцов должно быть равно общему генетическому влиянию всех самок. Чем меньше самцов, тем больше индивидуальное генетическое влияние каждого из них. Если все самки вокруг действуют во благо группы и вида, рожая по самцу на десять самок, вы можете одержать полную генетическую победу, родив исключительно сыновей, каждый из которых (в среднем) будет иметь в десять раз больше внуков, чем у их кузин.

В результате, в то время как групповой отбор должен поощрять рождение большего количества дочерей, индивидуальный отбор поощряет равный вклад в рождение потомства обоих полов. Взглянув на статистику по рождаемости, нетрудно заметить, что в борьбе между этими двумя силами у Homo sapiens, сокрушительную победу одержал индивидуальный отбор.

(Технически, всё немного сложнее. Индивидуальный отбор поощряет равный родительский вклад в потомство обоих полов. Если рождение и/или воспитание самцов в два раза проще, то эволюционно стабильным состоянием будет популяция, в которой самцов в два раза больше чем самок. Если в популяции в целом рождается одинаковое количество самцов и самок, но рождение самцов в два раза проще, то вы опять же можете одержать генетическую победу, рожая больше самцов. Таким образом, пациенты родильного отделения должны отражать баланс родительских издержек в семье охотников-собирателей при выращивании мальчиков и девочек. Но знаете, не похоже, чтобы для семьи охотников-собирателей вырастить девочку было настолько более репродуктивно затратным, что рождение примерно одинакового количество мальчиков и девочек выглядело подозрительным.)

Естественный отбор — не о группах, не о видах и даже не об отдельных особях. У видов, практикующих половое размножение, отдельный организм не эволюционирует, он сохраняет те гены, с которыми был рождён. Особь — это одноразовый набор генов, который никогда не возникнет вновь. Как можно вести отбор на таком основании? Стоит заметить, что почти все ваши предки мертвы, как становится ясным, что «выживает сильнейший» — это огромное заблуждение. «Воспроизводство более приспособленных» — вот подходящая формулировка, хотя технически приспособленность и определяется исключительно в терминах воспроизводства.

В действительности, естественный отбор — о частотах генов. Чтобы получить сложную адаптацию, механизм с множеством взаимозависящих деталей, каждый новый ген в процессе эволюции зависит от остальных генов, в достаточной степени распространённых в генетической среде. Они должны часто встречаться. И чем сложнее механизм, тем больше должны быть эти частоты. Особенность естественного отбора проявляется в распространённости гена, увеличивающейся от 0.00001% до 99% генофонда. Увеличение распространённости — это информация в смысле теории информации, и оно необходимо, чтобы большие сложные адаптации эволюционировали.

Настоящая борьба естественного отбора не в конкуренции между организмами за ресурсы, это лишь морок и все его участники исчезнут в следующем поколении. Настоящая борьба в соревновании между аллелями за частоты в генофонде. Именно результат этой борьбы создаёт информацию, сохраняющуюся надолго. Два ревущих барана, столкнувшиеся рогами всего лишь тени на стене пещеры.

Абсолютно возможно для аллеля распространиться вплоть до повсеместности, победив в конкурентной борьбе альтернативный аллель, который был бы «лучше для всего вида». Если бы Летающий Макаронный Монстр магически создал вид, в котором половое разнообразие было бы идеально оптимизировано ради выживания всего вида – такое, что могло бы эффективно восстанавливать популяцию после событий приводящих к почти полному вымиранию, адаптироваться к новым экологическим нишам и так далее, – то эволюция быстро бы испортила это разнообразие с оптимального значения для вида к индивидуальному оптимальному значению одинакового вклада в потомство обоих полов.

Представьте «ген Фродо», который жертвует своим носителем, ради спасения всего вида от вымирания. Что же случится с распространённостью этого аллеля в результате? Она уменьшится. Спасибо и до свидания.

И если события, способные привести к вымиранию вида, возникают регулярно (назовём это «средой Баффи»), распространённость гена Фродо будет систематически понижаться, пока он не исчезнет. Вскоре после этого исчезнет и весь вид. Гипотетический пример? Возможно. Если человечество планирует остаться биологическим ещё один век, было бы хорошей идеей начать клонировать Ганди.

У вирусов существует противостояние между стремлением каждого вируса воспроизвестись как можно быстрее и выгодой от того, что носитель останется в живых достаточно долго, чтобы распространить болезнь. Это хороший пример группового отбора, существующий в реальном мире. Если вирус эволюционирует до такого состояния, когда давление группового отбора не справляется с давлением индивидуального, вирус может вскоре исчезнуть. Не знаю, зафиксированы ли случаи, когда какая-нибудь болезнь эволюционировала к вымиранию, но наверняка это происходило многократно.

Нарушители сегрегации нарушают работу механизмов, которые обычно гарантируют справедливость полового размножения. Например, существует нарушитель сегрегации в мужской половой хромосоме некоторого вида мышей, который приводит к рождению исключительно самцов, которые также несут в себе этот нарушитель сегрегации. Затем эти самцы оплодотворят самок, те родят исключительно самцов и так далее. Вы могли бы возмутиться: «Это же жульничество!» Но это человеческий взгляд: репродуктивная приспособленность аллеля невероятно высока, ведь он оставляет в два раза больше копий себя в последующем поколении, чем альтернативный, немутировавший аллель. Даже когда самки начинают встречаться все реже и реже, самцы, несущие в себе этот ген имеют не меньшие шансы на спаривание, чем любые другие самцы, и таким образом нарушитель сегрегации остаётся в два раза более приспособленным, чем альтернативный аллель. Предполагается, что настоящий групповой отбор мог сыграть свою роль в удержании распространённости этого гена на том небольшом уровне, на котором она и находится. В таком случае, если бы в результате эволюции мыши научились летать и мигрировать на зиму, они бы наверняка сформировали единую репродуктивную популяцию и эволюционировали к вымиранию, как только нарушитель сегрегации распространился бы по все популяции.

Около 50% генома кукурузы состоит из транспозонов - ДНК элементов, чья основная функция копировать себя в другие участки ДНК. Класс транспозонов, называемый «P элементами», похоже, впервые возник в геноме дрозофилы только в середине двадцатого века и за 50 лет распространился по всей популяции. У людей есть «Alu-элемент», транспозон примерно из 300 оснований. Он встречается в человеческом геноме где-то от 300 тысяч до миллиона раз. Возможно, от транспозонов виды и не вымирают, но пользы это не приносит точно: транспозоны вызывают больше мутаций, которые почти всегда опасны, поскольку уменьшают эффективную точность копирования ДНК. И, тем не менее, подобные жулики крайне приспособлены.

Представим, что в некотором виде с половым размножением возник идеальный механизм копирования ДНК. Так как большинство мутаций вредны, подобный набор генов будет преимуществом для своих носителей. Но как же полезные мутации? Раз они иногда возникают, не будет ли неспособность мутировать недостатком? Однако у видов с половым размножением полезные мутации, возникшие в способных мутировать особях, могут распространиться к потомкам неспособных. Таким образом, мутируемость оказывается чистым недостатком. Идеальный механизм копирования ДНК увеличивает свою распространённость вплоть до повсеместности. Десять тысяч лет спустя наступает ледниковый период, и весь вид исчезает. Он эволюционировал к вымиранию.

«Эффект свидетеля» заключается в том, что когда кто-то попадает в неприятность, одинокий человек с большей вероятностью вмешается, чем группа. Студенту колледжа при эпилептическом приступе в 85% случаев помогали одинокие прохожие и в 31% группы из пяти человек. Предположу, что родство в племени охотников-собирателей было достаточно сильно, чтобы создать давление отбора для помощи особям, напрямую не родственным. Однако, я допускаю, что даже в этом случае генетическая гонка вооружений могла способствовать тому, что при наличии нескольких потенциальных помощников лучше остаться сзади. Каждый откладывает свою помощь, рассчитывая, что поможет кто-то другой. В настоящее время перед лицом человечества стоит множество угроз, способных привести к вымиранию всего вида, и, должен сказать, не так уж много людей готовы выступить вперёд. Если мы проиграем этот бой, потому что на поле боя не выйдет практически никто, значит, мы эволюционируем к вымиранию — как, по всей видимости, большое количество видов, которых мы не можем наблюдать сейчас.

Раковые клетки достаточно успешны в теле, они благоденствуют и накапливают больше ресурсов, значительно опережая своих более послушных конкурентов. Некоторое время.

Многоклеточные организмы могут существовать лишь потому, что они развили мощные внутренние механизмы, подавляющие эволюцию. Если клетки начнут эволюционировать, то очень быстро эволюционируют к вымиранию: организм погибнет.

Не стоит восхвалять эволюцию за заботу об отдельной особи, ведь почти все ваши предки мертвы. Не стоит восхвалять эволюцию и за заботу обо всем виде: никому ещё не удалось обнаружить сложную адаптацию, которую можно объяснить лишь направленностью на сохранение вида в целом. Судя по всему, математика показывает, что это практически невозможно. И наоборот, вид вполне может эволюционировать к вымиранию. Не исключено, что человечество завершает этот процесс прямо сейчас. Нельзя даже похвалить эволюцию за заботу о генах: битва между двумя альтернативными аллелями за распространённость — это игра с нулевой суммой.

Приспособленность не всегда ваш друг.

Трагедия группового отбора

Элиезер Юдковский

До 1966 года было довольно естественным, что серьезные биологи отстаивают эволюционные гипотезы, которые сейчас мы бы отнесли к магическому мышлению. Эти сумбурные идеи сыграли в развитии эволюционной теории важную историческую роль. Ошибки приводят к их исправлению — недальновидность английских королей привела к появлению великой хартии вольностей и конституционной демократии.

Например, Веро Вайн-Эдвардс, Вардер Алли и Дж. Л. Бреретон (а также многие другие) считали, что хищники будут добровольно воздерживаться от размножения, дабы избежать перенаселения их зоны обитания и истощения популяции их добычи.

Но эволюция не открывает шлюзы по собственному произволу. Нельзя объяснить погремушку гремучей змеи, утверждая, что она полезна для других животных, которых без этой погремушки укусила бы эта змея. Нет никакой внешней Феи Эволюции, которая решала бы, какой ген следует продвинуть: эффект гена должен как-то напрямую способствовать тому, чтобы он стал более распространенным в следующем поколении. Понятно, почему наше человеческое представление о прекрасном, видя популяцию лис, съевших всех зайцев, кричит: «Что-то нужно с этим сделать!» Но каким образом совокупность генов, обеспечивающих воздержание от размножения — представьте эту картину! — сделает себя более часто встречающейся в следующем поколении?

Человеку, создающему маленькую ухоженную игрушечную экосистему — в качестве развлечения, как модель железной дороги — скорее всего не понравится, если его тщательно сконструированные популяции лис и зайцев самоуничтожатся, когда лисы съедят всех зайцев, а затем сами умрут от голода. Так что человек будет возиться с игрушечной экосистемой до тех пор, пока экосистема не станет выглядеть мило и ухоженно, а ограничитель размножения лис — очевидное решение, которое тут же возникает в нашем человеческом мозгу. Природа — не человек, разумеется, но это не обязано останавливать нас. Особенно, когда мы знаем, что бы мы сделали по эстетическим причинам. Нам всего лишь нужно придумать правдоподобные аргументы, которые убедят природу хотеть того же по эволюционным причинам.

Очевидно, что индивидуальный отбор не создаст особь, ограничивающую свое размножение. Особи, которые размножаются неограниченно, естественным образом оставят больше потомства, чем те, кто ограничивают себя.

(Дополнение: Индивидуальный отбор не способствует жертвованию возможностями размножения. Он определенно может способствовать возникновению особей, которые, после получения всех доступных ресурсов, используют их, чтобы произвести 4 больших яйца вместо 8 маленьких — не для того, чтобы сохранить ресурсы, а потому что это индивидуальное оптимальное значение для произведения количества яиц на вероятность выживания яйца. Это не спасает от трагедии общин.)

Но предположим, что популяция некоторого вида была разбита на две подпопуляции, которые были в основном изолированны и лишь иногда спаривались друг с другом. Затем, внезапно, подпопуляция, которая ограничивала свое размножение окажется в условиях, которые с меньшей вероятностью приводят к ее вымиранию и сможет отправить больше особей на чужие территории, и создать новые колонии, чтобы заселить места обитания исчезнувших популяций.

Недостаток этого сценария не в том, что он математически невозможен. Недостаток в том, что он возможен, но крайне маловероятен.

Главная проблема в том, что от ограничения размножения в некоторой группе выиграют не только члены этой группы. Если некоторые лисы будут рожать меньше щенков, которые едят зайцев, то несъеденные зайцы достанутся не только тем щенкам, что несут в себе гены ограниченного воспроизводства. Прочие лисы и их куда большее количество щенков, с радостью съедят всех оставшихся зайцев. Ген воздержания может выжить под давлением отбора только в том случае, если выгода от воздержания достаётся лишь воздерживающимся.

Если быть точным, необходимо выполнение условия C/B < FST, где C — это стоимость альтруизма для донора, B — выгода от альтруизма для получателя, а FST — пространственная структура популяции: среднее «родство» между случайно выбранным организмом и его случайно выбранным соседом, где «сосед» - это любая другая лиса, которая получает выгоду от альтруизма воздерживающейся лисы. (Насколько я понимаю, в этой статье выводится это неравенство, но с использованием других символов. Это лучшее, что мне удалось найти в сети.)

То есть, если цена воздержания от размножения достаточно мала, а наблюдаемая польза от меньшего голода достаточно велика по сравнению с наблюдаемой пространственной структурой популяций лис и зайцев, то аргумент группового отбора может работать?

Математически это крайне маловероятно. Например, в данной симуляции при условиях, что цена альтруизма составляет 3% от приспособленности, чисто альтруистические группы имеют приспособленность дважды превосходящую чисто эгоистические, размер подпопуляций 25 особей и 20% от всех смертей компенсируются пришельцами из другой группы получается неустойчивое равновесие между альтруизмом и эгоизмом. Если удвоить размер подпопуляций до 50, эгоизм закрепляется. Если увеличить цена альтруизма до 6%, эгоизм закрепляется. Если уменьшить вдвое выгоду от альтруизма, эгоизм закрепляется или значительно преобладает. Когда цена альтруизма превосходит 10%, группы должны быть очень маленькими — всего лишь около 5 членов — чтобы групповой отбор работал. Для лис, воздерживающихся от размножения, такие условия выглядят неправдоподобно.

Я думаю, сейчас многие уже догадались, что в научном споре сторонники группового отбора потерпели окончательное поражение. И решающим оказался не математический аргумент, а эмпирическое наблюдение: лисы не ограничивают свое размножение (я не помню, о каких конкретно видах шел спор, это были не лисы и зайцы), и действительно, системы хищник-жертва постоянно рушатся. В дальнейшем теория группового отбора в некотором смысле возродится, в совершенно иной форме. С математической точки зрения возможна структура «соседей», которая создаёт ненулевое давление группового отбора — пусть и не обязательно способное преодолеть противостоящее ему давление индивидуального отбора. Если вы не будете его учитывать, то ваши вычисления будут неверны. И эволюционные механизмы принуждения (не те, о которых говорилось изначально) кардинально изменили игру. Так почему же этот уже ставший историей научный спор стоит полноценного материала для Overcoming Bias?

Десять лет спустя после упомянутого разногласия, у одного биолога возникла отличная идея. Математические условия, при которых групповой отбор может победить индивидуальный, практически невозможно обнаружить в природе. Почему бы не создать их искусственно, в лаборатории? Майкл Дж. Вейд поставил такой эксперимент, последовательно отбирая популяции насекомых по меньшему количеству взрослых особей в подпопуляции. И каков же был результат? Насекомые в самом деле ограничили своё размножение и стали жить мире и покое с достаточным количеством еды для всех?

Нет. Взрослые особи приспособились поедать яйца и личинок, особенно личинок-самок.

Ну конечно же, отбор по малым размерам подпопуляций не будет отбирать индивидов, которые воздерживаются от их собственного размножения. Он будет отбирать тех, кто съедает чужих детей. Особенно девочек.

И как только у вас появляется результат эксперимента — который теперь кажется совершенно естественным — становится ясно, что сторонники группового отбора позволяли романтизму и человеческому чувству прекрасного затуманить их предсказания о природе.

Это показательный пример упущенной Третьей Альтернативы, в результате рационализации заранее определенной нижней строчки, порождающей фальшивое оправдание и мотивированную остановку. Сторонники группового отбора не пришли к своей идее с чистым, открытым умом, не стали непредвзято выводить следствия. Они начали с прекрасной идеи популяции лис, добровольно ограничивающих свое размножение, в соответствии с нуждами популяции зайцев, с идеи о природе в абсолютной гармонии. Затем они стали искать причину, по которой такое могло бы произойти и пришли к идее группового отбора. Затем, раз они уже знали, какой результат группового отбора они хотели бы получить, они не стали искать каких-либо менее прекрасных и эстетичных адаптаций, к которым бы привел групповой отбор с большей вероятностью. Если бы они действительно попытались спокойно и непредвзято представить результат отбора по маленькому размеру подпопуляции, устойчивой к голоду, они бы подумали о поедании детей других особей или каком-либо столь же «уродливом» исходе, причём задолго до того как представить столь же эволюционно невероятное, как индивидуальное воздержание от размножения!

Это также иллюстрирует позицию, которую я пытался объяснить в Самоуверенности Эйнштейна. При больших пространствах возможных ответов почти вся реальная работа уходит на то, чтобы выдвинуть один возможный ответ как заслуживающий рассмотрения. Если гипотеза привлекла внимание неоправданно — ваше чувство прекрасного предлагает красивый способ, каким Природа может работать, и в то же время естественный отбор не включает в себя Фею Эволюции, которая разделяет ваши ценности — одно это может обеспечить ваше поражение, разве что вы сможете полностью очистить свой разум и начать все заново.

В теории, глупейший человек на земле может сказать, что Солнце светит, и это не означает, что вокруг темнота. Даже если ответ предложен сумасшедшим под ЛСД, вы должны быть способны непредвзято вычислить свидетельства за и против и, если необходимо, разуверить себя.

На практике же сторонники группового отбора были обречены, так как их нижняя строчка появилась под действием их чувства прекрасного, а нижняя строчка природы была результатом естественного отбора. И не было никакой причины, почему эти два процесса могли оказаться взаимосвязанными, и они не оказались. И никакая сколь угодно яростная аргументация этого не изменила.

Если вы начнете со своих собственных желаний о том, что делать природе, подумаете о наблюдаемых причинах, по которым природа поступает так или иначе, а затем рационализируете крайне убедительный аргумент, почему природа должна следовать предпочитаемому вами исходу по природным же причинам, то природа, увы, всё равно вас не послушает. У вселенной нет ума и на неё не действует хитроумная политическая аргументация. Можно весь день спорить, почему гравитация на самом деле должна заставлять воду течь вверх, а вода всё равно останется там, где и была. Как будто бы вселенная попросту не слушает. Дж. Р. Моллой сказал: «Природа - абсолютный ханжа, она упрямо и нетерпимо предана своим предрассудкам и совершенно отказывается уступить самой убедительной рационализации людей».

Я часто рекомендую эволюционную биологию друзьям, потому что в своём нынешнем состоянии она отучает от рационализации. Ошибки призывают к их исправлению. У физиков и инженеров-электронщиков нет проблемы с антропоморфизацией электронов, электроны не демонстрируют поведения, которое кажется разумным. Естественный отбор создает целеориентрированность, чуждую для людей, и изучающих теории эволюции об этом предупреждают. Это хорошая тренировка для любого мыслителя, но она особенно важна, если вы хотите ясно мыслить о чужих и странных процессах, которые выглядят как разум и при этом работают не так, как вы.

Фальшивый критерий оптимизации

Элиезер Юдковский

Я прежде уделил немало внимания формам рационализации, посредством которой наши убеждения, похоже, воспринимают свидетельство куда сильнее, чем должны на самом деле. И я не преувеличиваю значимость этого. Если бы мы могли преодолеть это фундаментальное метаискажение и увидеть что на самом деле предсказывает каждая гипотеза, мы были бы в состоянии исправить почти любую фактическую ошибку.

Зеркальный вызов для теории принятия решений — увидеть, какой из вариантов на самом деле рекомендуется критерием выбора. Если ваши заявленные моральные принципы говорят вам, что нужно обеспечить лэптопами всех, на самом ли деле они скажут вам купить украшенный драгоценностями лэптоп за миллион долларов или же потратить те же деньги на приобретение пяти тысяч дешевых лэптопов?

Создается такое впечатление, что мы, эволюционируя, развили в себе ловкость оправдывать практически любое действие для любой цели. В средние века при помощи теории флогистона оправдывали почему магний горит, хотя это металл, а инквизиторы объясняли каким образом бесконечная любовь Бога к своим детям требует сжечь некоторых из них на костре.

В этом нет ничего загадочного. Политика развилась как черта родоплеменного окружения. Мы произошли от тех, кто мог убедительно доказать что во благо племени нужно убить ненавидимого ими соперника Углака (мы определенно не произошли от Углака).

И еще…возможно ли доказать, что если бы Роберт Мугабе заботился только о благе Зимбабве, он бы отказался от поста президента? Вы можете сказать, что цель оправдывает средства, но разве мы только что не видели, что люди способны подогнать любую цель к любым действиям? Как вы можете знать, что вы правы, а Мугабе — нет? (Есть ряд причин, которые являются хорошими предположениями, но пока просто потерпите меня.)

Человеческие мотивы многочисленны и туманны, процессы наших решений весьма сложны, равно как и наш мозг. Да и мир сам по себе является очень сложным местом, в каждом из выборов средств реального мира. Можем ли мы вообще доказать, что люди рационализируют — что мы систематически искажаем связь между принципами и средствами — когда мы теряем даже ту единственную опору, на которой стоим? Когда нет способа точно найти даже подразумеваемый единичный оптимизационный критерий? (На самом деле вы можете просто наблюдать что люди не соглашаются насчет офисной политики такими способами, которые странно коррелируют с их собственными интересами, в то же время одновременно отрицая, что эти интересы играют какую-либо роль. Но опять же, потерпите еще.)

Где же стандартиризованный, открытый, в общем разумный, консеквенциалистский оптимизационный процесс, в который мы могли бы поместить завершенную моральность как XML файл, чтобы найти? что же мораль на самом деле рекомендует, будучи примененной к миру? Есть ли пусть даже единичный реальный случай, где мы могли бы точно знать, какой критерий выбора рекомендован? Где чистый моральный мыслитель — известная функция полезности, очищенная от всех остальных заблудившихся желаний которые могут исказить ее оптимизация — чей надежный вывод мы можем сравнить с человеческими рационализациями той же самой функции полезности?

И это, конечно же, наш старый друг, чуждый бог! Естественный отбор гарантированно свободен ото всей милости, любви, сострадания, эстетических взглядов, политической фракционности, идеологических пристрастий, академических амбиций, либертарианства, социализма, Синих и Зеленых. Естественный отбор не максимизирует всестороннюю генетическую пригодность — он не умен. Но когда вы смотрите на результат естественного отбора, вы гарантированно смотрите на результат того, что было оптимизировано только по всесторонней генетической пригодности, а не в интересах агрокультурной индустрии США.

В примерах из эволюционных наук — в, например, Трагедии Группового Отбора — мы можем напрямую сравнить человеческие рационализации с результатом чистой оптимизации по известному критерию. Что Уэйн-Эдвардс думал по поводу того, что должно быть результатом группового отбора для малых размеров субпопуляций? Добровольное ограничение в размножении и достаточность еды для всех. Что было настоящим лабораторным результатом? Каннибализм.

Теперь вы можете спросить: может быть все эти случаи эволюционных наук нерелевантны человеческой морали, которая, когда речь заходит о любви, сострадания, эстетики, исцеления, свободы, честности и прочего, никоим образом не помогает всеохватной генетической приспособленности.

Но я спрошу в ответ: если мы не можем напрямую увидеть результат единого монотонного оптимизационного критерия — если мы даже не можем натренировать себя слышать отдельную чистую ноту — тогда как мы услышим оркестр? Как мы увидим, что «всегда будь эгоистичен» или «всегда слушайся правительства» являются плохими принципами, которыми могут руководствоваться люди — если мы думаем, что даже оптимизация генов для всеохватной генетической пригодности должна производить организмы, жертвующие репродуктивными возможностями во имя социального соглашения о ресурсах?

Чтобы научить себя видеть ясно, нам нужны простые практические примеры.

Исполнители адаптаций, а не максимизаторы приспособленности

Элиезер Юдковский

«Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности»

—Джон Туби и Леда Космидес, «The Psychological Foundations of Culture»1

Пятьдесят тысяч лет назад, вкусовые рецепторы Homo sapiens направляли своих хозяев на поиски самых дефицитных и наиболее востребованных пищевых ресурсов — сахара и жира. Одним словом — калорий. С тех пор обстановка, в которой существуют вкусовые рецепторы, значительно изменилась — в отличие от самих рецепторов. Калории теперь в избытке (в странах Первого Мира) и причиняют ощутимый вред. Микронутриенты, которых было предостаточно в листьях и орехах, отсутствуют в хлебе, но нашим вкусовым рецепторам всё равно. Шарик мороженного — это суперстимул, содержащий больше жира, сахара и соли, чем что угодно в древнем мире.

Ни один человек, умышленно стремящийся к максимизации генетической приспособленности своих аллелей, никогда не съел бы печенье, разве что под страхом голодной смерти. Но отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

Крестовую отвёртку создали, чтобы закручивать шурупы, но она не перестроит свою головку на плоскую, чтобы выполнять свою функцию. Мы создаём инструменты, но они существуют независимо от нас и будут существовать независимо от нас.

Атомы отвёртки не содержат внутри себя крошечных XML-тэгов, описывающих их «объективное» предназначение. У её создателя был какой-то замысел. Но реальный мир не обязан ему соответствовать. Если забыть о том, что творец является отдельной сущностью, отличной от творения, можно подумать: «Цель отвёртки — закручивать шурупы», как будто бы это неотъемлемое свойство самой отвёртки, а не свойство состояния ума её создателя. И можно удивиться, что отвёртка не становится плоской, когда нужно закрутить шуруп с плоской головкой, ведь, в конце концов, цель отвёртки — закручивать шурупы.

Причина существования отвёртки — разум её создателя, который представил воображаемый винт и воображаемый поворот рукоятки. Фактическая работа отвёртки, её реальное соответствие головке реального винта, не может быть причиной существования отвёртки: будущее не может быть причиной прошлого. Но мозг создателя, объект, существовавший в прошлом, может быть причиной существования отвёртки.

Последствия существования отвёртки могут не соответствовать воображаемым последствиям в мозгу создателя. Наконечник отвёртки может соскочить и порезать руку пользователя.

А смысл отвёртки — это что-то, что существует в уме пользователя, а не в крошечных этикетках на атомах отвёртки. Её создатель мог ожидать, что отвёртка будут закручивать шурупы. Убийца мог купить её, чтобы использовать как оружие. А затем случайно уронить её, в результате чего её подберёт ребёнок и использует как стамеску.

Причина, форма, последствия и всевозможные смыслы отвёртки — разные вещи. И лишь одна из них заключена в самой отвёртке.

Как возникли вкусовые рецепторы? Они не были созданы разумным творцом, предвидящим последствия, они результат истории древнего человечества. Адаму нравится сахар, он ест яблоко и оставляет потомство, Барбара любит сахар, ест яблоко и оставляет потомство, Чарли любит сахар, ест яблоко и оставляет потомство, и 2763 поколения спустяаллель становится повсеместно распространённым в популяции. Ради удобства мы иногда сжимаем весь этот огромный промежуток истории и просто говорим: «Это сделала Эволюция». Однако, именно он — объективная причина существования вкусовых рецепторов. Пусть это и не быстрое локальное событие, вроде человека, представляющего создаваемую им отвёртку.

Каково объективное устройство вкусовых рецепторов? Технически, это молекулярный сенсор, присоединённый к контуру подкрепления. Это добавляет дополнительный уровень косвенности, потому что вкусовой рецептор не занимается напрямую добычей пищи. Он влияет на разум организма, приводя к тому, чтобы организм хотел есть ту еду, которая похожа на только что съеденную.

Каковы объективные последствия существования вкусовых рецепторов? Для современного жителя Первого Мира вкусовые рецепторы вовлечены в многочисленные цепочки причинно-следственной связи: желание съесть больше шоколада влечёт составление плана, как съесть больше шоколада, и далее поедание шоколада, набор веса, меньшую популярность у противоположного пола, что приводит к меньшим шансам на размножение. Эти последствия прямо противоположны главной причине в длинной цепочке причин и следствий, породившей вкусовые рецепторы. Но так как переедание лишь недавно стало проблемой, никакая дальнейшая эволюция (совокупная последовательность предков) не повлияла на устройство вкусовых рецепторов.

В чем смысл употребления шоколада? Это уже зависит от вас и вашей моральной философии. Лично я думаю, что у него хороший вкус, но я бы хотел, чтобы он был менее вредным. Приемлемые решения могут включать в себя как изменение шоколада, так и моей биохимии.

Смешав некоторые из этих понятий вместе, можно вроде бы сказать: «Современные люди поступают таким образом, который способствовал бы распространению генов в обществе охотников-собирателей, независимо от того, помогает ли это нашим генам в современном мире». Однако, такое утверждение не вполне верно, ведь на самом деле мы не спрашиваем себя, какое поведение максимизировало бы приспособленность наших предков. К тому же, множество современных занятий не имеет древних аналогов. В обществе охотников-собирателей вообще не было такой вещи как шоколад.

Так что лучше рассматривать наши вкусовые рецепторы как адаптацию, приспособленную к древним условиям, включающих в себя голод, яблоки и жареных кроликов, которую современные люди применяют в новом контексте, включающим в себя дешёвый шоколад и постоянно попадающиеся на глаза рекламные объявления.

Отсюда и высказывание: Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

1.John Tooby and Leda Cosmides, “The Psychological Foundations of Culture,” in The Adapted Mind: Evolutionary Psychology and the Generation of Culture, ed. Jerome H. Barkow, Leda Cosmides, and John Tooby (New York: Oxford University Press, 1992), 19–136.

Эволюционная психология

Элиезер Юдковский

[От переводчика: существующему в англоязычном интернете явлению любительской эволюционной психологии соответствует существующее на русском языке явление любительской этологии. Несмотря на разные названия, комплекс идей, в значительной мере ошибочных, они выражают одинаковый.]

Выражение «орган размножения» — это тавтология, точно такая же как и «чат IRC» или «протокол TCP/IP». Все органы — это органы размножения. Откуда у птиц крылья? Фея эволюции птиц подумала, что полёт — это очень изящно? Крылья есть только потому что они помогли предкам птиц размножаться. Равно как и лёгкие, и сердце, и гениталии. Максимум может быть целесообразно разделять органы, непосредственно или косвенноучаствующие в размножении.

Это наблюдение также верно и для мозга, наиболее сложной из известных биологии систем органов. Некоторые органы мозга непосредственно участвуют в размножении — например, сексуальное желание — а некоторые косвенно, такие как злость.

Почему у людей есть такая эмоция как злость? Фея эволюции человека подумала, что злость — это полезная функция? Отвечающая за злость нейронная сеть является таким же органом размножения, как и печень. Homo sapiens может испытывать злость, потому что у испытывавших её предков было больше детей. Нет никакого иного пути, который бы привёл к возникновению злости.

Исторический факт о происхождении злости сбивает многих с толку. Они говорят: «Минуточку, вы говорите, что когда я злюсь, я подсознательно стремлюсь завести детей? Это не то, о чём я думаю, если меня кто-то ударил в нос».

Нет. Нет. Нет. НЕТ!

Об отдельных организмах стоит думать как об исполняющих адаптации, а не максимизирующих приспособленность. Причина адаптации, форма адаптации и результат адаптации — это разные вещи. Если вы сконструируете тостер, то он не будет менять свою форму при попытке затолкать в него целый батон хлеба; да, вы сконструировали тостер, предназначенный для того, чтобы жарить хлеб, но это факт о вас, а не о тостере. У тостера нет никакого чувства собственного предназначения.

Но тостер не является объектом вообще имеющим намерения. У него нет разума, поэтому мы не испытываем соблазн приписывать ему цели. То, что мы знаем предназначение тостера, не значит, что его знает тостер — он вообще ничего не знает.

Это похоже на старый тест, в котором просят назвать цвет букв в слове «синий», когда сами буквы окрашены в красный. Это занимает много времени, поскольку мозгу нужно расцепить значение букв и цвет букв. У вас не будет такой проблемы с задачей назвать цвет букв в слове «ветер».

Однако человеческий мозг, помимо того, что он был создан эволюцией, способен иметь собственные стремления, намерения, желания, цели и планы. И человек, и пчела являются проектами, но только человек — проектировщиком. Пчела — это «ветер», а человек — «синий».

Сознательные цели онтологически отличаются от эволюционных целей. Они сделаны из другого материала. Сознательные цели состоят из нейронов, а эволюционные — из предков.

Самые очевидные сознательные цели — это волевые решения, такие как план пойти в магазин или поджарить хлеб. Но эмоции тоже физически существуют в мозге, в виде последовательности нервных импульсов или облака распространяющихся гормонов. Также и инстинкты, зрительные образы, спешно подавленные мысли — имея возможность сканировать мозг и понимать код, мы бы могли видеть их.

Даже подсознательная деятельность физически существует в мозге. Как сказал лорд Актон: «Власть развращает». Сталин вполне мог считать себя альтруистом, работающим ради великого блага для большего количества людей. Однако кажется весьма вероятным, что где-то в его мозге были сети, которые подкрепляли использование власти удовольствием, и сети, которые предсказывали укрепление и ослабление власти. Если бы в мозге Сталина не было ничего, что бы коррелировало со властью — никакой лампочки, которая загоралась при командовании и тухла при политической слабости — тогда как бы власть его развратила?

Давление эволюционного отбора онтологически отличается от биологических артефактов, которые оно создаёт. Эволюционная причина существования крыльев у птиц — это миллионы предков-птиц, которые по статистике размножались чаще, чем остальные предки-птицы, благодаря тому, что они обладали всё сильнее улучшающимися крыльями, по сравнению со своими конкурентами. Мы сжимаем этот колоссальный историко-статистический факт в короткую фразу: «Это сделала эволюция».

Естественный отбор онтологически отличается от существ; эволюция — это не мохнатое чудовище, блуждающее в неизведанном лесу. Эволюция — это причинная и статистическая закономерность в репродуктивной истории предков.

И эта логика также применима к мозгу. Эволюция сделала крылья, которыми можно махать, но она не понимает концепции махательности. Она сделала ноги, на которых можно ходить, но она не знает про ходительность. Эволюция сделала кости из ионов кальция, но сами кости ничего не знают про прочность, не говоря уж об эволюционной приспособленности. Эволюция спроектировала мозг, который сам по себе способен к проектированию, но этот мозг понимает эволюцию не лучше, чем птицы — аэродинамику. До XX века ни один человеческий мозг не представлял себе комплексную абстрактную концепцию инклюзивной приспособленности(English).

Когда нам говорят «Эволюционная цель злости — увеличивать генетическую приспособленность», мы часто сползаем через «Цель злости — это размножение» на «Сознательная цель злости — это размножение». Нет! В мозге нет статистической закономерности размножения предков, даже подсознательно — её там нет так же, как и тостер не содержит цель жарить хлеб, поставленную перед собой инженером.

Думать, что ваши встроенные нейронные сети злости воплощают желание размножаться — это как думать, что рука воплощает желание подбирать предметы.

Рука не полностью отрезана от сознательных желаний. В конкретных обстоятельствах вы можете контролировать сгибание пальцев волевым актом. Если вы наклонитесь и подберёте монету, тогда это будет волевым актом, но не воля заставила руку вырасти.

Нужно также различать единовременные явления злости (злость-1, злость-2, злость-3) и соответствующую им нейронную сеть, отвечающую за злость вообще. Злость-событие — это сознательная мотивация, и у неё могут быть сознательные причины, но у вас не было сознательного желания создать нейронную сеть злости.

Итак, нужно различать злость-событие, нейронную сеть злости, описывающий её комплекс генов и статистику размножения предков, которая привела к возникновению этого комплекса.

Если и есть наука, которая по своей сути требует экстремальной аккуратности, то это эволюционная психология.

Узрите же, о мои читатели, это низкую и радостную историю: мужчина и женщина встречаются в баре. Мужчину привлекают её светлый тон лица и упругая грудь, которые в доисторические времена были бы признаками фертильности, но в данном случае являются результатом наличия макияжа и бюстгальтера. Мужчину это не беспокоит; ему просто нравится, как женщина выглядит. Его нейронные сети, отвечающие за распознавание светлого тона лица понятия не имеют о том, что их предназначение — оценивать фертильность, точно так же, как на атомах его руки нет XML-тега «≺цель≻поднимать предметы ≺/цель≻». Женщину привлекают его уверенная улыбка и твёрдые манеры, которые в доисторические времена были бы признаками способности обеспечить пропитание детям. Она собирается воспользоваться контрацепцией, но её нейронные сети, регистрирующие уверенные улыбки, об этом знают ничуть не лучше чем тостер знает о том, что его создатель спроектировал его для жарки хлеба. Её не беспокоит философское значение этого бунта, поскольку её мозг — креационист, неистово отрицающий существование эволюции. Он надевает презерватив, поскольку не хочет детей, а только лишь дофаминово-норадреналиновую бурю секса, которая надёжно производила потомство 50 тысяч лет назад, когда отсутствие презервативов было неотъемлемым свойством окружающей среды. Они занимаются сексом, принимают душ и расходятся. Основной объективный результат всего этого — прибыль бара, отеля и производителя презервативов, что никак не было ни сознательной целью в умах мужчины и женщины, ни имело что-либо общее с закономерностью размножения их предков 50 тысяч лет назад, которая объясняет, откуда у них взялись гены, создавшие такие мозги, осуществившие такое поведение.

Чтобы правильно рассуждать об эволюционной психологии, нужно одновременно держать в голове много сложных абстрактных фактов, которые тесно связаны, но при этом критически различны, и ни разу при этом не подменить понятия.

Суперстимулы и крах западной цивилизации

Элиезер Юдковский

Известно как минимум три случая, когда люди умерли, потому что играли в видеоигры несколько дней без перерыва. Из-за «World of Warcraft» люди теряли супругов, детей и работу. Если люди имеют право играть в видеоигры — а сложно представить более фундаментальное право, — рынок в ответ предоставит им самые захватывающие игры, какие только можно продать. Вплоть до того, что особо увлечённые игроки окажутся исключены из генофонда.

Как потребительский продукт может быть настолько увлекательным, что даже спустя 57 часов использования потребитель предпочтёт воспользоваться им ещё один час, а не поесть или поспать? (Полагаю, кто-нибудь может заявить, что потребитель делает рациональный выбор, предпочитая поиграть в «Старкрафт» ещё один час вместо того, чтобы жить весь остаток своей жизни, но, пожалуйста, не здесь.)

Шоколадный батончик — это суперстимул: в нём больше концентрированного сахара, соли и жира, чем в любой еде из среды, в которой эволюционировал человек. Шоколадный батончик возбуждает вкусовые рецепторы, эволюционировавшие во времена охотников-собирателей, но возбуждает их намного сильнее, чем всё, что существовало в те времена. Сигнал, который когда-то достоверно соответствовал здоровой еде, был взломан. В пространстве вкусов появилась точка, отсутствовавшая в тренировочном наборе данных, для древних параметров появился невероятно редкий выброс. Вкус, ранее бывший эволюционным маркером полезности, подвергли реверс инжинирингу, и к нему идеально подобрали искусственную субстанцию. К сожалению, не существует столь же сильного рыночного стимула делать получившуюся еду столь же полезной, как и вкусной. Мы же не можем напрямую ощутить полезность.

Ставшее знаменитым видео Dove Evolution подробно показывает, как создаётся другой суперстимул. При помощи косметики, профессиональной фотографии и активного использования Фотошопа обычная женщина превращается в модель с обложки, приобретая красоту, невозможную и недостижимую для женщин в неотретушированном, реальном мире. Настоящие женщины убивают себя (например, супермодели употребляют кокаин, чтобы не набирать вес) ради конкуренции с тем, чего в буквальном смысле не существует.

И, аналогично, видеоигра, даже просто транслируемая сквозь компьютерный монитор, может быть настолько увлекательной, чем какая-то реальность, что некоторые будут играть в неё, не отрываясь даже на еду и сон, до тех пор, пока в буквальном смысле не умрут. Я не знаю всех хитростей, используемых в видеоиграх, но некоторые, наверное, примерно представляю: сложность задач тщательно подбирается, чтобы они не казались слишком простыми или наоборот невозможными, вознаграждение выдаётся случайным образом, обратная связь демонстрирует постоянный рост очков, в крупных многопользовательских играх присутствует социальная вовлечённость.

Ограничивает ли что-нибудь рынок в стремлении делать игры всё более увлекательными? Можно было бы понадеяться, что вряд ли кто-то захочет перейти черту, за которой игроки будут терять работу, в конце концов, они же должны оплачивать подписку. Это рассуждение подразумевает, что есть некоторая оптимальная точка притягательности видеоигр, в которой мода колоколообразной кривой — это развлекающиеся игроки, и лишь несколько бедолаг приобретают настолько сильную зависимость, что лишаются работы. В 2007 году игра в «World of Warcraft» 58 часов без перерыва с последующей смертью всё-таки скорее исключение, чем правило. Однако производители видеоигр конкурируют друг с другом, и, сделав видеоигру более притягательной на 5%, можно получить 50% клиентской базы конкурента. Легко увидеть, как эта проблема может стать намного хуже.

Если люди имеют право на искушение — а ведь в этом и состоит весь смысл свободы воли — рынок реагирует соответственно и обеспечивает такое количество искушений, какое только можно продать. Мотивация — сделать стимул на 5% более искушающим, чем у главных конкурентов. И гонка приводит к тому, что в какой-то момент стимулы превращаются в суперстимулы, аномальные по меркам среды, в которой эволюционировал человек. Подумайте о том, как изменились наши стандарты женской красоты со времён рекламных плакатов 1950-х. И, как показывают нам шоколадные батончики, мотивация рынка также преодолевает тот порог, за которым суперстимулы уже наносят потребителю побочный урон.

Так почему бы нам просто не сказать «нет»? Ключевое допущение свободной рыночной экономики в том, что при отсутствии принуждения или обмана люди всегда могут просто отказаться заключать вредоносные сделки. (Будь это действительно так, свободный рынок был бы не просто лучшей из возможных экономических политик, а политикой, у которой недостатков либо нет совсем, либо их очень мало.)

Организм, который регулярно отказывается от пищи, умирает, и некоторые игроки в видеоигры узнали об этом на собственном опыте. Однако, в древние времена обычно выгодное (и таким образом соблазнительное) действие иногда оказывалось вредоносным. Благодаря абстрактному мышлению люди как вид очень сильно воспринимают такие особые случаи. С другой стороны, мы также часто воображаем множество специфических последствий, которых не существует. Например духа предков, приказывающего нам не есть вполне пригодных для того кроликов.

Похоже, что эволюция нашла компромисс, или, быть может, выстроила новую систему поверх старой. Еда всё ещё искушает Homo sapiens, однако наша огромная префронтальная кора мозга до некоторого предела позволяет нам противостоять искушению. Предел есть — наши предки с чрезмерно развитой силой воли, вероятно, заморили себя голодом во имя богов или же чаще отказывались от внебрачного секса. В некотором смысле у тех игроков, что умерли за видеоиграми, была необычайная сила воли, чтобы продолжать играть так долго без еды и сна. Такова эволюционная опасность самоконтроля.

Сопротивление искушению требует сознательных усилий и растрачивает ограниченный запас ментальной энергии1. Утверждение о том, что мы можем «просто сказать „нет“ », на самом деле не верно, сказать «нет» — не просто, за это приходится платить. Даже те люди, что выиграли в генетическую лотерею больше силы воли или прозорливости, платят свою цену, чтобы сопротивляться искушению. Просто им это даётся легче.

Наша ограниченная сила воли эволюционировала, чтобы справляться с искушениями, существующими в среде, где мы эволюционировали. Она может плохо справляться с соблазнами, неведомыми охотникам-собирателям. Даже если нам удаётся противостоять искушению суперстимула, весьма правдоподобно, что усилие, необходимое для этого, исчерпывает силу воли куда быстрее, чем противостояние давно существующим искушениям.

Является ли публичная демонстрация суперстимулов вредоносной даже для тех, кто говорит «нет»? Должны ли мы запретить рекламу шоколадного печенья или же витрины, на которых в открытую пишут слово «Мороженое»?

Из существования проблемы напрямую не следует, что правительство в состоянии её решить (если нет соответствующих доказательств). Регулятор не заинтересован заниматься продуктами, в которых сочетается небольшой вред для потребителя и вызывающий зависимость суперстимул, его больше интересуют продукты, вред от которых может создать достаточный шум, чтобы попасть в газеты. И наоборот, из того, что правительство не может что-то исправить, не следует, что в этом нет ничего плохого.

В качестве последнего аргумента я оставляю вам вымышленное свидетельство: опубликованный в интернете роман Симона Фанка «После Жизни» описывает (среди прочего) умышленное уничтожение биологического вида Homo sapiens, причём не посредством марширующей армии роботов, а при помощи искусственных детей. Эти дети красивее и милее настоящих, и их гораздо интересней воспитывать. Возможно, демографический крах продвинутых обществ происходит, потому что рынок обеспечивает все более соблазнительные альтернативы тому, чтобы иметь детей, а привлекательность смены подгузников остаётся неизменной. Где же рекламные плакаты с призывами «РАЗМНОЖАЙТЕСЬ»? Кто заплатит профессиональном пиарщикам, чтобы убедить всех, будто спорить с угрюмыми подростками увлекательнее, чем отдых на Таити?

«В конце концов», — писал Симон Фанк, — «рынок просто вытеснил человеческий вид из бытия».

1.Кризис воспроизводимости поставил эту теорию под сомнение. — Прим.редактора.

Суть твоя - осколки бога

Элизер Юдковский

До двадцатого века, ни один человек не имел представления о «генетической приспособленности» - единственной вещи, которой полностью одержим слепой безумный бог. У нас нет инстинктивного отвращения перед презервативами или оральным сексом. Наши мозги, эти превосходные репродуктивные органы, не проводят проверку на репродуктивную эффективность, прежде чем наградить нас оргазмом.

Почему нет? Почему мы не являемся сознательно одержимыми генетической приспособленностью? Почему Фея Эволюции Людей создала мозги, которые изобрели презервативы? «Не допустить этого было бы так легко» - думает человек, способный создавать новые сложные системы за один вечер.

Насколько нам известно, Фея Эволюции просто одержима генетической приспособленностью. Когда она решает, какой ген распространить до повсеместности, она, похоже, учитывает исключительно то, сколько своих копий ген производит (Удивительно!)

Но раз создатель разума столь одержим, почему бы ему не сотворить разумных агентов – едва ли их можно назвать людьми, – которые также будет озабочены исключительногенетической приспособленностью? Такие агенты занимались бы сексом только ради размножения и ни за что не пользовались бы контрацепцией. Они бы употребляли пищу исключительно из-за того, что она необходима для воспроизводства, а не потому, что им нравится вкус, так что они не стали бы есть конфеты, будь те угрозой для выживания и размножения. Женщины после менопаузы сидели бы с детьми до тех пор, пока не становились слишком больными, начиная негативно сказываться на бюджете семьи, и тогда бы они добровольно совершали самоубийство.

Это выглядит совершенно очевидным улучшением проекта – с точки зрения Феи Эволюции.

Понятно, что довольно-таки сложно создать достаточно сильного консеквенцианалиста. Естественный отбор вроде бы рассуждает консеквенциально, но исключительно в зависимости от непосредственных последствий. Теоретикам эволюции потребовались крайне высокоэффективные абстрактные рассуждения, чтобы представить связь между адаптациями и репродуктивным успехом.

Но человеческий мозг определенно способен представлять эти связи. Так почему же, когда Фея Эволюции создала людей, она дала им какую-либо мотивацию кроме генетической приспособленности?

Прошло менее двухсот лет, с тех пор как белковый мозг впервые представил концепцию естественного отбора. Современное понятие «генетической приспособленности» еще более деликатно - это крайне абстрактная концепция. Важно не просто количество общих генов. У вас 95% общих генов с шимпанзе. Что важно, так это общее генетическое разнообразие внутри популяции - ваша сестра родная вам наполовину, так как любая особенность вашего генома по отношению к человеческому виду, имеет 50% вероятность быть общей для вас двоих.

Только в прошлом веке, возможно даже во второй его половине, эволюционные биологи начали понимать полный спектр причин репродуктивного успеха, включая взаимный альтруизм и дорогостоящий сигналлинг. Без этого крайне подробного знания, разумный агент, стремящийся «максимизировать генетическую приспособленность» попросту сядет в лужу.

Так почему бы изначально не запрограммировать это знание в белковых мозгах? Почему понятие «генетической приспособленности» не было вшито в нас, вместе с готовой библиотекой явных стратегий? Тогда можно было бы избавиться ото всех механизмов подкрепления. Организм бы рождался со знанием того, что жирная пища с высокой вероятностью увеличит приспособленность. Если позже организм узнает, что это больше не так, то он перестанет употреблять жирное. Можно провести рефакторинг всей системы. И она не изобретет ни презервативов, ни печенья.

Это кажется в принципе возможным. Я иногда встречаю людей, не вполне понимающих консеквенциализм, которые возражают: «Но если организм не имеет отдельной мотивации есть, он умрет с голоду и не сможет таким образом оставить потомства». Что ж, покуда организм это знает и обладает функцией полезности, ценящей репродукцию, он автоматически будет есть. Фактически, это как раз и есть та консеквенциальная причина, по которой естественный отбор породил автоматических едоков.

Но что на счет любопытства? Разве не будет консеквенциалист любопытен только в случае, когда есть некая особая причина быть любопытным? И раз так, не приведет ли это к тому, что он упустит множество важных знаний? Опять же, сам этот факт и будет причиной для консеквенциалиста искать новые знания. Человек любопытен. Не ко всему без разбору, но к проблемам со специфическими характеристиками. И наличие этой комплексной адаптации в людях исключительно консеквенциально обосновано нашей ДНК. Это неявный способ представления информации: Предки, ведущие себя таким образом оставляли больше потомков.

Но слепой безумный бог не настолько умен. Эволюция это не программист, способный за раз переписать всю архитектуру кода. Эволюция это не программист, способный сидеть и печатать команды со скоростью шестьдесят слов в минуту.

За миллионы лет до возникновения гоминидного консеквенциализма существовало обучение с подкреплением. Поощряющие сигналы были стабильно коррелированы с репродукцией. Негоминидный мозг не способен предвидеть, что употребление жирной пищи сейчас позволит ребенку пережить зиму. Поэтому ДНК создает протеиновый мозг, генерирующий сигнал поощрения при употреблении жирной пищи. А организму же просто остается выяснить, какие животные самые вкусные.

ДНК создает протеиновые мозги, система поощрения в которых непосредственно коррелирует с поведением организма, и лишь опосредованно с репродуктивным успехом. Необязательно понимать, что съеденная осенью сладкая пища приведет к производству калорий, которые могут быть сохранены в жировой прослойке, что поможет пережить зиму, что в свою очередь поспособствует спариванию весной, чтобы произвести потомков летом. Просто яблоко вкусное. И мозгу остается только придумать способ, как раздобыть больше яблок.

И так организмы развили поощрение для еды, и строительства гнезд, и отпугивания соперников, и помощи близким, и открытия важных истин, и формирования крепких союзов, ведения убедительных споров, и, конечно же, занятий сексом.

И когда мозг гоминидов начал демонстрировать способности к межобластным консеквенциальным рассуждениям, они использовали их для того чтобы удовлетворить уже существующие механизмы подкрепления. Это было относительно простая надстройка, куда проще, чем создание «максимизатора генетической приспособленности» с нуля. Протеиновые мозги изобретали способы получить калории и секс, без какого-либо явного представления о «генетической приспособленности».

На месте эволюции, человеческий инженер бы воскликнул: «Да я только что изобрел консеквенциалиста! Теперь, вместо того чтобы использовать сложные костыли, вроде механизмов подкрепляющего обучения, я могу явно задать все с таким трудом добытые знания! Просто написать декларативную систему, состоящую из утверждений вроде “жирная еда и секс обычно повышает генетическую приспособленность”, а дальше консеквенциальное рассуждение само позаботится обо всем. Вдобавок еще и избавимся от бага, из-за которого живые существа изобретают презервативы!»

Но человек бы и не установил сетчатку глаза задом наперед.

Слепой безумный бог – это не единая сущность, но множество отдельных устремлений. Лисы эволюционируют чтобы ловить зайцев, зайцы – спасаться от лис. Существует так же много эволюций, как и видов на Земле. Но в рамках каждого вида, слепой безумный бог озабочен исключительно генетической приспособленностью. Ни одно качество не важно само по себе, даже выживание, разве что оно увеличивает репродуктивную приспособленность. Нет смысла в существе со стальной кожей, если в результате оно будет размножаться хоть на 1% менее эффективно.

И все же, когда слепой безумный бог создал протеиновые компьютеры, ему не удалось полностью передать им свою одержимость генетической приспособленностью. Ему не удалось успешно создать куайн своего критерия оптимизации. Мы, творение эволюции, столь же чуждые ей, как и наш Творец чужд нам. Единая функция полезности, разбитая на тысячу осколков страстей.

Почему? Прежде всего, потому, что эволюция буквально неразумна. Но также и потому, что первые протеиновые компьютеры не были столь же универсальными, как и слепой безумный бог, и могли ориентироваться лишь благодаря краткосрочным желаниям.

В итоге, спрашивать, почему эволюция не создала людей максимизаторами генетической приспособленности, все равно, что спрашивать, почему эволюция не дала людям рибосому, потребовав, чтобы мы сами разработали свою биохимию. Просто эволюция не может так быстро переписывать код. Но возможно, спустя миллиард лет естественного отбора, именно это бы и произошло, будь интеллекты столь глупы, чтобы позволить слепому безумному богу оставаться у власти.

В произведении Нивена и Пурнеля Соринка в Глазу Бога описывается разумный вид, оставшийся биологическим слишком долго, постепенно становясь действительно порабощенным эволюцией, превращаясь в истинных максимизаторов приспособленности, одержимых тем, чтобы оставить как можно больше потомства. Но к счастью, это не то, что произошло в действительности на нашей планете. По крайней мере, пока.

Итак, людям нравится вкус сахара и жира, а также мы любим своих сыновей и дочерей. Мы ищем высокого общественного положения и секса. Мы поем, танцуем и играем. Мы познаем новое, ради самой любви к знанию.

Тысяча предпочтений, соответствующих древним механизмам подкрепления, что когда-то коррелировали с репродуктивной приспособленности. Теперь же мы ценим их самих по себе, независимо от того ведут ли они к размножению или нет. Мы занимаемся безопасным сексом, едим шоколад и слушаем музыку давно покойного Баха, записанную на диске.

И когда мы наконец-то узнаем об эволюции, то думаем: «Быть постоянно одержимым генетической приспособленностью? И что в этом интересного?»

Мы – маниакальная одержимость слепого безумного бога, разбитая на тысячу осколков страстей. И, будучи человеком, я считаю, что это хорошо. Иначе что бы мы делали с нашим будущим? С миллиардом галактик ночного неба? Заполнили бы их максимально эффективными репликаторами? Следует ли нашим потомкам быть озабоченным исключительно собственной генетической приспособленностью, воспринимая все остальное лишь как средства достижения этой цели?

Быть тысячью осколками страстей не всегда здорово, но, по крайней мере, это не скучно. Мы развили вкусы к новизне, сложности, элегантности и преодолению трудностей – вкусы, что оценивают маниакальную одержимость слепого безумного бога и находят ее эстетически неудовлетворительной.

И да, эти вкусы породил в нас тот самый слепой безумный бог. И что с того?

Хрупкие цели

Ценности терминальные и инструментальные

Элиезер Юдковский

Интуитивно кажется, что любой человек при планировании ведёт себя так, будто умеет различать цели и средства. Хочется шоколада? Шоколад продаётся в супермаркете «Пабликс». Чтобы попасть в супермаркет, нужно проехать одну милю на юг по проспекту Вашингтона. Чтобы проехать эту милю, нужно сесть в машину. Чтобы открыть дверь, нужны ключи от машины. И вы кладёте ключи от машины в карман, собираетесь выйти из дома…

… и тут внезапно по радио сообщают, что землетрясение уничтожило весь шоколад в местном «Пабликсе». И нет смысла ехать в «Пабликс», если там нет шоколада, и нет смысла садиться в машину, если вы никуда не едете, и нет смысла в ключах от машины в кармане. Поэтому вы вытаскиваете ключи из кармана, звоните в местную службу доставки пиццы и заказываете там шоколадную пиццу. М-м-м, вкусно.

Я редко сталкиваюсь с тем, что люди теряют нить плана, который они сами же и разработали. Обычно люди не едут в супермаркет, если знают, что шоколада там нет. Но при этом я часто замечаю, что когда люди не просто хотят чего-то, а явно описывают свою систему целей — говорят о целях, а не пытаются их достичь, — они часто путаются. Люди хорошо планируют, но они не специалисты по планированию1. Если бы это было не так, в мире было бы гораздо больше разработчиков ИИ.

В частности, я замечаю, что люди путаются — в абстрактных философских дискуссиях, а не в обычной жизни, — когда обсуждают разницу между целями и средствами. Более формально: разницу между «инструментальными ценностями» и «терминальными ценностями».

Насколько я понимаю, часть проблемы заключается в том, что человеческий мозг использует для отслеживания своих целей отдельную систему, которая работает, но не идеально. В нашем языке нет чёткого разделения между целями и средствами: предложения «Я хочу спасти жизнь моей сестры» и «Я хочу сделать моей сестре укол пенициллина» содержат одно и то же слово «хочу».

Можем ли мы описать утерянную разницу на обычном человеческом языке?

Давайте попробуем:

«Инструментальные ценности» нужны нам исключительно потому, что мы ожидаем, что они повлекут ожидаемые нами последствия. «Я хочу сделать моей сестре укол пенициллина» не потому, что сестра с пенициллином внутри это нечто хорошее само по себе, а потому что ожидаю, что пенициллин вылечит её от пожирающей плоть пневмонии. Если бы вы ожидали, что укол пенициллина приведёт к тому, что ваша сестра растает как Злая Ведьма Запада, вы бы дрались изо всех сил, чтобы спасти её от пенициллина.

«Терминальные ценности» нужны нам без какой-либо связи с другими последствиями. «Я хочу спасти жизнь моей сестре» никак не связано с тем, будет ей сделан после этого укол пенициллина или нет.

У этой первой попытки есть очевидные проблемы. Если спасение жизни моей сестры приведёт к тому, что Землю поглотит чёрная дыра, я порыдаю некоторое время, но не буду делать ей укол пенициллина. Означает ли это, что спасение жизни моей сестры не является «терминальной ценностью» (не имеет ценность само по себе), ведь теоретически оно может повлечь какие-то последствия? Возможно, я пытаюсь спасти ей жизнь лишь из убеждения, что впоследствии Землю не поглотит чёрная дыра? Интуиция подсказывает, что дело не в этом.

Поэтому оставим в покое обычный язык. Мы можем математически описать теорию принятия решений так, чтобы терминальные и инструментальные ценности оказались независимыми и несовместимыми типами — как целые числа и числа с плавающей запятой в языках программирования, где нет автоматической конвертации между ними.

Идеальную байесианскую систему принятия решений можно построить всего лишь на основе четырёх элементов:

Исходы: тип Исход[]

перечень возможных исходов

{сестра живёт, сестра умирает}

Действия: тип Действие[]

перечень возможных действий

{сделать укол пенициллина, не делать укол пенициллина}

Функция_полезности: тип Исход -> Полезность

функция полезности, которая ставит в соответствие каждому исходу его полезность

(полезность описывается действительным числом между минус- и плюс-бесконечностью)

{сестра живёт: 1, сестра умирает: 0}

Функция_условной_вероятности: тип Действие -> Исход -> Вероятность

функция условной вероятности описывает вероятностное распределение по исходам для каждого действия

(вероятность описывается действительным числом от 0 до 1)

{сделать укол пенициллина: сестра живёт, 0,9; сестра умирает: 0,1;; не делать укол пенициллина: сестра живёт: 0,3; сестра умирает: 0,7}

А что насчёт самой системы принятия решений?

Ожидаемая_полезность: Действие Д -> (Сумма И из Исходы: Полезность(И) * Вероятность(И|Д))

«Ожидаемая полезность» действия равна сумме по всем исходам от полезности исхода, помноженной на условную вероятность исхода при выполнении этого действия.

{ОП(сделать укол пенициллина) = 0,9; ОП(не делать укол пенициллина) = 0,3}

Выбрать: -> (Argmax Д из Действий: Ожидаемая_Полезность(Д))

Выбрать действие, «ожидаемая полезность» которого максимальна.

{результат: сделать укол пенициллина}

Для каждого действия вычислите условную вероятность всех возможных последствий, затем сложите полезности, помноженные на условные вероятности. Затем выберите лучшее действие.

Это математически простой набросок системы принятия решений. Вычислять решение в реальном мире таким образом не эффективно.

Например, что будет, если план требует выполнить некую последовательность шагов? Построенный формализм может легко описать такую ситуацию, при этом Действие будет обозначать всю последовательность. Но при этом получится экспоненциально большое пространство вариантов, похожее на пространство всех предложений, состоящих из 100 букв. Если одним из возможных первых шагов будет «Отстрелить себе ногу», человек решит, что это в любом случае плохая идея, и выбросит все последовательности, начинающиеся с этого шага. Но в нашем представлении мы упрощаем эту структуру. У нас нет последовательностей шагов, есть лишь просто «действия».

В общем, да, есть «несколько небольших сложностей». Собственно, если бы их не было, мы бы могли просто создать таким способом настоящий ИИ. В каком-то смысле таковым ИИ и была бы сама байесовская теория вероятностей.

Однако всё равно это пример ситуации, когда гораздо лучше сначала рассмотреть простой до абсурдности вариант, а уж потом добавлять всякие навороченные усложнения.

Рассмотрим философа, который заявляет: «Все мы, в сущности, эгоисты. Мы заботимся лишь о том, что у нас в голове. Мать, которая заявляет, что волнуется о благополучии сына, на самом деле хочет верить, что с её сыном всё в порядке. Её делает счастливой это убеждение. Она помогает сыну ради своего счастья, а не ради его счастья». Вы отвечаете: «Предположим, мать жертвует своей жизнью, чтобы вытолкнуть сына из под колёс едущего грузовика. Этот поступок не делает её счастливой, она просто погибает». Философ запинается на секунду, затем возражает: «Но она всё равно это делает, потому что этот выбор ей нравится больше других, потому что она присвоила этому решению большую важность».

И на это вы говорите:

ОШИБКА ТИПОВ: Конструктор для Ожидаемая_Полезность -> Полезность не найден.

Позвольте мне объяснить этот ответ.

Даже наш простой формализм чётко показывает различие между ожидаемой полезностью, которая является свойством действия, и полезностью, которая является свойством исхода. Да, конечно, вы можете перевести и полезность, и ожидаемую полезность в действительные числа. Но это тоже самое, что перевести в действительные числа скорость ветра и температуру — они не становятся от этого одной и той же сущностью.

Философ начинает спор с утверждения, что полезность является функцией от исходов, составляющих состояние нашего разума. Если это правда, то наш разум будет действовать как машина, которая направляет будущее в те области, где мы счастливы. Будущие состояния при этом различаются только по состоянию разума. Если в каких-то двух разных будущих у вас одинаковое состояние ума, вам всё равно, какое из них предпочесть.

И в этом случае вы действительно вряд ли станете жертвовать своей жизнью, чтобы спасти чужую.

Когда мы возражаем, что люди иногда всё-таки жертвуют своими жизнями, философ переключается на обсуждение ожидаемой полезности от действий: «Она присвоила этому решению большую важность». Именно из-за этого неожиданного переключения мы должны подпрыгнуть от возмущения. В нашем языке программирования попытка преобразовать Ожидаемая_полезность в Полезность сразу же вызовет ошибку. Но в обычном человеческом языке и то, и другое кажется одним понятием.

В нашей простой системе принятия решений мы выбираем те действия, которым соответствует наивысшая Ожидаемая_полезность. Но это ничего не говорит о том, в какое именно будущее мы хотим попасть. Ожидаемая полезность ничего не говорит о полезностях, которые назначает принимающий решение, или об исходах, которые скорее всего произойдут в реальном мире. Она ничего не говорит о разуме как о машине, направляющей куда-то будущее.

Физической причиной физического действия является состояние разума. Для нашего идеального принимателя решений таким состоянием является Ожидаемая_полезность, которая вычисляется через функцию полезности от воображаемых последствий. Чтобы спасти жизнь сына, вы должны представить событие, при котором жизнь сына спасена. Воображаемое событие само по себе не является событием. Оно оказывается в кавычках, тут такая же разница, как между «снегом» и снегом. Но это не означает, что то, что находится в кавычках должно само быть состоянием разума. Если вы выбираете действие, которое ведёт к будущему, которое вы представляете как «мой сын по-прежнему жив», то вы работаете машиной, которая направляет будущее в ту область, где ваш сын по-прежнему жив. Не машиной, которая направляет будущее в область, где вы представляете предложение «мой сын по-прежнему жив». Чтобы направлять будущее в эту область, ваша функция полезности должна возвращать высокое значение при входных данных « „мой сын по-прежнему жив“ », когда стоят двойные кавычки, когда речь идёт о том, как вы воображаете себя воображающим такой исход. У вас получится плохой торт, если вы измельчите рецепт и бросите его в тесто.

Именно поэтому полезней сначала рассмотреть простую систему принятия решений. Если в неё внести достаточно усложнений, различия, хорошо заметные ранее, будет увидеть сложнее.

А теперь давайте рассмотрим некоторые усложнения. Очевидно, что функция полезности (отображающая исходы в полезность) нужна, чтобы формализовать то, что раньше я обозначил как «терминальные цели», цели, которые никак не связаны с их последствиями. Что у нас теперь получается с примером, когда спасение жизни вашей сестры приводит к тому, что чёрная дыра уничтожает Землю? В нашем формализме мы эту возможность упрощаем. Исходы не ведут к исходам, к исходам ведут только действия. Выздоровление вашей сестры от пневмонии, за которым следует уничтожение Земли чёрной дырой, становится одним «возможным исходом».

А где в этом простом формализме оказываются «инструментальные ценности»? А они полностью исчезают! Понимаете, в этом формализме действия ведут к исходам без каких-то промежуточных событий. Мы здесь не рассматриваем камень, который летит сквозь воздух, попадает в яблоко на дереве, в результате чего оно падает на землю. Бросок камня — это действие. Оно ведёт к исходу, в котором яблоко лежит на земле — в соответствии с функцией условной вероятности, которая превращает действия напрямую в распределение вероятностей по исходам.

Для того, чтобы на самом деле вычислить функцию условной вероятности, и для того, чтобы отдельно рассмотреть полезность сестры с пневмонией и чёрной дыры, поглощающей Землю, мы должны представить структуру причинно-следственных связей — как именно одни исходы ведут к другим.

И тут возвращаются инструментальные ценности. Если причинно-следственная сеть в достаточной степени «регулярна», возможно, вы обнаружите, что состояние B, скорее всего, ведёт к C. Тогда, если вы по каким-то причинам хотите достичь С, вы можете сперва запланировать достичь В, которое ведёт к С, а затем запланировать достичь А, которое ведёт к В. В этом весь смысл «инструментальных ценностей»: В является «инструментальной ценностью», потому что ведёт к С. С само по себе может считаться терминальной ценностью, аргументом функции полезности из пространства исходов. Или С может быть просто инструментальной ценностью, узлом, который невозможно оценить с помощью функции полезности напрямую.

Инструментальные ценности в этом формализме служат исключительно для эффективного планирования. Если нужной «регулярности» нет, от них можно и нужно избавиться.

Например предположим, что есть какое-то конкретное значение В, которое не ведёт к С. Предпримите вы действие А, которое ведёт к этому В? Или отбросим абстрактную философию. Если вы хотите попасть в супермаркет ради шоколада, и вы хотите поехать в супермаркет, и вам нужно попасть в машину, будете вы выламывать дверь машины паровым экскаватором? (Нет.) Инструментальные ценности — это «дырявые абстракции» (это словосочетание из нашего программистского жаргона). Иногда закэшированную ожидаемую полезность нужно выкидывать и вычислять заново. Чтобы быть эффективным и не самоубиться при этом, нужно в том числе замечать, когда привычные ходы перестают работать. Хотя описываемый формализм использует инструментальные ценности, они нужны только в тех случаях, когда присутствует необходимая «регулярность» и исключительно для удобства вычислений.

Однако если некто усложняет формализм до того, как понял простую версию, он иногда начинает думать, что инструментальные ценности живут какой-то своей странной жизнью, причём даже в нормативном смысле. В смысле, если сказать, что В — обычно хороший поступок, потому что он ведёт к С, то следует всегда пытаться сделать В — даже в отсутствие С. Занимаясь абстрактной философией, люди часто допускают такую ошибку, хотя в реальной жизни они никогда не выламывают дверь своей машины паровым экскаватором. Не понимая простой вариант формализма люди иногда думают, что невозможно появление консеквенциалиста, который максимизирует лишь генетическую приспособленность — ведь он умрёт от голода, если у него нет явной терминальной ценности «питаться». Люди совершают эту ошибку, хотя сами никогда не стоят целый день возле открытой машины из страха оказаться в ней запертой — ведь у них же нет терминальной ценности открывать дверь машины.

Инструментальные ценности обитают в функции условной вероятности. Из-за этого инструментальные ценности напрямую зависят от убеждений о поведении функции полезности. Если я убеждён, что пенициллин вызывает пневмонию, а отсутствие пенициллина её лечит, то для меня инструментальная ценность пенициллина упадёт. Убеждения меняются — меняется функция условной вероятности, которая связывает действия с ожидаемыми последствиями. И вместе с ней меняются и инструментальные ценности.

Когда люди спорят о морали, то иногда они спорят об инструментальных последствиях, а иногда — о терминальных ценностях. Если ваш оппонент заявляет, что запрет на ношение личного оружия ведёт к снижению количества преступлений, а вы утверждаете, что запрет на ношение оружия ведёт к увеличению количества преступлений, то вы согласны по поводу высшей инструментальной ценности (преступления — это плохо), но не согласны по вопросу, какое промежуточное событие ведёт к каким последствиям. Однако в споре о женском обрезании, как мне кажется, вряд ли у оппонентов есть общие представления о том, как справедливо обращаться с женщинами или как сделать их счастливее.

Во время особо яростных споров на это важное различие часто никто не обращает внимание. Люди, у которых есть общие ценности и разногласие по поводу фактов, приходят к мысли, что их оппонент наверняка социопат. Мол, если он выступает за ограничение/легализацию оружия, значит, он на самом деле хочет убивать людей. С точки зрения психологии это довольно не реалистично.

Боюсь, человеческий мозг не слишком хорошо видит различие между терминальными и инструментальными ценностями в вопросах морали. «Мы должны запретить оружие» и «Мы должны спасать жизни людей» выглядят схожими убеждениями о морали по своей форме. Хотя в остальном человеческая система целеполагания усложняет практически всё, именно это различие превращается в мешанину разных штук с условными ценностями.

Чтобы выделить терминальные ценности, нам нужно разобраться в этой мешанине ценных штук и понять, ценность каких из них привязана к чему-то ещё. Это очень сложно! Если вы говорите, что хотите запретить ношение оружия для того, чтобы уменьшить число преступлений, может потребоваться время, чтобы понять, что «уменьшение числа преступлений» — это не терминальная ценность, это более высокая инструментальная ценность, которая связана с терминальной ценностью человеческой жизни и человеческого счастья. А у человека, который защищает право на ношение оружия, это право может быть связано с более высокой инструментальной ценностью «уменьшение числа преступлений», а также с ценностью «свободы», которая может быть терминальной ценностью или ещё одной инструментальной ценностью…

Мы не в состоянии распечатать полную «сеть», как одни наши ценности выводятся из других ценностей. Скорее всего, мы даже не помним всю историю, откуда эти ценности взялись. Часто мы можем это понять, размышляя над правильными моральными дилеммами: «Сделаете ли вы Х в случае Y?» Но если вы всерьёз захотите понять, какие у вас терминальные ценности, на вашем пути встретится множество ловушек: запутывающих дилемм и сомнительных философских аргументов. Мы не знаем свои ценности и откуда они взялись. Мы можем это узнать лишь копаясь в наших процессах познания, а при этом мы обязательно будем ошибаться. Довольно сложно даже просто научиться сознательно различать понятия «терминальные ценности» и «инструментальные ценности», отслеживать, что они значат, и использовать их правильно. Только исследуя наш простой формализм мы можем понять, как это теоретически просто могло бы быть.

И я здесь ещё не касаюсь сложностей, связанных с человеческой системой вознаграждения — наших механизмов подкрепления. Есть шоколад приятно, предвкушать поедание шоколада приятно, но это разные случаи приятности…

Однако я не слишком горюю из-за всех этих сложностей.

Не знать собственные ценности — не всегда забавно. Но уж точно не скучно.

1.Автор здесь ссылается на текст Робина Хэнсона «Expert At Versus Expert On». — Прим.перев.

Как люди понимают слова

Цепочка о том, как люди пользуются словами и как они при этом ошибаются. О том, почему нельзя просто взять и определить слово так, как хочется. О том, как наши мозги, судя по всему, обрабатывают определения.

Ориентироваться по цепочке можно по эссе Когда слова могут быть ошибочны.

Притча о кинжале

Элиезер Юдковский

Когда-то давно жил в одном дворце придворный шут, который баловался логикой. И вот однажды шут принес королю две шкатулки.

На крышке первой было написано: «Либо в этой шкатулке сидит свирепая лягушка, либо в шкатулке с ложной надписью сидит свирепая лягушка, но не то и другое одновременно».

На крышке второй было написано: «Либо в этой шкатулке лежит золото, а в шкатулке с ложной надписью сидит свирепая лягушка, либо в этой шкатулке сидит свирепая лягушка, а в шкатулке с истинной надписью лежит золото».

И шут сказал королю:

— В одной шкатулке сидит свирепая лягушка, в другой лежит золото; одна и только одна из надписей истинна.

Король открыл неправильную шкатулку, и на него напала лягушка.

— Видите ли, — сказал шут, — давайте предположим, что первая надпись истинна. Тогда предположим, что в первой шкатулке лежит золото. Тогда во второй шкатулке должна сидеть лягушка, а в шкатулке с истинной надписью должно лежать золото, из чего следует, что вторая надпись тоже истинна. Теперь давайте предположим, что первая надпись ложна, и в первой шкатулке лежит золото. Тогда вторая надпись будет…

Король приказал бросить шута в темницу.

На следующий день шута в кандалах привели к королю, и тот показал ему другие две шкатулки.

— В одной шкатулке лежит ключ к твоим кандалам, — сказал король, — и если ты сможешь найти его, ты свободен. Но в другой шкатулке лежит кинжал к твоему сердцу, если ты этого не сможешь.

На первой шкатулке было написано: «Либо обе надписи истинны, либо обе ложны».

На второй шкатулке было написано: «В этой шкатулке лежит ключ».

Шут размышлял так: «Предположим, что первая надпись истинна. Тогда вторая надпись тоже истинна. Теперь предположим, что первая надпись ложна. Тогда вторая надпись всё равно истинна. Так что во второй шкатулке должен лежать ключ, если первая надпись истинна, и если первая надпись ложна. Поэтому во второй шкатулке логически должен лежать ключ».

Шут открыл вторую шкатулку и нашел кинжал.

— Как? — закричал шут в ужасе, когда его утаскивали прочь. — Это логически невозможно!

— Вполне возможно, — ответил король. — Я просто написал эти надписи на двух шкатулках, а потом положил кинжал во вторую.

Притча о болиголове

Элиезер Юдковский

Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.

— Аристотель (?)

Сократ поднёс к губам чашу с болиголовом…

— Возможно ли, — спросил один из наблюдателей. — что даже болиголова недостаточно, чтобы убить столь мудрого и доброго человека?

— Нет, — ответил другой зритель, студент философии. — Все люди смертны, Сократ — человек, и если смертный выпьет болиголов, он непременно умрёт.

— Ладно, — сказал наблюдатель. — А если окажется, что Сократ «не» смертен?

— Вздор! — отрезал студент. — Все люди смертны «по определению»: это часть того, что мы понимаем под словом «человек». Все люди смертны, Сократ — человек, следовательно, Сократ смертен. И это не просто предположение. Это «логическая достоверность».

— Наверное, ты прав… — проговорил наблюдатель. — О! Глянь! Пока мы тут разговаривали, Сократ уже выпил болиголов. — Ага. Он упадёт с минуты на минуту. — ответил студент.

И они ждали, и ждали, и ждали…

— Сократ совсем не кажется смертным. — сказал наблюдатель.

— Значит, Сократ — не человек, — ответил студент. — Все люди смертны, Сократ не смертен, следовательно, Сократ — не человек.

И это не просто предположение. Это «логическая достоверность».

Главная проблема утверждения о том, что что-то истинно «по определению» состоит в том, что нельзя изменить реальность, поменяв определение (English).

Можно рассуждать примерно так: «Я вижу, что все носящие одежду, говорящие и использующие инструменты существа также имеют другие общие свойства, как-то: они дышат воздухом и перекачивают красную кровь. Последние тридцать объектов из этого кластера (я называю их «людьми»), которые выпили болиголов в моём присутствии, очень скоро упали и перестали двигаться. Сократ носит тогу, бегло говорит на древнегреческом и только что выпил болиголов из чаши. Поэтому я предсказываю, что Сократ рухнет на землю в течение следующих пяти минут».

Но это рассуждение — всего лишь «догадка», уязвимая и невозвышенная. Она не может быть абсолютно и неоспоримо верна (English), вы же понимаете . А греческие учёные, как и большинство донаучных философов, очень любили стопроцентную определённость.

К счастью, у греческих философов был разрушительный ответ на ваши сомнения.

— Вы неверно понимаете смысл утверждения «Все люди смертны», — сказали бы они. — Это вовсе не «наблюдение». Это часть «определения» слова «человек». Бренность — одно из нескольких свойств, индивидуально необходимых и совместно достаточных для того, чтобы определить принадлежность к классу «человек». Высказывание «Все люди смертны» логически истинно и бесспорно. И если Сократ — человек, то он «должен» быть смертен: это логическая дедукция, настолько несомненная насколько это вообще возможно.

Но тогда мы никак не сможем с определённостью знать «человек» ли Сократ до тех пор, пока не увидим его мёртвым. Бесполезны наблюдения того, что Сократ владеет греческим, или что у него красная кровь, или даже что ДНК Сократа человеческая. Ни один из этих признаков «логически не эквивалентен» бренности. Вы должны увидеть «его» мёртвым, прежде чем сможете сделать заключение о том, что он был человеком.

(И даже в этом случае ваше заключение не будет абсолютно достоверным (English). Вдруг Сократ восстанет из могилы следующей ночью? Или, если не столь сильно утрировать, вдруг Сократ подписал контракт на своё крионирование? Если бренность определить как конечную продолжительность жизни, то невозможно «знать», что кто-то является человеком, не достигнув сначала конца вечности — как иначе можно убедиться в том, что этот кто-то не вернётся? Не говоря о том, что сцена с падающим на землю Сократом может быть лишь иллюзией, спроецированной на ваши глаза сканером сетчатки. Или, может быть, вся эта история — лишь плод вашего воображения, серия галлюцинаций…)

Проблема с силлогизмами — это то, что они верны «всегда». Если воспринимать цепочку умозаключений «Все люди смертны; Сократ — человек; следовательно Сократ смертен» как силлогизм, то эта цепочка логически неоспорима в нашей вселенной. А ещё она логически неоспорима в соседней ветви Мультиверса, где эволюция пошла по слегка другому пути, из-за чего болиголов — это божественный деликатес, а не отрава. И она логически неоспорима даже во вселенных, в которых Сократ никогда не существовал или, коли на то пошло, в которых никогда не существовали люди.

По байесианскому определению свидетельство рассматривается, как говорящее в пользу гипотезы, если его вероятнее наблюдать в случае, когда гипотеза верна, чем в случае, когда она неверна. Наблюдение того, что силлогизм логически безупречен, не может быть свидетельством в пользу любого эмпирического утверждения, потому что силлогизм будет логически безупречен вне зависимости от верности этого утверждения.

Силлогизмы неоспоримы во всех возможных мирах. Таким образом, их неоспоримость не говорит нам ничего о том, в «каком» из возможных миров мы действительно проживаем.

Это значит не то, что логика бесполезна, а то, что логика может сообщить нам только то, что мы и так «в некотором смысле» уже знаем. Но мы не всегда верим в то, что знаем. Является ли простым число 29384209? После того, как я определил десятичную систему счисления и аксиомы арифметики, я определил и ответ на этот вопрос. Но я всё ещё не знаю ответа и мне нужна логика, чтобы найти его.

Аналогично, если я сформулирую неопределённое эмпирическое обобщение «Болиголов воздействует на людей», и неопределённое эмпирическое суждение «Сократ — человек», логика подскажет мне что мои предыдущие догадки приводят к умозаключению, что Сократ подвержен воздействию болиголова.

Можно рассмотреть логические рассуждения как способ разрешения неопределённостей в отношении невозможных возможных миров, способ обнуления вероятности логически невозможных миров, о логической невозможности которых нам не было известно. Таким образом, логическое умозаключение может считаться разновидностью наблюдения.

Но когда мы говорим об эмпирических предсказаниях вроде «Сократ свалится с ног и прекратит дышать» или «Сократ сделает пятьдесят подпрыгиваний, а затем победит на Олимпийских играх в следующем году», это является возможными мирами, а не невозможными возможными мирами.

Логика позволяет нам понять, какая гипотеза соотносится с конкретными наблюдениями, и позволяет нам сделать выводы о том, что эти гипотезы предскажут в будущем — она позволяет взять старые наблюдения и предыдущие заключения и применить их к новой проблеме. Но логика никогда не скажет «Сократ прекратит дышать через минуту» вместо «Сократ „может“ прекратить дышать через минуту». Логика никогда не ответит ни на один эмпирический вопрос; она никогда не разрешит встреченную в реальности тайну, допускающую — если напрячь воображение — несколько реалистичных разгадок; она не подскажет ответа на дилемму, правильный ответ в которой неопределён, и, в принципе, может оказаться каким угодно.

Просто запомните литанию против логики:

Логика остаётся истинной, куда бы ты ни пошёл,

Поэтому логика никогда не скажет тебе, где ты живёшь.