Другой пример – директор школы, который, представ перед двумя детьми, пойманными за дракой на игровой площадке, строго говорит: «Неважно кто начал драку, важно лишь кто ее закончил». Ну разумеется важно, кто начал драку. Директор, возможно, не имеет доступа к точной информации на этот счет, но если так, то ему стоит так и сказать, а не отрицать важность того, кто же ударил первым. Представим, что родитель ударил директора – как высоко оценит суд мудрость фразы «не важно кто начал драку» в этом случае? Но для взрослых детская драка – всего лишь неудобство, и для их удобствасовершенно не важно, кто ее начал. Для их удобства важно только то, чтобы она закончилась и закончилась так быстро, как только можно.
Похожая динамика, по-моему, управляет международными дипломатическими случаями, когда Великие Силы строго говорят меньшим группам прекратить конфликты прямо сейчас. Великим Силам не важно кто начал: кто спровоцировал, кто непропорционально ответил на провокацию, ведь длящееся неудобство для Великих Сил - это только всего лишь функция длящегося конфликта. Блин, почему бы Израилю и Хамасу не найти наконец общий язык?
Это я называю «притворяться Мудрым». Разумеется, есть множество способов продемонстрировать мудрость. Но демонстрировать ее отказываясь делать догадки, отказываясь анализировать свидетельства, отказываясь выносить суждения, отказываясь принимать сторону, оставаясь в стороне, взирая высокомерно и снисходительно, т.е. демонстрировать мудрость ничего не говоря и не делая - ну, это я нахожу особенно претенциозным.
Паулу Фрейре сказал: «Умывать руки во время конфликта между сильным и бессильным – значит встать на сторону сильного, а не быть нейтральным.1 Игровая площадка на которой учителей не волнует кто начал конфликт представляет собой хорошее место для хулиганов, и отвратительное для их жертв. Это касается и международной политики: мир, где Великие Силы отказываются принимать сторону и лишь требуют немедленных договоренностей – удобный мир для агрессоров и ужасный для тех, на кого эта агрессия направлена. Но, разумеется, это очень удобный мир, если вы в нем Великая Сила или школьный директор.
Так что это поведение по крайней мере отчасти можно объяснить элементарным эгоизмом со стороны Мудрого.
Однако, в то же время, это еще и выражение превосходства. В конце концов, что подумают о директоре другие взрослые, если он встанет на чью-то сторону в обыкновенной детской драке? Ну как же, это ведь понизит статус директора до обычного участника столкновения!
То же самое касается любого уважаемого старшего – исполнительного директора, влиятельного академика, основателя форума – чья репутация непредвзятого человека основывается на том, что он практически никогда не выносит суждений сам, пока другие занимают стороны. Стороны обращаются к ним за поддержкой, но почти всегда впустую. Ведь Мудрых почитают как судей только при условии, что они почти никогда не выносят суждений – ведь в противном случае они были бы рядовыми участниками спора, ничем не лучше других.
(Как ни странно, судьи в судах могут себе позволить регулярно выносить реальные приговоры без автоматической потери своей репутации непредвзятых. Может потому, что все понимают, что они должны судить, ведь это их работа. Или потому, что судьям не приходится раз за разом разрешать вопросы, разделяющие на две части племя, от чьего уважения они зависят).
Существуют случаи, в которых рационально подождать с суждениями. Это, когда люди торопятся с выводами исключительно из-за своих искажений. Как сказал Майкл Руни: «Эту ошибку я неоднократно замечал у студентов, которые начинают изучать философию: столкнувшись с причинами стать скептиками, они вместо этого становятся релятивистами». Выходит, что в случаях, когда рационально не торопиться с выводами о чем-либо, слишком многие вместо этого приходят к решению, что все выводы одинаково приемлемы.
Как мы можем избежать связанной с предыдущей, но отдельной ошибки –псевдорационального поведения, заключающегося в демонстрации вашей неискаженной непредвзятости путем необоснованного утверждения, что что текущий баланс свидетельств нейтрален? «Ох, ну, разумеется, есть немало убежденных дарвинистов, но я думаю, что свидетельства не позволяют нам сделать окончательный вывод о превосходстве естественного отбора над разумным творением».
Тут я предлагаю вспомнить, что нейтральность это точное суждение. Это совсем не то же самое, что оставаться вне и над. Это выражение ясной и конкретной позиции о том, что баланс свидетельств в конкретном деле допускает только одну трактовку - нейтральную. Это суждение тоже может оказаться неверным. Вывод о нейтральности может обсуждаться так же, как и вывод о правоте любой из сторон.
Точно так же дело обстоит и с политическими вопросами. Если какие-то люди утверждают, что и у пролайф («движения в защиту жизни») и у прочойс («движения в защиту репродуктивного выбора») позиции есть разумные идеи, и им определенно стоит стремиться к компромиссу и уважению, то они не занимают позицию вне дискуссии. Они выносят конкретное суждение, настолько же конкретное как и суждения «пролайф правы» или «прочойс правы».
Кстати говоря… этот текст не является приглашением к дискуссии об абортах или Палестино-Израильском конфликте в комментариях. Этот сайт - не для этих дискуссий, есть другие места чтобы обсуждать эти полностью заслуживающие обсуждения темы. Может быть потом, когда LessWrong станет достаточно большим… но сейчас не время.
Но дело не в том, что рационалисты слишком зрелые, чтобы говорить о политике. Дело не в том, что рационалисты выше этой глупой потасовки, до участия в которой унижаются только обычные сторонники политических партий и юные энтузиасты.
Робин Хэнсон отмечает, что способность участвовать в горячих спорах - ограниченный ресурс. Если вам удастся найти, где применить те же силы с большим результатом, то с вашей стороны разумно тратить силы на обсуждения, от которых может быть больше пользы, чем на те, в которых множество участников тратит много сил.
Но в таком случае ваши приоритеты – это следствие вашей ограниченности в ресурсах. Это не значит, что вы мудро и спокойно парите над схватками, в которых решаете не участвовать.
Мой ответ Полу Грэхэму на Хакер Ньюс, похоже, стоит повторить здесь:
Есть разница между:
Принятием нейтрального суждения
Отказом вложить незначительные ресурсы.
Претензией на то, что любой из вариантов выше является признаком большой мудрости, зрелости и демонстрацией превосходства, с подтекстом, что исходные стороны конфликта - это худшие точки зрения, которые не так уж сильно отличаются с высоты вашего полета.
Претензия религии на неопровергаемость
Элиезер Юдковский
Самое раннее известное мне упоминание научного эксперимента — это, как ни иронично, история об Илии и жрецах Ваала.
Народ Израиля колеблется между Иеговой и Ваалом, поэтому Илия объявляет, что проведёт эксперимент, чтобы решить эту проблему— какое новаторство по тем временам! Жрецы Ваала поместят своего быка на алтарь, а Илия поместит на алтарь быка Иеговы, но никому из них не будет позволено зажечь огонь; чей Бог истинный, тот и заставит огонь сойти на Его жертву. Жрецы Ваала служат для Илии контрольной группой — такое же древесное топливо, такой же бык и такие же жрецы, возносящие молитвы, но ложному богу. Затем Илия льёт воду на свой алтарь, разрушая симметрию эксперимента, но ведь это было так давно — тем самым он обозначает добровольное принятие бремени доказательства — эквивалент современного уровня значимости в 0,05. Огонь сходит на алтарь Илии, что является экспериментальным наблюдением. Народ Израиля, кричащий: «Господь есть Бог!» — экспертная оценка.
А потом они оттащили 450 жрецов Ваала к реке Кишон и перерезали им глотки. Это сурово, но необходимо. Надо жёстко отсечь опровергнутую гипотезу — и сделать это быстро, прежде чем она сможет найти предлог для самозащиты. Если бы жрецам Ваала сохранили жизнь, они бы начали болтать, что религия на самом деле — отдельный магистерий, недоступный ни подтверждению, ни опровержению.
В былые дни люди действительно
верили
в то, что говорила им их религия, а не просто считали религию
важной
. Библейские археологи, отправившиеся искать Ноев Ковчег, не считали, что впустую тратят своё время; они
предполагали
стать знаменитыми. И лишь после того, как не смогли найти подтверждающих свидетельств — а нашли опровергающие — только тогда эти святоши совершили то, что Уильям Бартли назвал
возвращением к убеждению
: «Я верю, ибо я верую».
В былые дни не существовало концепции религии как отдельного магистерия. Ветхий Завет — это свалка культурного потока сознания: история, право, притчи о морали, и, да, модели того, как работает Вселенная. Вы не найдёте ни в одной строчке Ветхого Завета трансцендентного восхищения сложностью Вселенной. Но вы найдёте множество вполне
научных заявлений
(English), вроде Вселенной, созданной за шесть дней (что является метафорой Большого Взрыва), или кроликов, жующих жвачку (что является метафорой…).
В былые дни заявление о том, что местную религию «невозможно подтвердить», привело бы вас на костёр. Одно из главных верований ортодоксального иудаизма заключается в том, что Бог появился на горе Синай и произнёс громовым голосом: «Ага, это всё правда». В
байесианской перспективе
это, чёрт возьми, весьма однозначное доказательство существования нечеловечески могущественной сущности. (Хотя и не того, что эта сущность,
собственно
, Бог, или что эта сущность добродетельна — это могли быть и подростки-инопланетяне.) Абсолютное большинство религий в истории человечества — не считая придуманных
совсем
недавно, — рассказывают истории о событиях, которые представляли бы собой совершенно безошибочное доказательство, если бы действительно случились. Независимость религии от фактических реалий — весьма
недавняя
и исключительно
западная
концепция. Люди, создававшие оригинальные писания, даже не знали о разнице между одним и другим.
Римская империя унаследовала древнегреческую философию, установила закон и порядок в своих провинциях, вела бюрократические записи и насаждала религиозную терпимость. Новый Завет, созданный уже во времена Римской империи, благодаря этому несёт на себе своеобразную печать модерна. Вы не можете придумать историю о том, как Бог полностью уничтожает город Рим (à la Содом и Гоморра), потому что римские историки ткнули бы вас в это носом, и вы не смогли бы просто закидать их камнями.
Но в былые дни люди, придумавшие истории Ветхого Завета, могли сочинять всё, чего бы им ни захотелось. Ранние египтологи были неподдельно шокированы тем, что не нашли абсолютно никаких следов еврейских племён, когда-либо бывавших в Египте — найти записи о Десяти казнях они и не мечтали, но они хоть что-нибудь обнаружить надеялись. Как оказалось, кое-что всё-таки нашли. Они обнаружили, что в предположительное время Исхода Египет правил большей частью Ханаана. Это гигантская историческая ошибка, но, поскольку библиотек не существует, вас некому ткнуть в неё носом.
А вот в Римской империи были библиотеки. Поэтому Новый Завет не заявлял о больших красочных широкомасштабных геополитических чудесах, что было привычным для Ветхого Завета. Вместо этого Новый Завет заявляет о меньших чудесах, которые, тем не менее, помещаются в те же самые доказательные рамки. Мальчик падает на землю, у него изо рта идёт пена; причина тому — нечистый дух; резонно ожидать, что нечистый дух убежит от истинного пророка, но не убежит от шарлатана; Иисус изгоняет нечистый дух; таким образом, Иисус — истинный пророк, а не шарлатан. Это совершенно обычное
байесовское рассуждение
, если принять в качестве базовой предпосылку, что эпилепсия вызывается демонами (и что прекращение эпилептического припадка доказывает, что демон сбежал).
Религия высказывала своё мнение не только в фактических и научных вопросах, религия высказывала своё мнение
обо всём
. Религия создала кодекс законов до возникновения законодательных органов; религия записывала историю до историков и археологов; религия устанавливала сексуальную мораль до женской эмансипации; религия расписывала формы государства до конституций; и религия отвечала на все научные вопросы: от биологической таксономии до формирования звёзд. Ветхий Завет не говорит о чувстве восхищения сложностью Вселенной — он слишком занят назначением смертной казни женщинам, носящим мужскую одежду, что, по тем временам, было вполне удовлетворительным содержанием религиозного текста. Современная концепция религии как чего-то строго
морального
порождена тем, что все остальные сферы были отняты у неё более компетентными институтами. Мораль — это всё, что
осталось
.
Или, скорее, люди
думают
, что мораль — это всё, что осталось. Возьмите свалку культуры, какой она была 2500 лет назад. Со временем человечество безмерно продвинется вперёд и части древней культурной свалки станут уже вопиюще устаревшими. Мораль не защищена от человеческого прогресса — например, сейчас мы весьма неодобрительно смотрим на такую одобренную Библией практику, как рабство. Почему люди
думают
, что такая мораль всё ещё допустима?
В действительности, нет ничего несущественного в этической проблеме убийства тысяч невинных перворождённых младенцев мужского пола, совершённого с целью убедить неизбранного фараона выпустить рабов, которые, если рассуждать логически, могли быть просто телепортированы из страны. Это должно быть
более
вопиющим, чем сравнительно тривиальная научная ошибка в заявлении, что у кузнечиков четыре ноги. Однако если вы заявите, что Земля плоская, на вас посмотрят, как на идиота. А вот если вы скажете, что Библия — источник вашей морали, ни одна женщина не даст вам пощёчины. Для большинства людей концепция рациональности определяется тем, что, по их мнению, может сойти им с рук; они думают, что одобрение библейской морали сойдёт им с рук; так что для того, чтобы закрыть глаза на моральные проблемы Библии, нужен лишь весьма терпимый уровень самообмана. Все согласились не замечать слона в посудной лавке, и такое состояние дел какое-то время может сохраняться.
Может быть, однажды человечество продвинется дальше, и каждый, кто предложит Библию в качестве источника морали, столкнётся с тем же отношением, с каким столкнулся Трент Лотт (Trent Lott), поддержавший президентскую кампанию Строма Термонда (Strom Thurmond). И тогда скажут, что истинной сутью религии всегда была генеалогия или ещё что-нибудь.
Идея, что религия — это отдельный магистерий, который нельзя
ни доказать, ни опровергнуть
, — это Большая Ложь, повторяющаяся снова и снова, так что люди говорят её не вдумываясь; но, критически рассмотренная, она оказывается попросту неверной.
Это — невероятное искажение того, как религия исторически зарождалась, как писания выражают свои верования, что говорят детям для того, чтобы убедить их, и того, во что до сих пор верит большинство религиозных людей на Земле. Нельзя не восхищаться беспредельной дерзостью этой лжи, стоящей на уровне с «Океания всегда воевала с Остазией». Прокурор показывает всем окровавленный топор, а обвиняемый, шокированный на мгновение, заявляет, поразмыслив: «Но вы не можете опровергнуть мою невиновность какими-то там доказательствами — это отдельный магистерий!»
А если это не сработает, возьмите листок бумаги и намалюйте себе карточку «Бесплатный выход из тюрьмы».
Провозглашения и крики одобрения
Элиезер Юдковский
Однажды я посетил конференцию по теме «совместимы ли религия и наука?». Одна женщина-язычник с жаром рассказывала о своих представлениях о сотворении Земли: гигантская первичная корова была рождена в первичной бездне, а затем создала первичного бога при помощи слюны и языка; потомки первичного бога убили корову и сотворили Землю из её плоти, и так далее. История была длинной, подробной и более абсурдной, чем модель мира, в которой Земля покоится на спине огромной черепахи. И эта женщина явно разбиралась в науке достаточно, чтобы это понимать.
Я до сих пор не могу подобрать слов, чтобы описать, как именно говорила эта женщина. Она говорила… гордо? С самодовольством? Осознанно щеголяя собой?
Казалось, что женщина рассказывала этот миф о сотворении целую вечность (на самом деле, вероятно, прошло не более пяти минут). Странное нечто, гордость/удовлетворение/выставление себя напоказ, явно имело какое-то отношение к её знанию того, что эти убеждения были возмутительны с научной точки зрения. И она не презирала науку: она выступала за то, что наука и религия совместимы. Она даже рассказала о том, что, если взглянуть на землю, в которой жили викинги, то нетрудно понять, почему они верили в первичную бездну (этим объяснением она свела свои верования к чему-то заурядному!), но при этом всё равно настаивала на своей вере в этот миф, говоря об этом с исключительным удовлетворением.
Я не думаю, что понятие «вера в убеждение» можно растянуть настолько, чтобы покрыть это событие. Слишком странной была эта речь. Она не повторяла легенду с фанатичной верой кого-то, кому нужно подбодрять себя. Она не надеялась убедить в чём-то аудиторию, и ей не нужна была наша поддержка для того, чтобы чувствовать себя полноценной.
Деннет, автор понятия «веры в убеждение», считает, что большую часть того, что мы называем «религиозными верованиями» (или «религиозными убеждениями») стоит изучать как «религиозные провозглашения». Представим, что пришелец-антрополог изучает группу современных студентов-филологов, все из которых, кажется, считают,что Валки Вилкинсен является пост-утопистом. В этом случае правильный вопрос звучит не как «почему все они разделяют это странное убеждение?», а как «почему все они пишут это странное предложение на письменном экзамене?». Даже если предложение совершенно бессмысленно, ты всё равно знаешь, когда следует его громко пропеть.
Я думаю, что всё же несколько чересчур считать, что религиозные верования заключаются лишь в громком повторении определённых фраз: большинство людей довольно честны, и после произнесения религиозных предложений вслух чувствуют себя обязанными повторить их мысленно, чтобы эта мысль прозвучала и в сознании.
Но даже понятие «религиозных утверждений» вряд ли покрывает рассказ язычницы о своей вере в первичную корову. Если кому-то нужно произнести религиозное убеждение вслух, чтобы понравиться священнику или собрату по вере — да что там, просто, чтобы подтвердить своё представление о себе как о верующем — ему стоит притвориться верящим намного убедительнее, чем притворялась эта женщина. Пересказывая легенду с нарочито подчёркнутой гордостью, она даже не пыталась быть убедительной, даже не пыталась заставить аудиторию поверить в то, что она воспринимала свою религию всерьёз. Кажется, именно это меня и ошеломило. Несколько известных мне людей верят в свою веру касательно совершенно абсурдных вещей; но когда они страстно рассказывают о предмете своей веры в убеждениях, они намного сильнее стараются убедить себя в том, что воспринимают всё это всерьёз.
Наконец, я понял, что язычница не пыталась убедить в чём-то нас и не пыталась убедить в чём-то себя. Её пересказ легенды о сотворении вообще не имел отношения к сотворению мира. Пятиминутная обличительная речь была одобрительным возгласом, что-то вроде транспаранта на футбольном стадионе. Транспарант с надписью «ВПЕРЁД СИНИЕ» не утверждает ничего о фактах и не пытается быть убедительным. Это просто кричалка.
Та странная подчёркнутая гордость… язычница словно участвовала в гей-параде обнажённой (Замечу мимоходом: не имею ничего против участия в гей-параде в обнажённом виде. Лесбиянство не относится к числу вещей, которые могут быть уничтожены правдой). Это было не просто выражением одобрения, как участие в гей-параде, это было оскорбительно эпатажным выражением одобрения, как участие в гей-параде голышом. В этом проглядывало убеждение в том, что её не смогут раскритиковать или арестовать, ведь всё это сделано во имя прославления её сообщества.
Именно поэтому для неё столь большое значение имела смехотворная абсурдность её слов. Попытка звучать более разумно эквивалентна надеванию одежды.
Убеждение как одеяние
Элиезер Юдковский
Я уже разделил убеждения на контроллеры ожиданий, веру в убеждения, провозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.
Ещё один подвид неполноценных убеждений — убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».
Зная человеческую психологию, можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего — не иметь ни малейшего представления о том, как видят мир обычные люди — чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие «отвага и альтруизм террориста» является одеянием Врага — поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, — забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?
Убеждение-как-одеяние может объяснить, почему люди могут придавать такой веснеполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.
С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду (Этот факт — фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм(English) в других странах, но это уже другой разговор). Идентификация с племенем — очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.
Требование аплодисментов
Элиезер Юдковский
Во время Сингулярного Саммита 2007, один из ораторов ратовал за создание демократичного мультинационального проекта по разработке Искусственного Интеллекта. Я подошел к микрофону и задал вопрос:
Предположим, группа демократических республик сформирует консорциум по разработке ИИ; в процессе будет много политизирования: некоторые группы будут иметь необычайно сильное влияние, другие будут отодвинуты на задний план, другими словами, результат будет напоминать другие продукты современной демократии. С другой стороны, группа независимых ботаников разработает ИИ у себя в подвале. Снабдит его инструкциями опросить все населения земного шара: даже раздать мобильники всем, кто их не имеет, и выполнить то, что будет утверждено подавляющим большинством голосов. Какой из вариантов более «демократичный» и с каким вы будете чувствовать себя более спокойно?
Я хотел узнать, верит ли он в прагматическую адекватность демократического политического процесса или он верит в моральную правильность голосования.
Но оратор ответил:
Первый сценарий выглядит как редакторская статья в журнале «Reason», а второй - как сюжет голливудского фильма.
Смутившись, я спросил:
Так какой демократический процесс вы имели ввиду?
Оратор ответил:
Что-то вроде Проекта Человеческого Генома (это был интернационально финансируемый проект).
Я спросил:
Как разные группы будут разрешать свои разногласия в структуре вроде Проекта Человеческого Генома?
И оратор ответил:
Я не знаю.
Благодаря этому обмену репликами, я вспомнил цитату одного диктатора или кого-то еще, которого спрашивали о его намерениях двигать его карманное государство к демократии:
«Мы полагаем, что уже находимся в демократической системе. Некоторые факторы пока отсутствуют, вроде выражения воли народа».
Суть демократии в специфическом механизме разрешения политических конфликтов. Если все группы имеют одинаковые предпочтения, то в демократии не будет нужды - мы и так будем сотрудничать. Процесс разрешения может выражаться через голосование, или выбранного представителя, или даже через чувствительного к голосованию ИИ, но выражение должно быть хоть каким-нибудь. Какой смысл призывать к «демократическому» решению, если не подразумевается какой-то механизм разрешения конфликтов?
Думаю, это означает, что, сказав «демократия», ты ожидал аплодисментов от аудитории. Это не столько предложение, сколько эквивалент надписи «Аплодисменты» в студии, которая загорается как сигнал к тому, что аудитория должна начать аплодировать.
Этот случай запомнился лишь потому, что я перепутал требование аплодисментов с политическим предложением, к моему стыду. Большая часть требований аплодисментов более прямолинейны и могут быть выявлены простым реверсивным тестом. Например, кто-то скажет:
«Мы должны сбалансировать риски и возможности ИИ»
Если перевернуть это высказывание, мы получим:
Мы не должны соблюдать баланс рисков и возможностей ИИ.
Поскольку обратное звучит абсурдно, следовательно, неперевернутое утверждение, возможно, нормально, подразумевая, что это не несет новой информации. Есть множество хороших причин для утверждения, которое не является информативным вне контекста. «Нам нужно соблюдать баланс рисков и возможностей ИИ» может быть темой для обсуждения; может делать ударение на важности определенных планов для баланса; может критиковать планы, не соблюдающие баланс. Связывая другие утверждения, предложение может передать новую информацию ограниченному рационалисту - но сама по себе связь может быть неочевидной. Но без уточняющих положений, утверждение не более чем табличка «Аплодисменты!»
Порой мне хочется толкнуть речь, целиком состоящую из требований аплодисментов, чтобы посмотреть, сколько времени пройдет, прежде чем аудитория начнет хохотать.
Я здесь, чтобы предложить взвесить риски и возможности продвинутого Искусственного Интеллекта. Нам следует избегать рисков и, если получится, реализовывать возможности. Нам не следует беспричинно подвергаться совершенно необязательным рискам. Для достижения этих целей нам следует планировать рационально и мудро.
Нам не следует действовать из страха и паники, или поддаваться технофобии; однако, не следует и действовать в слепом энтузиазме. Нам следует уважать интересы всех партий, принимающих участие в Сингулярности. Мы должны убедиться, что преимущества продвинутых технологий будут доступны для как можно большего числа индивидов, а не для нескольких. Мы должны, по мере сил наших, избегать конфликтов с применением этих технологий; и мы должны предотвратить попадание этих технологий в руки опасных индивидов. Нам следует думать над этими вопросами до, а не после, когда уже будет поздно что-либо предпринимать…
Нам следует взвешивать риски и возможности ИИ.
Замечая замешательство
Сфокусируй неуверенность
Элиезер Юдковский
Что случится с процентом по облигациям: он поднимется, опустится, или не изменится? Если ты работаешь экспертом в телепрограмме, где тебе нужно объяснить произошедшее постфактум, то тебе незачем волноваться. Какая бы из этих трёх возможностей ни реализовалась, ты всё равно сможешь объяснить, почему результат отлично вписывается в разработанную тобой теорию рынка. Нет смысла думать о том, что эти три возможности каким-то образом противоречат друг другу или несовместимы между собой, поскольку ты в любом случае на сто процентов выполнишь свою работу в качестве эксперта.
Хотя подожди. Представь, что ты только совсем недавно появился на телевидении и недостаточно опытен для того, чтобы придумывать правдоподобные объяснения на лету. Нужно заранее подготовить заметки для завтрашнего прямого эфира, а времени у тебя не так уж и много. Тогда было бы очень полезно знать, какой именно результат произойдёт на самом деле, — поднимется или опустится ли процент по облигациям — ведь тогда понадобится подготовить лишь один набор оправданий.
Увы, предвидеть будущее невозможно. Что ты собираешься делать? Ты определённо не будешь использовать «вероятности». Школа рассказала нам, что такое «вероятности»: так называются числа от нуля до единицы в тексте некоторых задач; сейчас же никто не сообщил тебе никаких чисел от нуля до единицы. Что ещё хуже, ты чувствуешь себя как-то неуверенно, а — если тебе не изменяет память — во время вычисления ответа на такие задачи у тебя никогда не было таких ощущений. Лекции по математике читаются в чистых и знакомых аудиториях — разве уместно применять математику не в стенах института, а в запутанных и непонятных жизненных ситуациях? Использовать какой-либо стиль мышления в непригодной для него обстановке — всегда плохая идея. Ясно, о «вероятностях» вспоминать не надо.
Тем не менее, у тебя есть всего лишь 100 минут для того, чтобы подготовить оправдания. Нельзя потратить все 100 минут, обдумывая сценарий «повышение», и ещё потратить все 100 минут, набрасывая реплики для сценария «понижение», и ещё потратить 100 минут на размышления о сценарии «неизменность».
Если какая-нибудь проверочная комиссия собирается исследовать твоё расходование времени, то лучше бы потратить равное количество времени на подготовку к каждому возможному исходу. Никто не сообщил тебе чисел от нуля до единицы, и поэтому у тебя на руках нет никакой документации, могущей обосновать неравные временные затраты. Ты легко можешь представить, что именно скажут тебе проверяющие: «И почему же вы работали над оправданием №3 ровно 42 минуты, мистер Финклдинджер? Почему не 41 или 43 минуты? Признайте свою необъективность! Вы отдаёте предпочтение своим субъективным любимчикам!»
Однако ты с облегчением вспоминаешь, что никакая проверочная комиссия и не собирается искать в твоих поступках повода для обвинений. Это замечательно, ведь завтра прозвучит важное объявление от Федерального Резерва Банка США, и кажется маловероятным, что цены на процент по облигациям не изменятся. У тебя нет ни малейшего желания тратить драгоценные 33 минуты на подготовку речи, которую ты не планируешь произносить.
В голове всплывают наброски объяснений: подробные рассказы о том, почему каждое событие правдоподобно вытекает из твоей теории рынка. Но почти сразу становится ясно, что сейчас правдоподобность не поможет: все исходы правдоподобны. Каждый сценарий вписывается в твою теорию рынка, но это не имеет никакого отношения к тому, как следует поделить время на подготовку. Между сотней минут и способностью вписывать события в теорию есть принципиальное отличие: первое — ограниченно, второе — нет.
И всё же… У тебя нет зацепок, но всё же ты, кажется, ожидаешь эти события с разной силой. Какие-то оправдания кажутся тебе более важными, какие-то — менее. И — восхитительная деталь — если представить что-то, делающее повышение процента болеевероятным, то объяснения для сценариев понижения и неизменности кажутся уже менеенужными.
Кажется, что существует связь между тем, насколько ты ожидаешь увидеть каждый из исходов, и тем, как ты хочешь разделить время подготовки между их оправданиями. Разумеется, эту связь невозможно измерить. У тебя есть 100 минут на подготовку, но здесь и не пахнет сотней «единиц предвкушения», или чего-нибудь такого. (Хотя ты всё-таки понял, что твоя функция полезности растёт примерно как логарифм от времени, потраченного на подготовку оправдания того события, которое произойдёт на самом деле.)
Но всё же… В мысли о том, что ожидание конечно, — и конечное ожидание подобно конечному времени на подготовку объяснений, а не бесконечной способности объяснять — явно что-то есть. Возможно, имеет смысл думать об ожидании, как о каких-нибудь ресурсах: например, как о деньгах. После такого сравнения сразу же тянет подумать о том, где можно достать ещё ожидания, но это бессмысленно: сколько ожидания бы ты не раздобыл, времени на подготовку от этого не прибавится. Нет, задача решается по-другому: нужно попытаться использовать свои ограниченные запасы ожидания наилучшим образом.
Ни о чём подобном на лекциях по статистике не говорилось. Никто не рассказал, что делать, когда это чёртово ощущение неопределённости так сильно давит на мысли. Никто не рассказал, что делать, когда неизвестно никаких чисел от нуля до единицы. Хотя при чём тут это? Если уж использовать числа, то с равным успехом можно использовать любые числа: нет никаких зацепок, указывающих на то, какой раздел математики следует использовать, если здесь стоит использовать вообще хоть какой-нибудь раздел математики. Может быть, пригодятся пары чисел: число слева, число справа. Такой подход можно будет назвать «теорией Декстера-Синистера», поскольку именно так «правый» и «левый» звучат на латыни. Или что-нибудь ещё, какой-нибудь другой метод и иная аксиоматика. (Во всяком случае, число «100» — 100 минут на подготовку — точно должно где-то участвовать, это понятно)
Почему никто не открыл правил фокусировки неопределённости? Правил, позволяющих распределить ожидание таким образом, чтобы большинство ожидания попало в тот исход, который произойдёт на самом деле?
Но как будет называться это искусство? И как будут выглядеть эти правила?
Что такое свидетельство
Элиезер Юдковский
«Предложение „снег белый“ истинно тогда и только тогда, когда снег белый» — Альфред Тарский.
«Говорить, что сущее есть и не-сущее не есть, — значит говорить истинное» — Аристотель, «Метафизика 4».
Если две эти цитаты не выглядят удовлетворительным определением «истины» — прочтите это. Сегодня я расскажу о «свидетельствах» (причём речь будет идти об убеждениях-о-фактах, говорящих о том, каким является мир, а не об эмоциях или морали. О разнице между этими понятиями сказано здесь).
Человек идёт по улице, неожиданно его шнурки развязываются. Некоторое время спустя, по какой-то непонятной причине, он становится убеждён в том, что его шнурки развязаны. Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки. Происходит последовательность событий — цепочка из причин и следствий — начавшаяся во внешнем мире и закончившаяся внутри мозга, в конечном итоге которой человек приобретает имеющиеся у него убеждения. На выходе этого процесса — состояние разума, которое отражает состояние шнурков.
Что такое «свидетельство»? Это событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий. Если, к примеру, объект исследования — твои шнурки, то входящий в зрачки свет есть свидетельство, сцепленное со шнурками. Замечу, что здесь я использую слово «сцепленность» не в том смысле, что принят в квантовой механике (entanglement, в русской литературе иногда встречается как «запутанность»); две вещи «сцеплены», если благодаря соединяющей их цепочке причин и следствий, их состояния становятся скореллированными.
Не каждое воздействие создаёт нужный для свидетельства вид сцепленности. Не очень впечатляюще построить машину, гудящую, если в неё ввести выигрышный лотерейный номер, если эта машина будет точно также гудеть и на все остальные лотерейные номера. Отражённый от ботинков свет не будет полезным свидетельством касательно шнурков, если фотоны были бы одними и теми же вне зависимости от того, завязаны ли шнурки.
Говоря более формально: событие называется свидетельством о сущности А, тогда и только тогда, когда это событие проявляется по-разному в зависимости от различных состояний сущности А (говоря на языке теории информации, взаимная информация события и сущности А должна быть больше нуля).
Сцепленность заразительна, если с ней правильно обращаться, и именно поэтому людям нужны и глаза, и мозг. Если фотоны отразятся от шнурков и затем столкнутся с камнем, то камень не сильно изменится. Камень не будет сцеплен со шнурками никаким полезным с практической точки зрения образом, его состояние будет одним и тем же вне зависимости от того, были ли завязаны шнурки. Именно поэтому камни не стоит приглашать в суд в качестве свидетелей. Фотоплёнка, напротив, будет сцеплена со шнурками через отражённые от обуви фотоны, и поэтому её можно предъявить как улику. Если твои глаза и мозг работают правильно, то ты сам становишься сцеплен со своими шнурками.
Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.
Если твои глаза и мозг работают правильно, то твои убеждения становятся сцепленными с фактами. Рациональное мышление порождает убеждения, сами по себе являющиеся свидетельствами.
Если твой язык говорит правду, то твои рациональные убеждения — которые есть свидетельства — могут быть свидетельствами в глазах кого-то ещё. Сцепленность передаётся по цепочке причин и следствий, а слова произнесённые есть причина, и слова услышанные есть следствие. Сказав «У меня развязались шнурки» по телефону, ты делишься сцепленностью с другом.
Поэтому среди честных людей, верящих в честность друг друга, рациональные убеждения будут заразительны. Именно поэтому выглядит столь подозрительным заявление о том, что твои убеждения не заразительны: заявление о том, что ты веришь, исходя из каких-то личных причин, не распространяющихся на остальных. Если твои убеждения сцеплены с реальностью, то они должны быть заразительны среди честных людей.
Если твоя модель реальности говорит о том, что результаты работы твоих когнитивных процессов не должны быть заразительны, то твоя модель реальности говорит о том, что твои убеждения не есть свидетельства, что твои убеждения не сцеплены с реальностью. В этом случае нужно что-то исправить, и отметить свои убеждения как «ложные».
Разумеется, если ты до конца осознаёшь — ощущаешь — смысл всего этого, то это означает, что ты уже отметил свои убеждения как «ложные». Потому что «убеждение не сцеплено с реальностью» означает «убеждение не истинно». В ту же секунду, когда ты перестал верить в то, что «предложение „снег белый“ истинно», ты автоматически перестал верить и в то, что снег белый, или на очень глубоком уровне сломалось что-то очень важное.
Поэтому объясни, почему используемый тобой тип мышления порождает убеждения, отражающие реальность. Объясни, почему ты считаешь себя рациональным. Объясни, почему, используя подобный твоему тип мышления, люди будут думать «снег белый» если, и только если, снег белый. Если ты не веришь в то, что результаты работы твоих когнитивных процессов сцеплены с реальностью, то почему ты доверяешь результатам работы своих когнитивных процессов? Ведь это должно быть одним и тем же!
Свидетельство: рациональное, правовое, научное
Элиезер Юдковский
Предположим, ваш добрый друг, комиссар полиции, говорит вам по строжайшему секрету, что криминальный главарь вашего города - Вилки Вилкинсен. Как рационалист, вы обязаны поверить этому заявлению? Попробуем так: если вы возьмете и оскорбите Вилки, я назову вас безрассудным. Так как благоразумно вести себя так, как если быВилки имел существенно большую-чем-по-умолчанию вероятность быть криминальным главарем, следовательно, заявление комиссара полиции должно быть сильным Байесовским свидетельством.
Наша судебная система не поместит Вилки под стражу на основе заявления комиссара полиции. Оно не рассматривается как законное свидетельство. Возможно, если упекать за решетку всех обвиненных комиссарами полиции в том, что они возглавляют преступную организацию, то вы по-началу поймаете множество боссов, плюс, тех, кто не нравился комиссарам. Власть имеет свойство портить людей с временем, так что со временем вы будете ловить все меньше реальных боссов (которые будут применять более серьезные меры для обеспечения своей анонимности) и все больше невинных (несдержанная власть привлекает коррупцию, как мед привлекает мух).
Но это не значит, что заявление комиссара полиции не является рациональным свидетельством. Оно все еще обладает однозначными отношениями правдоподобия, и ты все еще будешь безрассудным, оскорбляя Вилки. Но на социальном уровне, преследуя социальную цель, мы осознанно определяем «законное свидетельство», как совокупность лишь конкретных типов свидетельств, например, наблюдения комиссара полиции в ночь на четвертое апреля.
Все законные свидетельства, в идеале, должны быть рациональными свидетельствами, но не наоборот. Мы внедряем особые, сильные стандарты, прежде чем объявлять, что данное рациональное свидетельство является еще и «законным».
Набирая эту фразу в 8:33 вечера, Pacific time, 18-го августа 2007, я ношу белые носки. Следует ли тебе, как рационалисту, верить этим словам? Да. Могу я давать показания об этом в суде? Да. Это научное заявление? Нет, ведь нет эксперимента, который бы ты мог провести, дабы верифицировать это. Наука собрана из множества обобщений, применяемых к множеству частных случаев, чтобы ты мог провести новые реальные эксперименты, которые тестируют обобщения, и следовательно, подтвердить для себя, что обобщение является правдой, не полагаясь на чей-то авторитет. Наука - публичное, воспроизводимое знание человечества.
Как и судебная система, наука - социальный процесс, включающий подверженных ошибкам людей. Мы хотим защитить фонд убеждений, которые особенно надежны. Так же мы хотим социальные правила, которые бы способствовали производству нового знания. Так что мы внедряем особые, сильные, дополнительные стандарты прежде чем объявить конкретное рациональное знание «научным», добавив его в фонд убеждений. Должен ли рационалист верить в историческое существование Александра Великого? Да. У нас есть лишь грубая картинка древней Греции, не слишком достоверная, но это лучше чем максимальная энтропия. Но мы зависим от авторитетов, Плутарха, например; мы не можем игнорировать его и проверить все сами. Историческое знание - ненаучное знание.
Должен ли рационалист верить, что Солнце взойдет 18-го сентября 2007 года? Да, но не с абсолютной уверенностью, таков уж принцип ставок. (Для педантов: стоит ли верить, что 18-го сентября 2007 года вращение Земли и её орбита относительно Солнца останутся примерно такими же?) Это заявление, которое я написал в своем эссе 18-го августа 2007-го является научным убеждением?
Отрицание применимости прилагательного «научный» к заявлению «Солнце взойдет 18-го сентября 2007-го» может показаться ошибочным. Если наука не может делать предсказания о будущих событиях, которым еще предстоит произойти, то она бесполезна; она не будет способна предсказывать результаты эксперимента перед его проведением. Предсказание о том, что Солнце взойдет, определенно, является экстраполяцией научного обобщения. Оно основано на моделях Солнечной системы, которые ты можешь подтвердить самостоятельно.
Но представь, что ты создаешь новый эксперимент для верификации предсказания №27 в новом контексте теории Х. У тебя может не быть причин полагать, что предсказание ошибочно; ты можешь лишь хотеть проверить его в новом контексте. Утверждение о «научности» этого убеждения может показаться опасным, до завершения эксперимента. Уже есть «традиционное предсказание» и «предсказание теории Х». Но если ты уже знаешь «научное убеждение» о результате, зачем осложнять себе жизнь экспериментом?
Ты начинаешь, надеюсь, понимать, почему я отождествляю Науку с обобщениями, а не с историей экспериментов. Исторические события случаются лишь раз; обобщения же применяются для множества событий. История не воспроизводима, научные обобщения - да.
Является ли мое определение «научного знания» истинным? Это не слишком хорошо сформулированный вопрос. Особые стандарты, что мы внедряем для науки имеют практическую цель. Нигде на звездах или горах не написано, что p < 0.05 является стандартом научной публикации. Сейчас многие утверждают, что 0.05 - слишком слабый стандарт; что будет полезно понизить его до 0.01 или 0.001.
Может быть будущие поколения, действуя в соответствии с убеждением, что научное знание - публичное и воспроизводимое, будут помечать как «научные» лишь те статьи, что напечатаны в бесплатных журналах. Ведь если ты требуешь плату за знание, является ли оно знанием человечества? Можем ли мы доверять результатам, если людям приходится платить, чтобы критиковать их? Действительно ли это наука?
Вопрос «Действительно ли это наука» плохо сформулирован. Является ли байесовским свидетельством журнал с закрытым доступом и ценой подписки 20000$ в год? Вместе с частными заявлениями комиссара полиции о том, что Вилки — криминальный босс, думаю я, ответ — «Да». Но следует ли канонизировать журналы с ограниченным доступом как «науку»? Должны ли мы допускать их в защищенный фонд убеждений? Как по мне, так науке послужит больше, если научным будет считаться публичное, воспроизводимое знание в фонде человечества.
Сколько свидетельств понадобится
Элиезер Юдковский
Напомню, что свидетельство — это «событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий», а сцепленность — «событие проявляется по-разному в зависимости от различных состояний цели». Так какое количество сцепленности — сколько свидетельств — требуется для того, чтобы поддержать убеждение?
Начнём с простого вопроса (достаточно простого для того, чтобы можно было получить ответ математически): насколько нужно сцепиться с лотереей, чтобы выиграть? Скажем, есть 70 шаров, вытаскиваемых в случайном порядке, и, чтобы выиграть, нужно, чтобы совпало шесть чисел. Тогда существует 131 115 985 возможных комбинаций, и вероятность того, что произвольный лотерейный билет выиграет, равна 1/131 115 985 (это 0,0000007%). Чтобы выиграть в лотерею, необходимы свидетельства, достаточно избирательные для того, чтобы благоволить одной комбинации, а не 131 115 984 её альтернативам.
Скажем, существуют вероятностные тесты, различающие выигрышные и проигрышные билеты. Например, можно ввести комбинацию в чёрный ящик, который всегда гудит, если комбинация выигрышна, и не всегда гудит, если комбинация проигрышна. Допустим, вероятность этого лишь 1/4 (или, в байесианской терминологии, отношение правдоподобия чёрного ящика — четыре к одному: если комбинация была выигрышной, то ящик загудит с вероятностью в четыре раза больше, чем для проигрышной).
Но возможных комбинаций очень много. Если ввести в ящик 20 проигрышных комбинаций, 5 из них (в среднем) заставят его загудеть — просто из-за вероятности ошибиться в 25%. Если ввести в ящик все 131 115 985 возможных комбинаций, то ящик загудит не только после выигрышной, но и после 32 778 996 проигрышных (в среднем).
Этот чёрный ящик не позволит выиграть лотерею, но это лучше, чем ничего. Благодаря ему, вероятность выигрыша вырастает от 1/131 115 985 до 1/32 778 997. Наблюдается прогресс в деле отыскания истины внутри обширного пространства возможностей.
Теперь предположим, что можно использовать второй ящик для того, чтобы проверить комбинацию дважды, независимо. Оба ящика точно загудят на правильную комбинацию, а вероятность гудка в ответ на неправильную комбинацию — 1/4 независимо для каждого ящика, и поэтому оба ящика загудят на проигрышную комбинацию с вероятностью лишь в 1/16. Можно сказать, что суммарное свидетельство, полученное в результате двух независимых тестов, имеет отношение правдоподобия 16:1. Число проигрышных лотерейных билетов, прошедших оба теста — 8 194 749 (в среднем).
Раз всего возможно 131 115 985 лотерейных билетов, то соблазнительно сказать, что необходимы свидетельства, чья суммарная сила будет примерно 131 115 985 к 1 — то есть нужно событие (или серия событий), в 131 115 985 раз более вероятное при условии, что комбинация выигрышная, чем при условии, что комбинация проигрышная. Но на самом деле этого свидетельства хватит лишь на то, чтобы дать 50% вероятность выигрыша. Почему? Потому что, если применить фильтр этой силы к 131 миллиону проигрышных билетов, то один (в среднем) проигрышный билет его пройдёт. Выигрышный билет тоже его пройдёт, и в результате получатся два прошедших фильтр билета. Вероятность выиграть 50%, если купить можно лишь один.
Лучше посмотреть на ситуацию следующим образом. Вначале, есть 1 выигрышный билет и 131 115 984 проигрышных, поэтому шансы выиграть 1:131 115 984. Шансы ящика загудеть — 1 (для выигрышного билета) к 0,25 (для проигрышного). Умножив 1:131 115 984 на 1:0,25 , получаем 1:32 778 996. После добавления ещё ящика свидетельств, шансы опять умножаются на 1:0,25 , и теперь они равны 1 к 8 194 749: 1 выигрышный билет и 8 194 749 проигрышных.
Удобно измерять свидетельства в битах — не в тех битах, которые можно найти на жёстком диске, а в математических битах, которые концептуально от них отличаются. Эти биты — просто логарифмы вероятностей по основанию 1/2. Например, если возможны четыре случая — A, B, C и D, чьи вероятности 50%, 25%, 12,5% и 12,5% соответственно, и я говорю, что случилось D, то тем самым я передаю тебе 3 бита информации, так как вероятность сообщённого результата — 1/8.
Удачное совпадение: 131 115 984 чуточку меньше, чем 2 в 27-й степени. Поэтому 14 ящиков, или 28 бит свидетельствующей информации — событие, в 268 435 456 раз более вероятное при условии, что гипотеза-о-билете верна, чем при условии, что она ложна, — увеличит шансы с 1:131 115 984 до 268 435 456:131 115 984, что примерно равно 2:1. Шансы 2:1 означают, что на каждые две победы приходится один проигрыш, то есть, если взять в руки 28 битов свидетельствующей информации, то вероятность выигрыша будет 2/3. Добавим ещё один ящик, 2 бита свидетельствующей информации, и шансы сдвинутся до 8:1. Появление ещё двух ящиков превратит шансы выигрыша в 128:1.
Так что, если ты хочешь получить право на сильное убеждение в том, что ты выиграешь лотерею (то есть, скажем, чтобы вероятность твоей неправоты была меньше 1%), то 34 бит свидетельствующей информации о выигрышной комбинации вполне достаточно.
В общем случае, для ответа на вопрос «сколько свидетельств для этого понадобится?» нужно использовать примерно такие же правила оценки. Чем больше пространство возможностей, или чем сильнее априорная невероятность гипотезы по сравнению с её ближайшими соседями, или чем более уверенным хочется быть, тем больше нужно свидетельств.
Правила нельзя обмануть. Никто не может формировать убеждения, основываясь на неадекватных свидетельствах. Скажем, у тебя есть ряд из 10 ящиков, и ты вбиваешь комбинации в каждый из них. Ты не можешь остановиться на первой комбинации, успешно прошедшей все ящики, и сказать: «Но шанс на то, что это случится для проигрышного билета — один к миллиону! Чёрт с этими полурелигиозными обычаями байесианцев, я закончил!». Этот тест пройдёт не только победитель, но ещё и 131 проигрышный билет (в среднем). Ты пришёл к слишком сильному выводу, основываясь на недостаточном количестве свидетельств, не сумев побороть громадность пространства возможностей и априорную невероятность. Это не надуманное бюрократическое предписание, это математика.
Конечно, можно быть убеждённым в чём-то, основываясь на неадекватных свидетельствах, если сильно хочется; но убеждения при этом не могут быть истинными. Ситуацию можно сравнить с попыткой завести машину без бензина, игнорируя глупое, закостенелое, несправедливое и смехотворное правило «автомобилю нужен бензин для того, чтобы ездить». Было бы намного удобнее и дешевле, если бы люди отменили этот закон, разве это не очевидно вообще всем? Что же, можно попробовать, если сильно хочется. Можно даже закрыть глаза и представить себе, что машина движется. Но для того, чтобы на самом деле прибыть к правдивым убеждениям, необходимы свидетельства-бензин и, чем дальше ехать, тем больше бензина понадобится.
Самоуверенность Эйнштейна
Элиезер Юдковский
В 1919 году сэр Артур Эддингтон возглавил экспедиции в Бразилию и на остров Принсипи, чтобы пронаблюдать солнечные затмения и тем самым опытным путем проверить то, что предсказывает новая теория, созданная Эйнштейном, — общая теория относительности. Некий журналист спросил Эйнштейна, что тот будет делать, если наблюдения Эддингтона разойдутся с предсказаниями теории. Как известно, Эйнштейн ответил: «Тогда мне будет жаль Господа Бога. Теория всё равно верна».
Это заявление звучит чрезмерно дерзко, словно бросая вызов общепринятой в Традиционной Рациональности позиции, которая утверждает, что эксперимент — главный судья. Эйнштейн словно был одержим столь великой гордыней, что отказывался преклонить голову перед тем, что говорит мироздание, как это должен делать всякий ученый. Кто способен узнать, верна ли теория, еще до экспериментальной проверки?
Конечно, Эйнштейн оказался прав. Я стараюсь не подвергать критике людей, когда они правы. Если они по-настоящему ее заслуживают, мне не придется долго ждать случая, который прояснит их ошибку.
И Эйнштейн, возможно, был не столь уж опрометчиво дерзок, как это звучало.
(От переводчика: далее под силой эксперимента или сложностью гипотезы будет иметься в виду их разрешающая способность в битах в соответствии с подходом Шеннона. Для тех, кто слабо знаком с теорией информации, можно, не вдаваясь в детали, сказать, что это мера длины кратчайшего сообщения, описывающего гипотезу. См. также статью о бритве Оккама)
Чтобы назначить вероятность, большую 50%, одной верной гипотезе из набора в 100 млн возможных, вам нужно как минимум 27 бит свидетельств, или около того. Если у вас нет столь информативного способа проверки, нельзя рассчитывать, что вы сможете найти верную гипотезу: недостаточно сильные эксперименты оставят более чем одну идею потенциально истинной. Если вы попробуете произвести проверку, дающую ложноположительный исход в одном случае из миллиона (т. е. силой примерно в 20 бит), то в итоге получите сотни возможных гипотез. Чтобы просто отыскать верный ответ в широком пространстве возможностей, нужно много свидетельств.
Традиционная Рациональность подчеркивает роль подтверждения: «Если вы хотите убедить меня в истинности X, вам потребуется предоставить мне Y свидетельств». Я часто соскальзывал к подобной формулировке, когда на самом деле хотел сказать что-то вроде «Чтобы обосновать убежденность в этом заявлении с вероятностью большей 99%, нужно 34 бита свидетельств». Или «для того, чтобы присвоить вашей гипотезе вероятность больше 50%, вам нужно 27 бит свидетельств». Традиционная формулировка подразумевает, что вы начинаете исследование с догадок или неких только вам понятных рассуждений, которые приводят вас к гипотезе, и только затем накапливаете «свидетельства», подтверждающие ее, чтобы убедить научное сообщество или обосновать свою убежденность.
Однако с байесовской точки зрения вам, чтобы просто задать гипотезу на пространстве возможных теорий, нужны свидетельства в объеме, примерно равном сложности этой гипотезы. (Вопрос пока не в том, чтобы убедить кого-либо или обосновать что-либо.) Если перед вами сто миллионов альтернатив, вам нужно не меньше 27 бит свидетельств, чтобы просто однозначно сосредоточиться на единственной версии.
Это справедливо, даже если вы называете свою идею «догадкой» или «озарением». Работа интуиции — реальный процесс в настоящем мозге. Если ваш разум не обладает хотя бы десятью битами байесовски непротиворечивых, неизбыточных и соответствующих гипотезе данных, то он не в состоянии выделить корректную гипотезу силой в 10 бит — ни сознательно, ни подсознательно, ни как-либо еще. Если вы хотите отыскать одну из миллионов целей с помощью только лишь 19 бит связанной информации, подсознание не сможет сделать это лучше, чем сознание. Подсознательные догадки могут казаться загадочными тому, в чью голову приходят, но не в состоянии нарушить принципы устройства мироздания.
Вы уже видите, к чему я веду: в момент, когда Эйнштейн изначально формулировал гипотезу, когда уравнения начали приходить ему в голову, у него уже должны были быть достаточные экспериментальные данные, чтобы его внимание смогло сосредоточиться единственным образом именно на уравнениях ОТО. Иначе они не получились бы верными.
Теперь подумаем, насколько похоже на правду, что Эйнштейн мог владеть именно такими экспериментальными данными, чтобы ОТО завладела его вниманием, но ее достоверность была бы оценена лишь в 55%? Предположим, что сложность гипотезы ОТО — 29,3 бита. Правдоподобно ли, чтобы в курсе физики, который изучал Эйнштейн, было ровно 29,5 бит свидетельств?
Неправдоподобно. Если у Эйнштейна было достаточно экспериментальных данных, чтобы единственным способом разработать уравнения ОТО в самом начале, то, вероятно, у него уже было достаточно свидетельств, чтобы быть чертовски уверенным в истинности общей теории относительности.
Из-за того, что мозг человека — несовершенный обработчик информации, на деле у Эйнштейна, возможно, было чрезмерно больше свидетельств, чем в принципе требуется идеальному байесовскому агенту, чтобы присвоить ОТО внушительную степень доверия.
Слова учёного «Тогда мне будет жаль Господа Бога, теория всё равно верна» не звучат так уж пугающе, если вы взглянете на них с этой точки зрения и будете помнить, что из всего пространства вариантов именно общая теория относительности оказалась справедливой.
Бритва Оккама
Элиезер Юдковский
Чем сложнее объяснение, тем больше свидетельств необходимо, чтобы просто определить его в пространстве убеждений (в Традиционной Рациональности это формулируется вводящим в заблуждение образом, скажем, «чем сложнее утверждение, тем больше требуется оснований, чтобы его принять»). Как можно измерить сложность объяснения? Как определить, сколько свидетельств потребуется?
Допустим, вы, проведя какие-то эксперименты, получили ряд интересных результатов. Почему эти данные выглядят именно так, а не иначе? На ум приходят несколько объяснений, но какое из них выбрать?
Кажется, пришло время вспомнить принцип бритвы Оккама, точнее, следующую его формулировку: «следует считать верным самое простое объяснение, не противоречащее собранным данным». Но как оценить степень простоты? Роберт Хайнлайн как-то заявил, что самое простое объяснение звучит так: «Женщина, живущая дальше по улице — ведьма, значит это сделала она».
Становится понятно, что длина предложения на естественном языке — не очень хороший способ измерить «сложность». И нельзя утверждать, что теория «вписывается» в факты просто потому что не может опровергнуть их - этого недостаточно.
Но в чём причина того, что длина предложения — плохая мера сложности? Потому что, произнося предложение, ты используешь обозначения для понятий, которые знает слушатель, и именно в них слушатель уже хранит сложность. Скажем, можно превратить предложение Хайнлайна в аббревиатуру «ЖЖНВТСО!», тогда всё объяснение можно сообщить одним словом. Или, ещё лучше, можно дать предложению короткий произвольный код навроде «фнорд!». Уменьшают ли эти действия сложность? Нет, потому что тогда собеседнику нужно заранее сказать, что «ЖЖНВТСО!» означает «Женщина, живущая напротив — ведьма, так сделала она». «Ведьма», в свою очередь, тоже обозначение для ряда очень необычных утверждений, и то, что все знают, каких именно, не означает, что «ведьма» — это просто.
Гигантский электрический искровой разряд падает с неба, сжигая дерево, и древние скандинавы говорят: «Наверное, какая-то могущественная личность разгневалась и бросила в дерево молнию». Человеческий мозг — самый сложный артефакт во всей известной вселенной. Гнев выглядит простым лишь потому, что мы не видим всей паутины нейронов, отвечающей за эту эмоцию (Представь, как трудно было бы объяснить пришельцам без чувства юмора, почему мы смеёмся над «Летающим цирком Монти Пайтона». Но это не говорит, что люди лучше пришельцев — у людей нет ощущения фнордотоватости). Сложность гнева, и, конечно, сложность разума, не бросилась в глаза авторам гипотезы о Торе, агенте-швыряющим-молнии.
Чтобы человек понял гипотезу Тора, нужно всего лишь бросить пару фраз. Чтобы человек понял уравнения Максвелла, нужно пересказать ему несколько книг. У людей есть встроенное понятие «гнев», но нет встроенного понятия «дифференциальное исчисление». Придётся объяснять язык, и язык, лежащий за языком, и основы математики, и лишь потом можно начинать лекцию об электричестве.
И всё же кажется, что в каком-то смысле уравнения Максвелла проще, чем человеческий мозг, или чем швыряющий-молнии-агент.
Вот разгадка: как выяснилось, намного проще написать компьютерную программу, симулирующую уравнения Максвелла, чем компьютерную программу, симулирующую пронизанный эмоциями разумный мозг Тора.
В алгоритмической теории информации «сложность описания» измеряется длиной кратчайшей компьютерной программы, выводящей это описание. Прежде чем говорить о «кратчайшей компьютерной программе», нужно задать пространство компьютерных программ, для чего нужен язык и интерпретатор. Индукция Соломонова использует машины Тьюринга (точнее, последовательности битов, задающие машины Тьюринга). Что делать, если тебе не нравятся машины Тьюринга? Можешь заплатить некоторый фиксированный штраф за сложность и спроектировать универсальную машину Тьюринга, которая будет интерпретировать любой код на том языке, который тебе нравится. Штраф за сложность зависит лишь от размера универсального интерпретатора для выбранного языка программирования, и поэтому различные формулировки в некотором смысле совершенно равносильны.
На мой взгляд, лучшая формулировка индукции Соломонова — требующая, чтобы компьютерная программа делала не детерминистическое предсказание, а приписывала строкам вероятности. Например, программа, объясняющая поведение симметричной монеты, будет просто приписывать одинаковую вероятность всем 2N2N строкам длины NN. Как понимать «объясняющая поведение» или «не противоречащая данным»? Чем больше вероятность, которую программа приписывает полученным данным, тем лучше программа их «объясняет». И сумма всех вероятностей должна равняться единице, и поэтому, чтобы лучше «объяснить» одну возможность, программа должна забрать сколько-то вероятностной меры у другой возможности, и теперь она будет «объяснять» её хуже. Монета не может в 100% случаев выпадать орлом, и в 100% случаев выпадать решкой.
Что можно сказать про оптимальный компромисс между сложностью программы и её способностью объяснять данные? Если забыть о сложности и думать только об объяснении, то лучшими будут программы, предсказывающие данные детерминистически, то есть приписывающие им 100% вероятность. Если монета выпала «ОРРООР», то программа, заявляющая, что монета фиксирована и изначально должна была показать «ОРРООР», объясняет данные в 64 раза лучше, чем программа, считающая монету симметричной. С другой стороны, если рассматривать только сложность, то гипотеза о симметричной монете всегда проще любой другой гипотезы. Даже если монета выпадает «ОРООРОООРООООРОООООР…». Гипотеза «монета симметрична» действительно проще и объясняет эту последовательность точно также хорошо, как и любую другую последовательность из 20 бросков — не лучше и не хуже — но легко увидеть другую гипотезу, выглядящую не слишком уж сложной, и объясняющую эти наблюдение намного лучше.
Программа, которой позволили хранить дополнительный бит информации, способна в два раза урезать пространство возможностей, и, следовательно, приписать в два раза больше вероятности точкам в оставшемся пространстве. Отсюда выходит, что один бит сложности должен стоить как минимум двукратного улучшения способности объяснять. Поэтому программа, в явном виде хранящая инструкцию «приписать ОРРООР 100% и 0% всем остальным», не сможет выиграть у всех остальных программ. Шесть бит, отведённые на хранение «ОРРООР» сводят на нет всю достоверность, полученную 64-кратным улучшением способности объяснять. Иначе, рано или поздно, придётся решить, что все симметричные монеты фиксированы.
Если, конечно, эта программа не написана умно, и не пытается сжать строки данных. Во всех остальных случаях перемещение информации из данных в код не помогает укрепить достоверность программы.
Как именно работает индукция Соломонова? Нужно расcмотреть все допустимые программы (если допустима любая программа, то индукция становится невычислимой), причём каждая программа имеет априорную вероятность, равную (1/2)N(1/2)N, где NN — её длина в битах, а затем вероятность корректируется, исходя из того, насколько хорошо программа объясняет данные на текущий момент. В результате получается группа «экспертов» различной степени достоверности, могущая предсказывать следующие биты: просто просуммируй мнения, умножив их на весовой коэффициент авторитета.
Принцип минимальной длины сообщения почти эквивалентен индукции Соломонова. Сначала ты посылаешь строку, описывающую код, а затем строку, описывающую данные, используя этот код. Объяснение, создающее кратчайшее суммарное сообщение, считается лучшим. Если приравнять набор возможных кодов к пространству всех компьютерных программ и считать сообщение-с-определениями универсальным интерпретатором, то принцип минимальной длины сообщения почти эквивалентен индукции Соломонова (почти — потому, что он выбирает кратчайшую программу, а не суммирует все возможные программы).
Это позволяет яснее увидеть проблему с использованием фразы «женщина, живущая напротив — ведьма, так сделала она» для объяснения закономерности в последовательности «0101010101». Если ты отправляешь другу письмо, пытаясь описать последовательность, которую ты наблюдал, тебе придётся сказать: «женщина, живущая напротив — ведьма, она сделала так, что последовательность вышла 0101010101». Обвинения в колдовстве не позволили сократить вторую половину сообщения. Тебе по-прежнему нужно описать, во всех подробностях, порождённые её запретным искусством данные.
Колдовство объясняет известные данные в том смысле, что оно качественно их разрешает. Но это лишь потому, что колдовство позволяет вообще всё, как и флогистон. Поэтому, после того, как слово «ведьма» сказано, тебе всё равно предстоит описать все наблюдения, не упуская даже мельчайшей детали. Посылая сообщение о колдовстве, ты не сжимаешь сообщение с данными. Первое сообщение — бесполезный пролог, мёртвый груз, увеличивающий суммарную длину.
Подвох фразы «так сделала ведьма» спрятан в слове «так». Как именно сделала ведьма?
Конечно, благодаря эффекту знания задним числом, якорению, лжеобъяснениям, лжепричинности, предвзятости подтверждения и целенаправленным размышлениям, может казаться совсем очевидным то, что, если женщина ведьма, то, конечно же, она заставит монету выпасть 0101010101. Но это уже отдельный разговор.
Сила рационалиста
Элиезер Юдковский
(Этот случай произошёл ещё в те давние седые времена, когда я посещал IRC-чаты. Время затуманило память и мой рассказ может быть неточным)
Итак, дело происходило в IRC-чате. Один из посетителей спрашивает совета у сведущих в медицине людей. Его друг обратился к нему со следующей историей: у него начались внезапные боли в грудной клетке, поэтому бедняга вызвал скорую, и скорая приехала, но медработники сказали «ничего страшного» и уехали, боль в груди же становится всё сильнее и сильнее. «Что мне делать?» — спрашивает он у людей в чате, пересказав эту историю.
Эта история сбила меня с толку. Я помню, как я читал о бездомных Нью-Йорка, вызывающих скорую только для того, чтобы оказаться где-нибудь в тёплом месте, и о медиках, вынужденных отвозить их в пункт неотложной медицинской помощи. Даже на 27-й итерации, ведь, в противном случае, медкомпания может быть засужена на очень серьёзную сумму денег. Аналогично, пункты неотложной помощи юридически обязаны лечить всех, вне зависимости от их платежеспособности (Эти серьёзные расходы ложатся на плечи госпиталя, поэтому госпитали закрывают свои пункты неотложной помощи… В связи с этим мне очень интересно узнать, в чём смысл обучать экономистов, если мы всё равно собираемся их игнорировать?).
Так что я не совсем понимал, как могли произойти описанные события. Любогожалующегося на боль в груди человека, должны были бы немедленно увезти на скорой.
А затем я потерпел неудачу как рационалист. Я вспомнил несколько случаев, когда мой доктор совершенно отказывался паниковать в ответ на сообщения о симптомах, которые, на мой взгляд, были крайне тревожными. И медицинское учреждение всегда оказывалось правым. Каждый раз. Боли в грудной клетке как-то были и у самого меня, но доктор терпеливо разъяснил мне, что я описываю мышечную боль, а не инфаркт.
Поэтому я написал в чате: «Что же, если врачи сказали «ничего страшного», то это действительно так и есть — они бы увезли больного в госпиталь, если бы его состояние грозило бы хоть чем-нибудь серьёзным».
Таким вот способом я всё же впихнул историю в уже существующую модель, хотя в глубине души ощущал, что объяснение немного натянуто…
Некоторое время спустя этот товарищ возвращается в чат и сообщает, что его друг целиком всё выдумал: от болей в груди до отказа врачей помочь. Очевидно, это был не самый честный его друг.
И лишь в эту секунду я осознал то, что должен был понять сразу же: слова неизвестного знакомого знакомого по IRC-каналу могут быть не так достоверны(English), как опубликованная в журнале статья. Увы, вера легче неверия; мы верим инстинктивно, но неверие требует сознательного усилия(English).
Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила. И я знал, насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.
Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.
Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметилпроблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.
Ощущение натянутости заслуживает львиной доли внимания.
Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».
Отсутствие свидетельств — свидетельство отсутствия
Элиезер Юдковский
Запоздалое впихивание свидетельств в гипотезу сыграло свою роль в самой горестной главе истории Соединенных Штатов, интернировании японцев в начале Второй Мировой. 21 февраля 1942 года Эрл Варрен, губернатор Калифорнии, в ответ на замечание об отсутствии случаев саботажа, шпионажа или иной подрывной деятельности живущих в Америке японцев, сказал:
«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности» — Робин Дэйвс, «Rational Choice in an Uncertain World».
Рассмотрим утверждение Варрена через призму теоремы Байеса. Когда мы видим свидетельство, приписавшая этому свидетельству большое правдоподобие гипотеза увеличивает вероятность своей истинности за счёт гипотезы, приписавшей этому свидетельству меньшее правдоподобие. На исход влияют лишь относительныеотношения правдоподобия и вероятности: можно приписать свидетельству очень большое правдоподобие, но всё равно потерять вероятностную меру из-за того, что какая-то другая гипотеза приписала этому свидетельству ещё большее правдоподобие.
Варрен, похоже, утверждает, что отсутствие саботажа закрепляет его убеждение о существование Пятой Колонны. Да, возможно, Пятая Колонна совершит саботаж потом. Но вероятность того, что отсутствие саботажа совершила существующая Пятая Колонна ниже вероятности того, что отсутствие саботажа совершила несуществующаяПятая Колонна.
Пусть E — наблюдение отсутствия саботажа, H1 — гипотеза о американо-японской Пятой Колонне и H2 — гипотеза о том, что её не существует. Чему бы ни равнялась вероятность того, что Пятая Колонна не совершит саботажа (величина P(E|H1)), она не может быть больше вероятности того, что отсутствие Пятой Колонны не совершит саботажа (величины P(E|H2)). Поэтому наблюдение отсутствия саботажа увеличивает вероятность того, что Пятой Колонны не существует.
Отсутствие саботажа не доказывает, что Пятой Колонны не существует. Отсутствие доказательства — не доказательство отсутствия. В логике A->B, «из А следует B» не эквивалентно ~A->~B, «из не-А следует не-B».
Но в теории вероятности отсутствие свидетельства — свидетельство отсутствия. Если E — бинарное событие и P(H|E) больше P(H), «наблюдение E увеличивает вероятность H», то P(H|~E) меньше P(H), «неудачное наблюдение E уменьшает вероятность H». P(H) — это взвешенное среднее P(H|E) и P(H|~E), и поэтому она обязательно лежит между ними.
В большинстве случаев, которые встречаются в реальном мире, явление не обязано постоянно создавать свидетельства своего существования, но ждать этих свидетельств от отсутствия этого явления ещё более безнадёжно. Отсутствие наблюдений может быть как сильным свидетельством отсутствия, так и очень слабым свидетельством отсутствия — зависит от вероятности, с которой явление создаёт эти наблюдения. Отсутствие довольно слабо разрешённого события (пусть даже альтернативная гипотеза не разрешает его вообще) — довольно слабое свидетельство отсутствия (но всё же свидетельство). В этом заключается ошибка креационистов, ссылающихся на «пробелы в летописи окаменелостей»: окаменелости формируются редко, и поэтому бессмысленно праздновать отсутствие наблюдения, слабо разрешённого теорией, достоверность которой уже установлена множеством сильных положительных наблюдений. Однако, если не зафиксировано вообще ни одного положительного наблюдения — время беспокоиться; отсюда и парадокс Ферми.
Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. Сила модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может — только запреты могут упорядочить ожидания будущего. Если ты не замечаешь, вероятность каких наблюдений твоя модель уменьшает, то ты с тем же успехом можешь выбросить эту модель, и с тем же успехом можешь жить без этих наблюдений; без мозга и без глаз.
Закон сохранения ожидаемых свидетельств
Элиезер Юдковский
Фридрих Шпее фон Лангенфельд, духовник присуждённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.
Шпее давал последние напутствия более двумстам осуждённым ведьмам. У него имелась возможность посмотреть на каждую ветвь дерева обвинений и увидеть, что абсолютно любые слова или действия обвинённой лишь укрепляли уверенность инквизиторов в её вине. Однако в каждом отдельном случае люди видели только одну ветвь дилеммы. Именно поэтому учёные формулируют свои экспериментальные предсказания заранее.
Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» — частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: математическое ожидание апостериорной вероятности с учётом будущего свидетельства должно равняться априорной вероятности.
P(H) = P(H)
P(H) = P(H,E) + P(H,~E)
P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)
Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) - P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности — ноль.
Следовательно, для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.
Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожиданиевстретить свидетельство — до того, как ты увидел, в чём именно оно заключается — не должно сдвигать твоей априорной убеждённости.
Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие — свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать нас в существовании Бога.
Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.
Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.
Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, какие бы будущие стратегии ты ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.
С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.
…временами я ужасаюсь извращённости человеческой психики.
Знание задним числом обесценивает науку
Элиезер Юдковский
Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию», стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что ты и так мог предсказать и ожидал увидеть».
Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом(эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающиеся угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).
Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:
У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).
Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).
Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).
Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).
Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).
Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.
Все утверждения из этого списка прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.
А ещё я мог, перепечатывая этот остроумный список за авторством Поля Лазарсфельда, перевернуть результаты ещё раз — тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?
Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?
Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой — перевёрнутый результат того же социологического исследования. Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.
Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».
(довольно очевидный вывод, не так ли?)
Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.
Без сознательного усилия невозможно почувствовать должный уровень шока.
Загадочные ответы
Лжеобъяснения
Элиезер Юдковский
Давным-давно жила-была в одном городе учительница физики. В один прекрасный день она пригласила в класс своих студентов и показала им широкую квадратную металлическую пластину рядом с обогревателем. Студенты прикладывали ладони к пластине и ощущали, что сторона пластины рядом с обогревателем кажется холодной, а дальняя от обогревателя сторона кажется тёплой. «В чём дело, как вы думаете?» — спросила учительница. Некоторые заговорили о конвекции воздушных потоков, остальные предположили наличие странных примесей в пластине. Студенты предложили много изобретательных объяснений, никто не снизошёл до фраз «Я не знаю» или «По-моему, это просто невозможно».
А разгадка была в том, что учительница развернула пластину ненагретой стороной к обогревателю перед тем, как студенты вошли в комнату.
Посмотрим на студента, растерянно бормочущего «Э… Ну, может быть, это из-за теплопроводности и всего такого?». Являются ли его слова полноценным убеждением? Слова достаточно легко произнести громким, убедительным голосом. Но контролируют ли они ожидание?
Подумаем о маленьком невинном предлоге «из-за», который стоит перед словом «теплопроводности». Подумаем о других вещах, которые он может предварять: например, можно сказать «из-за флогистона» или «из-за волшебства».
«Магия — не научное объяснение!» — можете закричать вы. Действительно, легко заметить, что эти две фразы — «из-за теплопроводности» и «из-за волшебства» — принадлежат различным литературным жанрам. Слово «теплопроводность» можно найти в лексиконе Спока из «Звёздного пути», а про «волшебство» может рассуждать Руперт Джайлз из «Баффи — истребительницы вампиров».
Но, будучи байесианцами, мы игнорируем жанры литературы. В наших глазах модель определяется через её воздействие на ожидания будущих событий. Ты сказал «теплопроводность»; на какие будущие переживания ты рассчитываешь, исходя из этой модели? В нормальных условиях эта модель подскажет тебе, что более тёплой на ощупь должна быть сторона пластины, которая ближе к обогревателю. Если фраза «из-за теплопроводности» может объяснить ещё и то, что ближняя к обогревателю сторона ощущается холоднее, то эта фраза может объяснить вообще всё что угодно.
Ну и, как все уже — я надеюсь — поняли к этому моменту: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. (В этом предложении автор ссылается на следующие материалы 1 — прим. пер.)
Если постоянно злоупотреблять фразой «из-за теплопроводности», то эта модель превратится в замаскированную гипотезу максимальной энтропии. В плане предсказаний такое предположение изоморфно фразе «это магия». Выглядит как объяснение, но им не является.
Представим, что мы измеряем температуру металлической пластины в различных точках и в разное время, вместо того, чтобы высказывать догадки вслух. Видя металлическую пластину рядом с нагревателем, обычно мы ожидаем увидеть, что температуры точек удовлетворяют равновесию диффузионного уравнения с учётом граничных условий, наложенных окружающей средой. У тебя может не получиться правильно определить температуру в первой точке измерения, но после измерения нескольких первых точек — я не настолько физик, чтобы знать, сколько именно точек потребуется — уже можно с отличной точностью вычислить температуру остальных.
Истинный гуру искусства Ограничения Ожиданий По Поводу Материальных Явлений С Помощью Чисел — один из тех людей, которых мы называем «физиками» — сделает измерения и скажет «Эта пластина находилась в равновесии с окружением две с половиной минуты назад, потом её повернули на 180 градусов, и сейчас она снова к нему приближается»
Ошибка студентов не просто в том, что они не сумели ограничить свои ожидания. Их менее явная, и более глубокая ошибка заключалась в том, что они думали, что занимаются физикой. Они сказали «потому что», дополненное чем-то похожим на изречения Спока в «Звёздном пути», и решили, что тем самым они приобщились к магистерию науки.
Это не так. Они просто переместили магию из одного жанра литературы в другой.
Угадай слово, задуманное учителем
Элиезер Юдковский
В юности я читал популярные книги по физике, например «КЭД — странная(English) теория света и вещества» Ричарда Фейнмана. Я знал: свет — это волны, звук — это волны, материя — это волны. Мне было девять лет и я гордился своей научной грамотностью.
Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет — это волны, звук — это волны, материя — это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».
Вполне естественно думать, что если учёный говорит: «Свет — это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет — это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет — это волны» либо истинно, либо ложно, не так ли?
И это — ещё одна плохая привычка, которой нас учат в школе(English). У слов нет встроенных значений. Когда я слышу слоги «бо-бёр», в моём мозгу возникает образ большого грызуна; но это факт о состоянии моего разума, а не о слогах «бо-бёр». Последовательность слогов «это волны» (или «из-за теплопроводности») — это не гипотеза. Это набор колебаний воздуха, либо форма, принятая чернилами на бумаге. Внутри разума может быть связь между этой фразой и какой-нибудь гипотезой, но эта фраза, сама по себе, не является ни истинной, ни ложной.
Однако, если сказать школьному учителю «это волны», то ты получишь пятёрку с плюсом: учитель считает ответ «это волны» правильным, поскольку он наблюдал, как физик создаёт эти же колебания воздуха. А раз пятёрки с плюсом раздают за определённые фразы (написанные либо произнесённые), то студенты начинают думать, что у фраз есть истинностное значение. В конце концов, свет либо волны, либо не волны, так?
И это ведёт к ещё более ужасной привычке. Представим, что учитель ставит перед тобой странную задачу: ближняя сторона металлической пластины, лежащей рядом с обогревателем, ощущается менее тёплой, чем дальняя. Учитель спрашивает, в чём дело. Ответить «я не знаю» нельзя: тогда ты ни только не получишь пятёрку с плюсом, но даже не будешь считаться участвовавшим в уроке. Но в течение этого семестра учитель использовал фразы «из-за теплопроводности», «из-за конвекции» и «из-за теплового излучения». Видимо, одну из них учитель и желает услышать в ответ. Поэтому ты тянешь: «Нууу… может быть, из-за теплопроводности?».
Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка подобрать пароль.
Даже вспомнить уравнение диффузии (математическое описание процесса теплопроводности) — не то же самое, что и сформировать гипотезу о металлической пластине. Это не школа, и никто не собирается проверять, способен ли ты написать уравнение диффузии по памяти. Это байесоткачество, и мы начисляем очки за ожидания будущих переживаний. Если ты используешь уравнение диффузии — измерив температуру нескольких точек термометром, а затем пытаясь предсказать результат следующего измерения — то тогда это определённо привязано к переживаниям реального мира. Даже если студент просто представляет себе движение тепла, и поэтому подносит спичку к холодной стороне для того, чтобы измерить, куда течёт тепло, то этот мысленный образ движения привязан к переживаниям и контролирует ожидание будущего.
Если ты не используешь уравнение диффузии: не подставляешь в него числа и не получаешь данные, влияющие на твои ожидания определённых переживаний, то тогда твоя когнитивная карта полностью отрезана от местности. То, что осталось, даже нельзя назвать убеждением — это просто речевое поведение.
Школьная система построена вокруг речевого поведения, выражается ли оно через колебания воздуха, или через узор чернил на бумаге. От речевого поведения зависит, получишь ли ты пятёрку с плюсом, или двойку вместе с вызовом родителей. Осознавать различие между объяснением и паролем — первый шаг на пути избавления от этой вредной привычки.
Не слишком ли это жестоко? Ведь, когда человек пытается разрешить загадку металлической пластины, мысль «теплопроводность?» может быть первым шагом к нахождению ответа, верно? Может быть, но только в том случае, если этот человек старается разрешить загадку, а не подобрать пароль. Если нет учителя, готового указать на ошибку, то ловушка становится ещё страшнее. Тогда можно считать фразу «Свет — это вакаликс» хорошим объяснением, можно думать, что слово «вакаликс» — правильный пароль. Когда мне было 9 лет, это случилось и со мной: не потому что я был глуп, а потому, что это то, что случается обычно, по умолчанию. Это привычный для людей образ мыслей, и чтобы его избежать, нужно приучить себя не попадать в эту ловушку. Человечество падало в такие ямы и сидело в них тысячелетиями.
Возможно, если вдолбить студентам, что слова не считаются, а имеют значение лишь контроллеры ожиданий, то никто больше не застрянет в западне алгоритма «Теплопроводность? Нет? Тогда конвекция? Тоже не то?». Возможно, тогда мысль «может быть, теплопроводность?» будет началом действительно полезного пути, например:
«Теплопроводность?»
Но это только фраза — что она означает?
Уравнение диффузии?
Но это только символы — как мне их применить?
Будь уравнение диффузии справедливым, чего бы я рассчитывал почувствовать?
Я определенно не рассчитывал бы обнаружить, что отдаленная от обогревателя часть металлической пластины будет теплей.
Я замечаю своё замешательство. Возможно ближняя сторона всего лишь ощущаетсяболее холодной? Скажем, она изготовлена из какого-нибудь плохо проводящего тепло материала и поэтому передает меньше теплоты моей руке? Я попробую измерить температуру…
Ладно, не сработало. А если проверить, приложимо ли вообще уравнение диффузии к этой металлической пластине? Тепло течет как обычно, или происходит нечто иное?
Можно поднести спичку к пластине и попробовать измерить, как тепло распространяется с течением времени…
Если не выкорчевать сорняк лжеобъяснения «Эмм, может быть из-за теплопроводности?», то студент, скорее всего, застрянет на стадии паролей и вакаликса. Это происходит по умолчанию, это происходило со всем человечеством на протяжении тысяч лет.
Наука как одеяние
Элиезер Юдковский
В трейлере фильма «Люди Икс» голос за кадром говорит: «В каждом человеке… есть генетический код… вызывающий мутации». Несложно заметить, что, мутировав, можно приобрести разнообразные полезные способности. К примеру, мутант Шторм без труда метает молнии.
Прошу тебя, дорогой читатель, подумать о биологических приспособлениях, необходимых для производства электричества; о природной защите от собственного электричества; а также о структурах внутри мозга, отвечающих за тонкое управление разрядом молнии. Если мы бы и в самом деле обнаружили бы организм, который приобрёл такие способности за одно поколение, в результате мутации, то это бы одним махом вдребезги бы опровергло неодарвинистскую модель естественного отбора: это было бы ещё убийственнее, чем скелет кролика, датируемый докембрием. Если теорию эволюции действительно можно растянуть так, чтобы она не возражала против истории Шторм, то она станет способной объяснить всё, что угодно, и нам прекрасно известно, к чему такое ведёт.
Серия комиксов «Люди X» использует термины вроде «эволюция», «мутация» и «генетический код» лишь для создания атмосферы наукообразия; лишь для того, чтобы она относилась к науке как литературному жанру. И меня пугает то, как часто я встречаю людей (особенно в СМИ), воспринимающих науку исключительно как жанр литературы.
Я сталкиваюсь с людьми, которые твёрдо верят в эволюцию и не воспринимают всерьёз креационистов. При этом они вообще не имеют представления о том, что запрещено законами эволюционной биологии, а что нет. Они могут говорить про «следующий шаг эволюции человечества», как если бы естественный отбор имел бы свой план действий. Хуже того, они могут говорить о явлениях, вообще находящихся за пределами эволюционной биологии, вроде улучшений дизайна компьютерных чипов, дробления корпораций, или загрузке человека в компьютер, называя всё это «эволюцией». Если это относится к эволюционной биологии, то эволюционная биология относится ко всем явлениям на Земле.
Вероятно, большинство людей, которые верят в эволюцию, используют фразу «вследствие эволюции», потому что они хотят чувствовать себя причастными к научной тусовке. Выражение становится деталью имиджа, символическим одеянием, навроде лабораторного халата. Если бы научная тусовка вместо «вследствие эволюции» говорила бы «вследствие разумного замысла», то такие люди вдохновенно повторяли бы и это — это совершенно бы не затронуло их ожидания того, что можно встретить в мире. Для нихнет разницы, говорить ли «из-за эволюции» или «из-за разумного замысла». По их мнению, эволюция никоим образом не запрещает существования Шторм, а научные словечки имеют единственное назначение — возможность отождествлять себя с племенем.
Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат; а учёные не похожи на футбольную команду, за которую они болеют.
Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.
Лжепричинность
Элиезер Юдковский
Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».
…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».
Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.
Разумеется, никто не использовал теорию флогистона для того, чтобы предсказатьрезультат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.
Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.
Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.
Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:
[Дождь] -> [Тротуар мокрый] -> [Тротуар скользкий]
Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.
Почему огонь горячий и яркий?
[«Флогистон»] -> [Огонь горячий и яркий]
Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.
Современная трактовка вероятностных рассуждений о причинности может точно описать, в чём именно состояла ошибка флогистонщиков. Байесовские сети были разработаны для того, чтобы, кроме всего прочего, не учитывать свидетельства дважды в том случае, когда логический вывод между причиной и следствием возможен в обе стороны. Например, я добыл кусочек ненадёжной информации о том, что тротуар мокрый. Это заставляет меня подумать: «возможно, идёт дождь». Но если идёт дождь, то утверждение «тротуар мокрый» стало более правдоподобным, так? То же самое ведь касается и скользкости тротуара, верно? Но если тротуар скользкий, то он, скорее всего, мокрый — и тогда нужно опять повысить вероятность того, что идёт дождь.
Джуда Перл приводит в качестве метафоры алгоритм подсчёта солдат в линии. Представьте, что вы стоите в линии и видите рядом только двух солдат: одного спереди и одного сзади. Всего трое солдат. Вы спрашиваете своего соседа: «Сколько солдат ты видишь?» Он оглядывается и говорит: «Троих». Получается, всего солдат шесть. Очевидно, что так решать эту задачу не стоит.
Умнее будет спросить у стоящего впереди солдата: «Сколько солдат перед тобой?», и у стоящего позади: «Сколько солдат за тобой?». Сообщение с вопросом «сколько солдат перед тобой?» можно передать дальше без особых затруднений. Если я стою первым, то я передам назад «1 солдат впереди». Человек, стоящий прямо за мной, получит сообщение «1 солдат впереди» и скажет второму своему соседу «2 солдата впереди». В это же время кто-то получает сообщение «N солдат позади» и передаёт стоящему впереди солдату сообщение «N+1 солдат позади». Сколько же всего солдат? Сложите оба полученных числа и добавьте единицу для себя — это и есть общее число солдат в линии.
Ключевая идея состоит в том, что каждый солдат должен отдельно отслеживать эти два сообщения, прямое и обратное, и сложить их вместе только в конце. Нельзя добавлять солдат из обратного сообщения, которое ты получил, в прямое сообщение, которое ты передашь дальше. Разумеется, сообщение с общим числом солдат никогда не появляется в этой цепочке: никто не произносит этого числа вслух.
Аналогичный принцип применяется в строгих вероятностных рассуждениях о причинности. Получение из не связанного с мокрым тротуаром источника каких-либо свидетельств о дожде создаст прямое сообщение от узла [дождь] к узлу [мокрый тротуар], и тем самым усилит ожидание увидеть мокрый тротуар. Наблюдение мокрого тротуара создаст обратное сообщение, идущее к убеждению о дожде, а затем это сообщение распространится от узла [дождь] до всех его соседей, кроме узла [мокрый тротуар]. Каждый кусочек свидетельства учитывается ровно единожды; корректировки никогда не застревают между узлами, скача туда и обратно. Точный алгоритм можно найти в классической книге «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference» Джуды Перла.
Так что же было неправильно в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел [огонь] посылает обратное сообщение со свидетельством узлу [флогистон], вынуждая нас обновить убеждения о флогистоне. Но тогда мы не можем считать это успешным предсказанием теории флогистона. Сообщение должно идти в единственном направлении, не отражаясь назад.
Увы, для обновления сетей убеждений люди используют не строгий алгоритм, а его грубое приближение. Мы изучаем родительские узлы, наблюдая за дочерними узлами, и предсказываем поведение дочерних узлов, используя убеждения о родительских узлах. Но ящик с документацией по прямым сообщениям не отделён от ящика с документацией по обратным сообщениям толстой непроницаемой стеной. Мы просто помним: «флогистон горячий, и из-за этого огонь тоже горячий». Всё это выглядит так, будто теория флогистона предсказывает «горячесть» огня. Или, что ещё хуже, нам кажется: «флогистон делает огонь горячим».
Лишь после того, как кто-нибудь заметит полное отсутствие предсказаний заранее, не ограничивающий ожиданий причинно-следственный узел получит ярлык «фальшивка». До этого момента он не будет отличаться от остальных узлов в сети убеждений. Утверждение «флогистон делает огонь горячим» ощущается фактом точно так же, как и все остальные известные тебе факты.
Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)
Рассуждения об «эффекте знания задним числом» — это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.
Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.
Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.
Семантические стоп-сигналы
Элиезер Юдковский
И ребёнок спросил:
— Откуда взялся этот булыжник?
— Я отломил его от большого камня в центре деревни.
— Откуда взялся этот камень?
— Наверное, он скатился с большой горы, что возвышается над нашей деревней.
ТЕЛЕГРАМКанал с обзорами, анонсами новинок и книжными подборками
Книжный Вестник
Бот для удобного поиска книг (если не нашлось на сайте)
Поиск книг
Свежие любовные романы в удобных форматах
Любовные романы
О психологии, саморазвитии и личностном росте
Саморазвитие
Детективы и триллеры, все новинки
Детективы
Фантастика и фэнтези, все новинки
Фантастика
Отборные классические книги
Классика
ВКОНТАКТЕБиблиотека с любовными романами, которая наверняка придётся по вкусу женской части аудитории
Любовные романы
Библиотека с фантастикой и фэнтези, а также смежных жанров
Фантастика
Самые популярные книги в формате фб2
Топ фб2
книги