Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Для многих людей выражение «политический прогноз» практически стало синонимом телевизионной программы McLaughlin Group, политического круглого стола, транслируемого по воскресеньям с 1982 г. (и примерно с того же времени пародируемого в юмористическом шоу Saturday Night Live). Ведет эту программу Джон Маклафлин, сварливый восьмидесятилетний человек, предпринимавший в 1970 г. неудачную попытку стать сенатором США. Он воспринимает политические прогнозы как своего рода спорт. В течение получаса в передаче обсуждаются четыре-пять тем, при этом сам Маклафлин настойчиво требует, чтобы участники программы отвечали на совершенно различные вопросы – от политики Австралии до перспектив поиска внеземного разума.

В конце каждого выпуска McLaughlin Group наступает время рубрики «Прогнозы», в которой каждому участнику дается несколько секунд, чтобы выразить мнение по тому или иному актуальному вопросу. Иногда они имеют возможность выбрать тему самостоятельно и поделиться своим мнением о чем-то, весьма далеком от политики. В других же случаях Маклафлин устраивает им своего рода неожиданный экзамен, на котором участники должны дать так называемые вынужденные прогнозы и ответить на один конкретный вопрос.

На некоторые вопросы Маклафлина – например, назвать следующего претендента на место в Верховном суде из нескольких достойных кандидатов – сложно ответить. На другие намного проще. Например, в выходные перед президентскими выборами 2008 г. Маклафлин спросил у участников, кто одержит верх – Джон Маккейн или Барак Обама?{147}.

Казалось, что ответ на этот вопрос не заслуживает длительного размышления. Барак Обама опережал Джона Маккейна практически в каждом национальном опросе, проводимом после 15 сентября 2008 г., когда банкротство Lehman Brothers привело к одному из самых сильных спадов в экономике со времен Великой депрессии. Также Обама вел по результатам опросов почти в каждом колеблющемся штате: Огайо, Флориде, Пенсильвании и Нью-Гемпшире – и даже в тех нескольких штатах, где демократы обычно не выигрывают, таких как Колорадо и Виргиния. Статистические модели, наподобие той, что я разработал для FiveThirtyEight, показывали, что шансы Обамы на победу в выборах превышают 95 %. Букмекерские конторы были менее конкретны, однако все равно оценивали шансы Обамы как 7 против 1{148}.

Однако первый участник дискуссии, Пэт Бьюкенен, уклонился от ответа. «В этот уик-энд свое слово скажут неопределившиеся», – заметил он, вызвав смех остальных участников круглого стола. Другой гость, Кларенс Пейдж из газеты Chicago Tribune, сказал, что данные кандидатов слишком «близки друг к другу, чтобы делать ставки». Моника Кроули из Fox News была упрямее и заявила, что Маккейн выиграет с перевесом «в пол-очка». И лишь Элеанор Клифт из Newsweek констатировала очевидное мнение и предсказала победу Обамы и Байдена.

В следующий вторник Обама стал избранным президентом. Он получил 365 голосов выборщиков против 173, отданных за Джона Маккейна, – результат, практически совпавший с предсказанным на основании опросов и статистических моделей. Хотя это и не убедительная историческая победа, все равно это был не тот случай, когда трудно предсказать результаты выборов – Обама обогнал Джона Маккейна почти на десять миллионов голосов. И казалось бы, что всем, кто делал противоположные прогнозы, следует объясниться.

Однако через неделю, когда те же участники McLaughlin Group собрались снова{149}, ничего подобного не произошло. Они обсуждали статистические нюансы победы Обамы, его выбор Рама Эмануэля в качестве главы администрации и его отношения с президентом России Дмитрием Медведевым. Никто не упомянул о неудачных прогнозах, сделанных на национальном телевидении, невзирая на массу свидетельств обратного. Скорее, участники передачи попытались сделать вид, что исход был полностью непредсказуемым. Кроули сказала, что это был «необычный год» и что Маккейн провел ужасную предвыборную кампанию, забыв упомянуть, что сама хотела сделать ставку на этого кандидата неделей ранее.

Специалистов по прогнозированию редко стоит судить по одному-единственному прогнозу, но в данном случае можно сделать исключение. За неделю до выборов единственная правдоподобная гипотеза, позволявшая поверить в победу Маккейна на выборах, заключалась в массивном всплеске расовой враждебности по отношению к Обаме, почему-то не замеченной в ходе опросов{150}. Однако подобную гипотезу не высказал ни один из экспертов. Вместо этого они, казалось, существовали в альтернативной вселенной, в которой не проводятся опросы, отсутствует коллапс экономики, а президент Буш все еще более популярен, чем Маккейн, рейтинг которого стремительно падает.

Тем не менее я решил проверить, не был ли данный случай аномальным. Насколько вообще умеют предсказывать участники дискуссии McLaughlin Group – люди, получающие деньги за свои разговоры о политике?

Я оценил достоверность примерно 1000 прогнозов, сделанных в последней рубрике шоу как самим Маклафлином, так и участниками его передачи. Около четверти из них или были слишком расплывчатыми, что не позволяло их анализировать, или касались событий в отдаленном будущем. Все остальные я оценивал по пятибалльной шкале, варьировавшейся в диапазоне от абсолютно ошибочных до полностью точных.

С таким же успехом участники шоу могли бы подбрасывать монетку. 338 их прогнозов были неточными – либо полностью, либо в значительной степени. Точно такое же количество – 338 – оказалось верными полностью или в значительной степени{151} (табл. 2.1).

Таблица 2.1. Анализ прогнозов, высказанных в телевизионной программе McLaughlin Group{152}

Кроме этого, ни одного из участников дискуссии – даже Клифта с его точным прогнозом итогов выборов 2008 г. – нельзя было выделить как лучшего среди остальных. Я рассчитал для каждого участника показатель, отражавший долю их личных верных индивидуальных прогнозов. Наиболее часто принимающие участие в обсуждении – Клифт, Бьюкенен, покойный Тони Блэнкли и сам Маклафлин – получили почти одинаковую оценку от 49 до 52 %, что означало, что они могли с равным успехом дать как верный, так и неверный прогноз{153}. Иными словами, их политическое чутье оказалось на уровне любительского джазового квартета, состоящего из парикмахеров.

Разумеется, программа McLaughlin Group в большей или меньшей степени задумана как своеобразное фарсовое развлечение для политических наркоманов. Это – своего рода пережиток прежней эры, такой же как программа Crossfire на канале CNN, в которой либералы и консерваторы бесконечно ругались друг с другом. Нынешняя, камерная эра не особо отличается от прежней, за исключением лишь того, что либералы и консерваторы вещают на своих кабельных каналах, а в качестве демилитаризованной демаркационной зоны между ними находятся Food Network или Golf Channel[21]. Подобная расстановка сил повышает рейтинги, однако далеко не всегда обеспечивает более надежный анализ.

Но что можно сказать о тех, кому платят за правильность и тщательность исследований, а не просто за количество высказываемых мнений? Можно ли считать, что качество прогнозов политологов или аналитиков из вашингтонских мозговых центров выше?

Действительно ли политологи лучше «экспертов»?

Распад Советского Союза и некоторых других стран Восточного блока происходил невероятно высокими темпами и, учитывая все обстоятельства, довольно упорядоченным образом[22].

12 июня 1987 г. Рональд Рейган, стоявший перед Бранденбургскими воротами, призвал Михаила Горбачева разрушить Берлинскую стену. И тогда его слова казались не менее дерзкими, чем обязательство Джона Ф. Кеннеди отправить человека на Луну. Рейган оказался лучшим пророком: стена рухнула менее чем через два года.

16 ноября 1988 г. парламент республики Эстония, государства размером со штат Мэн, заявил о суверенитете Эстонии, то есть о ее независимости от всемогущего СССР. Менее чем через три года Горбачеву удалось отразить попытку переворота со стороны сторонников жесткой линии в Москве, а затем советский флаг был в последний раз спущен перед Кремлем; Эстония и другие советские республики вскоре стали независимыми государствами.

Если постфактум падение советской империи и кажется вполне предсказуемым, то предвидеть его не мог практически ни один ведущий политолог. Те немногие, кто говорил о возможности распада этого государства, подвергались насмешкам{154}. Но если политологи не могли предсказать падение Советского Союза – возможно, самого важного события в истории конца XX в., – то какой вообще от них прок?

Филип Тэтлок, преподаватель психологии и политологии, работавший в то время в Калифорнийском университете в Беркли{155}, задавал себе именно такие вопросы. В период распада СССР он организовал амбициозный и беспрецедентный проект. Начиная с 1987 г. Тэтлок принялся собирать прогнозы, сделанные обширной группой экспертов из научных кругов и правительства по широкому кругу вопросов внутренней политики, экономики и международных отношений{156}.

Тэтлок обнаружил, что политическим экспертам было довольно сложно предвидеть развал СССР, поскольку для понимания происходившего в стране нужно было связать воедино различные наборы аргументов. Сами эти идеи и аргументы не содержали ничего особенно противоречивого, однако они исходили от представителей разных политических направлений{157}, и ученые, бывшие сторонниками одного идеологического лагеря, вряд ли могли так легко пользоваться аргументацией оппонентов.

С одной стороны, непосредственно от Горбачева зависело довольно много, и его желание реформ было искренним. Если бы вместо того, чтобы заняться политикой, он предпочел стать бухгалтером или поэтом, то Советский Союз мог бы просуществовать еще несколько лет. Либералы симпатизировали Горбачеву. Консерваторы же мало верили ему, а некоторые из них считали его разговоры о гласности простым позерством.

С другой стороны, критика коммунизма консерваторами была скорее инстинктивной. Они раньше остальных поняли, что экономика СССР разваливается, а жизнь среднего гражданина становится все более сложной. Уже в 1990 г. ЦРУ рассчитало – причем неверно{158}, – что ВВП Советского Союза примерно в два раза меньше, чем в США{159} (в расчете на душу населения, что сопоставимо с уровнем демократических в настоящее время государств типа Южной Кореи и Португалии). Однако недавно проведенные исследования показали, что советская экономика, ослабленная длительной войной в Афганистане и невниманием центрального правительства к целому ряду социальных проблем, была примерно на 1 трлн долл. беднее, чем думало ЦРУ, и сворачивалась почти на 5 % в год с инфляцией, темпы которой описывались двузначными цифрами.

Если связать эти два фактора воедино, то коллапс Советского Союза было бы легко предвидеть. Обеспечив гласность прессы, открыв рынки и дав гражданам больше демократических прав, Горбачев, по сути, наделил их механизмом, катализирующим смену режима. А благодаря обветшавшему состоянию экономики страны люди с радостью воспользовались представленной возможностью. Центр оказался слишком слаб, чтобы удержать контроль, и дело было не в том, что эстонцы к тому времени устали от русских. Русские и сами устали от эстонцев, поскольку республики-сателлиты вносили в развитие советской экономики значительно меньше, чем получали из Москвы в виде субсидий{160}.

Как только к концу 1989 г. в Восточной Европе начали сыпаться костяшки домино – Чехословакия, Польша, Румыния, Болгария, Венгрия и Восточная Германия, – Горбачев, да и кто-либо еще вряд ли смогли бы что-то сделать, чтобы предотвратить этот процесс. Многие советские ученые осознавали отдельные части проблемы, однако мало кто из экспертов мог собрать все кусочки головоломки воедино, и практически никто не был способен предсказать внезапный коллапс СССР.

Тэтлок, вдохновленный примером с Советским Союзом, начал проводить опросы экспертов и в других областях. Например, он просил их поделиться мнением и дать прогнозы, касающиеся Войны в Заливе, пузыря на рынке недвижимости в Японии, потенциального отделения Квебека от Канады и практически каждого из других важных событий 1980‑х и 1990‑х гг.

Была ли неспособность предсказать коллапс Советского Союза исключением, и заслуживает ли своих лавров «экспертный» политический анализ? Исследования Филипа Тэтлока, проводившиеся свыше 15 лет, были опубликованы в 2005 г. в книге «Знания экспертов: Насколько мы можем им верить?» (Philip E. Tetlock «Expert Political Judgement: How good is it?»).

Выводы Тэтлока оказались убийственными. Эксперты в рамках его опросов – вне зависимости от их рода занятий, опыта или отрасли знаний – демонстрировали ничуть не лучшие результаты, чем можно получить при обычном гадании. Более того, они предсказывали будущие политические события хуже, чем даже рудиментарные статистические методы. Они были слишком самоуверенны, оценивая их вероятность: около 15 % событий, которые, по их мнению, не имели ни малейшего шанса на возникновение, все же реализовывались, а еще 25 % событий, в возникновении которых эксперты были полностью уверены, так и не произошли{161}. И не имело значения, какие это были события: касались ли они экономики, внутренней политики или международных дел, суждения экспертов оказались одинаково ошибочными по всем вопросам.

Чтобы делать более верные прогнозы, нужно стать лисой

Хотя в среднем результаты экспертов оказались довольно плохими, Тэтлок обнаружил, что некоторым из них эта работа удавалась лучше, чем остальным. Среди проигравших оказались те эксперты, чьи предсказания чаще всего цитировались в СМИ. Тэтлок установил, что чем больше интервью прессе давал эксперт, тем хуже были его предсказания.

Другая же подгруппа экспертов показывала сравнительно более хорошие результаты. Тэтлок, получивший образование психолога, очень интересовался когнитивным стилем экспертов – тем, как они размышляют о мире. Поэтому он видоизменил несколько вопросов в личностных тестах и задал их всем экспертам.

Основываясь на полученных ответах, Тэтлок смог классифицировать всех экспертов в соответствии с определенной шкалой, распределив их между так называемыми ежами и лисами. Разделение на эти две группы напрямую связано с названием эссе Исайи Берлина о русском писателе Льве Толстом. Берлин, в свою очередь, позаимствовал его из строки, приписываемой греческому поэту Архилоху: «Лис знает много секретов, а еж – один, но самый главный».

Если вы не фанат Толстого или цветистой прозы, то вам совершенно не обязательно читать эссе Берлина. Однако основная его идея заключается в том, что писателей и мыслителей можно разделить на две большие категории.

• «Ежи» – это те люди, которые верят в Большие Идеи или управляющие миром принципы. «Ежи» приравнивают их к законам физики, универсальным для каждого вида взаимоотношений в обществе. Можно вспомнить Карла Маркса и идею классовой борьбы или Зигмунда Фрейда и идею бессознательного. Или же Малкольма Гладуэлла и теорию «переломного момента».

• «Лисы» же, напротив, верят во множество мелких идей и предлагают разнообразные подходы к решению проблем. Они более терпимы к нюансам, неопределенности, сложности и противоречивым мнениям. Если «ежи» – это охотники, всегда ищущие большую добычу, то «лисы» – это собиратели.

«Лисы», как обнаружил Тэтлок, умеют предсказывать значительно лучше, чем «ежи». Например, они гораздо лучше оценили перспективы Советского Союза. Вместо того чтобы воспринимать СССР исключительно в идеологических понятиях, как «империю зла» или как сравнительно успешный (и, возможно, даже выступающий образцом для подражания) пример марксистской экономической системы, они видели то, что было на самом деле, – все более дисфункционализирующую страну, стоявшую на грани распада. Если прогнозы «ежей» были немногим лучше, чем вероятностный шанс, то прогнозы «лис» показывали, что у них есть определенные способности к предсказаниям (табл. 2.2).

Таблица 2.2. Различия между «лисами» и «ежами»

Почему из «ежей» получаются хорошие гости телешоу

Я встретился с Тэтлоком за обедом в гостинице «Дюран», приятном и освещенном зимним солнцем заведении, расположенном рядом с общежитием Беркли. Вполне естественно, Тэтлок напоминал типичную «лису»: он говорил мягким голосом и часто замолкал на 20 или 30 секунд перед тем, как дать на мои вопросы максимально выверенный ответ.

«Что стимулирует людей, демонстрирующих свой интеллект на публике? – спросил меня Тэтлок. – Есть целый ряд ученых, предпочитающих сохранять анонимность. Но есть и другие, желающие выступать на публике, высказывать смелые теории и оценивать значительные события в понятиях вероятности. Разумеется, такой подход естественным образом привлекает к ним внимание».

Иными словами, смелые предсказания в стиле «ежа» с большей вероятностью приведут вас на телевидение. Возьмем пример Дика Морриса, бывшего советника Билла Клинтона, работающего в настоящее время комментатором на канале Fox News. Моррис – это классический «еж», и, по всей видимости, его стратегия состоит в том, чтобы при любом удобном случае выступать с шумным предсказанием. В 2005 г. Моррис заявил, что действия Джорджа У. Буша по преодолению последствий урагана «Катрина» помогут ему обрести прежние позиции во взаимоотношениях с общественностью{162}. Накануне выборов 2008 г. он предсказал, что Барак Обама выиграет в Теннесси и Арканзасе{163}. В 2010 г. Моррис предсказал, что республиканцы легко получат сотню мест в Палате представителей США{164}. В 2011 г. он заявил, что Дональду Трампу стоит выдвинуть свою кандидатуру на президентских выборах от республиканской партии и что у него «чертовски высокие» шансы на выигрыш{165}.

Все эти предсказания оказались абсолютно неверными. «Катрина» стала началом конца Буша, а не его возрождения. Обама проиграл в Теннесси и Арканзасе с разгромным счетом – фактически это были единственные штаты, в которых его результаты были хуже, чем у Джона Керри четырьмя годами ранее. Республиканцам повезло в ноябре 2010 г., однако они получили 69 мест, а не 100. Трамп официально отказался от президентских амбиций всего через две недели после настойчивых призывов Морриса.

Однако Моррис умеет быстро вставать на ноги и снова продолжает заниматься маркетингом самого себя – он, как и прежде, регулярно появляется в программах Fox News и даже смог продать свою книгу сотням тысяч людей.

«Лисам» же порой бывает непросто вписаться в отдельные типы культур, таких как телевидение, бизнес и политика. Их убеждение в том, что многие проблемы сложно предсказать и что мы должны принимать во внимание большую степень неопределенности в жизни, может ошибочно приниматься за отсутствие у них уверенности в себе. Их плюралистический подход может быть столь же ошибочно принят за отсутствие убежденности. Широко известна фраза Гарри Трумэна, потребовавшего представить ему «сделанного одной рукой экономиста»[23], после того как «лисы» в его администрации никак не могли дать ему однозначный ответ на вопрос.

При этом оказывается, что «лисы» могут делать более качественные предсказания. Они быстрее других понимают, насколько данные могут быть искажены шумом, и они в меньшей степени склонны гоняться за фальшивыми сигналами. Они больше знают о том, что они не знают.

Если вам нужен врач, способный оценить ваше физическое состояние, или инвестиционный консультант, помогающий максимизировать величину пенсионных накоплений, то вам стоит довериться «лисе». Возможно, он даст менее радужные прогнозы относительно своих способностей, но уж точно будет лучше понимать, что происходит на самом деле.

Почему политические предсказания обычно оказываются неудачными

«Лисье» восприятие происходящего может оказаться особенно важным, когда речь заходит о предсказаниях в области политики. Существует целый ряд ловушек, в которые чаще всего попадают «ежи», а «лисы» с присущей им осторожностью – нет.

Одна из них – партийная идеология. Моррис, несмотря на то что ранее был советником Билла Клинтона, позиционирует себя как республиканец и занимается сбором средств для кандидатов от этой партии. И его консервативные взгляды вполне соответствуют взглядам его работодателя, Fox News. Однако и у либералов нет иммунитета против того, чтобы стать «ежами». Изучая правильность прогнозов, сделанных участниками McLaughlin Group, я обнаружил, что Элеанор Клифт, обычно выступающая как самый либеральный участник этого шоу, почти никогда не выдвигала предположений о более предпочтительном для республиканцев варианте. Возможно, это и помогло ей в предсказании результата выборов 2008 г., но в долгосрочной перспективе она не была более точной, чем ее консервативные оппоненты.

Научные эксперты, деятельность которых изучал Тэтлок, могут страдать от той же проблемы. В сущности, неполные знания могут стать опасной вещью в руках «ежа» с докторской степенью. Один из самых примечательных выводов Тэтлока звучал так: если с приобретением нового опыта у «лис» улучшаются способности к предсказанию, то для «ежей» справедливо обратное – по мере приобретения дополнительных знаний результативность их прогнозов, скорее, ухудшается. Тэтлок верит, что чем больше фактов узнают «ежи», тем больше у них появляется возможностей манипулировать с этими фактами с целью подтверждения их предубеждений. Это чем-то напоминает ситуацию, когда вы помещаете ипохондрика в темную комнату с доступом в интернет. Чем больше времени вы ему дадите, тем больше информации будет у него в распоряжении и тем более страшный диагноз он себе поставит (в подобных ситуациях ему будет легко принять обычную простуду за бубонную чуму).

Но, хотя Тэтлок и обнаружил, что самые плохие предсказания исходили от «ежей» с правого и левого флангов, он также заметил, что «лисы» из разных политических групп были менее подвержены подобным проявлениям{166}. «Лисы» могут иметь свои идеальные представления о том, каким должен быть мир. Однако они в большей степени способны при анализе отделить свои представления о том, как мир может выглядеть в ближайшем будущем, от того, как выглядит мир в реальности.

Напротив, «ежам» сложнее отстраниться от своих глубинных интересов при проведении анализа. По словам Тэтлока, вместо этого они создают «расплывчатую смесь из сваленных в одну кучу фактов и значений параметров». Они с большим предубеждением относятся к свидетельствам, обращая внимание лишь на то, что хотят увидеть, а не то, что есть в реальности.

Вы можете использовать тест Тэтлока для диагностики того, относитесь ли вы к «ежам». Иными словами, улучшаются ли ваши прогнозы, если у вас появляется доступ к большей информации? Теоретически дополнительная информация должна служить попутным ветром, когда вы делаете предсказания, – вы можете всегда игнорировать информацию, если она кажется вам не особенно полезной. Однако «ежи» часто загоняют себя в угол собственными действиями.

Рассмотрим, что показали результаты опроса группы политических инсайдеров, проведенного журналом National Journal, в котором выяснялось мнение примерно 180 политиков, политических консультантов, социологов и других ученых. Опрос проводился отдельно для представителей демократической и республиканской партий, однако обеим группам задавались одни и те же вопросы. Можно сказать, что участники этой группы, вне зависимости от политических пристрастий, – подлинные «ежи». Политические деятели гордятся своими боевыми шрамами и видят себя участниками вечной битвы с оппонентами на коктейльной вечеринке.

За несколько дней до промежуточных выборов 2010 г. National Journal спросил участников группы о том, удастся ли демократам сохранить контроль и над Конгрессом, и над Сенатом{167}. По обоим вопросам имелось почти стопроцентное согласие – демократы могли сохранить Сенат, однако республиканцам было вполне по силам взять контроль над Конгрессом (участники опроса оказались правы в обоих предположениях). Как демократические, так и республиканские инсайдеры пришли к почти полному согласию в вопросе о том, сколько дополнительных мест получат республиканцы в Конгрессе; эксперты демократов говорили о 47, а республиканцы предсказывали 53. Разницу можно считать относительно незначительной с учетом того, что в Конгрессе 435 мест.