На короткое время поставьте себя на место испытуемого. Вы просмотрели карточки и заметили, что примерно на 25 из них, или в четверти случаев, присутствуют и симптом, и болезнь, A и F. Могли бы вы сказать, что между ними есть связь? Почему? Уместно ли выносить суждение только на основании частоты случаев, подтверждающих гипотезу о взаимосвязи между A и F? Что еще вам нужно знать? Было бы полезно знать количество случаев, когда симптом (A) присутствовал без заболевания (F)? Допустим, это также было верно для 25 карточек, так что из 100 карточек 50 имели A, а 25 из этих карточек с A также имели F. Другими словами, болезнь присутствовала в половине случаев, в которых наблюдался симптом. Достаточно ли этого для установления взаимосвязи, или необходимо также знать количество случаев, когда болезнь проявлялась без симптома?
На самом деле, чтобы определить существование такой связи, необходима информация, заполняющая все четыре ячейки таблицы случайностей 2 x 2. На рисунке 16 показана такая таблица для одного тестового прогона этого эксперимента. В таблице показано количество случаев, когда пациенты имели каждое из четырех возможных сочетаний симптома и заболевания.
Восемнадцать из 19 испытуемых, получивших 100 карточек с изображением этой конкретной комбинации A и F, посчитали, что существует по меньшей мере слабая связь, а некоторые - что сильная, хотя на самом деле никакой корреляции нет. Более половины испытуемых основывали свои суждения исключительно на частоте случаев, в которых присутствовали и A, и F. Это левая верхняя ячейка таблицы. Эти испытуемые пытались определить, существует ли связь между A и F. При просмотре карточек 25 процентов случаев, на которые они обратили внимание, согласуется с убеждением, что симптом и диагноз идеально коррелируют друг с другом; это, по-видимому, свидетельствует в пользу гипотетической взаимосвязи.
Другая небольшая группа испытуемых использовала несколько более сложные рассуждения. Они смотрели на общее количество случаев А, а затем спрашивали, в скольких из них также присутствует F. Это левая часть таблицы на рисунке 16. Третья группа сопротивлялась основной концепции статистического обобщения. Когда их попросили описать свои рассуждения, они сказали, что иногда связь присутствует, а в других случаях ее нет.
Из 86 испытуемых, участвовавших в нескольких сериях этого эксперимента, ни один не проявил интуитивного понимания концепции корреляции. То есть никто не понял, что для правильного суждения о наличии связи необходимо иметь информацию во всех четырех ячейках таблицы. Статистическая корреляция в своей самой элементарной форме основана на соотношении сумм частот в диагональных ячейках таблицы 2 x 2. Другими словами, преобладание записей по одной из диагоналей означает сильную статистическую связь между двумя переменными.
Давайте теперь рассмотрим аналогичный вопрос о корреляции по теме, интересующей аналитиков разведки. Каковы характеристики стра- тегического обмана и как аналитики могут его обнаружить? При изучении обмана одним из важных вопросов является следующий: каковы корреляты обмана? Исторически сложилось так, что когда аналитики изучают случаи обмана, что еще они видят, что сопутствует ему, что как-то связано с обманом и что можно интерпретировать как индикатор обмана? Существуют ли определенные практики, связанные с обманом, или обстоятельства, при которых обман наиболее вероятен, которые позволяют сказать, что, поскольку мы увидели x, y или z, это, скорее всего, означает, что разрабатывается план обмана? Это можно сравнить с тем, как если бы врач заметил определенные симптомы и заключение о возможном наличии того или иного заболевания. По сути, это проблема корреляции. Если бы можно было определить несколько коррелятов обмана, это существенно облегчило бы работу по его выявлению.
Была выдвинута гипотеза, что обман наиболее вероятен, когда ставки исключительно высоки. Если эта гипотеза верна, аналитики должны быть особенно внимательны к обману в таких случаях. В подтверждение гипотезы можно привести такие яркие примеры, как Перл-Харбор, высадка в Нормандии и вторжение Германии в Советский Союз. Кажется, что гипотеза имеет значительную поддержку, учитывая, что так легко вспомнить примеры ситуаций с высокими ставками, в которых использовался обман. Но подумайте, что нужно сделать, чтобы эмпирически доказать, что такая связь действительно существует. На рисунке 17 проблема представлена в виде таблицы случайностей 2 x 2.
Бартон Уэйли исследовал 68 случаев, когда неожиданность или обман присутствовали в стратегических военных операциях в период с 1914 по 1968 год.131 Предположим, что та или иная форма обмана, равно как и неожиданность, присутствовала во всех 68 случаях, и запишем это число в левую верхнюю ячейку таблицы. Сколько существует случаев с высокими ставками, когда обман не использовался? Об этом гораздо сложнее думать и узнавать; исследователи сами посвящают много усилий документированию негативных случаев, когда что-то не произошло. К счастью, Уэйли сделал приблизительную оценку того, что и обман, и внезапность отсутствовали в одной трети - половине случаев "большой стратегии" в этот период, что является основанием для того, чтобы поместить число 35 в левую нижнюю ячейку Рисунка 17.
Насколько распространен обман, когда ставки не высоки? Это правая верхняя ячейка на рисунке 17. Записи для этой и нижней правой ячеек трудно оценить; они требуют определения совокупности случаев, включающей ситуации с низкими ставками. Что такое ситуация с низкими ставками в данном тексте? Ситуации с высокими ставками поддаются определению, но существует почти бесконечное число и разнообразие ситуаций с низкими ставками. Из-за этой сложности использование полной таблицы 2 x 2 для анализа взаимосвязи между обманом и высокими ставками может оказаться нецелесообразным.
Возможно, следует довольствоваться только левой частью таблицы на рисунке 17. Но тогда мы не сможем эмпирически доказать, что следует быть более бдительными к обману в ситуациях с высокими ставками, поскольку нет никакой основы для сравнения случаев с высокими и низкими ставками. Если в тактических ситуациях обман встречается даже чаще, чем в стратегических ситуациях с высокими ставками, то аналитики не должны быть более склонны подозревать обман, когда ставки высоки.
На самом деле неясно, существует ли связь между де-цепцией и ситуациями с высокими ставками, потому что нет достаточного количества данных. Интуиция подсказывает вам, что связь есть, и это чувство вполне может быть верным. Но это чувство может возникнуть у вас главным образом потому, что вы склонны фокусироваться только на тех случаях в левой верхней ячейке, которые действительно предполагают такую связь. Люди склонны упускать из виду случаи, когда взаимосвязь не существует, поскольку они гораздо менее заметны.
Урок, который следует усвоить, заключается не в том, что аналитики должны проводить статистический анализ каждой взаимосвязи. Обычно для этого у них нет ни данных, ни времени, ни интереса. Но аналитики должны иметь общее представление о том, что нужно, чтобы понять, существует ли взаимосвязь. Такое понимание определенно не является частью интуитивного знания людей. Оно не приходит естественным путем. Этому нужно учиться. При решении подобных вопросов аналитикам приходится заставлять себя думать обо всех четырех ячейках таблицы и о данных, которые потребуются для заполнения каждой из них.
Даже если аналитики следуют этим наставлениям, существует несколько факторов, которые искажают суждения, когда человек не следует строгим научным процедурам при проведении и регистрации наблюдений. Это факторы, которые влияют на способность человека вспоминать примеры, укладывающиеся в четыре ячейки. Например, люди легче запоминают происшествия, чем не происшествия. "История - это, по большому счету, запись того, что люди сделали, а не того, что они не сделали".
Таким образом, случаи, в которых обман имел место, вспоминаются легче, чем те, в которых его не было. Аналитики лучше запоминают случаи, подтверждающие изучаемые отношения, чем те, которые их не подтверждают. В той мере, в какой на восприятие влияют ожидания, аналитики могли пропустить или отбросить противоположные случаи. Люди также лучше запоминают недавние события, события, в которых они лично участвовали, события, имевшие важные последствия, и т. д. Эти факторы оказывают значительное влияние на восприятие корреляции, когда аналитики выносят интуитивное суждение, не пытаясь сознательно обдумать все четыре ячейки таблицы.
Многие ошибочные теории сохраняются, потому что кажутся правдоподобными и потому что люди записывают свой опыт таким образом, чтобы он скорее подтверждал, чем опровергал их. Росс описывает этот процесс следующим образом:
Интуитивный наблюдатель выборочно кодирует данные, потенциально относящиеся к взаимосвязи между X и Y. Точки данных, которые соответствуют его гипотезам и предсказаниям, принимаются как надежные, достоверные, репрезентативные и свободные от ошибок или "влияния третьих переменных". Такие точки данных рассматриваются как отражающие "реальное" положение дел.
В отличие от этого, точкам данных, которые заметно отклоняются от интуитивных ... ожиданий или теории, вряд ли придадут большое значение и, как правило, отбросят их как ненадежные, ошибочные, нерепрезентативные или результат загрязняющего влияния третьих переменных. Так, интуитивный ученый, который верит, что толстые люди веселы, или, если говорить более конкретно, что толстота вызывает веселость, будет рассматривать конкретных толстых и веселых людей как веское доказательство этой теории; он не станет рассматривать гипотезу о том, что веселость человека - это просто притворство или результат особенно счастливой домашней жизни, а не ожирения. Напротив, тучные и угрюмые люди будут очень тщательно изучены, прежде чем попасть в копилку достоверных данных этого ученого. Например, он может попытаться определить, является ли угрюмость человека в данный день нетипичной, результатом надоедливой простуды или неудачного дня, а не отражением какого-то устойчивого свойства. Нет нужды подчеркивать, что даже случайный [набор данных] может дать относительно высокую корреляцию, если закодировать его таким образом, как это было описано выше.
Глава 12
. Ошибки при оценке вероятностей
При вынесении грубых суждений о вероятности люди обычно руководствуются одним из нескольких упрощенных правил, которые значительно облегчают бремя принятия решения. Используя правило "доступности", люди оценивают вероятность события по легкости, с которой они могут представить себе соответствующие случаи подобных событий, или по количеству таких событий, которые они могут легко вспомнить. При использовании стратегии "привязки" люди выбирают некую естественную отправную точку для первого приближения, а затем корректируют эту цифру на основе результатов дополнительной информации или анализа. Как правило, они недостаточно корректируют первоначальное суждение.
Выражения вероятности, такие как "возможно" и "вероятно", - распространенный источник двусмысленности, который облегчает читателю интерпретацию отчета в соответствии с его собственными предубеждениями. Вероятность того или иного сценария часто неправильно рассчитывается. Данные о "предварительных вероятностях" обычно игнорируются, если они не проливают свет на причинно-следственные связи.
Правило доступности
Одно упрощенное эмпирическое правило, часто используемое при оценке вероятностей, известно как правило доступности. В данном контексте "доступность" означает возможность воображения или извлечения из памяти. Психологи показали, что при оценке вероятности события люди бессознательно пользуются двумя подсказками: легкостью, с которой они могут представить себе соответствующие случаи события, и количеством или частотой таких событий, которые они могут легко вспомнить. Люди используют правило доступности всякий раз, когда оценивают частоту или вероятность на основе того, насколько легко они могут вспомнить или представить себе случаи того, что они пытаются оценить.
Обычно это работает довольно хорошо. Если что-то происходит чаще, чем другое, и поэтому более вероятно, мы, вероятно, сможем вспомнить больше случаев этого. События, которые, скорее всего, произойдут, обычно легче представить, чем маловероятные события. Люди постоянно делают выводы, основываясь на этих предположениях. Например, мы оцениваем свои шансы на повышение, вспоминая случаи повышения среди коллег на аналогичных должностях и с аналогичным опытом. Мы оцениваем вероятность того, что политик проиграет выборы, представляя, как он может потерять поддержку населения.
Несмотря на то, что это часто работает хорошо, люди часто сбиваются с пути, когда на легкость, с которой вещи вспоминаются, влияют факторы, не связанные с их вероятностью. Способность вспоминать случаи события зависит от того, насколько недавно оно произошло, участвовали ли мы в нем лично, были ли с ним связаны яркие и запоминающиеся детали и насколько важным оно казалось в то время. Эти и другие факторы, влияющие на суждения, не имеют отношения к истинной вероятности события.
Рассмотрим двух курящих людей. У одного из них отец умер от рака легких, в то время как другой не знает никого, кто когда-либо болел раком легких. Тот, чей отец умер от рака легких, обычно воспринимает большую вероятность негативных последствий для здоровья, связанных с курением, даже если еще один случай рака легких статистически незначителен при взвешивании такого риска. Как насчет двух сотрудников ЦРУ, один из которых был знаком с Олдричем Эймсом, а другой не знал лично никого, кто когда-либо оказывался предателем? Кто из них, скорее всего, воспримет наибольший риск предательства со стороны инсайдера?
Трудно было представить себе распад Советского Союза, потому что это событие было настолько чуждым нашему опыту предыдущих 50 лет. Насколько сложно сейчас представить себе возвращение коммунистического режима в России? Не так сложно, отчасти потому, что у нас все еще есть яркие воспоминания о старом Советском Союзе. Но является ли это надежной основой для оценки вероятности его наступления? Когда аналитики выносят быстрые, интуитивные суждения, толком не проанализировав ситуацию, они, скорее всего, попадают под влияние предрассудка доступности. Чем больше перспективный сценарий соответствует опыту человека, тем легче его представить и тем более вероятным он кажется.
Аналитики разведки могут быть менее подвержены влиянию предвзятости в отношении доступности информации, чем другие. Аналитики оценивают всю доступную информацию, а не делают быстрые и легкие выводы.
Исследователи, у которых нет времени или доступа к доказательствам, чтобы вдаваться в подробности, вынуждены использовать короткие пути. Очевидное сокращение - это использование правила доступности для умозаключений о вероятности.
Многие события, представляющие интерес для аналитиков разведки, воспринимаются как настолько уникальные, что прошлая история не имеет значения для оценки их вероятности. Размышляя о таких событиях, мы часто строим сценарии, то есть истории, которые ведут от текущей ситуации к целевому событию. Правдоподобность сценариев, которые приходят на ум, или сложность их создания служат подсказками для оценки вероятности события. Если ни один разумный сценарий не приходит в голову, событие считается маловероятным или крайне маловероятным. Если в голову легко приходит несколько сценариев или один из них особенно убедительный, событие представляется вероятным.
В первые годы нашего участия во Вьетнаме американские политики должны были представить себе сценарии того, что может произойти, если они направят или не направят американские войска на защиту Южного Вьетнама. Оценивая вероятность альтернативных исходов, наши высшие руководители сильно зависели от наличия двух, казалось бы, сопоставимых сценариев - провала умиротворения перед Второй мировой войной и успешной интервенции в Корее.
Многие посторонние факторы влияют на воображаемость сценариев будущих событий, так же как они влияют на возможность извлечения событий из памяти. Любопытно, что одним из них является сам акт анализа. Построение подробного сценария возможного будущего события делает это событие более легко представимым и, следовательно, увеличивает его воспринимаемую вероятность. В этом убедились аналитики ЦРУ, которые использовали различные инструменты, требующие или особенно подходящие для анализа маловероятных, но, тем не менее, возможных и важных гипотез. (Такие техники обсуждались в главе 6, "Сохраняя открытость мышления", и главе 8, "Анализ конкурирующих гипотез"). Анализ обычно приводит к тому, что к "маловероятному" сценарию начинают относиться немного серьезнее. Этот феномен также был продемонстрирован в психологических экспериментах.
В общем, эмпирическое правило доступности часто используется для суждений о вероятности или частоте. Людям трудно было бы поступить иначе, ведь оно позволяет сэкономить время во многих случаях, когда более детальный анализ не оправдан или нецелесообразен. Однако аналитики должны знать, когда они используют короткие пути. Они должны знать сильные и слабые стороны этих процедур и уметь определять, когда они с наибольшей вероятностью могут сбиться с пути. Для аналитиков разведки признание того, что они используют правило доступности, должно стать тревожным сигналом. Серьезный анализ вероятности требует выявления и оценки силы и взаимодействия множества переменных, которые определяют исход ситуации.
Якорение
Еще одна стратегия, которую люди интуитивно и бессознательно используют для упрощения задачи вынесения суждений, называется "якорение". В качестве первого приближения к желаемому суждению используется некая естественная отправная точка, возможно, из предыдущего анализа того же предмета или из частичных расчетов. Затем эта отправная точка корректируется на основе результатов дополнительной информации или анализа. Однако, как правило, исходная точка служит в качестве якоря или тяги, которая уменьшает количество корректировок, так что окончательная оценка остается ближе к исходной точке, чем должна быть.
Якорение можно очень просто продемонстрировать в классе, попросив группу учеников оценить одну или несколько известных величин, например процент стран-членов Организации Объединенных Наций, расположенных в Африке. Дайте половине учеников число с низким процентом, а половине - с высоким. Попросите их начать с этого числа в качестве предполагаемого ответа, а затем, по мере обдумывания проблемы, корректировать это число до тех пор, пока они не приблизятся к тому, что, по их мнению, является правильным ответом. В ходе одного из экспериментов, в котором использовался этот вопрос, те, кто начал с якоря в 10 процентов, дали скорректированные оценки, которые в среднем составили 25 процентов. Те, кто начал с якоря в 65 процентов, получили скорректированные оценки в среднем на 45 процентов.
Из-за недостаточной корректировки те, кто начал с слишком высокой оценки, в итоге получили значительно более высокие оценки, чем те, кто начинал со слишком низкой оценки. Даже совершенно произвольные исходные точки действовали как якоря, вызывая сопротивление или инерцию, которая препятствовала полной корректировке оценок.
Когда аналитики переходят в новую аналитическую область и берут на себя ответственность за обновление ряда суждений или оценок, сделанных их предшественниками, предыдущие суждения могут иметь такой эффект якоря. Даже когда аналитики выносят собственное первоначальное суждение, а затем пытаются пересмотреть его на основе новой информации или дополнительного анализа, есть много свидетельств того, что они обычно не меняют суждение в достаточной степени.
Якорение дает частичное объяснение экспериментам, показывающим, что аналитики склонны быть чрезмерно уверенными в себе при определении доверительных интервалов. Военный аналитик, оценивающий будущее производство ракет или танков, часто не может назвать конкретную цифру в качестве точечной оценки. Поэтому аналитик может установить диапазон от высокого до низкого и предположить, что существует, скажем, 75-процентная вероятность того, что фактический объем производства окажется в пределах этого диапазона. Если будет сделано несколько таких оценок, отражающих соответствующую степень доверия, то истинный показатель должен попадать в расчетный диапазон 75 процентов времени и выходить за его пределы 25 процентов времени. Однако в экспериментальных ситуациях большинство участников слишком самоуверенны. Истинная цифра выходит за пределы расчетного диапазона в гораздо большем проценте случаев.
Если предполагаемый диапазон основан на относительно жесткой информации относительно верхнего и нижнего пределов, оценка, скорее всего, будет точной. Если же диапазон определяется на основе единственной наилучшей оценки, которая просто корректируется в сторону увеличения или уменьшения для получения расчетных максимальных и минимальных значений, то в дело вступает привязка, и корректировка, скорее всего, окажется недостаточной.
Причины феномена привязки не вполне понятны. Первоначальная оценка служит крючком, на который люди вешают свои первые представления или результаты предыдущих расчетов. При пересчете они берут ее за отправную точку, а не начинают с нуля, но почему это должно ограничивать диапазон последующих рассуждений, неясно.
Эксперименты с использованием 98-процентного доверительного интервала показали, что истинное значение выходит за пределы расчетного интервала в 40-50 процентах случаев.
Есть некоторые свидетельства того, что осознание проблемы привязки не является адекватным противоядием.139 Это часто встречается в экспериментах с когнитивными предубеждениями. Предвзятость сохраняется даже после того, как испытуемые информированы о ней и проинструктированы, чтобы попытаться избежать ее или компенсировать.
Одним из приемов, позволяющих избежать предвзятости, так сказать, взвесить якорь, может быть игнорирование своих или чужих прежних суждений и переосмысление проблемы с чистого листа. Другими словами, сознательно избегать любых предыдущих суждений в качестве отправной точки. Нет никаких экспериментальных доказательств того, что это возможно или что это сработает, но, похоже, стоит попробовать. В качестве альтернативы иногда можно избежать человеческой ошибки, используя формальные статистические процедуры. Например, байесовский статистический анализ может быть использован для пересмотра предварительных суждений на основе новой информации таким образом, чтобы избежать предвзятого отношения к якорю.
Выражение неопределенности
Вероятности могут быть выражены двумя способами. Статистические вероятности основаны на эмпирических данных, касающихся относительных частот. Большинство разведывательных суждений имеют дело с уникальными ситуациями, для которых невозможно определить статистическую вероятность. Другой подход, который обычно используется в анализе разведданных, - это суждение о "субъективной вероятности" или "личной вероятности". Такое суждение является выражением личной убежденности аналитика в правильности определенного объяснения или оценки. Это можно сравнить с суждением о том, что лошадь имеет шансы на победу в скачках в соотношении три к одному.
Вербальные выражения неопределенности - такие как "возможно", "вероятно", "маловероятно", "может" и "мог бы" - представляют собой форму субъективного суждения о вероятности, но они уже давно признаны источником двусмысленности и непонимания. Сказать, что что-то может произойти или возможно может относиться к чему угодно - от 1 процента до 99 процентов вероятности. Чтобы ясно выражать свои мысли, аналитики должны научиться регулярно сообщать о неопределенности, используя язык числовых вероятностей или соотношений шансов.
Как объясняется в главе 2 "Восприятие", люди склонны видеть то, что они ожидают увидеть, и новая информация обычно ассимилируется с уже существующими убеждениями. Это особенно верно при работе с вербальными выражениями неопределенности. Сами по себе эти выражения не имеют четкого смысла. Это пустые оболочки. Читатель или слушатель наполняет их смыслом через контекст, в котором они используются, и то, что уже есть в голове читателя или слушателя об этом контексте.
Когда выводы разведки сформулированы в двусмысленных терминах, интерпретация выводов читателем будет предвзятой в пользу соответствия тому, во что он уже верит. Это может быть одной из причин, по которой многие потребители разведывательной информации говорят, что они мало что узнают из отчетов разведки.
Этот феномен легко продемонстрировать на учебных курсах для аналитиков. Дайте студентам короткий отчет разведки, попросите их подчеркнуть все выражения неопределенности, а затем попросите их выразить свое понимание отчета, написав над каждым выражением неопределенности числовую вероятность, которую, по их мнению, имел в виду автор отчета. Это отличный учебный опыт, поскольку различия между студентами в понимании отчета обычно настолько велики, что могут быть весьма запоминающимися.
В одном из экспериментов аналитика разведки попросили заменить числовые оценки вероятности на словесные уточнения в одной из его собственных ранних статей. Первое утверждение гласило: "Перемирие держится, но может быть нарушено в течение недели". Аналитик сказал, что он имел в виду 30-процентную вероятность того, что прекращение огня будет нарушено в течение недели. Другой аналитик, который помогал ему готовить статью, сказала, что, по ее мнению, вероятность того, что перемирие будет нарушено, составляет около 80 процентов. Тем не менее, работая вместе над отчетом, оба аналитика считали, что они согласны с тем, что может произойти.142 Очевидно, что аналитики даже не общались эффективно друг с другом, не говоря уже о читателях их отчета.
Шерман Кент, первый директор Управления национальных оценок ЦРУ, был одним из первых, кто осознал проблемы коммуникации, вызванные неточными заявлениями о неопределенности. К сожалению, спустя несколько десятилетий после того, как Кент впервые был потрясен тем, как политики интерпретировали термин "серьезная возможность" в национальной оценке, это недопонимание между аналитиками и политиками, а также между аналитиками, все еще является распространенным явлением.
Лично я вспоминаю постоянный спор с коллегой по поводу достоверности одного очень важного источника. Я утверждал, что он, скорее всего, добросовестный. Мой коллега утверждал, что источник, скорее всего, находится под враждебным контролем. После нескольких месяцев периодических разногласий я наконец попросил своего коллегу назвать цифру. Он сказал, что вероятность того, что источник находится под враждебным контролем, составляет не менее 51 процента. Я сказал, что вероятность того, что он добросовестный, составляет не менее 51 процента. Очевидно, мы согласились с тем, что существует большая неопределенность. На этом наши разногласия прекратились. Проблема заключалась не в серьезных разногласиях, а в двусмысленности термина "вероятный".
В таблице на рисунке 18 приведены результаты эксперимента, в котором приняли участие 23 офицера НАТО, привыкшие читать отчеты разведки. Им было предложено несколько предложений, таких как: весьма маловероятно, что все предложения были одинаковыми, за исключением того, что словесные выражения вероятности изменились. Офицеров спросили, какой процент вероятности они приписали бы каждому утверждению, если бы прочитали его в отчете разведки. Каждая точка в таблице представляет собой оценку вероятности одним офицером.144 В то время как был достигнут широкий консенсус относительно значения выражения "лучше, чем даже", наблюдался большой разброс в интерпретации других выражений вероятности. Заштрихованные области в таблице показывают диапазоны, предложенные Кентом.
Суть в том, что доклад разведки может не оказать никакого влияния на читателя, если он составлен таким двусмысленным языком, что читатель может легко интерпретировать его в соответствии со своими собственными представлениями.
Двусмысленность может быть особенно тревожной, когда речь идет о маловероятных и высокоэффективных опасностях, против которых политики, возможно, захотят разработать планы на случай непредвиденных обстоятельств.
Рассмотрим, например, сообщение о том, что вероятность нападения террористов на американское посольство в Каире в данный момент невелика. Если посол считает, что шансы не более чем один на сто, он может не предпринимать никаких действий. Если же посол считает, что вероятность нападения составляет один к четырем, то он может решить сделать довольно много. Термин "малый шанс" не соответствует ни одной из этих интерпретаций, и нет способа узнать, что имел в виду автор отчета.
Еще одна потенциальная двусмысленность - фраза "в это время". Сокращение сроков прогнозирования снижает вероятность, но не уменьшает необходимость в превентивных мерах или планировании на случай непредвиденных обстоятельств. Событие, сроки которого непредсказуемы, может "в данный момент" иметь лишь 5-процентную вероятность наступления в ближайший месяц, но 60-процентную вероятность, если временные рамки продлены до одного года (5 процентов в месяц в течение 12 месяцев).
Как аналитики могут выразить неопределенность, не давая понять, насколько они уверены? Помещение числового уточнения в скобках после фразы, выражающей степень неопределенности, - подходящий способ избежать неверного толкования. Это может быть отношение шансов (меньше, чем один шанс из четырех) или процентный диапазон (от 5 до 20 процентов) или (меньше, чем 20 процентов). Соотношение шансов часто предпочтительнее, поскольку большинство людей интуитивно лучше понимают шансы, чем проценты.
Оценка вероятности сценария
Аналитики разведки иногда представляют свои суждения в виде сценария - ряда событий, ведущих к ожидаемому результату. Существуют доказательства того, что на суждения о вероятности сценария влияют количество и характер деталей в сценарии, что не связано с фактической вероятностью сценария.
Сценарий состоит из нескольких событий, связанных между собой в повествовательном описании. Чтобы математически рассчитать вероятность сценария, необходимо перемножить вероятности каждого отдельного события. Так, для сценария с тремя событиями, каждое из которых, вероятно (с 70-процентной вероятностью), произойдет, вероятность сценария равна чуть больше 34 процентов. Добавление в сценарий четвертого вероятного (70-процентного) события снизит его вероятность до 24 процентов.
Большинство людей не имеют хорошего интуитивного представления о вероятностном прогнозировании. Один из подходов к упрощению таких проблем - предположить (или думать так, как будто) одно или несколько вероятных событий уже произошли. Это устраняет часть неопределенности в суждениях. Другой способ упростить задачу - основывать суждение на грубом усреднении вероятностей каждого события. В приведенном выше примере процедура усреднения дает оценку вероятности 70 % для всего сценария. Таким образом, сценарий кажется гораздо более вероятным, чем на самом деле.
При использовании стратегии усреднения высоковероятные события в сценарии стремятся компенсировать менее вероятные. Это нарушает принцип, согласно которому цепь не может быть сильнее своего самого слабого звена. С математической точки зрения, наименее вероятное событие в сценарии задает верхний предел вероятности сценария в целом. Если используется стратегия усреднения, в сценарий могут быть добавлены дополнительные детали, которые настолько правдоподобны, что повышают воспринимаемую вероятность сценария, в то время как с математической точки зрения дополнительные события должны обязательно снижать его вероятность146.
Ошибка базовой ставки
При оценке ситуации аналитик иногда располагает двумя видами доказательств - конкретными данными о конкретном случае и числовыми данными, обобщающими информацию о многих аналогичных случаях. Такой тип числовой информации называется базовой ставкой или предварительной вероятностью. Заблуждение, связанное с базовой ставкой, заключается в том, что числовые данные обычно игнорируются, если они не указывают на причинно-следственную связь. Это можно проиллюстрировать следующим экспериментом.
Во время войны во Вьетнаме один из истребителей в сумерках совершил несмертельную штурмовую атаку на американскую воздушную разведку. В этом районе действуют и камбоджийские, и вьетнамские истребители. Вам известны следующие факты:
Информация о конкретном случае: Американский пилот опознал истребитель как камбоджийский. Способность пилота распознавать самолеты была проверена в соответствующих условиях видимости и полета. На выборке истребителей (половина с вьетнамскими опознавательными знаками и половина с камбоджийскими) пилот делал правильные опознания в 80 процентах случаев и ошибался в 20 процентах случаев.
Базовые данные: 85 процентов истребителей в этом районе - вьетнамцы; 15 процентов - камбоджийцы.
Вопрос: Какова вероятность того, что боец был камбоджийцем, а не вьетнамцем?
Обычно при ответе на этот вопрос рассуждают следующим образом: Мы знаем, что пилот опознал самолет как камбоджийский. Мы также знаем, что опознания пилота верны в 80 процентах случаев; следовательно, вероятность того, что истребитель был камбоджийским, составляет 80 процентов. Эти рассуждения кажутся правдоподобными, но неверными. Оно игнорирует базовый показатель - 85 процентов истребителей в этом районе - вьетнамцы. Базовый показатель, или предварительная вероятность, - это то, что можно сказать о любом враждебном истребителе в этом районе до того, как вы узнаете что-либо о конкретном наблюдении.
На самом деле вероятность того, что самолет был вьетнамским, выше, чем камбоджийским, несмотря на "вероятно правильную" идентификацию пилота. Читатели, которые не знакомы с вероятностными рассуждениями и не понимают этого момента, должны представить себе 100 случаев, в которых пилот имеет аналогичную информацию. Исходя из пункта (a), мы знаем, что 80 процентов или 68 из 85 вьетнамских самолетов будут правильно идентифицированы как вьетнамские, а 20 процентов или 17 будут неправильно идентифицированы как камбоджийские. Исходя из пункта (b), мы знаем, что 85 из этих столкновений будут с вьетнамскими самолетами, а 15 - с камбоджийскими.
Аналогично, 80 процентов или 12 из 15 камбоджийских самолетов будут правильно идентифицированы как камбоджийские, а 20 процентов или три самолета будут неверно идентифицированы как вьетнамские. Таким образом, всего 71 вьетнамский и 29 камбоджийских самолетов, из которых только 12 из 29 камбоджийских самолетов являются правильными, а остальные 17 - неправильные вьетнамские самолеты. Поэтому, когда пилот утверждает, что его атаковал камбоджийский истребитель, вероятность того, что самолет действительно камбоджийский, составляет лишь 12/29% или 41%, несмотря на то, что опознания пилота верны в 80% случаев.
Это может показаться математическим трюком, но это не так. Разница обусловлена высокой предварительной вероятностью того, что пилот наблюдает вьетнамский самолет. Сложность в понимании этого возникает потому, что нетренированное интуитивное суждение не включает в себя некоторые из основных ста- тистических принципов вероятностного рассуждения. Большинство людей не учитывают предварительную вероятность в своих рассуждениях, потому что она не кажется релевантной. Она не кажется релевантной, потому что нет никакой причинно-следственной связи между исходной информацией о процентном соотношении истребителей в районе и наблюдением пилота. Тот факт, что 85% истребителей в районе были вьетнамскими и 15% камбоджийскими, не стал причиной того, что атаку совершил камбоджиец, а не вьетнамец.
Чтобы понять, какое влияние оказывает каузально релевантная информация о заднем плане, рассмотрим альтернативную формулировку той же проблемы. В пункте (b) этой проблемы замените следующее:
(b) Несмотря на то, что истребительные силы двух стран примерно равны по численности в этом районе, в 85% случаев преследования участвуют вьетнамские бойцы, а в 15% - камбоджийские.
Математически и структурно задача остается той же самой. Однако эксперименты с большим количеством испытуемых показывают, что психологически она совершенно иная, поскольку легко вызывает причинное объяснение, связывающее предварительные вероятности с наблюдением пилота. Если вьетнамцы склонны к домогательствам, а камбоджийцы - нет, то предварительная вероятность того, что домогательства со стороны вьетнамцев более вероятны, чем со стороны камбоджийцев, больше не игнорируется. Привязка предварительной вероятности к причинно-следственной связи сразу же повышает вероятность того, что наблюдение пилота было ошибочным.
При такой пересмотренной формулировке проблемы большинство людей, скорее всего, будут рассуждать следующим образом: Из прошлого опыта подобных случаев мы знаем, что преследование обычно совершают вьетнамские самолеты. Однако у нас есть вполне достоверный отчет нашего пилота о том, что это был камбоджийский истребитель. Эти два противоречивых свидетельства отменяют друг друга. Поэтому мы не знаем - примерно 50 на 50, был ли это камбоджийский или вьетнамский самолет. Применяя эти рассуждения, мы используем информацию о предыдущей вероятности, интегрируем ее с информацией о конкретном случае и приходим к выводу, который настолько близок к оптимальному ответу (все еще 41 процент), насколько это возможно без математических расчетов.
Конечно, существует не так много проблем, в которых базовые ставки указываются так явно, как в примере с вьетнамскими и камбоджийскими самолетами.
Если тарифы не известны, а их приходится определять или исследовать, то вероятность их использования еще меньше.
Так называемое заблуждение планирования, в котором я лично виновен, - это пример проблемы, в которой базовые показатели не даются в числовом выражении, а должны быть абстрагированы от опыта. Планируя исследовательский проект, я могу предположить, что смогу завершить его за четыре недели. Эта оценка основывается на соответствующих данных по конкретному случаю: желаемый объем отчета, наличие исходных материалов, сложность темы, возможность предсказуемых и непредвиденных перерывов и так далее. Кроме того, я обладаю богатым опытом подобных оценок, которые я делал в прошлом. Как и многие другие, я почти никогда не завершаю исследовательский проект в первоначально рассчитанные сроки! Но меня соблазняет непосредственность и убедительность доказательств по конкретному делу. Все каузально значимые данные о проекте указывают на то, что я должен успеть завершить работу за отведенное на нее время. Хотя я знаю по опыту, что так никогда не бывает, я не извлекаю из этого опыта никаких уроков. Я продолжаю игнорировать непричинные, вероятностные данные, основанные на множестве аналогичных проектов в прошлом, и оценивать сроки завершения работы, в которые я почти никогда не укладываюсь. (Подготовка этой книги заняла вдвое больше времени, чем я предполагал. Этих предубеждений, действительно, трудно избежать!)
Глава 13. Предвзятое отношение к оценке разведывательной информации
Оценки разведывательного анализа - как собственные оценки аналитиками своих суждений, так и оценки другими людьми продуктов разведки - подвержены систематическим предубеждениям. В результате аналитики переоценивают качество своей аналитической работы, а другие недооценивают ценность и качество их усилий. Эти предубеждения - не просто продукт корысти и отсутствия объективности. Они вытекают из природы человеческих психических процессов, и их трудно, а возможно, и невозможно преодолеть.
Предвзятость задним числом влияет на оценку разведывательной информации тремя способами:
Аналитики обычно переоценивают точность своих прошлых суждений.
Потребители разведывательной информации обычно недооценивают, как много они узнали из разведывательных отчетов.
Руководители разведывательных служб, проводящие посмертный анализ провала разведки, обычно считают, что события можно было предвидеть с большей вероятностью, чем это было на самом деле.
Ни одно из этих предубеждений не является удивительным. Аналитики замечали эти тенденции у других, хотя, возможно, не у себя. Неожиданность заключается в том, что эти предубеждения - не только продукт корысти и недостатка объективности. Они являются примерами более широкого явления, которое встроено в человеческие психические процессы и которое невозможно преодолеть простым призывом быть более объективным.
Психологи, проводившие описанные ниже эксперименты, пытались научить испытуемых преодолевать эти предубеждения. Испытуемые, не заинтересованные в результатах, были проинструктированы о предвзятости и призваны избегать ее или компенсировать, но не смогли этого сделать. Подобно оптическим иллюзиям, когнитивные предубеждения остаются убедительными даже после того, как мы их осознаем.
У аналитика, потребителя и наблюдателя, оценивающего результаты аналитической деятельности, есть одна общая черта. Они используют ретроспективу. Они берут свое текущее состояние знаний и сравнивают его с тем, что они или другие делали, могли или должны были знать до получения текущих знаний. Это резко контрастирует с оценкой интеллекта, которая является упражнением в предвидении, и именно разница между этими двумя способами мышления - ретроспективой и предвидением - кажется источником предвзятости.
Очевидно, что количество доступной хорошей информации в ретроспективе больше, чем в предвидении. Существует несколько возможных объяснений того, как это влияет на психические процессы. Одно из них заключается в том, что дополнительная информация, доступная задним числом, изменяет восприятие ситуации настолько естественно и незамедлительно, что люди практически не осознают этих изменений. Когда мы получаем новую информацию, она немедленно и бессознательно ассимилируется в наши ранее существовавшие знания. Если эта новая информация значительно расширяет наши знания - то есть если она подсказывает исход ситуации или ответ на вопрос, в котором мы ранее не были уверены, - наши мысленные образы перестраиваются с учетом новой информации. Например, с помощью ретроспективного анализа факторы, которые раньше считались значимыми, могут стать неважными, а факторы, которые раньше считались малозначимыми, могут стать определяющими.
После того как представление было перестроено для усвоения новой информации, практически невозможно точно восстановить существовавший ранее ментальный набор. Как только колокол прозвенел, его уже нельзя отменить. Человек может вспомнить свои прежние суждения, если прошло немного времени и они были точно сформулированы, но, очевидно, люди не могут точно восстановить свое прежнее мышление. Попытка восстановить то, что мы раньше думали о данной ситуации, или то, что мы бы сделали.
Если вы уже думали об этом, на вас неизбежно влияет наш текущий образ мыслей. Зная исход ситуации, труднее представить себе другие варианты, которые можно было бы рассмотреть. К сожалению, простое понимание того, что разум работает именно так, мало помогает преодолеть это ограничение.
Общая идея, которую можно извлечь из понимания этих предубеждений, как показано в экспериментах, описанных ниже, заключается в том, что суждения аналитика о разведке не так хороши, как он думает, и не так плохи, как кажется другим. Поскольку эти предубеждения, как правило, невозможно преодолеть, они представляются фактами жизни, которые аналитики должны учитывать при оценке собственной работы и при определении того, каких оценок следует ожидать от других. Это говорит о необходимости более систематических усилий, направленных на:
Определите, чего следует ожидать от аналитиков разведки.
Разработайте институционализированную процедуру сравнения суждений и оценок в области интеллектуальной разведки с фактическими результатами.
Измерьте, насколько аналитики соответствуют установленным ожиданиям.
Теперь мы перейдем к рассмотрению экспериментальных данных, демонстрирующих эти предубеждения с точки зрения аналитика, потребителя и специалиста по разведке.
Взгляд аналитика
Аналитики, заинтересованные в повышении эффективности своей работы, должны оценивать свои прошлые оценки в свете последующих событий. Для этого аналитики должны либо помнить (или уметь ссылаться на) свои прошлые оценки, либо реконструировать их на основе того, что они, как им кажется, знали о ситуации в то время, когда эти оценки были сделаны. Эффективность процесса оценки и процесса обучения, которому он придает импульс, отчасти зависит от точности этих запомненных или реконструированных оценок.
Экспериментальные данные свидетельствуют о систематической тенденции к ошибочному запоминанию прошлых оценок. То есть, когда события происходят, люди склонны переоценивать степень, в которой они ранее ожидали их наступления. И наоборот, когда события не происходят, люди склонны занижать вероятность, которую они ранее приписывали их наступлению. Короче говоря, события, как правило, кажутся менее удивительными, чем они должны быть на основе прошлых оценок. Эти экспериментальные данные согласуются с интуитивным опытом аналитиков. Аналитики редко бывают удивлены ходом событий, за которыми они следят, или позволяют себе это.
В экспериментах по проверке смещения памяти на прошлые оценки 119 испытуемых попросили оценить вероятность того, что ряд событий произойдет или не произойдет во время поездок президента Никсона в Пекин и Москву в 1972 году. Для каждой поездки было определено 15 возможных исходов, и каждый испытуемый определил вероятность каждого из них. Исходы были выбраны таким образом, чтобы охватить диапазон возможных событий и вызвать широкий спектр значений вероятности.
В разные периоды времени после поездок тех же испытуемых просили вспомнить или восстановить свои собственные предсказания настолько точно, насколько это возможно. (О задаче на запоминание во время первоначального предсказания не упоминалось). Затем испытуемых попросили указать, считают ли они, что каждое событие произошло или не произошло во время этих поездок.
Когда между оценками испытуемых и их воспоминаниями о них проходило от трех до шести месяцев, 84 процента испытуемых проявляли предвзятость, когда речь шла о событиях, которые, по их мнению, действительно произошли. То есть вероятности, которые, как они помнили, они оценивали, были выше, чем их реальные оценки событий, которые, по их мнению, действительно произошли. Аналогично, для событий, которые, по их мнению, не происходили, вероятности, которые они оценивали, были ниже, чем их реальные оценки, хотя здесь смещение было не столь значительным. Для обоих видов событий смещение было более выраженным по прошествии трех-шести месяцев, чем когда испытуемых просили вспомнить оценки, которые они давали всего две недели назад.
Таким образом, знание результатов каким-то образом повлияло на память большинства испытуемых об их предыдущих оценках этих результатов, и чем больше времени давалось на угасание воспоминаний, тем сильнее это влияние.
События во время поездок президента воспринимались как менее удивительные, чем они были бы, если бы реальные оценки сравнивались с фактическими результатами. Для 84 процентов испытуемых, продемонстрировавших ожидаемое предубеждение, их ретроспективная оценка своих оценочных действий была явно более благоприятной, чем требовали факты.
Взгляд потребителя
Когда потребители разведывательных отчетов оценивают качество разведывательного продукта, они задают себе вопрос: "Как много я узнал из этих отчетов, чего я еще не знал?". Отвечая на этот вопрос, большинство людей склонны недооценивать вклад новой информации. Это предубеждение "я знал это все время" приводит к тому, что потребители недооценивают разведывательный продукт.
То, что люди действительно часто реагируют на новую информацию подобным образом, было проверено в серии экспериментов с участием 320 человек, каждый из которых ответил на один и тот же набор из 75 фактических вопросов, взятых из альманахов и энциклопедий. В качестве меры уверенности в своих ответах испытуемые присваивали каждому вопросу число от 50 до 100 процентов, обозначающее их оценку вероятности того, что они выбрали правильный ответ.
На втором этапе эксперимента испытуемые были разделены на три группы. Первой группе дали 25 ранее заданных вопросов и попросили ответить на них точно так же, как они отвечали ранее. Таким образом проверялась способность испытуемых помнить свои предыдущие ответы. Второй группе дали тот же набор из 25 вопросов, но с правильными ответами, обведенными кружком "для общего сведения". Их тоже попросили ответить, воспроизведя свои предыдущие ответы. Таким образом, проверялась степень, в которой заучивание правильных ответов искажало воспоминания испытуемых об их собственных предыдущих ответах, что позволило измерить ту же самую предвзятость в воспоминаниях о предыдущих оценках, которая обсуждалась выше с точки зрения аналитика.
Третьей группе был дан другой набор из 25 вопросов, с которыми они ранее не встречались, но которые были схожи по сложности, так что результаты были бы сопоставимы с двумя другими группами. Правильные ответы были отмечены в анкете, и испытуемых попросили ответить на вопросы так, как они ответили бы, если бы им не сказали ответ. Таким образом проверялась их способность точно вспомнить, как много им было известно до того, как они узнали правильный ответ. Ситуация сопоставима с ситуацией с потребителями разведывательной информации, которых просят оценить, насколько много они узнали из отчета, и которые могут сделать это, только пытаясь вспомнить объем своих знаний до того, как они прочитали отчет.
Наиболее значимые результаты были получены от третьей группы испытуемых. Эта группа явно переоценивала то, что они знали изначально, и недооценивала то, сколько они узнали, получив ответ. Для 19 из 25 предметов в одном варианте эксперимента и 20 из 25 предметов в другом варианте эта группа присвоила правильным альтернативам более высокие вероятности, чем можно было бы ожидать, если бы они не знали правильных ответов.
В итоге эксперимент подтвердил результаты предыдущего эксперимента, показавшего, что люди, получившие ответ, склонны вспоминать, что знали больше, чем на самом деле. Он также показал, что люди имеют еще большую склонность преувеличивать вероятность того, что они знали бы правильный ответ, если бы им его не сообщили. Другими словами, люди склонны недооценивать как то, сколько они узнают из новой информации, так и то, насколько новая информация позволяет им с большей уверенностью выносить правильные суждения. В той мере, в какой потребители разведывательной информации проявляют такие же предубеждения, они будут склонны недооценивать ценность для них разведывательной информации.
Взгляд надзирателя
В данном случае под надзором понимается тот, кто расследует деятельность разведки, проводя посмертную экспертизу громкого провала разведки. Такие расследования проводятся Конгрессом, сотрудниками разведывательного сообщества, руководством ЦРУ или ИР. Для тех, кто не входит в исполнительную власть и не читает регулярно разведывательную продукцию, такого рода ретроспективная оценка известных провалов разведки является главной основой для суждений о качестве разведывательного анализа.
Основополагающий вопрос, возникающий при любом посмертном расследовании провала разведки, заключается в следующем: Должны ли были аналитики предвидеть, что произойдет? Непредвзятая оценка эффективности разведки зависит от способности дать непредвзятый ответ на этот вопрос.
К сожалению, после того как событие произошло, невозможно стереть из памяти знание об этом событии и восстановить, какими были бы наши мыслительные процессы в более ранний момент времени. При повторном конструировании прошлого возникает тенденция к детерминизму, к мысли о том, что произошедшее было неизбежно в данных обстоятельствах и, следовательно, предсказуемо. Короче говоря, существует тенденция считать, что аналитики должны были предвидеть события, которые на самом деле были непредсказуемы на основе информации, доступной в то время.
В экспериментах, о которых говорится в следующих параграфах, проверялись гипотезы о том, что знание о каком-либо исходе увеличивает воспринимаемую неизбежность этого исхода и что люди, получившие информацию об исходе, в основном не осознают, что эта информация изменила их восприятие таким образом.
В серии подэкспериментов использовались краткие (150 слов) описания семи событий, для которых были определены четыре возможных исхода. Одним из таких событий была борьба между британцами и гуркхами в Индии в 1814 году. Четыре возможных исхода этого события:
1) победа британцев,
2) победа гуркхов,
3) военный тупик без мирного урегулирования,
4) военный тупик с мирным урегулированием.
В каждом подэксперименте участвовали пять групп по 20 человек в каждой. Одна группа получила описание борьбы между британцами и гуркхами, состоящее из 150 слов, без указания результата. Остальные четыре группы получили идентичное описание, но с добавлением одного предложения, указывающего на исход борьбы - для каждой группы результат был разным.
Испытуемых во всех пяти группах просили оценить вероятность каждого из четырех возможных исходов и оценить значимость для их суждений каждого факта в описании события. Испытуемые, которым сообщили об исходе, были поставлены в такое же положение, в каком находится наблюдатель за анализом разведданных, готовящий посмертный анализ провала разведки. Этот человек пытается оценить вероятность того или иного исхода основываясь только на информации, доступной до того, как исход был известен. Результаты показаны на рисунке 18.
Группа, не осведомленная ни о каком исходе, оценила вероятность исхода 1 в 33,8 процента, в то время как группа, которой сообщили, что исход 1 - это реальный исход, оценила вероятность этого исхода в 57,2 процента. На оценку вероятности явно повлияло знание исхода. Аналогичным образом, контрольная группа, не знавшая о результате, оценила вероятность исхода 2 в 21,3 процента, в то время как те, кому сообщили, что исход 2 является реальным, восприняли его как имеющий вероятность 38,4 процента.
Среднее значение всех оценок исходов в шести подэкспериментах (всего 2188 оценок 547 испытуемых) показывает, что знание или вера в то, что один из четырех возможных исходов произошел, примерно в два раза увеличивает воспринимаемую вероятность этого исхода при оценке задним числом по сравнению с предвидением.
На значимость, которую испытуемые приписывали любой информации, также сильно влияло то, какой результат, если таковой был, им сообщили как истинный. Как пишет Роберта Уолстеттер, "гораздо легче отсортировать релевантные сигналы от нерелевантных. После события, конечно, сигнал всегда кристально ясен. Теперь мы видим, о какой катастрофе он сигнализировал, поскольку до этого события они неясны и наполнены противоречивыми смыслами". Тот факт, что знание о результате автоматически перестраивает суждения человека о релевантности имеющихся данных, вероятно, является одной из причин того, что так трудно восстановить, какими были или были бы наши мыслительные процессы без этого знания о результате.
В нескольких вариантах этого эксперимента испытуемых просили ответить так, как будто они не знают результата, или так, как ответили бы другие, если бы они не знали результата. Результаты мало отличались друг от друга, указывая на то, что испытуемые в основном не осознавали, как знание результата влияет на их собственное восприятие. Эксперимент показал, что испытуемые не способны сопереживать тому, как другие оценивали бы эти ситуации. Оценки того, как другие интерпретировали бы данные, не зная результата, практически не отличались от ретроспективных интерпретаций самих испытуемых.
Эти результаты показывают, что наблюдатели, проводящие посмертную оценку того, что аналитики должны были предвидеть, учитывая имеющуюся информацию, будут склонны воспринимать исход ситуации как более предсказуемый, чем это было на самом деле. Поскольку они не могут воссоздать состояние ума, в котором ситуация рассматривается только с учетом предвидения, а не задним числом, наблюдатели будут склонны более критично относиться к работе разведки, чем это оправдано.
Обсуждение экспериментов
Эксперименты, демонстрирующие эти предубеждения и их устойчивость к корректирующим действиям, проводились в рамках исследовательской программы по анализу решений, финансируемой Агентством передовых оборонных исследовательских проектов. К сожалению, испытуемыми были студенты, а не сотрудники разведывательного сообщества. Тем не менее, есть основания полагать, что полученные результаты можно обобщить и применить к разведывательному сообществу. Эксперименты касаются основных психических процессов человека, и их результаты, похоже, соответствуют личному опыту сотрудников разведывательного сообщества. В аналогичных психологических тестах, в которых в качестве испытуемых использовались эксперты, в том числе аналитики разведки, эксперты демонстрировали ту же модель ответов, что и студенты.
Моя собственная несовершенная попытка воспроизвести один из этих экспериментов с использованием аналитиков разведки также подтверждает справедливость предыдущих выводов. Чтобы проверить утверждение о том, что аналитики разведки обычно переоценивают точность своих прошлых суждений, необходимы две предпосылки. Во-первых, аналитики должны сделать ряд оценок в количественных терминах - то есть они должны сказать не просто, что данное событие вероятно, а, например, что вероятность его наступления составляет 75 процентов. Во-вторых, должна быть возможность однозначно определить, произошло или не произошло предполагаемое событие. При наличии этих двух предпосылок можно вернуться назад и проверить воспоминания аналитиков об их предыдущих оценках. Поскольку оценки ЦРУ редко излагаются в терминах количественных вероятностей и поскольку наступление предполагаемого события в течение определенного периода времени часто не может быть однозначно определено, эти предварительные условия редко выполняются.
Однако я выявил нескольких аналитиков, которые по двум совершенно разным темам сделали количественные оценки вероятности событий, для которых последующий исход был точно известен. Я обратился к этим аналитикам и попросил их вспомнить свои предыдущие оценки. Условия проведения этого мини-эксперимента были далеки от идеальных, и результаты не были однозначными, но они подтвердили выводы, сделанные в ходе более масштабных и систематических экспериментов, описанных выше.
Все это позволяет сделать вывод, что три предубеждения встречаются как у сотрудников разведывательного сообщества, так и у конкретных испытуемых. На самом деле, можно ожидать, что эти предубеждения будут еще сильнее у профессионалов в области иностранных дел, чья карьера и самооценка зависят от предполагаемой точности их суждений.
Можем ли мы преодолеть эти предубеждения?
Аналитики склонны винить в необъективных оценках работы разведки в лучшем случае невежество, а в худшем - корысть и отсутствие объективности. Оба эти фактора также могут иметь место, но эксперименты показывают, что природа человеческих психических процессов также является главным виновником. Это более трудноразрешимая причина, чем невежество или отсутствие объективности.
На кону не стояли корыстные интересы испытуемых, однако они демонстрировали те же виды предубеждений, с которыми знакомы аналитики. Более того, в этих экспериментальных ситуациях предубеждения были весьма устойчивы.
Испытуемых инструктировали делать оценки так, как будто они еще не знают ответа, но они не могли этого сделать. Одна группа испытуемых была специально проинструктирована о предвзятости, ссылаясь на результаты предыдущих экспериментов. Эту группу проинструктировали попытаться компенсировать смещение, но она не смогла этого сделать. Несмотря на максимум информации и самые благие намерения, предвзятость сохранялась.
Эта неразрешимость говорит о том, что предубеждение действительно имеет корни в природе наших умственных процессов. Аналитики, которые пытаются вспомнить предыдущую оценку после того, как узнали реальный исход событий, потребители, которые думают о том, насколько отчет пополнил их знания, и надзиратели, которые судят о том, должны ли были аналитики избежать провала разведки, - все они имеют одну общую черту. Они вовлечены в умственный процесс, связанный с ретроспективным взглядом. Они пытаются стереть влияние знаний, чтобы вспомнить, реконструировать или представить себе неуверенность, которую они имели или могли бы иметь о предмете до получения более или менее определенной информации.
Однако оказывается, что получение информации, которая принимается за окончательную или авторитетную, вызывает немедленное, но неосознанное переструктурирование мысленных образов человека, чтобы они соответствовали новой информации. После реструктуризации прошлых представлений очень трудно, если вообще возможно, точно восстановить, какими были или были бы мыслительные процессы до этой реструктуризации.
Есть одна процедура, которая может помочь преодолеть эти предубеждения. Она заключается в постановке следующих вопросов: Аналитики должны спросить себя: "Если бы произошел противоположный результат, был бы я удивлен?". Потребители должны спросить: "Если бы этот отчет сказал мне обратное, поверил бы я ему?". А надзорные органы должны спросить: "Если бы произошел противоположный исход, был бы он предсказуем с учетом имеющейся информации?" Эти вопросы могут помочь вспомнить или восстановить неопределенность, которая существовала до того, как вы узнали содержание отчета или исход ситуации.
Этот метод преодоления предвзятости может быть проверен читателями этой главы, особенно теми, кто считает, что она не рассказала им многого, чего они еще не знали. Если бы в этой главе сообщалось, что психологические эксперименты не выявили закономерности в том, что аналитики переоценивают точность своих оценок, а потребители недооценивают ценность нашего продукта, поверили бы вы этому? (Ответ: Скорее всего, нет.) Если бы в ней сообщалось, что психологические эксперименты показывают, что эти предубеждения вызваны только корыстью и отсутствием объективности, вы бы поверили в это? (Ответ: Скорее всего, да.) И поверили бы вы, если бы в этой главе говорилось, что эти предубеждения можно преодолеть, если добросовестно стараться объективно оценивать ситуацию? (Ответ: Скорее всего, да.)
Эти вопросы могут заставить вас, читатель, вспомнить состояние ваших знаний или убеждений до прочтения этой главы. Если это так, то вопросы подчеркнут то, что вы узнали здесь - а именно, что значительные предубеждения в оценке оценок интеллекта обусловлены природой психических процессов человека, а не только его корыстью и отсутствием объективности, и что их, следовательно, чрезвычайно трудно преодолеть.
ЧАСТЬ
IV
- ВЫВОДЫ
Глава 14 Совершенствование разведывательного анализа
В этой главе предлагается контрольный список для аналитиков - краткое изложение советов о том, как
чтобы преодолеть минное поле проблем, обозначенных в предыдущих главах. В ней также определяются шаги, которые могут предпринять руководители разведывательного анализа, чтобы помочь создать среду, в которой процветает аналитическое мастерство.
Как можно улучшить анализ разведданных? В этом и заключается проблема. Для достижения этой цели используется целый ряд традиционных подходов: сбор большего объема и улучшение качества информации, с которой работают аналитики, изменение управления аналитическим процессом, увеличение числа аналитиков, предоставление языковых и территориальных исследований для улучшения предметного опыта аналитиков, пересмотр критериев отбора и удержания сотрудников, улучшение навыков составления отчетов, отлаживание отношений между аналитиками и потребителями разведывательной информации, изменение типов аналитических продуктов.
Любой из этих показателей может играть важную роль, но анализ - это, прежде всего, умственный процесс. Традиционно аналитики всех уровней уделяют мало внимания тому, как они мыслят. Чтобы проникнуть в суть проблемы улучшения анализа, необходимо лучше понимать, влиять и направлять ментальные процессы самих аналитиков.
Контрольный список для аналитиков
В этом контрольном списке для аналитиков кратко изложены рекомендации по маневрированию на минных полях, возникающих в ходе ана-литического процесса. Следование этим рекомендациям поможет аналитикам уберечь себя от ошибок, которых можно избежать, и повысит их шансы на принятие правильных решений. Обсуждение организовано вокруг шести ключевых этапов ана-литического процесса: определение проблемы, генерирование гипотез, сбор информации, оценка гипотез, выбор наиболее вероятной гипотезы и постоянный мониторинг новой информации.
Определение проблемы
Начните с того, что убедитесь, что вы задаете - или вам задают - правильные вопросы. Не стесняйтесь возвращаться по цепочке командования с предложением сделать что-то немного отличное от того, о чем вас просили. Тот, кто разрабатывал политику, возможно, не продумал свои потребности, или требования могут быть несколько искажены при прохождении через несколько эшелонов управления. Возможно, вы лучше, чем руководитель, понимаете, что ему нужно, что он должен иметь или что можно сделать. В самом начале также убедитесь, что ваш руководитель знает о любом компромиссе между качеством анализа и тем, что вы можете сделать в установленные сроки.
Создание гипотез
Определите все правдоподобные гипотезы, которые необходимо рассмотреть. Составьте список из как можно большего количества идей, обратившись к коллегам и внешним экспертам. Делайте это в режиме мозгового штурма, откладывая суждения как можно дольше, пока все идеи не окажутся на столе.
Затем сократите список до приемлемого количества гипотез для более детального анализа. Часто одной из них будет гипотеза обмана - о том, что другая страна или группа лиц использует отрицание и обман, чтобы повлиять на восприятие или действия США.
На этом этапе не отсеивайте разумные гипотезы только потому, что нет доказательств в их поддержку. В частности, это касается гипотезы обмана. Если другая страна скрывает свои намерения с помощью отрицания и обмана, вам, вероятно, не следует ожидать доказательств этого, не завершив очень тщательный анализ такой возможности. Гипотеза де-цепионации и другие правдоподобные гипотезы, для которых может не быть немедленных доказательств, должны быть перенесены на следующий этап анализа до тех пор, пока они не будут тщательно рассмотрены и, если необходимо, повторно отвергнуты с полным основанием.
Сбор информации
Полагаясь только на информацию, которая автоматически поступает к вам, вы, вероятно, не решите всех своих аналитических проблем. Чтобы сделать работу правильно, скорее всего, придется искать информацию в других местах. Контакт с коллекционерами, другими сотрудниками Управления операций или аналитиками первого эшелона часто дает дополнительную информацию. Также обратитесь к научным специалистам, иностранным газетам и специализированным журналам.
Собирайте информацию для оценки всех разумных гипотез, а не только той, которая кажется наиболее вероятной. Изучение альтернативных гипотез, которые раньше всерьез не рассматривались, часто приводит аналитика на неожиданную и незнакомую территорию. Например, оценка возможности обмана требует оценки мотивов, возможностей и средств отрицания и обмана другой страны или группы. Это, в свою очередь, может потребовать понимания сильных и слабых сторон человеческих и технических возможностей США по сбору информации.
Важно приостановить суждения на время сбора информации по каждой из гипотез. Легко сформировать впечатление о гипотезе на основе очень скудной информации, но трудно изменить впечатление, если оно укоренилось. Если вам кажется, что вы уже знаете ответ, спросите себя, что может заставить вас изменить свое мнение, а затем поищите эту информацию.
Попробуйте разработать альтернативные гипотезы, чтобы определить, может ли какая-то альтернатива - если ей дать справедливый шанс - оказаться не такой убедительной, как ваше собственное предвзятое мнение. Систематическая разработка альтернативной гипотезы обычно повышает ее вероятность. "Готовность работать с материалом под разными углами и выдвигать как непопулярные, так и популярные гипотезы - неотъемлемый компонент хорошего детектива, независимо от того, что является его целью - раскрытие преступления или оценка разведданных".
Оценка гипотез
Пусть вас не вводит в заблуждение тот факт, что множество доказательств подтверждает вашу предвзятую идею о том, какая гипотеза является наиболее вероятной. Одни и те же доказательства могут соответствовать нескольким различным гипотезам. Сосредоточьтесь на разработке аргументов против каждой гипотезы, а не на попытках подтвердить гипотезы. Другими словами, обратите особое внимание на доказательства или предположения, которые указывают на то, что одна или несколько гипотез менее вероятны, чем остальные.
Осознайте, что ваши выводы могут быть обусловлены не столько самими фактами, сколько предположениями, определяющими то, как вы интерпретируете доказательства. Особенно важны предположения о том, что отвечает национальным интересам другой страны и как обычно поступают в этой стране. Допущения не страшны, если они явно выражены в вашем анализе и проанализируйте чувствительность ваших выводов к этим предположениям. Спросите себя, приведут ли другие предположения к другой интерпретации доказательств и другим выводам?
Рассмотрите возможность использования матричного формата, о котором говорилось в главе 8, "Анализ конкурирующих гипотез", чтобы отслеживать доказательства и их связь с различными гипотезами.
Остерегайтесь различных когнитивных предубеждений. Особенно опасны те предубеждения, которые возникают, когда вы недостаточно хорошо понимаете, как ситуация выглядит с точки зрения другой страны. Не восполняйте пробелы в своих знаниях, предполагая, что другая сторона, скорее всего, будет действовать определенным образом, потому что именно так поступило бы правительство США или другие американцы в аналогичных обстоятельствах.
Признайте, что представление США о национальных интересах другой страны и процессах принятия решений часто отличается от того, как эта страна воспринимает свои собственные интересы и как на самом деле принимаются решения в этой стране. Например, в 1989-90 гг. многие аналитики ближневосточных событий однозначно предполагали, что Ирак демобилизует часть своих вооруженных сил после продолжительной ирано-иракской войны, чтобы помочь восстановить иракскую экономику. Они также полагали, что Багдад поймет, что нападение на соседнюю арабскую страну не отвечает интересам Ирака. Теперь мы знаем, что они ошибались.
Когда вы выносите суждение о том, что может сделать другая страна, потратьте все время и усилия, чтобы проконсультироваться с экспертами, которые лучше всего понимают, о чем на самом деле думает правительство этой страны и как, скорее всего, будет приниматься решение.
Не предполагайте, что каждое действие иностранного правительства основано на рациональном решении, преследующем определенные цели. Признайте, что действия правительства иногда лучше всего объяснить как результат переговоров между полунезависимыми бюрократическими структурами, следования стандартным оперативным процедурам в неподходящих обстоятельствах, непредвиденных последствий, невыполнения приказов, путаницы, случайности или совпадения.
Выбор наиболее вероятной гипотезы
Старайтесь отвергать гипотезы, а не подтверждать их. Наиболее вероятной гипотезой обычно является та, против которой меньше всего доказательств, а не та, за которую больше всего доказательств.
Представляя свои выводы, обратите внимание на все разумные гипотезы, которые были рассмотрены.
В этом разделе вы можете не только привести свои суждения, но и кратко обосновать, почему другие альтернативы были отвергнуты или считались менее вероятными. Чтобы избежать двусмысленности, после выражения неопределенности в ключевых суждениях в скобках укажите отношение шансов или диапазон вероятности.
Текущий мониторинг
В быстро меняющемся, вероятностном мире аналитические выводы всегда условны. Ситуация может измениться, а может остаться неизменной, пока вы получаете новую информацию, которая меняет ваше представление о ней. Укажите, на что следует обратить внимание, чтобы заметить значительные изменения в вероятностях.
Обратите особое внимание на чувство удивления, когда новая информация не соответствует вашим прежним представлениям. Подумайте, соответствует ли эта удивительная информация альтернативной гипотезе. Пара неожиданностей, пусть даже незначительных, может стать первой подсказкой, что ваше понимание происходящего требует корректировки, в лучшем случае неполное, а может быть и совсем неверное.
Управление анализом
Когнитивные проблемы, описанные в этой книге, имеют последствия как для управления, так и для проведения разведывательного анализа. В заключительном разделе рассматриваются меры, которые могут предпринять руководители разведывательного анализа для создания организационной среды, в которой процветает аналитическая экс-целентность. Эти меры делятся на четыре общие категории: повторный поиск, обучение, знакомство с альтернативными ментальными установками и руководство аналитическими продуктами.
Поддержка исследований
Руководству следует поддерживать исследования, направленные на лучшее понимание когнитивных процессов, связанных с вынесением суждений о разведданных. Необходимо лучше понять, какие мыслительные навыки задействованы в анализе разведданных, как тестировать кандидатов на работу на наличие этих навыков и как обучать аналитиков для их совершенствования. Аналитики также нуждаются в более полном понимании того, как когнитивные ограничения влияют на анализ разведданных и как минимизировать их влияние. Им нужны простые инструменты и методы, которые помогут защитить себя от ошибок, которых можно избежать. Предстоит провести так много исследований, что трудно понять, с чего начать.
Среди ученых, отбираемых для работы в разведывательном сообществе, должны быть когнитивные психологи или другие ученые с различным опытом работы, заинтересованные в изучении мыслительных процессов аналитиков разведки. Также необходимо предусмотреть постдокторские стипендии для перспективных ученых, которых можно поощрять к тому, чтобы они делали карьеру, занимаясь исследованиями в этой области. Со временем это будет способствовать созданию более полной базы знаний о том, как аналитики делают и/или должны делать аналитические выводы и какие инструменты или методы могут им помочь.
Руководству следует также поддерживать исследования, посвященные ментальным установкам и имплицитным ментальным моделям аналитиков разведки. Поскольку эти умонастроения или модели служат "экраном" или "линзой", через которую аналитики воспринимают события за рубежом, исследования, направленные на определение природы этой "линзы", могут внести такой же вклад в точные суждения, как и исследования, сосредоточенные непосредственно на самих зарубежных регионах.
Обучение
В основном обучение аналитиков разведки сосредоточено на организационных процедурах, стиле письма и методологических приемах. Предполагается, что аналитики, которые пишут ясно, мыслят ясно. Однако вполне возможно следовать ошибочному аналитическому процессу и написать четкий и убедительный аргумент в поддержку ошибочного суждения.
Необходимо уделять больше учебного времени процессам мышления и рассуждения, связанным с вынесением разведывательных суждений, а также инструментам, доступным для облегчения или компенсации известных когнитивных проблем, возникающих при анализе. Эта книга призвана поддержать такое обучение.
Обучение будет более эффективным, если дополнить его постоянной поддержкой и помощью. Опытный тренер, который может контролировать и направлять текущую работу, является ценным дополнением к обучению в классе во многих областях, в том числе, вероятно, и в анализе разведданных. Предполагается, что этим должен заниматься начальник отделения или старший аналитик, но эти сотрудники часто слишком заняты, чтобы реагировать на другие неотложные требования к их времени.
Стоит подумать о том, как можно сформировать штат тренеров-аналитиков, которые будут наставлять новых аналитиков или консультировать аналитиков, работающих с особо сложными вопросами. Одной из возможных моделей является организация SCORE, существующая во многих сообществах. SCORE расшифровывается как Senior Corps of Retired Executives. Это национальная организация, объединяющая руководителей на пенсии, которые добровольно предоставляют свое время для консультирования молодых предпринимателей, начинающих свой бизнес. Можно создать небольшую группу аналитиков на пенсии, обладающих навыками и ценностями, которые необходимо передать новым аналитикам, и готовых добровольно (или по найму) приходить на работу несколько дней в неделю, чтобы консультировать молодых аналитиков.
Новых аналитиков можно обязать прочитать определенный набор книг или статей, касающихся анализа, и раз в месяц посещать полудневные встречи для обсуждения прочитанного и другого опыта, связанного с их становлением как аналитиков. Аналогичная добровольная программа может быть проведена для бывших аналитиков. Это помогло бы аналитикам лучше осознать процедуры, которые они используют при проведении анализа. Помимо образовательной ценности, обязательное чтение и обсуждение дадут аналитикам общий опыт и словарный запас для общения друг с другом и с руководством по поводу проблем, связанных с проведением анализа.
Чтобы облегчить институциональную память и обучение, необходимо провести тщательный анализ всех значительных провалов разведки в постмодернистский период. Следует также изучить успехи в анализе (в отличие от сбора). Эти анализы должны быть сведены воедино и храниться в центральном месте, доступном для анализа с целью выявления общих характеристик аналитических неудач и успехов. Мета-анализ причин и последствий аналитических успехов и неудач должен быть широко распространен и использоваться в учебных программах для повышения осведомленности о проблемах анализа.
Чтобы стимулировать извлечение уроков из опыта, даже в отсутствие громкого провала, руководство должно требовать более частой и систематической ретроспективной оценки результатов аналитической деятельности. Нельзя делать обобщения на основе одного-единственного случая правильного или неправильного суждения, но серия связанных между собой суждений, которые подтверждаются или не подтверждаются последующими событиями, может выявить точность или неточность ментальной модели аналитика. Получить систематическую обратную связь о точности прошлых суждений часто бывает трудно или невозможно, особенно в сфере политической разведки. Политические суждения обычно формулируются в неточных терминах и, как правило, зависят от других событий. Даже в ретроспективе не существует объективных критериев для оценки точности большинства суждений политической разведки в их нынешнем виде.
Однако в экономической и военной областях, где оценки часто касаются числовых величин, систематическая обратная связь с аналитическими показателями вполне осуществима. Ретроспективная оценка должна быть стандартной процедурой в тех областях, где оценки регулярно обновляются через периодические промежутки времени. Однако цель извлечения уроков из ретроспективной оценки достигается только в том случае, если она проводится в рамках объективного поиска более глубокого понимания, а не для выявления козлов отпущения или оценки вины. Это требование предполагает, что ретроспективная оценка должна проводиться на регулярной основе в рамках организационного подразделения, подготовившего отчет, даже ценой некоторой потери объективности.
Знакомство с альтернативными ментальными установками
Реалии бюрократической жизни порождают сильное давление, направленное на обеспечение единомыслия. Руководству необходимо прилагать сознательные усилия, чтобы гарантировать, что хорошо обоснованные конкурирующие мнения имеют возможность всплыть в разведывательном сообществе. Аналитики должны чувствовать себя в безопасности, чтобы можно было высказывать частично разработанные новые идеи и обмениваться ими.
Большая часть этой книги посвящена тому, как помочь аналитикам оставаться более открытыми для альтернативных взглядов. Руководство может помочь, поощряя такие виды деятельности, которые сталкивают аналитиков с альтернативными взглядами, - консультации с внешними экспертами, аналитические дебаты, конкурентный анализ, "адвокаты дьявола", игры и междисциплинарные мозговые штурмы.
Консультации с внешними экспертами особенно важны как средство избежать того, что адмирал Дэвид Джеремайя назвал "мышлением "все думают как мы"" при вынесении важных суждений, которые зависят от знания иностранной культуры. Аналитики разведки часто проводят меньше времени, живя в странах, над которыми они работают, и впитывая их культуру, чем внешние эксперты по этим странам. Если аналитики не понимают иностранную культуру, они не будут видеть проблемы так, как их видит иностранное правительство. Вместо этого они могут быть склонны к зеркальному отражению, то есть к предположению, что лидеры другой страны думают так же, как и мы. Аналитик предполагает, что другая страна будет поступать так, как поступили бы мы на их месте.
Зеркальная визуализация - распространенный источник аналитических ошибок, и именно она, как сообщается, сыграла свою роль в том, что разведывательное сообщество не смогло предупредить о предстоящих испытаниях ядерного оружия в Индии в 1998 году. Возглавив группу правительства США, которая проанализировала этот эпизод, адмирал Джеремайя рекомендовал более систематически использовать внешнюю экспертизу всякий раз, когда происходит крупный переход, который может привести к изменению политики, как, например, победа индуистских националистов на выборах 1998 года и их приход к власти в Индии.
Предпубликационное рецензирование аналитических отчетов дает еще одну возможность представить альтернативные точки зрения на проблему. Процедуры рецензирования должны ставить под сомнение ментальную модель, использованную аналитиком при поиске и изучении доказательств. Какие предположения были сделаны аналитиком, которые не обсуждаются в самом проекте, но лежат в основе основных суждений? Какие альтернативные гипотезы были рассмотрены, но отвергнуты, и по какой причине? Что может заставить аналитика изменить свое мнение?
В идеале в процесс анализа должны быть вовлечены аналитики из других подразделений, которые не являются специалистами по теме отчета. Аналитики, работающие в одном подразделении или отделе, часто имеют схожий менталитет. Прошлый опыт рассмотрения отчета аналитиками из других отделов или управлений свидетельствует о том, что показывает, что критически мыслящие люди, обладающие опытом в других областях, вносят значительный вклад. Они часто видят вещи или задают вопросы, которые автор не видел или не задавал. Поскольку они не так поглощены содержанием, им легче выявить допущения и оценить аргументацию, внутреннюю последовательность, логику и связь доказательств с выводами. Рецензенты также извлекают пользу из этого опыта, изучая стандарты хорошего анализа, которые не зависят от предмета анализа.
Направляющие аналитические продукты
В ключевых вопросах руководству следует отказаться от анализа по одному результату - то есть от сосредоточения внимания на том, что, по мнению аналитика, вероятно, произойдет или скорее всего произойдет. Когда мы не можем допустить ошибку или когда обман является серьезной возможностью, руководству следует рассмотреть вопрос о введении систематического аналитического процесса, подобного тому, который описан в главе 8 "Анализ конкурирующих гипотез". От аналитиков следует требовать, чтобы они указывали альтернативные варианты, которые рассматривались, обосновывали, почему эти варианты считаются менее вероятными, и четко определяли степень вероятности того, что события могут развиваться не так, как ожидалось.
Даже если аналитик твердо уверен, что вероятность того, что что-то произойдет, составляет, скажем, три к одному, это оставляет 25-процентную вероятность того, что это произойдет. Если сделать это явным, то это поможет лучше определить проблему для разработчика политики. Заслуживает ли эта 25-процентная вероятность какой-то формы непрерывного планирования?
Если менее вероятной гипотезой окажется, например, что новое правительство Индии действительно выполнит свое предвыборное обещание провести испытания ядерного оружия, как это недавно произошло, то даже 25-процентной вероятности может оказаться достаточно, чтобы привести технические системы сбора данных в повышенную готовность.
Вербальные выражения неопределенности - такие как "возможно", "вероятно", "не вероятно", "может" и "мог бы" - давно признаны источниками двусмысленности и непонимания. Сами по себе большинство словесных выражений неопределенности являются пустыми оболочками. Читатель или слушатель наполняет их смыслом через контекст, в котором они используются, и то, что уже есть в голове у читателя или слушателя по этому вопросу. Интерпретация потребителем разведывательной информации неточных вероятностных суждений всегда будет предвзята в пользу согласованности с тем, во что читатель уже верит. Это означает, что разведывательные сообщения будут недооценены и не окажут большого влияния на суждение потребителя. Эта двусмысленность может быть особенно тревожной, когда речь идет о маловероятных и высокоэффективных опасностях, против которых политики, возможно, захотят разработать планы на случай непредвиденных обстоятельств.
Руководители разведывательного анализа должны донести до аналитиков, что быть неопределенным - это нормально, если они четко информируют читателей о степени неопределенности, источниках неопределенности и о том, за какими событиями следует следить, чтобы прояснить ситуацию. Вставка коэффициентов вероятности или числовых диапазонов вероятности в скобках для разъяснения ключевых моментов анализа должна стать стандартной практикой.
Вероятность будущих сюрпризов можно снизить, если руководство выделит больше ресурсов на мониторинг и анализ, казалось бы, маловероятных событий, которые в случае их наступления окажут значительное влияние на политику США. Аналитики часто не хотят по собственной инициативе посвящать время изучению событий, которые, по их мнению, не произойдут. Обычно это не способствует карьере аналитика, хотя может разрушить карьеру, если не предполагаемое произойдет. Учитывая ежедневное давление текущих событий, руководителям и аналитикам необходимо четко определить, какие маловероятные, но имеющие большое влияние события необходимо анализировать, и выделить ресурсы для их освещения.
Одним из рекомендаций по выявлению маловероятных событий, которые заслуживают особого выделения ресурсов, является следующий вопрос: Являются ли шансы на то, что это произойдет, пусть даже небольшие, достаточными для того, чтобы, если бы политики полностью осознали риски, они захотели бы разработать планы на случай непредвиденных обстоятельств или предпринять какие-либо превентивные или упреждающие действия? Если ответ положительный, необходимо выделить ресурсы для анализа даже того, что кажется маловероятным.
Руководители разведки должны поддерживать анализ, который периодически пересматривает ключевые проблемы с нуля, чтобы избежать недостатков инкрементального подхода. Получение информации небольшими порциями с течением времени облегчает ее усвоение аналитиком в соответствии с его существующими взглядами. Ни один элемент информации не может быть достаточным для того, чтобы побудить аналитика изменить прежнее мнение. Совокупное послание, содержащееся во многих частях информации, может быть значительным, но оно ослабляется, когда эта информация не рассматривается как единое целое.
Наконец, руководство должно просвещать потребителей относительно ограничений и возможностей разведывательного анализа и определять набор реалистичных ожиданий в качестве стандарта, по которому можно судить о результатах аналитической деятельности.
Итоги
Анализ можно улучшить! Ни одна из мер, обсуждаемых в этой книге, не гарантирует, что из неполной и неоднозначной информации, с которой обычно работают аналитики разведки, будут сделаны точные выводы. Следует ожидать, что иногда разведка будет терпеть неудачи. Однако в совокупности обсуждаемые здесь меры, безусловно, могут повысить шансы аналитиков.
ТЕЛЕГРАМКанал с обзорами, анонсами новинок и книжными подборками
Книжный Вестник
Бот для удобного поиска книг (если не нашлось на сайте)
Поиск книг
Свежие любовные романы в удобных форматах
Любовные романы
О психологии, саморазвитии и личностном росте
Саморазвитие
Детективы и триллеры, все новинки
Детективы
Фантастика и фэнтези, все новинки
Фантастика
Отборные классические книги
Классика
ВКОНТАКТЕБиблиотека с любовными романами, которая наверняка придётся по вкусу женской части аудитории
Любовные романы
Библиотека с фантастикой и фэнтези, а также смежных жанров
Фантастика
Самые популярные книги в формате фб2
Топ фб2
книги