Structured Analytic Techniques for Intelligence Analysis

Истоки этой техники

Анализ "Красная шляпа", "Красная ячейка" и "Красная команда" стал популярен во времена холодной войны, когда "красный цвет" символизировал Советский Союз, и он по-прежнему широко применим. Это описание Red Hat Analysis является модифицированной версией описания, приведенного в книге Randolph H. Pherson, Handbook of Analytic Tools and Techniques (Reston, VA: Pherson Associates, 2008).

ВНЕШНЕЕ МЫШЛЕНИЕ

Мышление "изнутри" определяет широкий спектр глобальных, политических, экологических, технологических, экономических или социальных сил и тенденций, которые находятся вне сферы компетенции аналитика, но могут оказать глубокое влияние на интересующий его вопрос. Многие аналитики склонны мыслить "изнутри наружу", концентрируясь на факторах в своей конкретной сфере ответственности, с которыми они наиболее хорошо знакомы.

Когда использовать

Эта техника наиболее полезна на ранних этапах аналитического процесса, когда аналитикам необходимо выявить все критические факторы, которые могут объяснить то или иное событие или повлиять на развитие конкретной ситуации. Она должна стать частью стандартного процесса для любого проекта, в котором анализируются потенциальные будущие результаты, поскольку этот подход охватывает более широкий контекст окружающей среды, из которого часто возникают неожиданности и непредвиденные последствия.

Мышление "извне" также полезно, если собирается большая база данных и необходимо проверить, не было ли упущено какое-либо важное поле в архитектуре базы данных. В большинстве случаев важные категории информации (или поля базы данных) легко выявляются на ранних этапах исследовательской работы, но неизменно одно или два дополнительных поля появляются после того, как аналитик или группа аналитиков уже далеко зашли в проект, что заставляет их возвращаться назад и просматривать все предыдущие файлы, перекодируя их с учетом новой записи. Как правило, упущенные из виду поля находятся в более широкой среде, которую аналитики практически не контролируют. Применяя "внешнее мышление", аналитики могут лучше представить себе весь набор полей данных на ранних этапах исследовательской работы.

Добавленная стоимость

Большинство аналитиков сосредоточены на привычных факторах в рамках своей специализации, но мы живем в сложном, взаимосвязанном мире, где на события в нашей маленькой нише этого мира часто влияют силы в более широкой среде, над которыми мы не имеем контроля. Цель Outside-In Thinking - помочь аналитикам получить полную картину, а не только ту ее часть, с которой они уже знакомы.

Мышление "извне" снижает риск упустить важные переменные на ранних этапах аналитического процесса, сосредоточившись на узком диапазоне альтернатив, представляющих лишь незначительные изменения. Оно побуждает аналитиков переосмыслить проблему или вопрос, используя более широкую концептуальную схему. Эта техника проиллюстрирована на Рисунок 8.5 . Забрасывая сеть в самом начале, аналитики с большей вероятностью увидят важную динамику или включат соответствующую альтернативную гипотезу. Этот процесс может дать новые идеи и раскрыть взаимосвязи, которые не были очевидны из разведывательной информации. При этом техника помогает аналитикам мыслить категориями, выходящими за рамки повседневной отчетности. Она стимулирует их к решению проблемы отсутствия информации и выявлению более фундаментальных сил и факторов, которые следует учитывать.

Рисунок 8.5 Анализ "изнутри наружу" в сравнении с подходом "снаружи внутрь

Источник: 2009 Pherson Associates, LLC.

Метод

Составьте общее описание проблемы или явления, которое предстоит изучить.

Сформируйте группу, чтобы провести мозговой штурм ключевых сил и факторов, которые могут повлиять на тему, но на которые субъект не может оказать практически никакого влияния, например, глобализация, появление новых технологий, исторические прецеденты и растущее влияние социальных сетей.

Используйте мнемонику STEEP + 2, чтобы вызвать новые идеи (социальные, технические, экономические, экологические и политические, а также военные и психологические).

Перейдите на более низкий уровень анализа и перечислите ключевые факторы, в отношении которых имеется определенный опыт.

Оцените, как именно каждая из этих сил и факторов может повлиять на проблему.

Определите, действительно ли эти силы и факторы оказывают влияние на рассматриваемый вопрос, основывая свой вывод на имеющихся доказательствах.

Разработка новых задач по сбору разведданных или приоритетных исследований для восполнения пробелов в информации.

Взаимосвязь с другими техниками

Outside-In Thinking - это, по сути, то же самое, что и техника бизнес-анализа, которая обозначается разными аббревиатурами, например STEEP, STEEPLED, PEST или PESTLE. Например, PEST - это аббревиатура, обозначающая политические, экономические, социальные и технологические факторы, а STEEPLED - юридические, этические и демографические. Все они требуют анализа внешних факторов, которые могут оказать благоприятное или неблагоприятное влияние на организацию.

Истоки этой техники

Эта техника используется в планировании и управлении, чтобы убедиться, что внешние факторы, которые могут повлиять на результат, были определены. Описанная здесь методика Outside-In Thinking взята из книги Randolph H. Pherson, Handbook of Analytic Tools and Techniques (Reston, VA: Pherson Associates, LLC, 2008).

1. Дэвид Робертс, "Рассуждения: Ошибки в причинно-следственных связях", http://writing2.richmond.edu/WRITING/wweb/reason2b.html .

2. Стюарт К. Кард, "Наука аналитического мышления", в книге "Освещая путь: The Research and Development Agenda for Visual Analytics, ed. James J. Thomas and Kristin A. Cook (Richland, WA: Национальный центр визуализации и аналитики, Тихоокеанская северо-западная национальная лаборатория, 2005), http://nvac.pnl.gov/agenda.stm .

3. Кестен С. Грин, "Теория игр, моделируемое взаимодействие и неопределенное суждение для прогнозирования решений в конфликтах", Международный журнал прогнозирования 21 (июль-сентябрь 2005 г.): 463-472; Kesten C. Грин, "Прогнозирование решений в конфликтных ситуациях: Сравнение теории игр, ролевой игры и неопределенного суждения", Международный журнал прогнозирования 18 (июль-сентябрь 2002 г.): 321-344.

4. Там же.

5. Эту технику не следует путать с техникой "Шесть шляп мышления" Эдварда де Боно.

6. См. обсуждение рефрейминга во введении к главе 9 .

7. Описание того, как проводить Red Hat Analysis, было обновлено со времени публикации первого издания, чтобы учесть соображения, высказанные Тоддом Сирсом, бывшим аналитиком DIA, который отметил, что зеркальное отражение вряд ли можно преодолеть, просто привлекая внимание аналитиков к этой проблеме. Ценность такой структурированной методики, как Red Hat Analysis, заключается в том, что она требует от аналитиков сначала подумать о том, что побудит их действовать, прежде чем объяснить, почему иностранный противник будет действовать по-другому.

8. Ричардс Дж. Хойер-младший, Психология разведывательного анализа (Вашингтон, округ Колумбия: Центр ЦРУ по изучению разведки, 1999; переиздано Pherson Associates, LLC, 2007), 134-138.

9.Анализ проблем

Анализ "холендж" включает в себя набор аналитических приемов, которые также называют контрарным анализом, альтернативным анализом, конкурентным анализом, анализом "красной команды" и "защитой дьявола". Общим для всех этих методов является цель бросить вызов устоявшейся ментальной модели или аналитическому консенсусу, чтобы расширить диапазон возможных объяснений или оценок, которые серьезно рассматриваются. Тот факт, что одну и ту же деятельность называют столь разными именами, говорит о том, что существует определенное концептуальное разнообразие в отношении того, как и почему используются эти техники и чего можно достичь с их помощью.

В разведывательном сообществе США широко признают, что неспособность поставить под сомнение общепринятое суждение или давно сложившуюся модель мышления была постоянной чертой большинства значительных провалов разведки. Посмертный анализ практически всех крупных провалов американской разведки со времен Перл-Харбора выявил ментальную модель аналитика (mindset) в качестве ключевого фактора, способствовавшего провалу. Ситуация изменилась, но ментальная модель аналитика, основанная на прошлом опыте, не поспевала за этими изменениями или не осознавала всех их последствий.

Эта череда аналитических неудач породила дискуссию о "парадоксе экспертизы".1 Эксперты могут быть последними, кто признает реальность и значимость перемен. Например, немногие специалисты по Ближнему Востоку предвидели "арабскую весну", немногие эксперты по Советскому Союзу предвидели его распад, а эксперты по Германии последними признали, что Германия будет воссоединена. Если вернуться к Корейской войне, то эксперты по Китаю говорили, что Китай не вступит в войну, пока он не вступил.

Как мы уже отмечали в главе 1 , ментальную модель аналитика можно рассматривать как дистилляцию всего, что он знает о том, как обычно работают вещи в определенной стране или конкретной научной области. Она подсказывает аналитику, иногда подсознательно, что искать, что важно и как интерпретировать то, что он или она видит. Ментальная модель, сформированная благодаря образованию и опыту, выполняет важную функцию: именно она позволяет аналитику ежедневно давать достаточно хорошие интуитивные оценки или предположения о том, что происходит или может произойти.

Мы попадаем в беду не из-за того, что не знаем, а из-за того, что точно знаем, что это не так.

-Марк Твен, американский писатель и юморист

Проблема заключается в том, что модель мышления, которая ранее давала точные оценки и расчеты в течение многих лет, может медленно меняться. Новая информация, поступающая постепенно с течением времени, легко ассимилируется в существующую ментальную модель, поэтому значение постепенных изменений со временем легко упустить. Человеку свойственно видеть будущее как продолжение прошлого. Как правило, основные тенденции и события развиваются медленно, и будущее часто предвидят опытные аналитики. Однако жизнь не всегда складывается таким образом. Самые значительные провалы разведки были связаны с неспособностью предвидеть исторические разрывы, когда история поворачивает и меняет направление. То же самое можно сказать и об экономических экспертах, которые не смогли предвидеть финансовый кризис в США в 2010 году.

Такие удивительные события невозможно предвидеть, если только не представить их себе, чтобы начать смотреть на мир с другой точки зрения. Именно об этом и пойдет речь в данной главе - о техниках, позволяющих аналитику, а в конечном итоге и потребителю разведданных или бизнес-клиенту, оценивать события с другой точки зрения - другими словами, с помощью другой ментальной модели.

Есть и еще одно логическое обоснование необходимости постоянно бросать вызов общепринятому мнению. Бывший директор ЦРУ Майкл Хейден заявил, что "наша профессия имеет дело с предметами, которые по своей сути неоднозначны и часто намеренно скрываются. Даже когда мы находимся на вершине своей игры, мы можем предложить политикам понимание, мы можем обеспечить контекст и дать им более четкое представление о рассматриваемом вопросе, но мы не можем претендовать на уверенность в своих суждениях". Директор также отметил, что семь раз из десяти можно рассчитывать на то, что все будет правильно.2

Оценка директора Хайдена в семи случаях из десяти подтверждается беглым взглядом на словесные выражения вероятности, используемые в отчетах разведки. "Вероятно", похоже, является наиболее распространенным словесным выражением вероятности оценки или предположения. К сожалению, в разведывательном сообществе нет единого мнения о том, что означает "вероятный" и другие словесные выражения вероятности, когда они переводятся в числовые проценты. Для обсуждения здесь мы принимаем определение "вероятного", данное Шерманом Кентом, как означающее "75 % плюс-минус 12 %".3 Это означает, что аналитические суждения, описанные как "вероятные", должны быть верными примерно в 75 процентах случаев и, следовательно, неверными или не соответствующими цели примерно в 25 процентах случаев.

Поэтому логично ожидать, что одно из каждых четырех суждений, которые аналитики разведки называют "вероятными", окажется ошибочным. Такая точка зрения расширяет рамки того, чего может достичь анализ проблем. Он не должен сводиться к тому, чтобы подвергнуть сомнению доминирующую точку зрения, чтобы убедиться в ее правильности. Даже если анализ проблем подтверждает первоначальное суждение о вероятности, он должен идти дальше и стремиться лучше понять остальные 25 процентов. При каких обстоятельствах может быть иная оценка или результат, что это будет, что будет свидетельствовать о том, что события развиваются в альтернативном направлении, насколько это вероятно и каковы будут последствия? Как мы обсудим в следующей главе , посвященной управлению конфликтами, понимание этих вероятностей должно снизить частоту непродуктивных конфликтов между противоположными точками зрения. Аналитики, признающие, что вероятность ошибиться составляет один к четырем, должны быть, по крайней мере, открыты к рассмотрению альтернативных оценок или расчетов, чтобы учесть остальные 25 процентов.

В этой главе описаны три типа техник анализа проблем: самокритика, критика других и получение критики от других:

Самокритика: Две техники, которые помогают аналитикам бросить вызов собственному мышлению, - это предсмертный анализ и структурированная самокритика. Эти техники могут противостоять давлению конформизма или консенсуса, которое часто подавляет выражение инакомыслия в аналитической команде или группе. Мы адаптировали "Предсмертный анализ" из мира бизнеса и применили его к аналитическому процессу в более широком смысле.

Критика других: Аналитики могут использовать анализ "Что если? Анализ "Что если?" или анализ "Высокое воздействие/низкая вероятность", чтобы тактично поставить под сомнение общепринятую точку зрения, обосновав альтернативное объяснение или результат.

Критика со стороны других: Для поиска критики со стороны других людей существует несколько техник. Известный пример - "Адвокатура дьявола". Термин "Красная команда" используется для описания группы, которой поручено занять позицию противника. Метод Дельфи - это структурированный процесс получения мнений от группы внешних экспертов.

ТЕХНИКИ РЕФРЕЙМИНГА

Три техники, описанные в этой главе, работают с помощью процесса, называемого рефреймингом. Фрейм - это любая когнитивная структура, которая направляет восприятие и интерпретацию того, что человек видит. Ментальная модель того, как все обычно работает, может рассматриваться как фрейм, через который аналитик видит и интерпретирует доказательства. Человек или группа людей могут изменить свою систему координат и, таким образом, поставить под сомнение свое собственное представление о проблеме, просто изменив вопросы, которые они задают, или изменив перспективу, с которой они задают вопросы. Аналитики могут использовать эту технику рефрейминга, когда им нужно генерировать новые идеи, когда они хотят посмотреть на старые идеи с новой точки зрения, или в любое другое время, когда они чувствуют необходимость в свежем мышлении.4

Рефрейминг помогает аналитикам вырваться из ментальной колеи, активируя другой набор синапсов в их мозге. Чтобы понять силу рефрейминга и то, почему он работает, необходимо немного знать о том, как устроен человеческий мозг. Считается, что в мозге насчитывается около 100 миллиардов нейронов, каждый из которых похож на компьютерный чип, способный хранить информацию. Каждый нейрон имеет похожие на осьминога отростки, называемые аксонами и дендритами. По ним проходят электрические импульсы, которые переносятся нейромедиаторами через синаптические щели между нейронами. Когда два нейрона активируются, связи, или синапсы, между ними укрепляются. Чем чаще активируются одни и те же нейроны, тем сильнее связь между ними.

Как только человек начинает думать о проблеме одним способом, те же самые ментальные цепи или пути активируются и укрепляются каждый раз, когда он думает о ней. Преимущество такого подхода заключается в том, что он облегчает поиск информации, которую человек хочет запомнить. Недостатком является то, что эти пути превращаются в ментальные колеи, которые затрудняют восприятие информации с другой точки зрения. Когда аналитик приходит к какому-то суждению или решению, этот мыслительный процесс закрепляется в его мозгу. Каждый раз, когда аналитик думает об этом, срабатывают одни и те же синапсы, и мысли аналитика, как правило, идут по одному и тому же избитому пути через мозг. Получение одного и того же ответа каждый раз, когда человек думает об этом, укрепляет уверенность, а зачастую и чрезмерную уверенность в этом ответе.

Другой способ понять этот процесс - сравнить эти ментальные колеи с маршрутом, который прокладывает лыжник в поисках наилучшего пути вниз с горной вершины (см. Рисунок 9.0 ). После нескольких спусков лыжник определил идеальный путь и, скорее всего, так и застрянет в этой колее, если другие стимулы или препятствия не заставят его вырваться и исследовать новые возможности.

К счастью, открыть сознание, чтобы думать по-другому, довольно легко, и техники, описанные в этой главе, призваны выполнять эту функцию. Хитрость заключается в том, чтобы переформулировать вопрос, задачу или проблему с другой точки зрения, которая активирует другой набор синапсов в мозге. Каждое из трех описанных в этой главе применений рефрейминга делает это по-своему. В предсмертном анализе аналитиков просят представить себя в какой-то будущий момент времени, после того как они только что узнали, что предыдущий анализ оказался совершенно неверным. Задача состоит в том, чтобы выяснить, как и почему все могло пойти не так. Структурированная самокритика просит группу аналитиков переключиться с роли защитника на роль критика, чтобы изучить потенциальные недостатки предыдущего анализа. Такое изменение роли может дать аналитикам возможность выразить озабоченность по поводу консенсусного мнения, которая ранее могла быть подавлена. Что если? Анализ просит аналитика представить, что произошло какое-то маловероятное событие, а затем объяснить, как оно могло произойти и каковы его последствия.

Эти техники, как правило, более эффективны в небольшой группе, чем при работе с одним аналитиком. Их эффективность во многом зависит от того, насколько полно и с энтузиазмом участники группы принимают воображаемую или альтернативную роль, которую они играют. Простое исполнение роли имеет ограниченную ценность.

ОБЗОР МЕТОДИК

Предсмертный анализ снижает риск аналитического сбоя, выявляя и анализируя потенциальный сбой до его возникновения. Представьте себя через несколько лет в будущем. Вы вдруг узнаете из авторитетного источника, что ваш анализ, оценка или стратегический план были ошибочными. Затем представьте, что могло произойти, чтобы стать причиной ошибки. Заглянуть в будущее, чтобы объяснить произошедшее, гораздо проще, чем заглянуть в будущее, чтобы предсказать, что произойдет, и это упражнение помогает выявить проблемы, которых вы не предвидели.

Структурированная самокритика - это процедура, которую небольшая команда или группа использует для выявления слабых мест в собственном анализе. Все члены команды или группы надевают гипотетическую черную шляпу и становятся критиками, а не сторонниками собственного анализа. С этой противоположной точки зрения они отвечают на список вопросов об источниках неопределенности, использованных аналитических процессах, критических допущениях, диагностичности доказательств, аномальных доказательствах, информационных пробелах, изменениях в широкой среде, в которой происходят события, альтернативных моделях принятия решений, наличии культурного опыта и индикаторах возможного обмана. Изучая ответы на эти вопросы, команда заново оценивает свою общую уверенность в собственных суждениях.

Анализ "Что если? Анализ - важная техника, позволяющая обратить внимание лиц, принимающих решения, на событие, которое может произойти или уже происходит, даже если в данный момент оно может показаться маловероятным. Это тактичный способ указать лицам, принимающим решения, на возможность того, что они могут ошибаться. Что если? Анализ выполняет функцию, схожую с функцией анализа сценариев, - он создает осознание, которое готовит разум к распознаванию ранних признаков значительных изменений, и может позволить лицу, принимающему решение, заранее спланировать действия на случай непредвиденных обстоятельств. Аналитик представляет себе, что событие произошло, а затем думает, как оно могло бы развиваться.

Анализ высокого воздействия/низкой вероятности используется для того, чтобы обратить внимание аналитиков и лиц, принимающих решения, на возможность того, что событие с низкой вероятностью действительно может произойти, и побудить их задуматься о мерах, которые можно принять для устранения опасности или использования возможностей в случае его наступления. Аналитик предполагает, что событие произошло, а затем выясняет, как оно могло произойти и каковы могут быть его последствия.

Адвокатура дьявола - это техника, при которой человек, назначенный "адвокатом дьявола", обычно ответственным лицом, приводит наилучшие возможные аргументы против предлагаемого аналитического суждения, плана или решения.

Анализ "красной команды", как описано здесь, - это любой проект, инициированный руководством для привлечения специализированных знаний, культурных или аналитических навыков, необходимых для опровержения общепринятых представлений о том, как противник или конкурент думает о каком-либо вопросе. См. также Red Hat Analysis в в главе 8 .

Метод Дельфи - это процедура получения идей, суждений или прогнозов в электронном виде от географически распределенной группы экспертов. Это проверенная временем, чрезвычайно гибкая процедура, которую можно использовать по любой теме, в которую может внести свой вклад экспертная оценка. Она включена в эту главу, потому что может использоваться для выявления расхождений во мнениях, которые бросают вызов общепринятой мудрости. Ее также можно использовать в качестве перепроверки результатов любого исследования. Если два анализа, проведенные разными аналитиками, использующими разные методики, приходят к одному и тому же выводу, это дает основания для значительного повышения уверенности в этом выводе. Если же два вывода расходятся, это тоже ценная информация, которая может открыть новое направление исследований.

ПОСМЕРТНЫЙ АНАЛИЗ

Цель предсмертного анализа - снизить риск неожиданности и последующей необходимости посмертного расследования того, что пошло не так. Это простая в использовании техника, которая позволяет группе аналитиков, работавших вместе над любым типом перспективного анализа или проекта, эффективно оспорить точность собственных выводов. Это специфическое применение метода рефрейминга, при котором повторное изложение вопроса, задачи или проблемы с другой точки зрения позволяет увидеть ситуацию по-другому и предложить другие идеи.

Когда использовать

Предсмертный анализ должен использоваться аналитиками, которые могут посвятить несколько часов тому, чтобы проверить свои собственные аналитические выводы о будущем и понять, где они могут быть ошибочными. Его может использовать один аналитик, но, как и все структурированные аналитические техники, он наиболее эффективен при использовании в небольшой группе.

Впервые премортем в качестве аналитического пособия в контексте анализа решений использовал Гэри Кляйн в своей книге 1998 года "Источники власти: как люди принимают решения". Он сообщил, что использовал его в обучающих программах, чтобы показать лицам, принимающим решения, что они, как правило, слишком уверены в том, что их решения и планы сработают. После того как участники тренинга формулировали план действий, их просили представить, что прошло несколько месяцев или лет, и их план был реализован, но не сработал. Затем их попросили описать, как он мог провалиться, несмотря на их первоначальную уверенность в плане. Испытуемые могли легко придумать множество объяснений неудаче, но ни одна из этих причин не была сформулирована, когда план был впервые предложен и разработан.

Это задание дало слушателям доказательства их излишней самоуверенности, а также продемонстрировало, что стратегия Premortem может быть использована для расширения числа интерпретаций и объяснений, которые рассматривают лица, принимающие решения. Клейн объясняет: "Мы придумали упражнение, чтобы вывести их из состояния, когда они защищают свой план и ограждают себя от недостатков. Мы попытались дать им перспективу, в которой они будут активно искать недостатки в своем собственном плане".5 Кляйн сообщил, что его стажеры продемонстрировали "гораздо более высокий уровень откровенности" при оценке собственных планов после того, как их ознакомили с упражнением Premortem, по сравнению с другими, более пассивными попытками побудить их к самокритике собственных планов.6

Добавленная стоимость

Важно понять, что именно в подходе "Посмертный анализ" помогает аналитикам выявить потенциальные причины ошибок, на которые раньше не обращали внимания. Вкратце, здесь действуют два творческих процесса. Во-первых, вопросы переосмысливаются - это упражнение обычно вызывает ответы, отличные от первоначальных. Задавая вопросы на одну и ту же тему, но с другой точки зрения, вы открываете новые пути в мозге, как мы отмечали во введении к этой главе. Во-вторых, подход Premortem узаконивает инакомыслие. По разным причинам многие члены малых групп подавляют инакомыслие, что приводит к преждевременному консенсусу. В предсмертном анализе всех аналитиков просят внести позитивный вклад в достижение целей группы, выявив слабые места в предыдущем анализе.

Исследования показали, что одной из важных причин плохого принятия групповых решений является стремление к консенсусу. Это стремление может привести к преждевременному завершению работы и согласию с мнением большинства, независимо от того, правильным или неправильным оно считается. Попытки повысить творческий потенциал группы и улучшить процесс принятия решений часто направлены на то, чтобы обеспечить представление группе и рассмотрение более широкого спектра информации и мнений.7

Члены группы склонны соглашаться с лидером группы, с первым членом группы, занявшим определенную позицию, или с формирующейся точкой зрения большинства по многим причинам. Самым благотворным является общепринятое правило, согласно которому, когда у нас нет твердого мнения, мы ориентируемся на мнение других. Мы следуем за другими, потому что считаем (часто справедливо), что они знают, что делают. Аналитики также могут опасаться, что их мнение будет критически оценено другими, или что несогласие будет воспринято как нелояльность, или как препятствие на пути прогресса, из-за которого совещание просто затянется.

В откровенной газетной колонке, написанной задолго до того, как он стал директором ЦРУ, Леон Панетта написал, что "неофициальное правило бюрократии гласит: "чтобы получить возможность идти вместе, нужно идти вместе". Другими словами, даже когда очевидно, что совершаются ошибки, о них не решаются сообщать, опасаясь возмездия или неловкости. Это касается всех уровней, включая советников президента. В результате возникает менталитет "не делай волн"... это просто еще один факт жизни, с которым приходится мириться в большой бюрократии".8

Важная ценность посмертного анализа заключается в том, что он узаконивает инакомыслие. Члены команды, которые раньше могли подавлять вопросы или сомнения из-за недостатка уверенности в себе, благодаря этой технике получают возможность выразить ранее скрытые несовпадающие мысли. При правильном подходе к этому изменению перспективы каждый член команды будет знать, что он привносит в работу ценность, поскольку критикует предыдущее суждение, а не поддерживает его.

Это не фанатизм - быть уверенным в своей правоте; но фанатизм - это неспособность представить, как мы могли ошибиться.

-Г. К. Честертон, английский писатель

Метод

Лучше всего проводить "Предсмертный анализ" вскоре после того, как группа пришла к выводу о плане действий, но до того, как была проведена серьезная работа по составлению отчета. Если члены группы еще не знакомы с техникой Premortem, руководитель группы, другой член группы или фасилитатор делает заявление примерно следующего содержания: "Итак, мы думаем, что знаем правильный ответ, но нам нужно перепроверить его. Чтобы освободить наш разум для рассмотрения других возможностей, давайте представим, что мы вынесли это суждение, наш отчет прошел и был принят, и теперь, х месяцев или лет спустя, мы получаем доступ к хрустальному шару. Заглянув в этот шар, мы узнаем, что наш анализ был ошибочным, и все сложилось совсем не так, как мы ожидали. Теперь, работая с этой точки зрения в будущем, давайте включим наше воображение и проведем мозговой штурм, что могло произойти, чтобы наш анализ оказался потрясающе неверным".

В идеале для обсуждения премортем следует отвести отдельную встречу, чтобы у участников было время подумать о том, что могло произойти, чтобы аналитическое суждение оказалось неверным. Можно попросить их принести на встречу список вещей, которые могли пойти не так, как ожидалось. Чтобы задать тон встрече Premortem, аналитикам следует посоветовать не сосредотачиваться только на гипотезах, предположениях и ключевых доказательствах, которые уже обсуждались во время групповых встреч. Скорее, они должны взглянуть на ситуацию с точки зрения своего собственного жизненного опыта. Они должны подумать о том, как быстро меняется мир, как много правительственных программ оказываются неудачными или имеют непредвиденные последствия, или о том, как трудно смотреть на вещи с точки зрения чужой культуры. Такой тип мышления может задействовать разные части мозга аналитиков, когда они будут размышлять о том, что могло пойти не так в их анализе. Для этой цели также может быть полезно мышление извне ( , глава 8 ).

На предварительной встрече руководитель группы или фасилитатор записывает идеи на доске или флипчарте. Чтобы не допустить доминирования одного человека при представлении идей, можно использовать вариант мозгового штурма в номинальной группе. При этом фасилитатор обходит комнату по кругу, забирая по одной идее у каждого участника, пока все не представят все идеи из своих списков. (См. раздел "Техника номинальной группы" в , глава 5 .) После того как все идеи вывешены на доску и видны всем, группа обсуждает, что она узнала из этого упражнения и какие действия, если таковые имеются, ей следует предпринять. Генерацию и первоначальное обсуждение идей часто можно провести за одно двухчасовое собрание, что является небольшим вложением времени в систематический вызов мышлению группы.

Одним из ожидаемых результатов является более глубокое осознание неопределенности, присущей любой оценке будущего. Другим результатом может стать выявление индикаторов, которые, если их заметить, обеспечат раннее предупреждение о том, что события развиваются не так, как ожидалось. Такие выводы могут привести к изменению существующей аналитической системы.

Если предсмертный анализ заставляет группу пересмотреть и пересмотреть свои аналитические суждения, вопросы, показанные на Рисунок 9.1 , являются хорошей отправной точкой. Более подробный набор вопросов для самокритики см. в обсуждении структурированной самокритики, которая предполагает изменение роли человека с защитника на критика своего предыдущего анализа.

Предсмертный анализ может выявить проблемы, условия или альтернативы, которые требуют переосмысления первоначальной позиции группы. В таком случае предварительный анализ выполнил свою работу, обратив внимание группы на то, что у нее есть проблема, но он не обязательно говорит группе, в чем именно заключается проблема или как ее решить. Это выходит за рамки компетенции Premortem. Premortem делает начало, предупреждая группу о том, что у нее есть проблема, но он не проводит систематической оценки вероятности того, что это произойдет; он также не оценивает другие возможные источники аналитических ошибок и не проводит всестороннюю оценку альтернативных вариантов действий.

Взаимосвязь с другими техниками

Если предсмертный анализ выявляет значительную проблему, естественной последующей техникой для ее решения является структурированная самокритика, описанная в следующем разделе .

Рисунок 9.1 Структурированная самокритика: Ключевые вопросы

Источник: 2009 Pherson Associates, LLC.

Истоки этой техники

Предсмертный анализ был первоначально разработан Гэри Кляйном для обучения менеджеров распознавать свою привычную самоуверенность в том, что их планы и решения приведут к успеху. Авторы адаптировали "Предсмертный анализ" и переосмыслили его как технику анализа разведданных. Оригинальную литературу по этой теме см. в Gary Klein, Sources of Power: How People Make Decisions (Cambridge, MA: MIT Press, 1998); Klein, Intuition at Work: Why Developing Your Gut Instinct Will Make You Better at What You Do (New York: Doubleday, 2002); и Klein, "Performing a Project PreMortem", Harvard Business Review (September 2007).

СТРУКТУРИРОВАННАЯ САМОКРИТИКА

Структурированная самокритика - это систематическая процедура, которую небольшая команда или группа может использовать для выявления слабых мест в собственном анализе. Все члены команды или группы надевают гипотетическую черную шляпу и становятся критиками, а не сторонниками собственного анализа. С этой противоположной точки зрения они отвечают на список вопросов об источниках неопределенности, использованных аналитических процессах, критических допущениях, диагностичности доказательств, аномальных доказательствах, информационных пробелах, изменениях в широкой среде, в которой происходят события, альтернативных моделях принятия решений, доступности культурных знаний и индикаторах возможного обмана. Анализируя ответы на эти вопросы, команда заново оценивает свою общую уверенность в собственных суждениях.

Начните оспаривать свои собственные предположения. Ваши предположения - это ваши окна в мир. Время от времени протирайте их, иначе свет не проникнет внутрь.

-Алан Алда, американский актер

Когда использовать

Вы можете продуктивно использовать структурированную самокритику для поиска слабых мест в любом аналитическом объяснении событий или оценке будущего. Особенно рекомендуется использовать ее в следующих случаях:

Следующий шаг, если посмертный анализ вызывает нерешенные вопросы относительно какого-либо предполагаемого будущего результата или события.

В качестве перепроверки перед публикацией любого важного продукта, такого как National Intelligence Estimate или корпоративный стратегический план.

В качестве одного из подходов к разрешению конфликтующих мнений (о чем говорится в главе 10 в разделе "Состязательное сотрудничество").

Время, необходимое для работы над структурированной самокритикой, будет сильно зависеть от того, насколько тщательно был проведен предыдущий анализ. Вопросы, перечисленные в методике, как описано далее в этом разделе, на самом деле являются лишь предписанием для тщательного анализа. В той мере, в какой эти вопросы были изучены в ходе первоначального анализа, время, необходимое для Структурированной самокритики, сокращается. Если же эти вопросы задаются впервые, процесс займет больше времени. По мере того как аналитики приобретают опыт работы со структурированной самокритикой, они могут испытывать меньшую потребность в некоторых ее частях, поскольку эти части уже усвоены и были сделаны в ходе первоначального анализа (как и должно было быть).

Добавленная стоимость

Когда людям задают вопросы на одну и ту же тему, но с другой точки зрения, они часто дают ответы, отличные от тех, которые они давали раньше. Например, если члена команды спрашивают, поддерживает ли он или она выводы команды, ответ обычно будет "да". Однако если всех членов команды попросят найти слабые места в аргументации команды, этот член может дать совсем другой ответ.

Это изменение системы координат призвано изменить динамику группы. Критическая точка зрения всегда должна порождать более критические идеи. Члены команды, которые раньше, возможно, подавляли вопросы или сомнения из-за недостатка уверенности или желания быть хорошими командными игроками, теперь получают возможность высказать эти несовпадающие мысли. При правильном подходе к изменению точки зрения все члены команды будут знать, что они выигрывают очки у своих коллег за то, что критически оценили предыдущее суждение, а не за то, что поддержали его.

Метод

Начните с того, что еще раз подчеркните, что все аналитики в группе теперь носят черную шляпу. Они теперь критики, а не защитники, и теперь их будут оценивать по их способности находить слабые места в предыдущем анализе, а не по их поддержке предыдущего анализа. Затем проработайте следующие темы или вопросы:

Источники неопределенности: определите источники и типы неопределенности, чтобы установить разумные ожидания того, что команда может ожидать получить. Следует ли ожидать, что будут найдены: (1) единственный правильный или наиболее вероятный ответ, (2) наиболее вероятный ответ вместе с одной или несколькими альтернативами, которые также должны быть рассмотрены, или (3) ряд возможных объяснений или сценариев для будущего развития? Чтобы оценить степень неопределенности, ответьте на следующие вопросы:

- Является ли анализируемый вопрос головоломкой или загадкой? У головоломок есть ответы, и правильные ответы могут быть определены, если найдено достаточно кусочков головоломки. Загадка не имеет единственного окончательного ответа; она зависит от будущего взаимодействия многих факторов, некоторые из которых известны, а другие неизвестны. Аналитики могут определить границы загадки только "путем выявления критических факторов и вынесения интуитивного суждения о том, как они взаимодействовали в прошлом и могут взаимодействовать в будущем".9

- Как команда оценивает качество и своевременность своих доказательств?

- Не является ли количество предположений большим, чем обычно, из-за недостаточного количества доказательств или сложности ситуации?

- Имеет ли команда дело с относительно стабильной ситуацией или с ситуацией, которая претерпевает или потенциально может претерпеть значительные изменения?

Аналитический процесс: В ходе первоначального анализа проверьте, сделала ли команда следующее. Определила ли она альтернативные гипотезы и искала ли информацию об этих гипотезах? Определила ли она ключевые допущения? Стремилась ли она получить широкий спектр различных мнений, привлекая к обсуждению аналитиков из других офисов, агентств, научных кругов или частного сектора? Если эти шаги не были предприняты, вероятность того, что команда проведет ошибочный или неполный анализ, возрастает. Либо подумайте о том, чтобы сделать что-то из этого сейчас, либо снизьте уровень уверенности команды в своих суждениях.

Критические допущения: Если предположить, что команда уже определила ключевые допущения, то следующим шагом будет определение одного или двух допущений, которые окажут наибольшее влияние на аналитическое суждение, если окажутся неверными. Другими словами, если предположение неверно, то и суждение будет неверным. Насколько свежи и хорошо документированы доказательства, подтверждающие каждое из этих предположений? Продумайте обстоятельства, которые могут привести к тому, что каждое из этих предположений окажется неверным, и оцените, как это повлияет на аналитическое суждение команды, если предположение окажется неверным. Поддержит ли отмена любого из этих предположений какую-либо альтернативную гипотезу? Если команда не определила ключевые предположения ранее, ей следует провести проверку ключевых предположений сейчас.

Диагностические доказательства: Определите альтернативные гипотезы и несколько наиболее диагностичных доказательств, которые позволяют команде отвергнуть альтернативные гипотезы. По каждому пункту проведите мозговой штурм, чтобы найти любую разумную альтернативную интерпретацию этого доказательства, которая могла бы привести его в соответствие с альтернативной гипотезой. См. раздел "Диагностическое обоснование" на сайте в главе 7 .

Пробелы в информации: Есть ли пробелы в имеющейся информации, или некоторые сведения настолько устарели, что могут быть уже неактуальны? Можно ли объяснить отсутствие информации? Как отсутствие информации должно повлиять на уверенность команды в своих выводах?

Отсутствующие доказательства: Существуют ли доказательства, которые можно было бы ожидать увидеть в обычном потоке разведданных или сообщений из открытых источников, если аналитические суждения верны, но которых, как оказалось, там нет?

Аномальные доказательства: Существует ли какое-нибудь аномальное доказательство, которое было бы важным, если бы в него поверили или если бы оно могло иметь отношение к обсуждаемому вопросу, но которое было отвергнуто как несущественное, потому что в него не поверили или его значение не было известно? Если да, попробуйте представить, как этот элемент может стать ключевым ключом к появлению альтернативной гипотезы.

Изменения в широкой окружающей среде: Под влиянием технологий и глобализации мир в целом, похоже, переживает социальные, технические, экономические, экологические и политические изменения быстрее, чем когда-либо в истории. Могут ли какие-либо из этих изменений сыграть роль в том, что происходит или будет происходить? В более широком смысле, какие ключевые силы, факторы или события могут произойти независимо от вопроса, являющегося предметом анализа, и оказать существенное влияние на то, окажется ли анализ верным или неверным?

Альтернативные модели принятия решений: Если анализ касается принятия решений иностранным правительством или неправительственной организацией (НПО), основывались ли суждения группы о поведении иностранцев на предположении о рациональном акторе? Если да, рассмотрите потенциальную применимость других моделей принятия решений, в частности, что действие было или будет результатом переговоров между политическими или бюрократическими силами, результатом стандартных организационных процессов или прихотью авторитарного лидера.10 Если информации для более тщательного анализа не хватает, подумайте, как это повлияет на уверенность в суждениях команды.

Культурная экспертиза: Если анализируемая тема затрагивает иностранную или иным образом незнакомую культуру или субкультуру, обладает ли команда культурными знаниями о мыслительных процессах в этой культуре или получила ли она их?11

Обман: Есть ли у другой страны, НПО или коммерческого конкурента, о котором команда выносит суждения, мотив, возможность или средства для обмана с целью повлиять на политику США или изменить ваше поведение? Имеет ли эта страна, НПО или конкурент в прошлом историю участия в операциях по отрицанию, обману или влиянию?

Ответив на эти вопросы, аналитики снимают черные шляпы и пересматривают уровень доверия к предыдущему суждению команды. Следует ли подтвердить или изменить первоначальное суждение?

Потенциальные ловушки

Успех этой техники во многом зависит от готовности и способности членов команды переходить от сторонников к критикам собственных идей. Некоторым людям не хватает интеллектуальной гибкости, чтобы сделать это хорошо. Всем членам команды должно быть ясно, что они больше не выполняют ту же функцию, что и раньше. Их новая задача заключается в критике аналитической позиции, занятой какой-то другой группой (фактически ими самими, но в другой шляпе).

Чтобы подчеркнуть, что аналитики играют иную роль, встречи по структурированной самокритике должны быть запланированы исключительно для этой цели. Их должен вести не обычный руководитель, а другой человек, и желательно, чтобы они проходили в другом месте. Будет полезно, если встречу (встречи) будет вести опытный фасилитатор. Такое формальное изменение роли аналитика с защитника на критика является важной частью помощи аналитикам в рассмотрении проблемы с другой точки зрения.

Взаимосвязь с другими техниками

Одна из версий того, что называют "защитой дьявола", похожа на структурированную самокритику тем, что один из членов команды назначается на роль "адвоката дьявола". Этот участник берет одно из критических предположений команды, меняет его на противоположное и затем аргументированно опровергает выводы команды с этой точки зрения. Мы считаем, что эффективнее будет, если вся команда наденет гипотетическую черную шляпу и выступит в роли критика. Когда только один член команды надевает черную шляпу и пытается убедить остальных членов команды в том, что они не правы, команда почти всегда становится в оборонительную позицию и сопротивляется любым изменениям. Часто "адвокаты дьявола" также оказываются в роли, с которой они на самом деле не согласны. См. информацию об "адвокатуре дьявола" далее в этой главе.

Истоки этой техники

Ричардс Хойер и Рэнди Ферсон разработали Структурированную самокритику. Более простая версия этой техники представлена в книге Randolph H, Pherson, "The Pre-Mortem Assessment," in Handbook of Analytic Tools and Techniques (Reston, VA: Pherson Associates, LLC, 2008).

ЧТО ЕСЛИ? АНАЛИЗ

Если бы? Анализ представляет, что произошло событие, способное оказать значительное положительное или отрицательное воздействие, а затем, с помощью "задней мысли", объясняет, как это событие могло произойти и каковы могут быть его последствия.

Когда использовать

Эта техника должна быть в арсенале каждого аналитика. Это важная техника для предупреждения лиц, принимающих решения, о событии, которое может произойти, даже если в настоящий момент оно кажется маловероятным. Анализ "Что если? Анализ выполняет функцию, аналогичную анализу сценариев, - он создает понимание, которое готовит разум к распознаванию ранних признаков значительных изменений, и может позволить лицу, принимающему решение, заранее спланировать действия на случай непредвиденных обстоятельств. Он наиболее уместен при наличии любого из следующих условий:

В аналитическом или клиентском сообществе укоренилась ментальная модель, согласно которой определенное событие не произойдет.

Этот вопрос вызывает много споров как в аналитическом сообществе, так и среди тех, кто принимает решения, и никто не сосредоточен на том, какие действия необходимо предпринять, чтобы справиться с этим событием или предотвратить его.

Ощущается потребность в том, чтобы другие сосредоточились на возможности того, что это событие действительно может произойти, и рассмотрели последствия, если оно произойдет.

Анализ "Что если? Анализ "Что, если?" - это логическое продолжение проверки ключевых допущений, в ходе которой выявляется допущение, имеющее решающее значение для важной оценки, но в отношении которого существуют определенные сомнения. В этом случае в рамках анализа "Что если? Анализ предполагает, что верно противоположное предположение. Затем анализ сосредоточится на том, как такой исход может произойти и каковы будут его последствия.

Когда аналитики слишком осторожны в оценках угроз, их обвиняют в неспособности предупредить. Если они слишком агрессивны в выдаче предупреждений, их критикуют за "крик волка".

-Джек Дэвис, "Улучшение аналитической деятельности ЦРУ: Стратегическое предупреждение", Школа Шермана Кента по анализу разведданных, сентябрь 2002 г.

Добавленная стоимость

Переключение внимания с вопроса о том, произойдет ли событие, на воображение того, что оно произошло, а затем на объяснение того, как это могло случиться, позволяет мыслить по-разному. Что если? Анализ переносит обсуждение с вопроса "Насколько это вероятно?" на эти вопросы:

Как это могло произойти?

Может ли это произойти несколькими способами?

Каковы будут последствия?

Возросла ли вероятность того, что событие произойдет?

Эта техника также дает лицам, принимающим решения, следующие дополнительные преимущества:

Лучше понять, что они могут сделать сегодня, чтобы предотвратить неблагоприятное развитие событий, или что они могут сделать сегодня, чтобы использовать возможность для продвижения своих интересов.

Список конкретных показателей, которые необходимо отслеживать, чтобы определить, увеличивается ли вероятность того, что развитие событий действительно произойдет.

Анализ "Что если? Анализ является полезным инструментом для изучения непредвиденных или маловероятных сценариев, которые находятся в пределах возможного и которые будут иметь значительные последствия, если они осуществятся. Рисунок 9.3 является примером такого сценария. На нем предполагается драматическое развитие событий - появление Индии в качестве нового международного финансового центра - и затем рассматриваются возможные пути реализации этого сценария. В данном примере техника побуждает аналитика бросить вызов традиционному анализу и переосмыслить динамику, лежащую в основе ситуации.

Метод

Анализ "Что если? Анализ может быть проведен как индивидуально, так и в рамках командного проекта. Времени требуется примерно столько же, сколько на подготовку короткой статьи. Обычно помогает начать процесс с мозгового штурма и/или чередовать мозговые штурмы на разных этапах процесса.

Начните с предположения, что то, что может произойти, уже произошло. Часто лучше всего поставить вопрос следующим образом: "Вчера газета New York Times сообщила, что. . . ." Будьте точны в определении как события, так и его последствий. Иногда полезно представить новую непредвиденную ситуацию как результат конкретного инициирующего события, такого как стихийное бедствие, экономический кризис, крупный политический просчет или неожиданная новая возможность, которая наглядно показывает, что ключевое аналитическое предположение больше не действует.

Рисунок 9.3 Что если? Сценарий: Индия извлекает удивительную выгоду из глобального финансового кризиса

Источник: Этот пример был разработан Рэем Конверсом и Элизабет Манак, Pherson Associates, LLC.

Разработайте как минимум одну цепочку аргументации, основанную на доказательствах и логике, чтобы объяснить, как мог произойти такой исход. Разрабатывая сценарий или сценарии, сосредоточьтесь на том, что должно произойти на каждом этапе процесса. Работайте в обратном направлении - от события к сегодняшнему дню. Это называется "мышление задом наперед". Попробуйте представить себе более одного сценария или цепочки аргументов.

Составьте список индикаторов или "наблюдаемых" показателей для каждого сценария, которые помогут определить, начинают ли события развиваться так, как предусмотрено этим сценарием.

Оцените уровень ущерба или сбоев в работе, которые могут возникнуть в результате негативного сценария, и определите, насколько сложно будет преодолеть или смягчить понесенный ущерб. Что касается новых возможностей, оцените, насколько удачным может оказаться развитие событий и что можно сделать для того, чтобы такой позитивный сценарий действительно реализовался.

Расположите сценарии в порядке убывания внимания к ним, принимая во внимание как сложность реализации, так и потенциальную значимость воздействия.

Разработайте и утвердите показатели или наблюдаемые параметры для сценариев и осуществляйте их мониторинг на регулярной или периодической основе.

Периодически отчитываться о том, может ли возникнуть какой-либо из предложенных сценариев и почему.

Взаимосвязь с другими техниками

Анализ "Что если? Анализ иногда путают с методикой High Impact/Low Probability, поскольку каждая из них имеет дело с маловероятными событиями. Однако только в анализе "Что если? Анализ использует технику рефрейминга, предполагая, что будущее событие уже произошло, а затем размышляя в обратном направлении, чтобы представить, как оно могло произойти. Метод High Impact/Low Probability требует новой или аномальной информации в качестве триггера, а затем прогнозирует, что может произойти и каковы будут последствия, если это произойдет.

ПРЕДОСТЕРЕЖЕНИЕ

Сценарии, разработанные с использованием методов анализа "Что если? Анализ и техника "Высокое воздействие/низкая вероятность" часто могут содержать очень конфиденциальные данные, требующие очень ограниченного распространения конечного продукта. В качестве примера можно привести следующие: Как террористическая группа может совершить разрушительную атаку на жизненно важный сегмент инфраструктуры США? Как можно успешно совершить переворот против дружественного правительства? Что можно сделать, чтобы подорвать или нарушить работу глобальных финансовых сетей? Очевидно, что если аналитик выявляет серьезную уязвимость, которую может использовать противник, необходимо проявить особую осторожность, чтобы подробное описание не попало в руки противника. Дополнительная проблема заключается в том, что чем более "блестящим" и провокационным является сценарий, тем больше вероятность того, что он привлечет к себе внимание, будет передан другим и, возможно, произойдет утечка информации.

Истоки этой техники

Термин "Что, если? Анализ" уже давно применяется к самым разным техникам. Версия, описанная здесь, основана на книге Randolph H. Pherson, "What If? Анализ" в "Справочнике аналитических инструментов и методов" (Рестон, VA: Pherson Associates, LLC, 2008) и учебных материалов Министерства внутренней безопасности, Управления разведки и анализа.

АНАЛИЗ ВЫСОКОГО ВОЗДЕЙСТВИЯ/НИЗКОЙ ВЕРОЯТНОСТИ

Анализ высокого воздействия/низкой вероятности позволяет лицам, принимающим решения, заблаговременно предупредить о том, что маловероятное на первый взгляд событие с серьезными последствиями для политики и ресурсов может произойти на самом деле.

Когда использовать

Анализ высокого воздействия/низкой вероятности следует использовать в тех случаях, когда необходимо обратить внимание лиц, принимающих решения, на возможность того, что кажущееся маловероятным событие, которое окажет серьезное влияние на политику или ресурсы, может оказаться более вероятным, чем предполагалось ранее. К событиям, которые заслуживали бы такого подхода до того, как они произошли, относятся воссоединение Германии в 1989 году, распад Советского Союза в 1991 году и разрушения, вызванные ураганом Катрина в Новом Орлеане в августе 2005 года - самое дорогостоящее стихийное бедствие в истории Соединенных Штатов. Разновидность этого метода, анализ высокого воздействия/неопределенной вероятности, может также использоваться для анализа потенциального воздействия вспышки H5N1 (птичьего гриппа) или применяться к террористической атаке, когда намерение хорошо установлено, но существует множество вариаций того, как она может быть осуществлена.

Исследование High Impact/Low Probability обычно инициируется при получении новой и зачастую фрагментарной информации, позволяющей предположить, что ранее не ожидавшееся событие может произойти на самом деле. Например, можно предположить, что поступила наводка, указывающая на необходимость предупредить лиц, принимающих решения, о подверженности Соединенных Штатов крупной информационной атаке или драматическому террористическому акту в день национального праздника. Эта техника также может быть использована для того, чтобы привлечь внимание аналитиков и лиц, принимающих решения, к возможным последствиям маловероятных событий и побудить их заблаговременно задуматься о мерах, которые можно принять для устранения опасности или использования возможностей.

Один вдумчивый высокопоставленный политик высказал мнение, что большинство потенциально разрушительных угроз интересам США вначале оцениваются как маловероятные. Ключ к эффективному взаимодействию разведки и политики в области стратегического предупреждения заключается в том, чтобы аналитики помогали политикам определять, какие кажущиеся маловероятными угрозы заслуживают серьезного рассмотрения.

-Джек Дэвис, "Улучшение аналитической деятельности ЦРУ: Стратегическое предупреждение", Школа Шермана Кента по анализу разведданных, сентябрь 2002 г.

Добавленная стоимость

Формат High Impact/Low Probability Analysis позволяет аналитикам изучить последствия того или иного события, особенно того, которое не считается вероятным по общепринятым представлениям , без необходимости оспаривать основные суждения или спорить с другими о том, насколько вероятно, что событие произойдет. Другими словами, эта техника позволяет тактично донести до слушателей точку зрения, которую некоторые из них, возможно, предпочли бы не услышать.

Аналитическое внимание уделяется не тому, произойдет ли что-то, а тому, чтобы принять как данность, что может произойти событие, которое окажет серьезное и непредвиденное воздействие. Задача состоит в том, чтобы выяснить, можно ли привести все более убедительные аргументы в пользу того, что произойдет маловероятное событие, которое может представлять серьезную опасность или открывать большие возможности. Чем более тонко и конкретно аналитик обрисовывает вероятные пути возникновения опасности, тем легче лицу, принимающему решения, разработать пакет мер по защите или продвижению жизненно важных интересов США.

Метод

Эффективный анализ высокого воздействия/низкой вероятности включает в себя следующие шаги:

Четко опишите маловероятное событие.

Определите последствия с высокой степенью воздействия, если это событие произойдет. Рассмотрите как само событие, так и вторичные последствия этого события.

Укажите любую недавнюю информацию или сообщения, указывающие на то, что вероятность наступления маловероятного события может возрасти.

Предложите дополнительные триггеры, которые могли бы подтолкнуть события в этом маловероятном направлении, или факторы, которые значительно ускорили бы сроки, такие как неудачная реакция правительства, появление энергичного соперника, крупная террористическая атака или неожиданный исход выборов, отвечающий интересам США.

Разработайте один или несколько правдоподобных путей, объясняющих, как могло развиваться это, казалось бы, маловероятное событие. Сосредоточьтесь на деталях того, что должно произойти на каждом этапе процесса, чтобы события развивались именно так.

Сформировать и утвердить список индикаторов, которые помогут аналитикам и лицам, принимающим решения, понять, что события начинают разворачиваться именно таким образом.

Определите факторы, которые могут повлиять на плохой или положительный исход.

Периодически отчитываться о том, может ли возникнуть какой-либо из предложенных сценариев и почему.

Очень важно, чтобы аналитик периодически пересматривал список индикаторов. Такие периодические обзоры помогают аналитикам преодолеть сложившиеся ментальные модели, согласно которым рассматриваемые события слишком маловероятны, чтобы заслуживать серьезного внимания.

Потенциальные ловушки

Аналитики должны быть осторожны, сообщая о вероятности маловероятных событий. Значение слова "маловероятный" может быть истолковано как вероятность от 1 до 25 процентов, в то время как "крайне маловероятный" может означать от 1 до 10 процентов.12 Клиенты, получающие отчет разведки, в котором используются такие оценочные слова вероятности, как "очень маловероятно", обычно интерпретируют отчет в соответствии со своими собственными предварительными представлениями, если это вообще возможно. Если в отчете говорится, что террористическая атака на конкретное посольство США за рубежом в течение следующего года очень маловероятна, вполне возможно, например, что аналитик считает, что вероятность составляет около 10 процентов, в то время как лицо, принимающее решение, считает, что это соответствует его или ее собственному мнению о том, что вероятность составляет менее 1 процента. Такая разница в вероятности может стать решающим фактором в принятии решения о том, платить или не платить за дорогостоящее планирование на случай непредвиденных обстоятельств или за упреждающую профилактическую контрмеру. Когда аналитик описывает вероятность маловероятного события, желательно выразить эту вероятность в числовом выражении, либо в виде диапазона (например, менее 5 процентов или от 10 до 20 процентов), либо в виде коэффициента ставки (например, один шанс из десяти).

На рис. 9.4 показан пример маловероятного события - вспышки конфликта в Северном Ледовитом океане, который может иметь серьезные геополитические последствия для США и других соседних стран. Аналитики могут использовать эту технику, чтобы привлечь внимание лиц, принимающих решения, к возможным последствиям таяния арктических льдов и побудить их задуматься о мерах, которые можно принять для борьбы с этой опасностью.

Взаимосвязь с другими техниками

Анализ высокого воздействия/низкой вероятности иногда путают с анализом "Что если? анализом. Оба они касаются маловероятных или маловероятных событий. Анализ высокого воздействия/низкой вероятности - это прежде всего средство предупреждения лиц, принимающих решения, о том, что последние непредвиденные события указывают на то, что событие, ранее считавшееся крайне маловероятным, может произойти на самом деле. Основываясь на последних фактах или информации, он прогнозирует, что может произойти и каковы будут последствия, если это событие произойдет. Он бросает вызов общепринятому мнению. Что если? Анализ не требует новой или аномальной информации, чтобы послужить толчком. Он переформулирует вопрос, предполагая, что произошло неожиданное событие. Затем он оглядывается назад от этого неожиданного события, чтобы наметить несколько путей, по которым оно могло произойти. Он также пытается определить действия, которые, если бы они были предприняты своевременно, могли бы предотвратить его.

Рисунок 9.4 Сценарий высокого воздействия/низкой вероятности: Конфликт в Арктике

Источник: Этот пример был разработан Майклом Баннистером и Рэем Конверсом, Pherson Associates, LLC.

Истоки этой техники

Приведенное здесь описание основано на материалах Рэндольфа Херсона (Randolph H. Pherson), "High Impact/Low Probability Analysis", в Handbook of Analytic Tools and Techniques (Reston, VA: Pherson Associates, LLC, 2008); и учебных материалов Министерства внутренней безопасности, Управления по разведке и анализу.

АДВОКАТУРА ДЬЯВОЛА

Адвокация зла - это процесс критики предложенного аналитического суждения, плана или решения, обычно одним аналитиком, не вовлеченным ранее в обсуждения, которые привели к предложенному суждению, плану или решению. Истоки "Адвокатуры дьявола" лежат в практике Римско-католической церкви начала XVI века. Когда человек предлагался для беатификации или канонизации в святые, кому-то поручалась роль критического анализа жизни и чудес, приписываемых этому человеку; в его обязанности входило особо выделять факты, неблагоприятные для кандидата".13

Когда использовать

Адвокация дьявола наиболее эффективна, когда она инициируется руководителем как часть стратегии, обеспечивающей тщательное рассмотрение альтернативных решений. Ниже приведены примеры хорошо зарекомендовавших себя способов использования "адвокатуры дьявола":

Прежде чем принять решение, политик или военачальник просит "адвоката дьявола" проанализировать, что может пойти не так.

Разведывательная организация назначает старшего менеджера в качестве "адвоката дьявола" для контроля за процессом проверки и оспаривания выбранных оценок или создает специальное подразделение - иногда называемое "красной ячейкой" - для выполнения этой функции.

Руководитель заказывает анализ "Адвокатура дьявола", когда его беспокоит кажущееся единодушие по какому-то важному вопросу, или когда руководитель подозревает, что ментальная модель аналитиков, долгое время работающих над вопросом, настолько укоренилась, что они не в состоянии увидеть значение последних изменений.

Добавленная стоимость

Уникальное свойство и ценность "Адвокатуры дьявола" в том, что критика инициируется по усмотрению руководства, чтобы проверить силу аргументов в пользу предлагаемого аналитического суждения, плана или решения. Она ищет, что может пойти не так, и часто фокусирует внимание на сомнительных предположениях, доказательствах или линиях аргументации, которые подрывают общепринятый вывод, или на недостаточности текущих доказательств, на которых можно основывать такой вывод.

Метод

Адвокату дьявола поручено оспорить предложенное решение, создав максимально убедительные аргументы против него. Предписанной процедуры не существует. Адвокаты дьявола могут быть выбраны из-за их опыта работы с конкретной техникой. Или они могут решить использовать другую методику, отличную от той, что применялась в первоначальном анализе, или использовать другой набор предположений. Они также могут просто проанализировать доказательства и аналитические процедуры в поисках слабых мест в аргументации. В последнем случае идеальным подходом было бы задать вопросы о том, как проводился анализ, которые перечислены в этой главе в разделе "Структурированная самокритика". Эти вопросы охватывают источники неопределенности, использованные аналитические процессы, критические допущения, диагностичность доказательств, аномальные доказательства, информационные пробелы, изменения в широкой среде, в которой происходят события, альтернативные модели принятия решений, наличие культурных знаний и индикаторы возможного обмана.

Потенциальные ловушки

Адвокатура дьявола иногда используется как форма самокритики. При этом роль адвоката дьявола не поручается постороннему человеку, а добровольно или по просьбе члена аналитической команды. Мы не считаем такое применение техники "Адвокат дьявола" эффективным, потому что:

Называть такую технику "защитой дьявола" несовместимо с исторической концепцией "защиты дьявола", которая призывает к расследованию независимого стороннего наблюдателя.

Исследования показывают, что человек, играющий роль адвоката дьявола и не верящий в это на самом деле, значительно менее эффективен, чем истинно верующий, и даже может быть контрпродуктивен. Очевидно, что к человеку, имеющему смелость отстаивать свою точку зрения меньшинства, проявляется больше внимания и уважения, чем к тому, кто, как известно, лишь играет роль. Если члены группы воспринимают "Защиту дьявола" как аналитическое упражнение, с которым им приходится мириться, а не как истинное убеждение одного из членов группы, которому хватило смелости высказаться, это упражнение может укрепить первоначальное убеждение большинства - "самодовольство, которое может возникнуть из-за того, что человек считает, что рассмотрел альтернативы, хотя на самом деле серьезных размышлений о других возможностях было мало".14 То, что команда узнает из презентации "Адвокат дьявола", может быть лишь тем, как лучше защищать собственную укоренившуюся позицию.

Существуют и другие формы самокритики, особенно предсмертный анализ и структурированная самокритика, описанные в этой главе, которые могут быть более эффективными, побуждая даже сплоченную, разнородную команду подвергнуть сомнению свою ментальную модель и проанализировать альтернативные точки зрения.

Истоки этой техники

Как уже отмечалось, эта техника восходит к практике Римско-католической церкви XVI века. С тех пор она использовалась по-разному и в разных целях. Обсуждение "Адвокатуры дьявола" здесь основано на проведенном авторами анализе текущей практики в разведывательном сообществе США; Charlan Jeanne Nemeth and Brendan Nemeth-Brown, "Better Than Individuals? Потенциальные преимущества несогласия и разнообразия для групповой креативности", в книге "Групповая креативность: Innovation through Collaboration, ed. Paul B. Paulus and Bernard A. Nijstad (New York: Oxford University Press, 2003); и Alexander L. George and Eric K. Stern, "Harnessing Conflict in Foreign Policy Making: От "дьявольской" к "множественной" пропаганде", Presidential Studies Quarterly 32 (сентябрь 2002 г.).

АНАЛИЗ КРАСНОЙ КОМАНДЫ

Tермин "красная команда" или "красная команда" имеет несколько значений. Одно из определений гласит, что "красная команда" - это "практика рассмотрения проблемы с точки зрения противника или конкурента".15 Именно так "красная команда" обычно рассматривается аналитиками разведки.

Более широкое определение, описанное целевой группой Defense Science Board по работе с "красными командами" в Министерстве обороны, гласит, что "красные команды" - это стратегия оспаривания планов, программ и предположений организации на всех уровнях - стратегическом, оперативном и тактическом. Это "включает в себя не только "игру" противников или конкурентов, но и выступление в роли адвокатов дьявола, предложение альтернативных интерпретаций (команда B) и иное оспаривание устоявшегося мышления в рамках предприятия".16 Это и есть "красная команда" как стратегия.16 Это "красная команда" как стратегия управления, а не как конкретная аналитическая техника. Именно в этом контексте "красная команда" иногда используется как синоним любой формы проблемного анализа или альтернативного анализа.

Чтобы учесть эти два разных способа использования "красных команд", в этой книге мы выделяем две отдельные методики, которые называются Red Team Analysis и Red Hat Analysis.

Анализ "красной команды", описанный в этом разделе, - это техника анализа проблем. Обычно он инициируется решением руководства о создании специального проекта, ячейки или офиса с аналитиками, чьи культурные и аналитические навыки позволяют им заниматься этим особым видом анализа. Анализ "красной команды" часто инициируется для того, чтобы бросить принципиальный вызов общепринятому мнению и убедиться, что другие разумные альтернативы были тщательно рассмотрены. По сути, это современная версия "Адвокатуры дьявола".

Анализ Red Hat, описанный в , глава 8 , - это анализ поведения и принятия решений противника или конкурента с учетом культурных особенностей, инициированный обычным линейным аналитиком или аналитической группой. Его можно и нужно проводить, насколько это возможно, в рамках стандартной аналитической практики.

Когда использовать

Руководство должно инициировать анализ "красной команды", когда возникает необходимость оспорить общепринятое мнение по какому-либо важному вопросу или когда ответственный линейный отдел считает, что ему не хватает культурного опыта, необходимого для полного понимания точки зрения противника или конкурента.

Добавленная стоимость

Анализ "красной команды" может помочь освободить аналитиков от их собственной хорошо разработанной ментальной модели - их собственного чувства рациональности, культурных норм и личных ценностей. При анализе противника подход "Красной команды" требует, чтобы аналитик изменил свою систему координат с "наблюдателя" за противником или конкурентом на "актера", действующего в культурной и политической среде противника. Такое переосмысление или ролевая игра особенно полезны, когда аналитик пытается воспроизвести ментальную модель авторитарных лидеров, террористических ячеек или незападных групп, которые действуют в соответствии с совершенно иными правилами поведения или мотивами, чем те, к которым привыкло большинство американцев.

Метод

Задача Red Team Analysis - оспорить предложенное или существующее суждение, построив максимально убедительные аргументы против него. Если цель - понять мышление противника или конкурента, то метод аналогичен описанному в глава 8 в разделе Red Hat Analysis. Разница заключается в том, что для реализации Red Team Analysis могут потребоваться дополнительные ресурсы, связанные с культурными, содержательными знаниями и аналитическими навыками. Приветствуется использование ролевых игр или метода Дельфи для перекрестной проверки или дополнения подхода "Красной команды".

Взаимосвязь с другими техниками

Техника Red Team тесно связана с Red Hat Analysis, описанным в в главе 8 .

Истоки этой техники

Термин "Красная команда" появился во времена холодной войны, когда слово "красный" символизировало любого коммунистического противника. При подготовке данного обсуждения анализа "Красной команды" были использованы следующие материалы: Red Team Journal, http://redteamjournal.com ; Defense Science Board Task Force, The Role and Status of DoD Red Teaming Activities (Washington, DC: Office of the Under Secretary of Defense for Acquisition, Technology, and Logistics, September 2003); Michael K. Keehan, "Red Teaming for Law Enforcement," Police Chief 74, no. 2 (February 2007); и учебные материалы Министерства национальной безопасности.

МЕТОД ДЕЛЬФИ

Delphi - это метод получения идей, суждений или прогнозов от группы экспертов, которые могут быть географически разбросаны. Он отличается от опроса тем, что опрос проводится в два или более раунда. После первого раунда вопросов модератор раздает все ответы и пояснения к ответам всем участникам, часто анонимно. Затем участникам-экспертам предоставляется возможность изменить или уточнить свои предыдущие ответы, если они того пожелают, на основе того, что они увидели в ответах других участников. Второй раунд вопросов основывается на результатах первого раунда, углубляется в детали или переходит к смежной теме. Характер и количество вопросов, которые можно задать, могут быть очень гибкими.

Когда использовать

Метод Дельфи был разработан корпорацией RAND в начале холодной войны в 1950-х годах для прогнозирования влияния новых технологий на ведение боевых действий. Он также использовался для оценки вероятности, интенсивности или частоты будущих атак противника. В 1960-х и 1970-х годах Дельфи стал широко известен и использовался как метод исследования будущего, особенно для прогнозирования долгосрочных тенденций в науке и технике. Фьючерсные исследования схожи с разведывательным анализом в том, что неопределенность и сложность, с которыми приходится иметь дело, часто не позволяют использовать традиционные статистические методы, поэтому объяснения и прогнозы должны основываться на опыте и обоснованных суждениях экспертов.

На протяжении многих лет Delphi использовались в самых разных целях. Хотя многие проекты Delphi были направлены на выработку консенсуса экспертных оценок, вариант под названием Policy Delphi основан на предпосылке, что лицо, принимающее решение, заинтересовано не в том, чтобы группа приняла консенсусное решение, а в том, чтобы эксперты определили альтернативные варианты политики и представили все подтверждающие доказательства за и против каждого варианта. Именно этим объясняется включение метода Дельфи в данную главу, посвященную анализу проблем. Он может быть использован для выявления расхождений во мнениях, которые, возможно, стоит изучить.

Одна группа исследователей Delphi советует использовать технику Delphi "практически для решения любых задач, связанных с прогнозированием, оценкой или принятием решений" - при условии, что проблема не настолько сложна или нова, чтобы исключить использование экспертной оценки. Сторонники метода Дельфи сообщают, что используют его для самых разных целей, начиная от "выбора вариантов регионального развития, прогнозирования результатов выборов , решения, каких кандидатов следует нанимать на академические должности, и заканчивая прогнозированием количества блюд, которые следует заказать для обеда на конференции".17

Для решения этих задач было разработано несколько программ, одна из которых размещена в открытом доступе ( http://armstrong.wharton.upenn.edu/delphi2 ). Распределенные системы поддержки принятия решений, которые сейчас находятся в открытом доступе для поддержки виртуальных команд, включают в себя некоторые или все функции, необходимые для Delphi, как часть более крупного пакета аналитических инструментов.

Добавленная стоимость

Консультации с соответствующими экспертами из академических кругов, бизнеса и неправительственных организаций поощряются Директивой разведывательного сообщества № 205 "О работе с аналитиками" от июля 2008 года. Мы считаем, что создание дельфийских групп экспертов по критически важным вопросам должно быть стандартной процедурой для работы с экспертами за пределами аналитического подразделения любой организации, и особенно в разведывательном сообществе, поскольку его рабочая среда более замкнута.

Как эффективный процесс получения информации от внешних экспертов, Delphi обладает рядом преимуществ:

Сторонние эксперты могут участвовать в работе из своего дома, что позволяет сократить временные и командировочные расходы, обычно связанные с привлечением внешних консультантов.

Delphi может дать аналитические суждения по любой теме, по которой имеются внешние эксперты. Это означает, что его можно использовать в качестве независимой перекрестной проверки выводов, сделанных собственными силами. Если в двух анализах, проведенных разными аналитиками и с использованием разных методов, получен один и тот же вывод, это дает основания для значительного повышения доверия к этому выводу. Если же выводы расходятся, это тоже ценная информация, которая может открыть новое направление исследований.

Дельфи выявляет тех, кто придерживается необычной позиции. Признавая, что большинство не всегда право, исследователи могут сосредоточиться на том, чтобы лучше понять основания для любых мнений, которые значительно расходятся с консенсусом. Собственно, выявление экспертов, имеющих альтернативную точку зрения и способных ее отстаивать, может стать целью проекта Delphi.

Процесс, в ходе которого члены экспертной комиссии получают отзывы от других экспертов и имеют возможность изменить свои ответы, позволяет экспертам легко корректировать свои предыдущие суждения в ответ на новые доказательства.

Во многих проектах Delphi эксперты остаются анонимными для других членов группы, чтобы никто не мог использовать свое авторитетное положение, репутацию или личность для влияния на других. Анонимность также способствует выражению мнений, которые идут вразрез с общепринятым мнением и не могут быть высказаны иным способом.

Анонимность метода Дельфи существенно снижает вероятность группового мышления. Кроме того, они затрудняют навязывание остальным участникам группы своего мнения, основанного на их прошлом опыте и мировоззрении. Требование, чтобы группа экспертов участвовала в нескольких раундах обмена информацией, также помогает снизить вероятность сатисфакции. Метод Дельфи также может помочь защитить аналитиков от нескольких аналитических ловушек, в том числе следующих:

Придавать слишком большое значение первому впечатлению или первым данным, особенно если они привлекают наше внимание и кажутся важными в тот момент.

Продолжайте придерживаться аналитического суждения, столкнувшись с растущим списком доказательств, противоречащих первоначальному выводу.

Метод

В проекте Delphi модератор (аналитик) рассылает вопросник группе экспертов, которые могут находиться в разных местах. Эксперты отвечают на вопросы и обычно просят дать краткие пояснения к своим ответам. Модератор обобщает результаты первой анкеты и рассылает обобщенные ответы всем членам группы, предлагая им пересмотреть свои ответы с учетом того, что они увидели и узнали из ответов и объяснений других экспертов. Членам группы также может быть предложено ответить на еще один набор вопросов. Этот цикл вопросов, ответов и обратной связи продолжается в течение нескольких раундов с использованием одного и того же или смежного набора вопросов. Часто желательно, чтобы члены группы оставались анонимными, чтобы на них не оказывали излишнего влияния ответы старших членов. Этот метод проиллюстрирован на Рисунок 9.7 .

Примеры

Чтобы показать, как Delphi можно использовать для анализа разведданных, мы разработали три иллюстративных приложения:

Оценка вариантов политики другой страны: Руководитель или модератор проекта Delphi определяет несколько вариантов политики, которые может выбрать другая страна. Затем он просит группу экспертов из этой страны оценить желательность и осуществимость каждого варианта, с точки зрения другой страны, по пятибалльной шкале от "Очень желательно" или "Осуществимо" до "Очень нежелательно" или "Определенно неосуществимо". Членов группы также просят определить и оценить любые другие варианты политики, которые следовало бы рассмотреть, и назвать два-три основных аргумента или доказательства, которыми они руководствовались в своих суждениях. Сводка всех ответов направляется обратно в группу с просьбой к членам группы сделать одно из следующих действий: пересмотреть свою позицию с учетом ответов других, предоставить дополнительные разъяснения своих суждений или подтвердить свой предыдущий ответ. Во втором раунде опроса желательно перечислить ключевые аргументы и доказательства и попросить членов группы оценить их обоснованность и важность, опять же с точки зрения другой страны.

Анализ альтернативных гипотез: Группу внешних экспертов просят оценить вероятность каждой гипотезы в наборе взаимоисключающих гипотез, где вероятности должны составлять 100 %. Это может быть сделано как отдельный проект или для перепроверки уже завершенного анализа конкурирующих гипотез (ACH) ( глава 7 ). Если два анализа, проведенные разными аналитиками и с использованием разных методов, приходят к одному и тому же выводу, это является основанием для значительного повышения уверенности в выводе. Если результаты анализа расходятся, это также может быть полезно знать, поскольку в этом случае можно попытаться понять, чем обоснованы различные суждения.

Анализ предупреждений или мониторинг ситуации с течением времени: Аналитик просит группу экспертов оценить вероятность будущего события. Это может быть либо отдельное событие, для которого аналитик отслеживает индикаторы раннего предупреждения, либо набор сценариев, для которых аналитик отслеживает вехи, чтобы определить направление, в котором, как кажется, движутся события. Существует два способа управления проектом Delphi, в котором отслеживаются изменения с течением времени. Один из них заключается в том, чтобы через определенные промежутки времени проводить новый раунд вопросов и ответов, чтобы оценить степень изменений. Другой способ - это так называемый динамический Дельфи или Дельфи в реальном времени, когда участники могут изменять свои ответы в любое время по мере возникновения новых событий или поступления новой информации от одного из участников.18 Оценки вероятности, предоставленные группой Дельфи, можно агрегировать, чтобы получить показатель значимости изменений с течением времени. Их также можно использовать для выявления расхождений во мнениях экспертов, которые требуют дальнейшего изучения.

Потенциальные ловушки

Проект Delphi предполагает административную работу по поиску экспертов, общению с членами группы, сбору и табулированию их ответов в ходе нескольких раундов опроса. Разведывательное сообщество может создать дополнительные препятствия, например, обеспечить наличие у экспертов соответствующих допусков или потребовать, чтобы они встречались с аналитиками в закрытых офисных помещениях. Еще один потенциальный подводный камень заключается в том, что чрезмерное увлечение этой техникой может привести к консенсусу, в то время как лучше было бы представить две конкурирующие гипотезы и доказательства, подтверждающие каждую позицию.

Взаимосвязь с другими техниками

Delphi легко сочетается с другими методами, такими как виртуальный мозговой штурм, и методами расстановки приоритетов, ранжирования или масштабирования списков информации.

Истоки этой техники

Происхождение Delphi как аналитического метода было описано выше в разделе "Когда его использовать". Следующие ссылки были полезны при изучении этой темы: Murray Turoff and Starr Roxanne Hiltz, "Computer-Based Delphi Processes," 1996, http://web.njit.edu/~turoff/Papers/delphi3.html ; и Harold A. Linstone and Murray Turoff, The Delphi Method: Techniques and Applications (Reading, MA: Addison-Wesley, 1975). Цифровая версия книги Линстоуна и Туроффа 2002 года доступна в Интернете по адресу http://is.njit.edu/pubs/delphibook ; в частности, см. главу Туроффа "Дельфийская политика" ( http://is.njit.edu/pubs/delphibook/ch3b1.pdf ). Более актуальную информацию о валидности и оптимальных методах реализации проекта Delphi можно найти в книге Gene Rowe and George Wright, "Expert Opinions in Forecasting: The Role of the Delphi Technique," in Principles of Forecasting, ed. J. Scott Armstrong (New York: Springer Science+Business Media, 2001).

1. Роб Джонстон, "Аналитическая культура в разведывательном сообществе США" (Вашингтон, округ Колумбия: Центр ЦРУ по изучению разведки, 2005), 64.

2. Пол Бедард, "Шеф ЦРУ заявляет о прогрессе в реформировании разведки", U.S. News and World Report, 16 мая 2008 г.

3. Дональд П. Стьюри, ред., Шерман Кент и Совет по национальным оценкам: Collected Essays (Washington, DC: CIA Center for the Study of Intelligence, 1994), 133.

4. Рефрейминг похож на технику переформулирования проблемы, которую Морган Джонс описал в своей книге "Набор инструментов мыслителя" (Нью-Йорк: Three Rivers Press, 1995). Джонс заметил, что "как только мы определяем проблему, наше мышление о ней быстро сужается". Мы создаем рамки, через которые рассматриваем проблему, и это, как правило, заслоняет другие ее интерпретации. Группа может изменить эту систему координат и бросить вызов собственному мышлению, просто переопределив проблему.

5. Гэри Клейн, Источники власти: как люди принимают решения (Cambridge, MA: MIT Press, 1998), 71.

6. Гэри Кляйн, Интуиция на работе: Why Developing Your Gut Instinct Will Make You Better at What You Do (New York: Doubleday, 2002), 91.

7. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы? Потенциальные преимущества несогласия и разнообразия для групповой креативности" в книге "Групповая креативность: Innovation through Collaboration, ed. Paul B. Paulus and Bernard A. Nijstad (New York: Oxford University Press, 2003), 63.

8. Леон Панетта, "Правительство: Чума некомпетентности", Monterey County Herald, 11 марта 2007 г., F1.

9. Грегори Ф. Тревертон, "Риски и загадки", Smithsonian Magazine, 1 июня 2007 г.

10. Информацию об этих трех моделях принятия решений см. в Graham T. Allison and Philip Zelikov, Essence of Decision, 2nd ed. (New York: Longman, 1999).

11. О фундаментальных различиях в мышлении людей в разных культурах см. в книге Richard Nisbett, The Geography of Thought: How Asians and Westerners Think Differently and Why (New York: Free Press, 2003).

12. Ричардс Дж. Хойер-младший, Психология разведывательного анализа (Вашингтон, округ Колумбия: Центр ЦРУ по изучению разведки, 1999; переиздано Pherson Associates, LLC, 2007), 155.

13. Nemeth and Nemeth-Brown, "Better Than Individuals?", 75-76.

14. Nemeth and Nemeth-Brown, "Better Than Individuals?", 77-78.

15. Это определение взято из журнала Red Team Journal, http://redteamjournal.com .

16. Целевая группа Совета по оборонной науке, "Роль и статус деятельности "красных групп" Министерства обороны" (Вашингтон, округ Колумбия: Офис заместителя министра обороны по закупкам, технологиям и логистике, сентябрь 2003 г.).

17. Кестен С. Green, J. Scott Armstrong, and Andreas Graefe, "Methods to Elicit Forecasts from Groups: Delphi and Prediction Markets Compared", Foresight: The International Journal of Applied Forecasting (Fall 2007), www.forecastingprinciples.com/paperpdf/Delphi-WPlatestV.pdf .

18. См. Real Time Delphi, www.realtimedelphi.org .

10.Управление конфликтами

Как уже говорилось в предыдущей главе , анализ вызовов часто приводит к выявлению и противостоянию противоположных точек зрения. В этом, в конце концов, и состоит цель анализа вызовов. Однако в связи с этим возникают два важных вопроса. Во-первых, как управлять противостоянием, чтобы оно стало опытом обучения, а не битвой между решительно настроенными противниками? Во-вторых, при анализе любой темы с высокой степенью неопределенности как решить, является ли одна из точек зрения ошибочной или обе точки зрения имеют свои достоинства и должны быть обсуждены в аналитическом отчете? В этой главе предлагается концептуальная схема и несколько полезных техник для решения аналитических конфликтов.

В широко распространенной статье в Harvard Business Review подчеркивается, что улучшить сотрудничество между организациями или организационными подразделениями, имеющими различные интересы, можно только путем принятия и активного управления неизбежными и желательными конфликтами между этими подразделениями:

Разногласия, вызванные различиями в перспективах, компетенциях, доступе к информации и стратегической направленности... на самом деле порождают большую часть ценности, которую может принести сотрудничество через организационные границы. Столкновения между сторонами - это горнило, в котором вырабатываются творческие решения. . . . Поэтому вместо того, чтобы пытаться просто уменьшить количество разногласий, руководители высшего звена должны принять конфликт и, что не менее важно, институционализировать механизмы управления им.1

Наиболее распространенные процедуры преодоления разногласий заключаются в принуждении к консенсусу, сглаживании разногласий или, как в американском разведывательном сообществе , в добавлении к оценке сноски с особым мнением. Мы считаем эти методы в лучшем случае неоптимальными и надеемся, что они станут все более редкими по мере того, как наши различные аналитические сообщества будут развивать сотрудничество на ранних этапах аналитического процесса, а не терпеть обязательную координацию в конце процесса, когда все стороны уже заняли свои позиции. Одно из главных преимуществ использования структурированных аналитических методов для внутриведомственного и межведомственного сотрудничества заключается в том, что эти методы позволяют выявить разногласия в самом начале аналитического процесса. Это дает время если не решить, то хотя бы понять разногласия на рабочем уровне до того, как к ним подключится руководство.

То, как человек относится к противоречивым аналитическим оценкам или прогнозам, отчасти зависит от его ожиданий относительно того, чего можно достичь. Марк Ловенталь убедительно пишет о необходимости пересмотреть свои ожидания относительно того, чего может достичь разведывательный анализ2 .2 Более чем в любой другой дисциплине, аналитики разведки обычно работают с неполными, неоднозначными и потенциально обманчивыми данными. В сочетании с тем фактом, что аналитики разведки стремятся понять человеческое поведение, которое зачастую трудно предсказать даже в нашей собственной культуре, не стоит удивляться тому, что анализ разведданных иногда оказывается "неправильным". Принятие основного принципа, согласно которому для аналитиков разведки нормально быть неопределенными, поскольку они имеют дело с неопределенными вопросами, помогает создать основу для надлежащего управления конфликтующими мнениями. В некоторых случаях одна позиция будет опровергнута и отвергнута. В других случаях две или более позиций могут быть разумными оценками или предположениями, причем одна из них обычно более вероятна, чем другие. В таких случаях конфликт смягчается, если признать, что каждая позиция имеет определенную ценность, поскольку охватывает весь спектр вариантов.

В предыдущей главе мы отметили, что оценка, которую правильно называть "вероятной", имеет вероятность ошибиться примерно один к четырем. Это имеет четкие последствия для соответствующих действий, когда аналитики придерживаются противоречивых мнений. Если анализ соответствует строгим стандартам, а противоречивые мнения все равно остаются, то для лиц, принимающих решения, лучше всего подойдет аналитический продукт, который напрямую связан с неопределенностью, а не минимизирует или подавляет ее. Чем больше неопределенность, тем целесообразнее использовать продукт, в котором обсуждается наиболее вероятная оценка или расчет и приводится одна или несколько альтернативных возможностей. При оценке степени неопределенности необходимо учитывать следующие факторы:

Оценка будущего, как правило, содержит больше неопределенности, чем оценка прошлого или текущего события.

Загадки, на которые невозможно найти ответ, гораздо более неопределенны, чем головоломки, на которые ответ существует, если только его найти.3

Чем больше предположений сделано, тем больше неопределенность. Особенно важны предположения о намерениях или возможностях, а также о том, изменились они или нет.

Анализ человеческого поведения или принятия решений гораздо более неопределенный, чем анализ технических данных.

Поведение сложной динамической системы более неопределенно, чем поведение простой системы. Чем больше переменных и заинтересованных сторон вовлечено в систему, тем сложнее предугадать, что может произойти.

Если принято решение перейти к обсуждению альтернативных оценок, следующим шагом может стать подготовка одного из следующих материалов:

Сравнительный анализ противоположных мнений в одном отчете. При этом аналитики должны определить источники и причины неопределенности (например, допущения, неясности, пробелы в знаниях), рассмотреть последствия альтернативных оценок или расчетов, определить, что потребуется для устранения неопределенности, и предложить показатели для будущего мониторинга, которые могут обеспечить раннее предупреждение о том, какая из альтернатив является правильной.

Анализ альтернативных сценариев, как описано в главе 6 .

Анализ "Что если? Анализ "Что если?" или анализ "Высокое воздействие/низкая вероятность", как описано в , глава 9 .

Отчет, который четко обозначен как "второе мнение".

ОБЗОР МЕТОДИК

По сути, состязательное сотрудничество - это соглашение между противоборствующими сторонами о том, как они будут работать вместе, чтобы разрешить свои разногласия, лучше понять причины разногласий или подготовить совместный документ для объяснения этих разногласий. Описаны шесть подходов к реализации состязательного сотрудничества.

Структурированные дебаты - это запланированное обсуждение противоположных точек зрения по определенному вопросу перед "жюри равных", старшими аналитиками или менеджерами. В качестве первого шага каждая сторона пишет наилучший возможный аргумент в пользу своей позиции и передает это резюме противной стороне. Следующий шаг - устные дебаты, в которых основное внимание уделяется опровержению аргументов другой стороны, а не дальнейшей поддержке собственных доводов. Цель - прояснить и сравнить аргументы против аргументов каждой стороны. Если ни один из аргументов не может быть опровергнут, возможно, оба заслуживают рассмотрения в аналитическом отчете.

СОСТЯЗАТЕЛЬНОЕ СОТРУДНИЧЕСТВО

Деспотичное сотрудничество - это соглашение между противоборствующими сторонами о том, как они будут работать вместе, чтобы разрешить или хотя бы лучше понять свои разногласия. Состязательное сотрудничество - это относительно новая концепция, которую отстаивает Дэниел Канеман, психолог, который вместе с Амосом Тверски инициировал большую часть исследований когнитивных предубеждений, описанных в книге Ричардса Хойера "Психология анализа разведданных". В 2002 году Канеман получил Нобелевскую премию за исследования в области поведенческой экономики и написал интеллектуальную автобиографию в связи с этой работой, в которой он следующим образом прокомментировал Adversarial Collaboration:

Одно из направлений работы, которое, как я надеюсь, может стать влиятельным, - это разработка процедуры состязательного сотрудничества, которую я отстаиваю как замену формату "критика-ответ-реплики", в котором в настоящее время ведутся дебаты в социальных науках. И как участник, и как читатель я был потрясен абсурдно состязательным характером этих дискуссий, в которых почти никто никогда не признает ошибки и не признает, что чему-то научился у другого. Состязательное сотрудничество подразумевает добросовестную попытку вести дебаты путем проведения совместных исследований - в некоторых случаях может потребоваться согласованный арбитр, который будет руководить проектом и собирать данные. Поскольку нет надежды на то, что участники спора придут к полному согласию в конце упражнения, состязательное сотрудничество обычно приводит к необычному типу совместной публикации, в которой разногласия излагаются как часть статьи, написанной совместно.4

Подход Канемана к состязательному сотрудничеству предполагает согласование эмпирических тестов для разрешения спора и проведение этих тестов с помощью беспристрастного арбитра. В совместном отчете описываются тесты, указывается, что удалось выяснить, в чем обе стороны согласны, и дается интерпретация результатов тестов, в чем они не согласны.5

Хотя разногласия в суждениях о разведке редко удается устранить с помощью эмпирических исследований, концепцию состязательного сотрудничества все же можно адаптировать к анализу разведданных. Аналитики могут договориться об использовании различных методов для уменьшения, устранения, более четкого определения или объяснения своих разногласий. Здесь они сгруппированы под общим названием "Сотрудничество на стороне противника".

Истина рождается из споров между друзьями.

-Дэвид Юм, шотландский философ

Когда использовать

Состязательное сотрудничество следует использовать только в том случае, если обе стороны открыты для обсуждения проблемы. Если одна из сторон полностью придерживается своей позиции и неоднократно отвергала аргументы другой стороны, эта техника вряд ли будет успешной. В таких ситуациях целесообразнее использовать структурированные дебаты, поскольку в них участвует независимый арбитр, который выслушивает обе стороны и затем принимает решение.

Добавленная стоимость

Состязательное сотрудничество может помочь противоборствующим аналитикам увидеть достоинства точки зрения другой группы. В случае успеха оно поможет обеим сторонам лучше понять, какие предположения или доказательства стоят за их противоположными мнениями по тому или иному вопросу, и найти наилучший способ преодоления этих разногласий. Можно ли доказать, что одна из сторон не права, или в любом отчете по теме должны быть отражены обе позиции? Можно ли прийти к согласию относительно показателей, показывающих, в каком направлении, по всей видимости, движутся события?

Ключевое преимущество методов состязательного сотрудничества заключается в том, что они позволяют выявить критические доказательства, логику и предположения, которые другая сторона не учла в своем анализе. Это особенно верно для любых доказательств, которые не согласуются с основной гипотезой одной из сторон или не помогают ей.

Метод

Здесь описаны шесть подходов к состязательному сотрудничеству. Всех их объединяет принудительное требование понять и рассмотреть позицию другой стороны, а не просто отвергнуть ее. Взаимное понимание позиции другой стороны - это мост к продуктивному сотрудничеству. Эти шесть техник не являются взаимоисключающими; иными словами, в каждом конкретном проекте можно использовать несколько из них.

Проверка ключевых допущений: Первым шагом к пониманию того, что лежит в основе противоречивых суждений, является проверка ключевых предположений, описанная в главе 8 . Доказательства всегда интерпретируются в контексте ментальной модели того, как обычно происходят события в данной стране или ситуации, и проверка ключевых предположений - это один из способов сделать ментальную модель явной. Если проверка ключевых предположений еще не проводилась, каждая сторона может применить эту технику, а затем поделиться результатами с другой стороной.

Затем обсуждение должно быть сосредоточено на обосновании каждого предположения и предложениях о том, как это предположение может быть подтверждено или опровергнуто. Если обсуждение сосредоточено на вероятности предположения А по сравнению с предположением Б, часто полезно выразить вероятность в виде числового диапазона - например, от 65 % до 85 % для вероятности. Пройдя через эти этапы, аналитики иногда обнаруживают, что они не так далеки друг от друга, как им казалось. Обсуждение должно быть сосредоточено на опровержении предположений другой стороны, а не на поддержке своих собственных.

Анализ конкурирующих гипотез: Когда противоборствующие стороны имеют дело с коллегиальными разногласиями, и ни одна из сторон не придерживается своей позиции, анализ конкурирующих гипотез (ACH), описанный в в главе 7 , может стать хорошим структурированным форматом, помогающим выявить и обсудить разногласия. Одно из важных преимуществ ACH заключается в том, что он точно определяет источники разногласий. Обе стороны соглашаются с набором гипотез, а затем оценивают каждый элемент доказательств или релевантной информации как соответствующий или несоответствующий каждой гипотезе. Когда аналитики расходятся во мнениях относительно оценок согласованности, разногласия часто быстро устраняются. Если же разногласия не устраняются, они часто указывают на ранее не признанные предположения или на интересное обоснование другой интерпретации доказательств. Можно также использовать ACH для отслеживания значимости каждого элемента релевантной информации для поддержки общего вывода.

Использование ACH может и не привести к устранению всех разногласий, но это может стать большим шагом к пониманию этих разногласий и определению того, какие из них могут быть устранены путем дальнейшего сбора разведданных или проведения исследований. Затем аналитики могут принять решение о потенциальной продуктивности дальнейших усилий по устранению разногласий. Однако ACH может оказаться бесполезным, если две стороны уже закрепились на своих позициях. В рамках ACH одной из сторон слишком легко интерпретировать доказательства и вводить предположения таким образом, чтобы они заведомо поддерживали ее предвзятую позицию. Чтобы бросить вызов устоявшейся ментальной модели, могут быть более уместны другие техники оспаривания или управления конфликтами.

Сопоставление аргументов: Карта аргументов, описанная в главе 7 , отображает логическую связь между каждым элементом аргумента. Две стороны могут договориться о совместной работе над созданием единой карты аргументов, содержащей обоснование как за, так и против определенного вывода. Такая карта аргументов покажет, в чем обе стороны сходятся, в чем расходятся и почему. Визуальное представление аргументации позволяет легче распознать слабые места в аргументах противников. Эта техника позволяет точно определить место возникновения разногласий и может служить объективной основой для посредничества в урегулировании разногласий.

Альтернативный подход может заключаться в том, чтобы сосредоточить обсуждение на альтернативных контрастных картах аргументов.

Взаимопонимание: Когда аналитики из разных офисов или агентств расходятся во мнениях, их разногласия часто усугубляются тем, что они имеют ограниченное представление о позиции и логической аргументации другой стороны. Подход "Взаимопонимание" напрямую решает эту проблему.

После обмена информацией о своих позициях обе стороны встречаются вместе с фасилитатором, модератором или лицом, принимающим решение. Сторона 1 должна объяснить стороне 2 свое понимание позиции стороны 2. Сторона 1 должна сделать это таким образом, чтобы удовлетворить сторону 2 в том, что ее позиция представлена должным образом. Затем роли меняются местами, и сторона 2 объясняет свое понимание позиции стороны 1. Этот взаимный обмен мнениями зачастую трудно осуществить, не выслушав и не поняв противоположную точку зрения и то, на чем она основана. Когда все аналитики точно понимают позицию каждой стороны, они могут обсуждать свои разногласия более рационально и с меньшими эмоциями. Опыт показывает, что эта техника обычно способствует некоторому продвижению противоборствующих сторон к общему мнению.6

Есть два способа оценить состояние дебатов: типы задаваемых вопросов и уровень слушания.

-Дэвид А. Гарвин и Майкл А. Роберто, "Чего вы не знаете о принятии решений", Harvard Business Review, сентябрь 2001 г.

Совместная эскалация: Когда в аналитической группе возникают разногласия, их часто передают в вышестоящие инстанции. Такая эскалация часто ухудшает ситуацию. Обычно происходит так: расстроенный аналитик доводит проблему до своего начальника, кратко объясняя суть конфликта в манере, явно поддерживающей позицию самого аналитика. Затем аналитик возвращается в группу, заручившись поддержкой босса. Однако аналитик(и), выступающий(ие) против него, также обратился(ись) к своим начальникам и вернулся(ись) с поддержкой своего решения. Каждый аналитик оказывается заблокированным в том, что стало "взглядом моего руководителя" на проблему. И без того сложная проблема стала еще более неразрешимой. Если менеджеры напрямую пообщаются друг с другом, оба быстро поймут, что не имеют полного представления о проблеме и должны учитывать то, что известно их коллегам, прежде чем пытаться решить вопрос.

Этой ситуации можно избежать, если договориться между членами команды или, лучше всего, установить политику организации, которая требует совместной эскалации.7 Аналитики должны подготовить совместное заявление с описанием разногласий и совместно представить его начальству. Это требует, чтобы каждый аналитик понял и рассмотрел, а не просто отверг позицию другой стороны. Это также гарантирует, что руководители будут иметь доступ к различным точкам зрения на конфликт, его причины и различные способы его разрешения.

Уже сама необходимость подготовки такого совместного заявления препятствует эскалации и часто приводит к достижению соглашения. Сторонники этого подхода сообщают о своем опыте: "Компании, которые требуют от людей разделять ответственность за эскалацию конфликта, часто наблюдают снижение количества проблем, которые продвигаются вверх по управленческой цепочке. Совместная эскалация помогает создать ту подотчетность, которой не хватает, когда люди знают, что могут изложить свою версию проблемы собственному руководителю и обвинить других, если дела не ладятся".8

Подход Носенко: Юрий Носенко был советским офицером разведки, перебежавшим в США в 1964 году. Вопрос о том, был ли он настоящим перебежчиком или советской подсадкой, был предметом напряженных и эмоциональных споров в ЦРУ на протяжении более десяти лет. По мнению некоторых, это историческое дело до сих пор вызывает споры.

В 1968 году, в критический момент принятия решения, руководство Отдела советского блока ЦРУ создало группу из трех человек, которая должна была изучить все доказательства и дать рекомендации по действиям отдела в этом деле. Об объеме доказательств говорит тот факт, что только один отчет, в котором утверждалось, что Носенко все еще находился под советским контролем, занимал 1000 страниц. Группа состояла из одного руководителя, который придерживался мнения, что Носенко - советская фабрика, одного руководителя, который считал его добросовестным перебежчиком, и опытного офицера, который ранее не был замешан в этом деле, но склонялся к тому, что Носенко может быть фабрикой.

Интересным моментом здесь является основное правило, которому команда должна была следовать. После изучения доказательств каждый офицер определял те пункты доказательств, которые считал критически важными для вынесения суждения о добросовестности Носенко. Любой пункт, который один офицер считал критически важным, должен был быть рассмотрен двумя другими членами группы.

Оказалось, что четырнадцать пунктов были оговорены хотя бы одним из членов команды и должны были быть рассмотрены обоими. Каждый офицер подготовил свой собственный анализ, но все они должны были рассмотреть одни и те же четырнадцать вопросов. Их отчет стал известен как отчет "Мудрых людей".

Команда не пришла к единому мнению. Однако важно, что мышление всех троих двигалось в одном направлении. Когда важные улики стали рассматривать с точки зрения поиска истины, а не доказательства вины или невиновности Носенко, версия о том, что Носенко был подсадным, начала рассыпаться. Офицер, который всегда считал Носенко добросовестным, почувствовал, что теперь сможет доказать это. Офицер, который был относительно недавно в этом деле, изменил свое мнение в пользу добросовестности Носенко. Офицер, который был одним из главных аналитиков и сторонников позиции, что Носенко - завод, стал значительно менее уверен в этом выводе. Теперь у руководства было достаточно оснований для принятия решения.

Основные правила, использованные в деле Носенко, могут быть применены в любой попытке прекратить давние аналитические разногласия. Ключевым моментом, который делает эти правила действенными, является требование, чтобы каждая сторона напрямую обращалась к вопросам, которые важны для другой стороны, и таким образом пыталась понять точку зрения другой стороны. Этот процесс защищает от распространенной склонности аналитиков приводить свои собственные аргументы, а затем просто отвергать аргументы другой стороны как недостойные рассмотрения.9

СТРУКТУРИРОВАННАЯ ДИСКУССИЯ

Структурированные дебаты - это запланированные дебаты между аналитиками или аналитическими группами, придерживающимися противоположных точек зрения по определенному вопросу. Дебаты проводятся по установленным правилам перед аудиторией, которая может представлять собой "жюри равных" или одного или нескольких старших аналитиков или менеджеров.

Когда использовать

К структурированным дебатам прибегают, когда внутри аналитических подразделений или между ними, а также в сообществе, принимающем решения, существуют значительные разногласия. Она также может быть эффективно использована, когда состязательное сотрудничество оказалось безуспешным или нецелесообразным, и необходимо сделать выбор между двумя противоположными мнениями или принять решение о проведении сравнительного анализа обоих мнений. Структурированные дебаты требуют значительных затрат аналитического времени и ресурсов. Основанием для такого рода инвестиций времени и ресурсов может стать давний политический вопрос, критическое решение, имеющее далеко идущие последствия, или спор внутри аналитического сообщества, препятствующий эффективному межведомственному сотрудничеству.

Добавленная стоимость

В предлагаемом здесь методе каждая сторона излагает свои аргументы в письменном виде; затем оба аргумента объединяются в единый документ, который представляется аудитории перед началом дебатов. Затем в ходе устных дебатов основное внимание уделяется опровержению позиции другой стороны. Болтливые и располагающие к себе ораторы всегда могут сделать так, чтобы аргументы в пользу их собственной позиции звучали убедительно. Однако эффективное опровержение позиции другой стороны - это совсем другое дело. Требование опровергнуть позицию другой стороны привносит в дискуссию важную особенность научного метода: наиболее вероятная гипотеза - это та, против которой меньше всего доказательств, а также хорошие доказательства в ее пользу. (Концепция опровержения гипотез обсуждается в в главе 7 .)