Структурированные аналитические методы для анализа разведданных

Эта глава начинается с практических рекомендаций о том, как использовать преимущества среды совместной работы, предотвращая или избегая многих известных проблем, связанных с процессами в малых группах. Далее описывается, как структурированные аналитические техники обеспечивают процесс, при котором сотрудничество становится наиболее эффективным. Многое меняется, когда внутренний мыслительный процесс аналитиков выводится наружу в прозрачной манере, так что доказательствами можно делиться на ранних этапах, а различия во мнениях можно разделять, развивать и легко критиковать другими.

Быстрый рост социальных сетей, преодолевающих организационные границы, и расширение географического распределения их членов меняют подход к анализу как в профессии разведчика, так и в бизнесе. В этой главе мы определим три различных типа групп, которые занимаются анализом: два типа команд и группа, названная здесь "социальной сетью".

Мы рекомендуем проводить анализ в два этапа: первоначальный, разнонаправленный анализ, проводимый географически распределенной социальной сетью, и сходящийся анализ и окончательный отчет, проводимый небольшой аналитической группой. Затем мы рассмотрим ряд проблем, которые, как известно, снижают эффективность работы команд и малых групп, и в заключение предложим некоторые практические меры по ограничению возникновения таких проблем.

12.1 СОЦИАЛЬНЫЕ СЕТИ И АНАЛИТИЧЕСКИЕ КОМАНДЫ

Команды и группы можно классифицировать несколькими способами. Когда целью группы является создание аналитического продукта, наиболее полезно иметь дело с тремя типами: традиционной аналитической командой, командой специального проекта и командой, поддерживаемой социальными сетями. Традиционные команды обычно располагаются в одном месте и сосредоточены на выполнении конкретной задачи. Специальные проектные команды наиболее эффективны, когда их члены находятся в одном месте или работают в синхронном виртуальном мире (подобно Second Life). Аналитические команды, поддерживаемые социальными сетями, могут эффективно работать как в колокации, так и в географическом распределении, как в синхронном, так и в асинхронном режимах. Эти три типа групп различаются по характеру руководства, частоте встреч лицом к лицу и в виртуальном мире, широте аналитической деятельности и степени нехватки времени, в котором они работают.1

Традиционная аналитическая команда: Это типичная рабочая команда, которой поручено выполнение конкретной задачи. В ней есть лидер, назначаемый руководителем или выбираемый командой, и все члены команды несут коллективную ответственность за ее продукт. Команда может совместно разрабатывать весь продукт, или каждый член команды может отвечать за определенный участок работы. Исторически сложилось так, что в разведывательном сообществе США многие команды состояли из аналитиков одного ведомства, а привлечение других ведомств происходило путем координации на поздней стадии процесса, а не сотрудничества с самого начала. Сейчас эта ситуация меняется благодаря изменениям в политике и более легкому доступу к безопасному программному обеспечению для межведомственной связи и сотрудничества. На рисунке 12.1a показано, как работает традиционная аналитическая группа. Основная аналитическая группа, участники которой обычно работают в одном офисе, составляет проект документа и рассылает его другим членам сообщества для комментариев и координации. В идеале основная группа предупреждает других участников сообщества о своем намерении написать по конкретной теме; но слишком часто такой диалог происходит гораздо позже, когда они уже согласовывают проект. В большинстве случаев требуются специальные разрешения или соблюдение установленных процедур, чтобы привлечь экспертов за пределами офиса или правительства.

Группа специального проекта: Такая группа обычно формируется для предоставления лицам, принимающим решения, аналитической поддержки в режиме, близком к реальному времени, во время кризиса или текущей операции. Примером такой группы может служить оперативная группа поддержки кризисных ситуаций или развернутая на местах межведомственная разведгруппа, поддерживающая военную операцию. Члены группы, как правило, находятся в одном и том же офисном помещении или связаны между собой видеосвязью. Имеется сильное руководство группой, часто с тесным личным взаимодействием между членами группы. Поскольку команда создается для решения конкретной ситуации, ее работа может иметь более узкую направленность, чем работа социальной сети или обычной аналитической группы, а ее продолжительность может быть ограничена. Как правило, на нее оказывается сильное давление, и может потребоваться круглосуточная работа. Рисунок 12.1b представляет собой схему команды специального проекта.

Социальные сети: У опытных аналитиков всегда есть своя сеть экспертов в своей или смежных областях, с которыми они время от времени консультируются и которых они могут нанять для работы над конкретным аналитическим проектом. Социальные сети играют важнейшую роль в аналитическом бизнесе. Они осуществляют ежедневный мониторинг событий, производят рутинные продукты по мере необходимости и могут рекомендовать сформировать более формальную аналитическую команду для выполнения конкретного проекта. Социальная сеть - это форма групповой деятельности, которая сейчас сильно меняется с ростом легкости межведомственных безопасных коммуникаций и доступности программного обеспечения для совместной работы. Социальные сети расширяются в геометрической прогрессии, преодолевая границы организаций. Термин "социальная сеть", используемый здесь, включает всех аналитиков, работающих в любой точке мира над конкретной страной, например Бразилией, над проблемой, например разработкой химического оружия, или над консультационным проектом в мире бизнеса. Она может быть ограничена небольшой группой, имеющей специальный допуск, или включать широкий круг экспертов из правительства, бизнеса, неправительственных организаций (НПО) и академических кругов. Сеть может располагаться в одном офисе, в разных зданиях в одном мегаполисе или все чаще в нескольких точках по всему миру.

Рисунок 12.1a Традиционная аналитическая группа

Источник: 2009 Pherson Associates, LLC.

Рисунок 12.1b Группа специального проекта

Источник: 2009 Pherson Associates, LLC.

Основная проблема, возникающая при использовании социальных сетей, - географическое распределение их участников. Даже в пределах мегаполиса Вашингтон расстояние является фактором, ограничивающим частоту личных встреч, особенно с учетом того, что пробки на дорогах становятся все большим кошмаром, а авиаперелеты - недоступной статьей расходов. Исследуя команды в различных организациях, в том числе в разведывательном сообществе США, Ричард Хакман и Анита Вулли пришли к такому выводу:

Распределенные команды относительно хорошо справляются с инновационными задачами, для которых необходимо генерировать идеи и решения... но в целом уступают командам, работающим лицом к лицу, в решении задач, связанных с принятием решений. Хотя системы поддержки принятия решений могут несколько повысить эффективность работы, решения, принимаемые на расстоянии, по-прежнему занимают больше времени, предполагают меньший обмен информацией, затрудняют обнаружение и исправление ошибок и могут приводить к меньшей удовлетворенности участников результатом, чем в случае с командами, работающими лицом к лицу. . . . В целом, распределенные команды подходят для решения многих, но не всех командных задач. Для их эффективного использования необходимо тщательно продумать структуру команды, провести очный старт, когда члены команды только собираются вместе, и поддерживать руководство на протяжении всей жизни команды, чтобы ее члены оставались вовлеченными в работу и стремились к достижению коллективных целей.2

Исследования эффективных методов совместной работы показали, что географически и организационно распределенные команды с наибольшей вероятностью добьются успеха, если они удовлетворяют шести ключевым требованиям. Участники должны сделать следующее:

Знайте друг друга и доверяйте друг другу; для этого обычно требуется, чтобы они хотя бы раз встретились лицом к лицу.

Почувствуйте личную потребность вовлечь группу в выполнение важной задачи.

Получайте взаимную выгоду от совместной работы.

Общайтесь друг с другом виртуально по требованию и легко добавляйте новых участников.

Воспринимают стимулы для участия в группе, такие как экономия времени, получение новых знаний от общения с другими знающими аналитиками или увеличение отдачи от своего вклада.

Выработать общее понимание проблемы с помощью согласованных списков общих терминов и определений.3

12.2 РАЗДЕЛЕНИЕ РАБОТ

Управление географическим распределением социальной сети можно решить, разделив аналитическую задачу на две части: во-первых, используя сильные стороны социальной сети для дивергентного или творческого анализа, чтобы выявить идеи и собрать информацию; во-вторых, сформировав небольшую аналитическую группу, которая использует конвергентный анализ, чтобы объединить эти идеи в аналитический продукт. Когда проект завершен, он возвращается на рецензию всем членам социальной сети, которые внесли свой вклад на первом этапе анализа, а затем возвращается в команду для редактирования и подготовки окончательного документа.

Структурированные методы анализа и программное обеспечение для совместной работы прекрасно способствуют такому двухкомпонентному подходу к анализу. Ряд базовых техник, используемых для дивергентного анализа на ранних этапах аналитического процесса, хорошо подходит для географически распределенной социальной сети, общающейся онлайн, часто через вики. Это закладывает прочную основу для проведения последующего конвергентного анализа небольшой аналитической группой. Другими словами, каждый тип группы выполняет ту задачу, для которой он лучше всего подходит. Этот процесс применим к большинству аналитических проектов. На рисунке 12.2 показано, как это может работать.

Рисунок 12.2 Вики как инструмент совместной работы

Источник: 2009 Pherson Associates, LLC.

Лидер проекта информирует социальную сеть о предстоящем проекте и предоставляет предварительное описание проекта, целевую аудиторию, объем и процесс, которому предстоит следовать. Лидер также сообщает название вики или виртуальной рабочей области для совместной работы и приглашает к участию заинтересованных аналитиков, разбирающихся в данной области. Любой аналитик, имеющий доступ к сети совместной работы, также имеет право добавлять в нее информацию и идеи. На этапе дивергентного анализа по указанию руководителя проекта могут использоваться любые или все перечисленные ниже методы , а также другие:

Переопределение проблемы, как описано в главе 4 .

Совместная работа по обмену и обработке данных с использованием других методов, таких как временные шкалы, сортировка, сетевое взаимодействие, составление карт и диаграмм, как описано в глава 4 .

Проведите мозговой штурм, как описано в , глава 5 , чтобы составить список движущих сил, переменных, игроков и т. д.

Ранжирование или определение приоритетов в этом списке, как описано в глава 4 .

Поместите этот список в матрицу перекрестного воздействия, как описано в , глава 5 , а затем обсудите и запишите в вики взаимосвязь, если таковая имеется, между каждой парой движущих сил, переменных или игроков в этой матрице.

Составление списка альтернативных объяснений или результатов (гипотез), которые необходимо рассмотреть, как описано в глава 7 .

Составление списка релевантной информации, которую необходимо учитывать при оценке этих гипотез, как описано в главе 7 .

Проведите проверку ключевых предположений, как описано в в главе 8 . При использовании синхронного виртуального рабочего пространства для совместной работы это занимает меньше времени, чем при личной встрече, и настоятельно рекомендуется для изучения мнения сети о ключевых предположениях.

Большинство этих шагов связано с составлением списков, что можно довольно эффективно делать в виртуальной среде. Составление таких материалов в чате или в вики может быть даже более продуктивным, чем личная встреча, поскольку у аналитиков есть больше времени на обдумывание и оформление своих мыслей. Они могут просматривать свой вклад в течение нескольких дней и вносить дополнения или изменения по мере появления новых идей.

Этот процесс должен контролироваться и направляться руководителем проекта. Помимо создания прочной основы для дальнейшего анализа, этот процесс позволяет руководителю проекта определить лучших аналитиков, которые войдут в состав небольшой группы, выполняющей второй этап проекта - вынесение аналитических суждений и составление отчета. Члены команды должны быть подобраны таким образом, чтобы максимально соответствовать следующим критериям: уровень экспертизы по теме, степень заинтересованности в результатах анализа, а также разнообразие мнений и стилей мышления в группе. Затем действие переходит от социальной сети к небольшой, доверенной команде (предпочтительно не более восьми аналитиков) для завершения проекта, возможно, с использованием других техник, таких как анализ конкурирующих гипотез или "Что если? Анализ. На этом этапе процесса использование виртуального программного обеспечения для совместной работы обычно более эффективно, чем личные встречи. Рэнди Ферсон обнаружил, что использование аватаров, которые встречаются в виртуальном конференц-зале, особенно эффективно.4 Программное обеспечение, используемое для обмена идеями и редактирования текста, должно обеспечивать конфиденциальность обсуждений и вести аудиторский учет всей проделанной работы.

Проект отчета лучше всего составлять одному человеку. Этот человек может работать с материалами других членов команды, но отчет обычно читается лучше, если он составлен одним голосом. Как отмечалось ранее, рабочий проект должен быть рассмотрен теми членами социальной сети, которые участвовали в первой фазе анализа.

12.3 ОБЩИЕ ОШИБКИ ПРИ РАБОТЕ С МАЛЫМИ ГРУППАМИ

По мере того как все больше аналитических работ проводится совместно, качество разведывательных продуктов все больше зависит от успеха или неудачи процессов в малых группах. Различные проблемы, возникающие при работе в малых группах, хорошо известны и были предметом многочисленных исследований5 .5 Можно с полным основанием опасаться, что расширение сотрудничества приведет к возникновению новых проблем и межведомственных баталий. Однако, как мы объясняем здесь, оказывается, что использование структурированных методов анализа часто помогает аналитикам избежать многих из распространенных ловушек процесса работы в малых группах.

Некоторые проблемы группового процесса очевидны для всех, кто принимал участие в попытках выработать решения или суждения на групповом собрании. Руководства по эффективному проведению собраний широко доступны, но многие руководители групп не следуют им.6 Ключевые лица отсутствуют или опаздывают, а участники не подготовлены. На собраниях часто доминируют старшие члены или сильные личности, в то время как некоторые участники не хотят высказываться или выражать свои истинные убеждения. Обсуждение может зациклиться на нескольких существенных аспектах проблемы, а не охватить все стороны вопроса. Решения могут быть не приняты, а если и приняты, то могут оказаться невыполненными. Такие проблемы часто значительно усиливаются, когда встреча проводится виртуально, по телефону или компьютеру.

Если бы вам нужно было назвать одним словом причину того, что человечество не достигло и никогда не достигнет своего полного потенциала, этим словом было бы "встречи".

Дэйв Барри, американский юморист

Научные исследования показывают, что "порядок, в котором выступают люди, оказывает глубокое влияние на ход дискуссии. Более ранние комментарии оказывают большее влияние и, как правило, задают рамки, в которых проходит обсуждение "7 .7 Как только эти рамки установлены, обсуждение, как правило, сосредотачивается на них, исключая другие варианты.

Многие исследования подтверждают, что стремление к консенсусу является важной причиной плохих групповых решений. Достижение группового консенсуса обычно воспринимается как успех, но на самом деле оно часто свидетельствует о неудаче. Преждевременный консенсус - одна из наиболее распространенных причин неоптимальной работы группы. Он приводит к неспособности определить или серьезно рассмотреть альтернативы, неспособности изучить негативные аспекты предпочтительной позиции и неспособности рассмотреть последствия, которые могут последовать, если предпочтительная позиция окажется ошибочной.8 Это явление принято называть "групповым мышлением".

Другие проблемы, менее очевидные, но не менее значимые, были подробно описаны академическими исследователями. Часто предлагается некоторое достаточно удовлетворительное решение, с которым соглашаются все участники, и обсуждение заканчивается без дальнейших поисков лучшего ответа. Такое решение часто не соответствует тому оптимуму, который может быть достигнут в результате дальнейших поисков. Другое явление, известное как групповая "поляризация", в определенных предсказуемых обстоятельствах приводит к групповому решению, которое является более экстремальным, чем мнение среднего члена группы до начала обсуждения. "Социальное безделье" - это явление, когда люди, работающие в группе, часто затрачивают меньше усилий, чем если бы они решали ту же задачу в одиночку. В любой из этих ситуаций результатом часто становится некачественный продукт, страдающий от недостатка аналитической точности.

12.4 ИЗВЛЕЧЕНИЕ ВЫГОДЫ ИЗ РАЗНООБРАЗИЯ

Улучшение работы группы требует понимания этих проблем и добросовестных усилий по их предотвращению или смягчению. В литературе, посвященной эффективности работы малых групп, практически единодушно подчеркивается, что группы принимают более эффективные решения, когда их члены привносят за стол переговоров разнообразные идеи, мнения и точки зрения. Общими чертами преждевременного закрытия, группового мышления и поляризации являются неспособность распознать допущения, работать на основе общего лексикона, а также адекватно выявлять и рассматривать альтернативные точки зрения.

Лабораторные эксперименты показали, что даже одно инакомыслие само по себе делает решения группы более взвешенными, а процесс принятия решений - более тщательным.9 "Исследования также показывают, что эти преимущества несогласных мнений проявляются независимо от того, прав ли несогласный. Несогласие стимулирует переоценку ситуации и выявление вариантов, которые в противном случае остались бы незамеченными".10 Однако, чтобы быть эффективным, несогласие должно быть подлинным, а не созданным искусственно, как в некоторых случаях применения техники "Адвокатура дьявола".11

Небольшие распределенные асинхронные группы особенно хороши для составления и оценки списков предположений, показателей, движущих сил, потенциальных объяснений текущих событий или возможных результатов. Они также хорошо подходят для составления списков "за" и "против" по любому конкретному вопросу. С помощью программного обеспечения для поддержки распределенных групп группа может распределить элементы такого списка по категориям или расставить приоритеты, оценить, ранжировать, шкалировать или проголосовать по ним. Для таких задач распределенное асинхронное совещание может быть более продуктивным, чем традиционное очное. Это связано с тем, что у аналитиков есть больше времени на обдумывание своего вклада; они могут проанализировать свой вклад в течение нескольких дней и внести дополнения или изменения по мере появления дополнительных идей; а если ранг или положение некоторых членов группы могут оказать чрезмерное влияние, можно договориться, чтобы все члены группы внесли свой вклад анонимно.

Если вкратце, то путь к лучшему анализу лежит через создание небольших групп аналитиков, которые под руководством своего лидера поощряются к высказыванию широкого спектра идей, мнений и точек зрения. Использование структурированных аналитических техник, как правило, гарантирует, что это произойдет. Эти техники направляют диалог между аналитиками, когда они делятся доказательствами и альтернативными точками зрения на смысл и значение доказательств. Каждый шаг техники вызывает соответствующее обсуждение в группе, и в ходе такого обсуждения может быть получено и оценено значительно больше разнородной информации и новых идей, чем в группе, не использующей такой структурированный процесс.

В любой разнородной группе это снижает риск преждевременного закрытия, группового мышления и поляризации. Использование структурированной техники также устанавливает четкую пошаговую повестку дня для любой встречи, на которой используется эта техника. Это облегчает руководителю группы задачу по удержанию встречи на пути к достижению цели.12

Те же процедуры можно использовать как в засекреченных системах, так и с внешними экспертами в несекретной сети. Информация из открытых источников быстро стала играть большую роль в анализе разведданных, чем в прошлом. Распределенное асинхронное сотрудничество с последующим распределенным синхронным сотрудничеством с использованием некоторых основных структурированных методов - один из лучших способов задействовать опыт группы знающих людей. Метод Дельфи, рассмотренный в главе 9 , является одним из известных методов для выполнения первой фазы, а совместные синхронные виртуальные миры с аватарами демонстрируют большие перспективы для оптимизации работы, выполняемой на второй фазе.

12.5 ПРОПАГАНДА ПРОТИВ ОБЪЕКТИВНОГО ИССЛЕДОВАНИЯ

Желаемое разнообразие мнений, конечно, является обоюдоострым мечом, поскольку оно может стать источником конфликта, снижающего эффективность группы.13 Нелегко внедрить истинное сотрудничество и командную работу в сообщество с историей организационного соперничества и недоверия. Аналитики должны заниматься исследованием, а не пропагандой, они должны критически относиться к идеям, но не критиковать людей.

В командной среде, ориентированной на выполнение задач, отстаивание определенной позиции может привести к эмоциональному конфликту и снижению эффективности работы команды. Сторонники склонны рассматривать доказательства предвзято, принимая за чистую монету информацию, которая, как им кажется, подтверждает их собственную точку зрения, и подвергая критическому анализу любые противоположные доказательства. Пропаганда уместна на встрече заинтересованных сторон, на которой человек присутствует с целью представления конкретных интересов. Она также является "эффективным методом принятия решений в зале суда, когда обе стороны эффективно представлены, или на выборах, когда решение принимается голосованием народа".14 Однако она не подходит для принятия решений. 14 Однако он не является подходящим методом обсуждения в команде, "когда власть неравномерно распределена между участниками, когда информация распределена неравномерно и когда нет четких правил взаимодействия - особенно в отношении того, как будет приниматься окончательное решение".15 Эффективное решение может быть найдено только благодаря творческой синергии альтернативных точек зрения.

На рисунке 12.5 показаны различия между защитой интересов и объективным исследованием, которого ожидают от члена команды или коллеги.Когда отстаивание интересов приводит к эмоциональному конфликту, это может снизить эффективность команды, вызывая враждебность, недоверие, цинизм и апатию среди членов команды. С другой стороны, объективное исследование, которое часто приводит к когнитивному конфликту, может привести к новым и творческим решениям проблем, особенно если оно происходит в атмосфере цивилизованности, сотрудничества и общей цели. Несколько эффективных методов управления аналитическими разногласиями описаны в главе 10 .

Рисунок 12.5 Пропаганда и расследование в процессе работы в малых группах

Источник: 2009 Pherson Associates, LLC.

Считается, что команда или группа, использующая методы структурированного анализа, менее подвержена этим ловушкам группового процесса, чем аналогичная группа, проводящая традиционный анализ, поскольку эти методы отвлекают аналитиков от отстаивания своих интересов и направляют их на исследование. Эта идея еще не была проверена и продемонстрирована эмпирически, но ее обоснование очевидно. Как мы неоднократно отмечали на протяжении всех восьми глав, посвященных структурированным техникам, эти техники лучше всего работают, когда аналитик сотрудничает с небольшой группой других аналитиков. Подобно тому, как эти техники придают структуру нашим индивидуальным мыслительным процессам, они играют еще более важную роль в управлении взаимодействием аналитиков в рамках небольшой команды или группы.17

Некоторые методы, такие как проверка ключевых предположений, анализ конкурирующих гипотез (ACH) и картирование аргументов, помогают аналитикам получить четкое представление о том, как и почему они расходятся во мнениях. Например, многие аналитики ЦРУ и ФБР сообщают, что предпочитают использовать ACH для лучшего понимания различий во мнениях между ними и другими аналитиками или между аналитическими отделами. Процесс создания матрицы ACH требует выявления используемых доказательств и аргументов и определения того, как они интерпретируются - как согласующиеся или не согласующиеся с различными гипотезами. Анализ этой матрицы обеспечивает систематическую основу для выявления и обсуждения разногласий между двумя или более аналитиками. Аналитики ЦРУ и ФБР также отмечают, что обращение к матрице помогает обезличить аргументацию при возникновении разногласий.18 Другими словами, ACH может помочь аналитикам учиться на своих разногласиях, а не ссориться из-за них, и другие структурированные техники также делают это.

12.6 РУКОВОДСТВО И ОБУЧЕНИЕ

Значительные исследования в области виртуальных команд показывают, что эффективность руководства является основным фактором успеха или неудачи виртуальной команды.19 Хотя лидерство обычно обеспечивается назначенным руководителем группы, оно также может возникнуть как более распределенный коллегиальный процесс, чему в значительной степени способствует использование обученного фасилитатора (см. Рисунок 12.6 ). Когда контакт лицом к лицу ограничен, лидеры, фасилитаторы и члены группы должны компенсировать это, уделяя больше внимания, чем они могли бы в противном случае, следующим задачам:

Формулировка четкой миссии, целей, конкретных задач и процедур оценки результатов.

Определение измеримых целей с этапами и сроками их достижения.

Создание общего лексикона.

Определение четких и взаимодополняющих ролей и обязанностей.

Выстраивание отношений с членами команды и между ними, а также с заинтересованными сторонами.

Согласование норм и ожидаемого поведения в команде.

Определение процедур разрешения конфликтов.

Разработка специальных протоколов и практик общения.20

Как показано на Рисунок 12.6 , взаимодействие между различными типами участников команды - аналитиками, лидерами, фасилитаторами или технологами - не менее важно, чем индивидуальные роли каждого из них. Например, аналитики в команде будут наиболее эффективны не только тогда, когда они обладают экспертными знаниями в предметной области или знаниями, позволяющими взглянуть на ситуацию с новой точки зрения, но и тогда, когда вознаграждение за их участие четко определено их руководителем. Аналогичным образом, эффективность фасилитатора значительно возрастает, если цели, сроки и общая направленность проекта заранее согласованы с руководителем. Когда роли и взаимодействие четко определены и функционируют, группе легче перейти к более сложным аналитическим задачам.

Рисунок 12.6 Эффективные роли и взаимодействия в малой группе

Источник: 2009 Pherson Associates, LLC.

Поскольку все больше внимания уделяется сотрудничеству внутри и между офисами и все больше работы выполняется с помощью компьютерных средств связи, становится все более важным, чтобы аналитики проходили обучение знаниям, навыкам и умениям, необходимым для организации и проведения как личных, так и виртуальных встреч, с особым акцентом на урегулирование конфликтов во время таких встреч. Обучение более эффективно, если оно проводится непосредственно перед тем, как навыки и знания должны быть использованы. В идеале оно должно быть полностью интегрировано в рабочий процесс, а инструкторы выступают в роли тренеров, наставников и фасилитаторов.

Подобные программы обучения в масштабах нескольких ведомств или разведывательного сообщества могли бы оказать существенную поддержку межведомственному сотрудничеству и созданию виртуальных команд. При формировании новой межведомственной или виртуальной команды или рабочей группы все ее члены должны пройти одинаковый курс обучения, чтобы понять "подводные камни" групповых процессов, ожидания от работы, стандарты поведения и процедуры разрешения конфликтов. Стандартизация такого обучения в нескольких организациях или агентствах ускорит формирование общего опыта и культуры и сократит время начала работы любой новой межведомственной группы.

1. Эта глава была написана под влиянием и на основе исследований, проведенных в рамках проекта Group Brain Project в Гарвардском университете. Этот проект был поддержан Национальным научным фондом и Центром инноваций в области разведывательных технологий ЦРУ. В частности, см. J. Richard Hackman и Anita W. Woolley, "Creating and Leading Analytic Teams," Technical Report 5 (February 2007), http://groupbrain.wjh.harvard.edu/publications.html .

2. Там же, 8.

3. Рэндольф Х. Ферсон и Джоан Макинтайр, "Сущность сотрудничества: Опыт СК", в книге "Научные основы "сотрудничества" в сфере национальной безопасности: Myths and Reality-What Science and Experience Can Contribut to Its Success, Ed. Нэнси Чессер (Вашингтон, округ Колумбия: Управление стратегических многоуровневых оценок, Офис министра обороны, Директор оборонных исследований и инженерии/Управление технологий быстрой реакции, июнь 2009 г.).

4. Компания Рэнди Ферсона, Globalytica, LLC, добилась заметного успеха, используя свою платформу для совместной работы на основе аватаров TH!NK LIVE® для проведения синхронного обучения и наставничества аналитиков в использовании структурированных методов анализа. Программное обеспечение просто в использовании, быстро загружается на любой компьютер и стоит относительно недорого. За дополнительной информацией о системе обращайтесь по адресу ThinkSuite@globalytica.com.

5. Например, Paul B. Paulus and Bernard A. Nijstad, Group Creativity: Innovation through Collaboration (New York: Oxford University Press, 2003).

6. Дж. Скотт Армстронг, "Как делать лучшие прогнозы и принимать лучшие решения: Избегайте встреч лицом к лицу", Foresight 5 (осень 2006 г.).

7. Джеймс Суровицкий, "Мудрость толпы" (Нью-Йорк: Doubleday, 2004), 184.

8. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы? Потенциальные преимущества несогласия и разнообразия для групповой креативности", в книге "Групповая креативность", под ред. Paulus and Nijstad, 63-64.

9. Surowiecki, The Wisdom of Crowds, 183-184.

10. Немет и Немет-Браун, "Лучше, чем индивидуумы?", 73.

11. Там же, 76-78.

12. Этот и предыдущий абзацы выражают профессиональное суждение авторов, основанное на личном опыте и анекдотических свидетельствах, полученных в ходе обсуждения с другими опытными аналитиками. Как отмечается в главе 13 , существует очевидная необходимость в систематическом исследовании этой темы и других переменных, связанных с эффективностью структурированных аналитических техник.

13. Фрэнсис Дж. Милликен, Кэролайн А. Бартел и Терри Р. Куртцберг, "Разнообразие и креативность в рабочих группах", в книге "Групповая креативность", под ред. Paulus and Nijstad, 33.

14. Марта Лагас, "Четыре вопроса Дэвиду Гарвину и Майклу Роберто", Working Knowledge: A First Look at Faculty Research, еженедельный бюллетень Гарвардской школы бизнеса, 15 октября 2001 г., http://hbswk.hbs.edu/item/3568.html .

15. Там же.

16. Таблица взята из книги David A. Garvin and Michael A. Roberto, "What You Don't Know About Making Decisions," Working Knowledge: A First Look at Faculty Research, еженедельный бюллетень Гарвардской школы бизнеса, 15 октября 2001 года, http://hbswk.hbs.edu/item/2544.html .

17. Этот пункт выражает наше профессиональное суждение, основанное на личном опыте и анекдотических свидетельствах, полученных в ходе обсуждения с другими опытными аналитиками. Как мы обсуждаем в главе 13 , существует очевидная необходимость в систематическом исследовании этой темы и других переменных, связанных с эффективностью структурированных аналитических техник.

18. Эта информация была предоставлена двумя старшими преподавателями разведывательного сообщества.

19. Джонатан Н. Каммингс, "Руководство группами на расстоянии: Как смягчить последствия географической дисперсии" в книге "Лидерство на расстоянии: Research in Technologically-Supported Work, ed. Сьюзан Вайсбанд (Нью-Йорк: Routledge, 2007).

20. Сэйдж Фричайлд, "Создание команды и управление эффективностью команды". Первоначально размещено на сайте www.phoenixrisingcoaching.com . Эта статья больше не доступна в сети.

13

.

Валидация методов структурированного анализа

авторам этой книги часто задают вопрос о доказательствах эффективности методов структурированного анализа. Испытания этих методов в разведывательном сообществе США проводились в основном через опыт их использования. Этот опыт, безусловно, был успешным, но его оказалось недостаточно, чтобы убедить скептиков, не желающих менять свои многолетние привычки, или многих ученых, привыкших искать твердые эмпирические доказательства. В этой главе мы рассмотрим вопрос о том, как проверить или продемонстрировать эффективность методов структурированного анализа не только в разведке, но и в других дисциплинах. Этот же процесс должен быть применим и к использованию структурированных методов в бизнесе, медицине и многих других областях, которые постоянно имеют дело с вероятностями и неопределенностями, а не с твердыми данными.

13.1 ГРАНИЦЫ ЭМПИРИЧЕСКОГО АНАЛИЗА

Выводы, полученные в ходе эмпирических экспериментов, можно обобщить и применить к анализу разведданных или любой другой конкретной области только в том случае, если условия тестирования соответствуют условиям, в которых проводится анализ. Поскольку существует так много переменных, которые могут повлиять на результаты исследования, крайне сложно контролировать все или даже большинство из них. К таким переменным относятся цель использования техники, процедуры реализации, контекст эксперимента, характер аналитической задачи, различия в опыте и навыках аналитиков, а также то, проводится ли анализ одним аналитиком или в группе. Все эти переменные влияют на результат любого эксперимента, в котором якобы проверяется полезность той или иной аналитической техники. В ряде имеющихся примеров эмпирических исследований структурированных аналитических техник мы выявили серьезные вопросы относительно применимости результатов исследований к анализу разведданных.

Два фактора ставят под сомнение практическую осуществимость валидного эмпирического тестирования методов структурированного анализа, используемых в разведке. Во-первых, эти техники обычно используются как групповой процесс. Это потребовало бы тестирования групп аналитиков, а не отдельных аналитиков. Во-вторых, разведка имеет дело с вопросами, характеризующимися высокой степенью неопределенности. Бывший директор ЦРУ Майкл Хайден писал, что из-за неопределенности, присущей разведывательному анализу, рекордная точность в 70 % является хорошим показателем.1 Если это так, то единичный эксперимент, в котором использование структурированной техники приводит к неправильному ответу, не имеет смысла. Чтобы оценить, насколько часто аналитические суждения оказываются точными, необходимо многократное повторение одного и того же эксперимента.

Многие проблемы могли бы быть в значительной степени решены, если бы эксперименты проводились с аналитиками разведки с использованием тех методов, которые они применяют каждый день для анализа типичных разведывательных вопросов.2 Но даже если бы такие условия были соблюдены, все равно остались бы серьезные препятствия для значимых выводов. Например, многие методы структурированного анализа могут использоваться для нескольких различных целей, и результаты исследований эффективности этих методов могут быть обобщены и применены к разведывательному сообществу только в том случае, если метод используется таким же образом и для тех же целей, которые фактически применяются в разведывательном сообществе.

Например, Филип Тетлок в своей выдающейся, новаторской книге "Экспертное политическое суждение" описывает два эксперимента, которые показывают, что разработка сценариев не может быть эффективной аналитической техникой. В экспериментах сравнивались суждения по политическим вопросам до и после того, как испытуемые подготовили сценарии, пытаясь лучше разобраться в проблемах.3 Эксперименты показали, что прогнозы как экспертов, так и неэкспертов были более точными до создания сценариев; другими словами, создание сценариев фактически снизило точность их прогнозов. Несколько опытных аналитиков отдельно привели этот результат в качестве доказательства того, что разработка сценариев не может быть полезным методом анализа разведданных.4

Однако выводы Тетлока не следует обобщать и применять к анализу разведданных, поскольку в тех экспериментах сценарии проверялись как инструмент прогнозирования. Разведывательное сообщество не использует сценарии для прогнозирования. Цель разработки сценариев - описать несколько исходов или вариантов развития событий, которые должны быть рассмотрены лицом, принимающим решение, поскольку разведка не в состоянии предсказать один исход с разумной уверенностью. Еще одна важная цель разработки сценариев - определить индикаторы и вехи для каждого потенциального сценария. Затем эти показатели и вехи можно отслеживать, чтобы получить раннее предупреждение о том, в каком направлении развиваются события. В экспериментах Тетлока сценарии таким образом не использовались.

13.2 УСТАНОВЛЕНИЕ ДОСТОВЕРНОСТИ

Мы считаем, что самый простой способ оценить ценность методов структурированного анализа - это посмотреть, для какой цели используется тот или иной метод. Как только это будет установлено, следующий шаг - определить, действительно ли она достигает этой цели или существует более эффективный способ достижения той же цели. В этой книге восемь глав, посвященных техникам. Во введении к каждой главе обсуждается обоснование использования того или иного типа техник в этой главе. Как использование данного типа техники помогает аналитику лучше справляться с работой? Для каждой отдельной техники в книге описывается не только то, как использовать эту конкретную технику, но и то, когда ее использовать, а также то, какую пользу приносит ее применение. Другими словами, каждая техника структурированного анализа имеет так называемую лицевую валидность, поскольку есть основания ожидать, что она поможет смягчить или избежать проблем, которые иногда возникают при проведении разведывательного анализа.

В следующих параграфах приводятся примеры валидности нескольких структурированных техник, то есть объяснения того, как и почему эти аналитические приемы полезны. Большое количество исследований в области человеческого познания, проведенных за последние шестьдесят лет, показывает пределы рабочей памяти и говорит о том, что со сложной проблемой можно справиться наиболее эффективно, разбив ее на более мелкие части. Это, собственно, и есть словарное определение слова "анализ".5 и именно этим занимаются все техники, предполагающие составление списка, дерева, матрицы, диаграммы, карты или модели. Поэтому разумно ожидать, что аналитик, использующий такие инструменты для организации или визуализации информации, во многих случаях будет работать лучше, чем тот, кто этого не делает.

Аналогичным образом, многие эмпирические данные свидетельствуют о том, что человеческий разум склонен видеть то, что он ищет, и часто пропускать то, что он не ищет. Именно поэтому полезно разрабатывать сценарии и индикаторы возможных будущих событий, о которых разведка должна обеспечить раннее предупреждение. Эти методы могут помочь сборщикам получить необходимую информацию, а аналитикам - подготовить разум к распознаванию первых признаков значительных изменений.

"Удовлетворение" - это термин, который Герберт Саймон придумал для описания действий по выбору первой попавшейся альтернативы, которая кажется "достаточно хорошей", вместо того чтобы оценивать все возможные альтернативы и определять лучшую (см. главу 7 ). Удовлетворение - это распространенное аналитическое сокращение, которое люди используют при принятии повседневных решений, когда существует несколько возможных ответов. Это экономит много времени, когда вы принимаете суждения или решения, не имеющие большого значения, но это нежелательно, когда вы принимаете суждения или решения, имеющие большое значение для национальной безопасности. Кажется очевидным, что аналитик, который сознательно выявляет и анализирует альтернативные гипотезы, прежде чем прийти к заключению, с большей вероятностью найдет лучший ответ, чем тот, кто этого не делает.

Учитывая необходимую роль, которую играют предположения при вынесении разведывательных суждений на основе неполной и неоднозначной информации, представляется вероятным, что аналитик, использующий проверку ключевых предположений, в среднем будет работать лучше, чем аналитик, не прилагающий усилий для выявления и проверки предположений. Также существует множество эмпирических доказательств того, что рефрейминг вопроса помогает разблокировать сознание и позволяет увидеть другие перспективы.

Эмпирические исследования эффективности работы малых групп практически единодушно подчеркивают, что группы принимают лучшие решения, когда их члены привносят за стол переговоров разнообразные идеи, опыт, мнения и точки зрения.6 Глядя на результаты этих исследований, можно сделать вывод, что использование любой структурированной техники в групповом процессе, скорее всего, повысит качество анализа по сравнению с анализом, проводимым отдельным человеком, использующим эту технику, или группой, которая не использует никакой структурированной процедуры для выявления несовпадающих идей или мнений.

Опыт аналитиков разведывательного сообщества США, использующих программу Analysis of Competing Hypotheses (ACH) и аналогичные компьютерные аналитические инструменты, дает анекдотические доказательства в пользу этого вывода. Одна из целей использования ACH - добиться лучшего понимания различий во мнениях с другими аналитиками или между аналитическими подразделениями.7 Создание матрицы ACH требует пошагового обсуждения используемых доказательств и аргументов и обсуждения того, как они интерпретируются - как согласующиеся или не согласующиеся с каждой из гипотез. Этот процесс требует времени, но многие аналитики считают, что это время потрачено не зря; по их словам, освоив эту технику, они экономят время в долгосрочной перспективе.

Опыт обучения аналитиков разведки методу ACH показывает, что структурированные методы могут дать гораздо больше разносторонней информации при использовании в качестве группового процесса. Аналитики разведки и правоохранительных органов считают групповое обсуждение наиболее ценной частью процесса АКН. Использование структурированных методов не гарантирует правильного суждения, но эти анекдотические данные свидетельствуют о том, что такие методы вносят значительный вклад в улучшение анализа.

13.3 ПРОГРАММА ДЛЯ ЭМПИРИЧЕСКОЙ ПРОВЕРКИ

В разделе 13.1 , посвященном пределам эмпирического анализа, было показано, что эмпирический анализ точности структурированных методов крайне затруднителен, если вообще возможен. Теперь мы утверждаем, что даже пытаться нецелесообразно. Структурированные аналитические техники сами по себе не предсказывают будущее; они также не гарантируют отсутствие неожиданностей. Когда аналитическое суждение оказывается ошибочным, редко есть основания для того, чтобы понять, следует ли приписывать ошибку структурированной технике, аналитику, использующему эту технику, или присущей ситуации неопределенности.

Мы считаем, что наиболее реальный и эффективный подход к эмпирической оценке методов структурированного анализа - это изучение цели, для которой используется метод, а затем проверка того, действительно ли он достигает этой цели, или цель может быть достигнута каким-то лучшим способом. В этом разделе изложена программа эмпирического документирования ценности, полученной в результате применения методов структурированной аналитики. Этот подход вписывается в реальность того, как на самом деле проводится анализ в разведывательном сообществе США. Затем мы покажем, как этот подход может быть применен к анализу трех конкретных методик.

Шаг 1 - договориться о наиболее распространенных причинах аналитических ошибок и о том, какие структурированные техники наиболее полезны для их предотвращения.

Шаг 2 - определить, что мы знаем или думаем, что знаем о пользе использования конкретной структурированной техники. Это - достоверность, описанная ранее в этой главе, плюс то, чему, по мнению аналитиков, они научились в результате частого использования техники. Например, мы думаем, что знаем, что ACH дает множество преимуществ, которые помогают создать более качественный разведывательный продукт. Это происходит благодаря:

Приводит к гораздо более широкому поиску информации, чем тот, который аналитики вели бы в противном случае. Фокус на отклонении гипотез заставляет аналитика шире взглянуть на то, какую информацию он ищет и считает наиболее ценной.

Требование к аналитикам начинать с разработки полного набора альтернативных гипотез. Этот процесс снижает риск так называемого "сатисфичинга" - принятия первого пришедшего в голову ответа, который, как кажется, удовлетворяет потребность. Он гарантирует, что все разумные альтернативы будут рассмотрены до того, как аналитик закрепится в предпочтительном заключении.

Побуждение аналитиков к попыткам опровергнуть гипотезы, а не поддержать одну гипотезу. Это помогает аналитикам преодолеть тенденцию искать или интерпретировать новую информацию таким образом, чтобы она подтверждала их предубеждения, и игнорировать информацию и интерпретации, противоречащие прежним убеждениям.

Разбиение аналитической проблемы на составные части, показывая доказательства и гипотезы и их взаимосвязь. Это также позволяет аналитикам сортировать данные по типу, дате и диагностичности доказательств.

Обеспечение возможности сортировки и сравнения доказательств по аналитически полезным категориям, таким как доказательства из открытых источников против доказательств из тайных источников и из человеческих источников против технических источников, недавние доказательства против старых доказательств, и выводы, основанные на твердых доказательствах (отчеты разведки) против мягких доказательств (собственные предположения и логические выводы аналитика).

Подталкивает аналитиков к тому, чтобы представлять выводы в более организованном и прозрачном виде, чем это было бы возможно в других случаях.

Создание основы для определения ключевых предположений и показателей, которые можно отслеживать на постоянной основе, чтобы определить, в каком направлении развиваются события.

Оставляйте четкий аудиторский след о том, как проводился анализ и как отдельные аналитики могли отличаться в своих предположениях или суждениях.

Зафиксируйте общий уровень уверенности аналитиков в качестве данных и укажите, какая дополнительная информация необходима или какие требования к сбору данных должны быть разработаны.

Шаг 3 заключается в получении доказательств для проверки того, действительно ли методика обеспечивает ожидаемые преимущества. Получение доказательств в пользу или против этих преимуществ не ограничивается результатами эмпирических экспериментов. Оно включает в себя структурированные интервью с аналитиками, менеджерами и клиентами; наблюдения за встречами аналитиков, когда они используют эти техники; опросы, а также эксперименты.

Шаг 4 заключается в получении доказательств того, действительно ли эти преимущества приводят к повышению качества анализа. Качество анализа не ограничивается точностью. К другим показателям качества относятся ясность изложения, прозрачность того, как были сделаны выводы, и создание аудиторского следа для последующей проверки - все это преимущества, которые могут быть получены, например, при использовании ACH. Подтверждением более высокого качества может служить независимая оценка стандартов качества или опрос клиентов, получающих отчеты. Еще одним критерием, представляющим интерес, является экономическая эффективность, включающая затраты как времени аналитиков, так и денег. Как уже говорилось в этой книге, мы утверждаем, что использование структурированной техники часто экономит время аналитиков в долгосрочной перспективе. Это утверждение также должно быть подвергнуто эмпирическому анализу трех конкретных методик (см. Рисунок 13.3 ).

Рисунок 13.3 Три подхода к оценке

Источник: 2009 Pherson Associates, LLC.

ПРОВЕРКА ОСНОВНЫХ ДОПУЩЕНИЙ

Проверка ключевых допущений, описанная в главе 8 , является одной из наиболее важных и часто используемых техник. Ее цель - сделать явными, а затем оценить предположения, которые лежат в основе любого конкретного аналитического суждения или аналитического подхода. Вопросы для оценки: (1) Насколько успешно техника достигает этой цели? и (2) Как это повышает качество и, возможно, точность анализа? Ниже приведен список исследований, которые могут ответить на эти вопросы:

Опросите аналитиков, чтобы выяснить, как часто они используют ту или иную технику, каковы их критерии, когда ее следует применять, каковы процедуры ее использования, в чем они видят преимущества, полученные от ее применения, и какое влияние она оказала на их отчет.

Сравните качество случайной выборки отчетов, написанных без проверки ключевых предположений, с отчетами, написанными после такой проверки.

Опросите клиентов, чтобы выяснить, хотят ли они видеть в аналитических отчетах информацию о ключевых предположениях. Как часто они видят такую информацию?

Проверьте, может ли один аналитик эффективно определить свои собственные предположения, или это всегда следует делать в небольшой группе? Ответ кажется очевидным, но может быть полезно задокументировать величину разницы с помощью сравнения "до и после". Аналитиков обычно просят разработать свой собственный набор допущений до того, как они придут на встречу для проверки ключевых допущений. Сравните эти первоначальные списки со списком, составленным по итогам встречи.

Наблюдайте за несколькими группами, когда они проводят проверку ключевых предположений. После этого опросите всех аналитиков, чтобы определить, как они воспринимают свой опыт обучения во время встречи. Повлияло ли это на их размышления о наиболее вероятной гипотезе? Сделает ли их опыт более вероятным или менее вероятным использование этой техники в будущем? Проведите эксперимент, чтобы изучить влияние различных процедур применения этой техники.

МАТРИЦА ПЕРЕКРЕСТНОГО ВОЗДЕЙСТВИЯ

Матрица перекрестного воздействия, описанная в главе 5 , - это старая техника, которую Ричардс Хойер опробовал много лет назад, но, насколько нам обоим известно, сейчас она не используется в разведывательном сообществе США. Хойер рекомендует сделать ее частью стандартной тренировки на ранних этапах проекта, когда аналитик еще находится в режиме обучения, пытаясь разобраться в сложной ситуации. Это следующий логический шаг после проведения мозгового штурма для выявления всех значимых факторов или переменных, которые могут повлиять на ситуацию. Все факторы, выявленные в ходе мозгового штурма, заносятся в матрицу, которая затем используется для обсуждения того, как каждый фактор влияет на все остальные факторы, с которыми он связан в контексте конкретной проблемы. Такое групповое обсуждение взаимодействия каждой пары переменных - это познавательный опыт и хорошая основа для дальнейшего анализа и сотрудничества.

Матрица перекрестного воздействия - простая техника с очевидными преимуществами, но, как и любую другую технику, ее полезность можно и нужно проверять. Для этого есть несколько действенных способов:

Проведите интервью или опрос аналитиков после обсуждения перекрестного воздействия, чтобы узнать их мнение о его ценности в качестве учебного опыта.

Перед обсуждением перекрестного воздействия попросите каждого аналитика в отдельности выявить и проанализировать ключевые взаимосвязи между различными факторами. Затем сравните эти индивидуальные усилия с групповыми. Это должно показать преимущества группового процесса.

Разработайте сценарий и проведите эксперимент. Сравните выводы и качество отчета, подготовленного одной командой, которая не знала о концепции матрицы перекрестного воздействия, с отчетом другой команды, которую проинструктировали об использовании этой техники в качестве основы для обсуждения. Является ли анализ, подготовленный командой, которая использовала матрицу перекрестного воздействия, более полным и тщательным, чем анализ другой команды?

ВАЛИДАТОР ИНДИКАТОРОВ™

Indicators Validator™, описанный в главе 6 , - это относительно новая методика, разработанная Рэнди Ферсоном для проверки способности набора индикаторов обеспечивать раннее предупреждение о будущих событиях, например, о том, какой из нескольких потенциальных сценариев, по-видимому, развивается. В ней используется матрица, похожая на матрицу ACH, со сценариями, перечисленными в верхней части, и индикаторами в левой части. Для каждой комбинации индикатора и сценария аналитик оценивает по пятибалльной шкале вероятность того, что этот индикатор будет или не будет наблюдаться при развитии данного сценария. Этот рейтинг определяет диагностическую ценность каждого показателя или его способность диагностировать, какой сценарий становится наиболее вероятным.

Часто оказывается, что индикаторы не имеют практически никакой ценности, поскольку они соответствуют нескольким сценариям. Объяснение этому явлению заключается в том, что , когда аналитики определяют индикаторы, они обычно ищут индикаторы, которые согласуются со сценарием, который они хотят определить. Они не задумываются о том, что ценность индикатора снижается, если он также согласуется с другими гипотезами.

Программа Indicators Validator™ была разработана для удовлетворения ощутимой потребности аналитиков в лучшем понимании требований, предъявляемых к хорошему показателю. Однако в идеале необходимо проверить необходимость этой техники и ее эффективность, прежде чем поощрять всех аналитиков, работающих с индикаторами, к ее использованию. Такое тестирование может быть проведено следующим образом:

Проверьте, насколько необходима новая методика. Выберите выборку разведывательных отчетов, включающих список индикаторов, и примените тест Indicators Validator™ к каждому индикатору из списка. Как часто этот тест выявляет индикаторы, которые были выдвинуты, несмотря на то, что они не имеют диагностической ценности?

Проведите сравнение "до и после". Выявите аналитиков, которые в ходе своей работы разработали набор индикаторов. Затем попросите их применить Indicators Validator™ в своей работе и посмотреть, насколько это изменит ситуацию.

13.4 РЕКОМЕНДУЕМАЯ ПРОГРАММА ИССЛЕДОВАНИЙ

Очевидна необходимость создания организационных подразделений в аналитическом сообществе с широкой ответственностью за исследования в области аналитического ремесла. Однако мы скептически относимся к преимуществам предложений о создании национального института8 или виртуального центра, управляемого консультантами.8 или виртуального центра, управляемого консультантами.9 История исследований, направленных на улучшение разведывательного анализа, говорит о том, что любой из этих вариантов, скорее всего, послужит магнитом для дорогостоящих контрактных предложений и окажет лишь незначительное влияние на то, как средний аналитик выполняет свою работу, если вообще окажет. А для того, чтобы результаты исследований были внедрены, необходимо задействовать талант работающих аналитиков.

Несколько лет назад Нэнси Диксон провела для Разведывательного управления Министерства обороны исследование "проблемы извлеченных уроков" во всем разведывательном сообществе США и конкретно в DIA. Это исследование подтвердило наличие разрыва между так называемыми извлеченными уроками и их реализацией. Диксон обнаружила, что "наиболее часто в разведывательном сообществе выражается озабоченность по поводу трудностей с реализацией уроков". Она объясняет это двумя основными факторами:

Во-первых, те, кто отвечает за разработку и проведение уроков, редко несут ответственность за применение полученных знаний. . . . При самых благоприятных обстоятельствах передать результаты исследований и отчетов в оперативное управление, как известно, очень сложно.

Во-вторых, в большинстве случаев в процессе извлечения уроков не удается изначально определить конкретную целевую аудиторию, которая будет использовать эти уроки. . . В отсутствие заранее определенной, взаимно согласованной целевой аудитории для использования уроков, в рекомендациях обязательно отсутствует контекст, который в противном случае сделал бы их применимыми.10

Если мы хотим, чтобы исследования, рекомендованные в этой главе, были проведены эффективно и оказали значительное влияние на то, как на самом деле проводится анализ, мы считаем, что они должны проводиться линейным компонентом разведывательного сообщества, который отвечает за внедрение их результатов, или в тесном сотрудничестве с ним.

1. Пол Бедард, "Шеф ЦРУ заявляет о прогрессе в реформировании разведки", U.S. News and World Report, 16 мая 2008 г., www.usnews.com/articles/news/2008/05/16/cia-chief-claims-progress-with-intelligence-reforms.html .

2. Одним из лучших примеров исследования, которое действительно отвечает этому стандарту сопоставимости, является книга мастер-сержанта Роберта Д. Фолкера-младшего "Анализ разведданных в объединенных разведывательных центрах на театре военных действий: An Experiment in Applying Structured Methods (Washington, DC: Joint Military Intelligence College, 2000).

3. Филип Тетлок, "Экспертное политическое суждение" (Принстон, Нью-Джерси: Издательство Принстонского университета, 2005), 190-202.

4. Эти суждения были высказаны в публичных заявлениях и в личных сообщениях авторам.

5. Merriam-Webster Online, www.m-w.com/dictionary/analysis .

6. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы: Потенциальные преимущества несогласия и разнообразия для групповой креативности" в книге "Групповая креативность: Innovation through Collaboration, ed. Paul B. Paulus and Bernard A. Nijstad (New York: Oxford University Press, 2003), 63-64.

7. Эта информация была предоставлена высокопоставленным специалистом разведывательного сообщества в декабре 2006 года и впоследствии неоднократно подтверждалась в проектах, выполненных правительственными аналитиками.

8. Стивен Рибер и Нил Томасон, "Создание Национального института аналитических методов", Studies in Intelligence 49, no. 4 (2005).

9. Грегори Ф. Тревертон и К. Брайан Габбард, Оценка мастерства разведывательного анализа, технический отчет корпорации RAND (Санта-Моника, Калифорния: RAND, 2008).

10. Нэнси Диксон, "Проблема и исправление уроков, извлеченных разведывательными службами США", 1 июля 2009 г., http://www.nancydixonblog.com/2009/07/the-problem-and-the-fix-for-the-us-intelligence-agencies-lessons-learned.html .

14

.

Будущее структурных методов анализа

Аналитики и менеджеры разведки постоянно ищут пути повышения качества своего анализа. Один из таких путей - более широкое использование структурированных методов анализа. Эта книга призвана поощрить и поддержать эти усилия.

В этой заключительной главе используется новая методика под названием Complexity Manager ( глава 11 ) для придания строгости решению сложной проблемы - будущего структурированных аналитических методов. Ричардс Хойер разработал Complexity Manager как упрощенную комбинацию двух давно известных методов анализа будущего, Cross-Impact Analysis и System Dynamics. Он предназначен для аналитиков, которые не были обучены использованию таких передовых количественных методов.

Мы применяем эту технику специально для решения следующих вопросов:

Каков прогноз использования методов структурированной аналитики в 2020 году? Будет ли использование методов структурированной аналитики набирать обороты и чаще применяться спецслужбами, правоохранительными органами и бизнес-сектором? Или их использование останется на нынешнем уровне? Или же атрофируется?

Какие силы стимулируют расширение использования структурированного анализа и какие возможности существуют для поддержки этих сил?

Какие препятствия мешают более широкому использованию структурированного анализа и как их можно преодолеть?

В конце этой главы мы предположим, что на дворе 2020 год и использование структурированных аналитических методов широко распространено. Мы представляем наше видение того, что произошло, чтобы это стало реальностью, и как использование структурированных аналитических методов изменило способ проведения анализа - не только в разведке, но и в целом ряде дисциплин.

14.1 СТРУКТУРИРОВАНИЕ ДАННЫХ

Анализ конкретного исследования начинается с составления списка переменных, которые будут влиять на использование методов структурированного анализа в ближайшие пять лет или около того. Первая переменная в списке - целевая переменная, за ней следуют девять других переменных, связанных с ней.

Более широкое использование структурированных методов анализа

B Поддержка руководством сотрудничества и структурированных методов анализа

C Наличие виртуальных технологических платформ для совместной работы

D Смена поколений аналитиков

E Наличие поддержки и наставничества в области аналитической работы

F Изменение в бюджете на анализ

G Изменение предпочтений покупателей в пользу совместных, электронных продуктов

H Исследование эффективности структурированных методов

I Восприятие аналитиками нехватки времени

J Отсутствие открытости к изменениям среди старших аналитиков и менеджеров среднего звена

Следующий шаг в Complexity Manager - сведение этих десяти переменных в матрицу перекрестного влияния. Это инструмент для систематического описания двустороннего взаимодействия между каждой парой переменных. Каждая пара оценивается с помощью следующего вопроса: Влияет ли эта переменная на парную переменную таким образом, что это будет способствовать увеличению или уменьшению использования методов структурированного анализа в 2020 году? Заполненная матрица показана на Рисунок 14.1 . Это та же матрица, что и в главы 11 .

Цель данного анализа - оценить вероятность существенного увеличения использования структурированных аналитических методов к 2020 году, а также выявить побочные эффекты, которые могут быть связаны с таким увеличением. Именно поэтому рост использования методов структурированного анализа является ведущей переменной, переменной A, которая формирует первый столбец и верхнюю строку матрицы. Буквы в верхней части матрицы - это сокращения тех же переменных, которые перечислены в левой части.

Рисунок 14.1 Переменные, влияющие на будущее использование структурированного анализа

Чтобы заполнить матрицу, авторы начали со столбца А, чтобы оценить влияние каждой из переменных, перечисленных в левой части матрицы, на частоту использования структурированного анализа. Это упражнение дает представление обо всех переменных, которые будут положительно или отрицательно влиять на использование структурированного анализа. Далее авторы заполнили строку A в верхней части матрицы. Здесь показано обратное воздействие - влияние расширения использования структурированного анализа на другие переменные, перечисленные в верхней части матрицы. Здесь выявляются эффекты второго уровня. Оказывает ли растущее использование методов структурированного анализа влияние на какие-либо другие переменные таким образом, что об этом необходимо знать?1

Оставшаяся часть матрицы заполнялась по одной переменной за раз, при этом выявлялись и отмечались потенциально значимые вторичные эффекты. Вторичный эффект возникает, когда одна переменная усиливает или ослабляет другую переменную, которая, в свою очередь, влияет на структурированные аналитические методы или подвергается их воздействию.

14.2 КЛЮЧЕВЫЕ ФАКТОРЫ

Тщательный анализ взаимодействия всех переменных позволяет сделать несколько выводов о будущем структурированного анализа в целом. Анализ фокусируется на тех переменных, которые (1) меняются или могут измениться, и (2) оказывают наибольшее влияние на другие значимые переменные.

Основными движущими силами системы - и, по сути, переменными, оказывающими наибольшее перекрестное влияние на другие переменные, как показано в матрице, - являются степень, в которой (1) высшее руководство обеспечивает культуру сотрудничества, (2) рабочая среда поддерживает развитие виртуальных технологий совместной работы и (3) клиенты указывают, что им нужен более тщательный и совместный анализ, выполняемый на электронных устройствах, таких как планшеты. Эти три переменные оказывают сильную поддержку структурированному анализу, одобряя и поддерживая сотрудничество. Структурированный анализ, в свою очередь, усиливает их, обеспечивая оптимальный процесс, в рамках которого происходит сотрудничество.

Четвертая переменная - новое поколение аналитиков, привыкшее к социальным сетям, - сильно поддерживает обмен информацией и сотрудничество, а значит, косвенно поддерживает структурированные методы анализа. Влияние нового поколения аналитиков важно, поскольку оно означает, что время не является нейтральным. Другими словами, с новым поколением время теперь на стороне перемен. Взаимодействие этих четырех переменных, усиливающих друг друга и движущихся в одном направлении, является достаточным сигналом того, что будущее структурированных методов, скорее всего, будет положительным.

Важную роль играют и другие переменные. Они определяют возможности для облегчения или ускорения изменений, либо создают препятствия, которые необходимо свести к минимуму. На скорость и легкость изменений существенно повлияет поддержка (или отсутствие поддержки) ячеек аналитического ремесла, наставничество на рабочем месте и фасилитаторы, помогающие в командных или групповых процессах с использованием структурированных методов.2 Программа исследований эффективности структурированных техник также будет полезна для оптимизации их использования и противодействия противодействию со стороны тех, кто испытывает дискомфорт при использовании этих техник.

Кажется, что шансы говорят в пользу фундаментальных изменений в методах проведения анализа. Однако любые изменения далеко не гарантированы, поскольку результат зависит от двух предположений, любое из которых, если окажется неверным, может помешать достижению желаемого результата. Одно из предположений заключается в том, что финансирование анализа в течение следующих нескольких лет будет достаточным для создания условий, благоприятствующих расширению использования структурированных аналитических методов. Это необходимо для финансирования групп поддержки аналитического ремесла и сотрудничества, поддержки фасилитации, программ наставничества, исследований эффективности структурированных аналитических методов и другой поддержки обучения и использования структурированного анализа. Второе предположение заключается в том, что высшему руководству хватит мудрости выделить необходимый персонал, финансирование и обучение для поддержки сотрудничества и создать необходимые стимулы для более широкого использования структурированных методов в своих организациях.

14.3 ВООБРАЖЕНИЕ БУДУЩЕГО: 2020 ГОД

Представьте, что сейчас 2020 год. Наши предположения оказались верными, и сотрудничество в использовании структурированных методов анализа стало широко распространенным. Что произошло, чтобы сделать этот результат возможным, и как это изменит методы анализа в 2020 году? Это наше видение того, что может произойти к этой дате.

В последние пять лет использование синхронных виртуальных платформ для совместной работы стремительно растет. Молодые аналитики, работающие в группах из нескольких разных мест, приняли виртуальные миры на основе аватаров как удобное средство для подготовки совместных работ с коллегами, работающими над смежными темами в других офисах. Аналитики, находящиеся в разных географических точках, время от времени договариваются о встрече, но в основном взаимодействие осуществляется с помощью асинхронных и синхронных инструментов и систем совместной работы.

Аналитики могут надеть наушники и, щелкнув мышью, оказаться в виде аватара в виртуальной комнате для совещаний с экспертами из разных географических точек, которые также представлены аватарами в той же комнате. Они могут опубликовать свои статьи, чтобы другие участники виртуального мира могли их прочитать и отредактировать, вызвать интернет-ресурс, заслуживающий внимания, или спроецировать то, что они видят, на экран своего настольного компьютера, чтобы другие, например, могли увидеть, как они используют тот или иной компьютерный инструмент. Платформа аватаров также позволяет аналитику или группе аналитиков по требованию получать наставления старшего аналитика о том, как использовать ту или иную технику, или инструктора по проведению семинара по аналитическим методам, при этом никому не нужно покидать свой рабочий стол.

Структурированные методы анализа являются важной частью процесса обмена информацией, и аналитики из разных подразделений часто работают вместе над достижением общей цели. Существует базовый набор методик и навыков критического мышления, которые сотрудничающие команды или группы обычно используют в начале большинства проектов, чтобы заложить общую основу для общения и совместной работы. К ним относятся виртуальный мозговой штурм для определения списка релевантных переменных, которые необходимо отслеживать и учитывать; матрица перекрестного воздействия как основа для обсуждения и изучения взаимосвязей между ключевыми переменными; проверка ключевых предположений для обсуждения предположений о том, как обычно работают вещи в области, представляющей общий интерес. Суждения о перекрестном влиянии переменных и ключевых предположений составляются совместно и размещаются в электронном виде. Этот процесс создает общую базу знаний и понимания по интересующей вас теме. Кроме того, на ранних этапах совместной работы выявляются возможные разногласия, обнаруживаются пробелы в имеющейся информации и определяются наиболее осведомленные в различных аспектах проекта аналитики.

К 2016 году все основные подразделения разведывательного сообщества США и несколько иностранных спецслужб создали в своих аналитических компонентах группы поддержки аналитического ремесла или сотрудничества. Аналитики, имеющие опыт использования структурированных методов, теперь помогают другим аналитикам преодолеть неуверенность при первом использовании метода; помогают другим решить, какие методы наиболее подходят для их конкретных нужд; обеспечивают надзор, когда это необходимо, чтобы убедиться, что метод используется должным образом; и обучают других аналитиков на примере и в ходе обучения на рабочем месте тому, как эффективно проводить командные или групповые встречи.

Процесс согласования аналитических документов и оценок претерпел значительные изменения. Официальная координация перед публикацией теперь, как правило, является формальностью. Сотрудничество между заинтересованными сторонами происходит уже на стадии разработки концепции документа, когда происходит обмен всей необходимой информацией и данными. Регулярно используются AIMS (Audience, Issue, Message, and Storyline), контрольный список "Начало работы", проверка ключевых предположений и другие основные методы критического мышления и структурированного анализа, а разногласия изучаются на ранних этапах подготовки аналитического продукта. Новые аналитические техники, такие как предсмертный анализ, структурированная самокритика и состязательное сотрудничество, стали почти обязательным требованием для обеспечения пуленепробиваемости аналитических продуктов и разрешения разногласий, насколько это возможно, до окончательного согласования.

Значительно возросло использование внешних знаний, особенно культурных, экологических и технических. Метод Дельфи широко используется в качестве гибкой процедуры для получения идей, суждений или прогнозов в электронном виде в системах совместной работы на основе аватаров от географически разбросанных групп экспертов.

К 2020 году использование структурированных методов анализа распространилось по всему миру. Все разведывательные службы США, почти все разведывательные службы Европы и дюжина других служб в других частях света включили структурированные методы в свои аналитические процессы. Более двадцати компаний из списка Fortune 50, имеющих подразделения конкурентной разведки, и все большее число больниц внедрили отдельные структурированные методы, включая проверку ключевых предположений , ACH и посмертный анализ, в свои аналитические процессы, придя к выводу, что они больше не могут позволить себе многомиллионные ошибки, которых можно было бы избежать путем проведения более тщательного анализа в рамках своих бизнес-процессов.

Больше не слышно старого утверждения о том, что нет доказательств того, что использование структурированных аналитических техник улучшает анализ. Широкое распространение структурированных техник в 2020 году отчасти объясняется тем, что это утверждение было опровергнуто. Канадские исследования, включавшие выборку отчетов, подготовленных с помощью нескольких структурированных техник, и сопоставимую выборку отчетов, в которых структурированные техники не использовались, показали, что использование структурированных техник имеет очевидную ценность. Исследователи опрашивали авторов отчетов, их руководителей и клиентов, которые получали эти отчеты. Исследование подтвердило, что отчеты, подготовленные с помощью выбранных структурированных методов, были более тщательными, лучше описывали, как были сделаны выводы, и вызывали большее доверие к выводам, чем отчеты, в которых такие методы не использовались. Эти выводы были повторены другими спецслужбами, использовавшими эти методики, и этого оказалось достаточно, чтобы успокоить большинство сомневающихся.

В результате всех этих событий в 2020 году сложился аналитический климат, который позволяет проводить более тщательный, конструктивный и информативный анализ - и этот факт отмечают и используют те, кто принимает решения, сталкиваясь с все более сложными и взаимосвязанными политическими проблемами. В результате политикам все чаще требуются аналитические продукты, которые, например, рассматривают несколько сценариев или ставят под сомнение общепринятую точку зрения. Ключевые выводы, сделанные с помощью таких методов, как Quadrant Crunching™ и What If? Анализы часто обсуждаются как аналитиками, так и лицами, принимающими решения. В некоторых случаях лица, принимающие решения, или их помощники даже наблюдают или участвуют в ролевых играх с использованием структурированных методов. Такое взаимодействие помогает заказчикам и аналитикам понять преимущества и ограничения использования совместных процессов и инструментов для подготовки аналитических материалов, которые информируют и дополняют политические решения.

Это видение мощного и актуального для политики аналитического климата в 2020 году вполне достижимо. Но она зависит от готовности и способности высшего руководства разведки, правоохранительных органов и деловых кругов создавать условия для сотрудничества, поощряющие использование структурированных аналитических методов. Достижение этой цели потребует относительно скромного вливания ресурсов в центры аналитического ремесла, фасилитаторов, наставников, разработку и тестирование методологии. Также потребуется терпение и готовность мириться с некоторыми ошибками, пока аналитики знакомятся с методиками, программным обеспечением для совместной работы и работой в виртуальных мирах. Мы считаем, что результат, безусловно, будет стоить риска, связанного с прокладкой нового аналитического рубежа.

Техники структурированного анализа: Семьи и связи

Техники структурного анализа, представленные в этой книге, могут использоваться как самостоятельно, так и в сочетании с другими техниками. Для удобства изложения мы разделили техники на восемь групп, или доменов, в зависимости от преобладающей направленности и цели каждой техники. См. Главу 3 для получения рекомендаций по выбору подходящей техники (техник).

График на противоположной странице иллюстрирует взаимосвязь между техниками. Подобное отображение техник позволяет выявить менее очевидные связи и подчеркнуть взаимодополняющий характер многих из них.

Связи внутри домена показаны толстой синей линией.

Связь с методиками в других областях показана тонкой серой линией.

"Основные" методы, или "узлы", выделены синими кружками, поскольку они связаны как минимум с двумя другими областями. Большинство из этих основных методов были названы аналитиками из разведывательного сообщества и частного сектора как инструменты, которые они, скорее всего, будут использовать в своем анализе.

Структурированные методы анализа в шести различных областях часто используют индикаторы и обозначаются звездочками.

Большинство методик также улучшаются благодаря "мозговому штурму". Однако искусство и наука анализа динамичны, и мы ожидаем, что со временем список методик будет меняться.

1. Для получения более подробного объяснения того, как каждая переменная была оценена в матрице "Анализ сложности", отправьте запрос на электронную почту ThinkSuite@globalytica.com.

2. Концепция ячеек поддержки аналитической торговли более подробно рассматривается в работе Randolph H. Pherson, "Transformation Cells: Инновационный способ институционализации сотрудничества" в книге "Сотрудничество в сфере национальной безопасности: Myths and Reality-What Science and Experience Can Contribut to its Success, June 2009. Она является частью сборника, опубликованного в рамках тематической стратегической многоуровневой оценки (SMA), многоагентские/междисциплинарные белые книги в поддержку борьбы с терроризмом и противодействия ОМУ, Офис министра обороны/ДРиО/РТТО, доступный на сайте http://www.hsdl.org/?view&did=712792 .