Как оценить риски в кибербезопасности. Лучшие инструменты и практики

После 11 сентября 2001 года усиление мер безопасности вылилось в тщательные досмотры в аэропортах, черные списки пассажиров, появление воздушных маршалов и уничтожение лагерей подготовки террористов. Однако всего 12 лет спустя ФБР стало придавать особое значение совсем другой возникшей проблеме: киберугрозам. Директор ФБР Джеймс Б. Коми, давая 14 ноября 2013 года¹ показания в Комитете Сената США по внутренней безопасности и правительственным делам, заявил:

К такому смещению приоритетов нельзя не отнестись серьезно. Сколько организаций в 2001 году, готовясь противостоять угрозам, которые они считали основными в то время, могли бы представить себе, что киберугрозы не только сравняются с более традиционными террористическими угрозами, но и превзойдут их по степени опасности? А сейчас, на момент написания книги, это уже воспринимается как данность.

Следует признать, что люди, не имеющие отношения к миру кибербезопасности, могут подумать, что ФБР сеет семена страха, неуверенности и сомнений, преследуя политические цели. Но источников страха, неопределенности и сомнений, кажется, уже и так немало, зачем же тогда выделять киберугрозы? Для экспертов по кибербезопасности, разумеется, все вполне очевидно. Мы находимся под ударом, и ситуация, безусловно, станет еще хуже, прежде чем наступит перелом к лучшему.

Ресурсы при этом все еще ограничены. Поэтому специалисты в области кибербезопасности должны уметь эффективно определять отдачу от снижения риска. Неважно, удастся ли точно ее рассчитать, достаточно оценить, является ли выбранная стратегия защиты более рациональным вариантом распределения ресурсов, чем другие. Проще говоря, необходимо измерить и выразить в денежном эквиваленте риск и его снижение. Для этого специалистам не помешает инструкция по распределению ограниченных ресурсов для противодействия все возрастающим киберугрозам и использованию этих ресурсов для оптимального снижения степени риска. Поэтому здесь будут рассмотрены методы:

• измерения самих методов оценки риска;

• измерения степени снижения риска с помощью конкретного метода защиты, контроля, смягчения последствий или стратегии (использование более эффективных методов, как говорилось в предыдущем пункте);

• постоянного и измеримого повышения эффективности применяемых подходов за счет использования более продвинутых методов, которые читатели смогут взять на вооружение, когда будут готовы.

Давайте теперь уточним, чем наша книга не является. В ней не говорится о технической стороне безопасности. Если вам нужна книга об «этичном взломе», вы обратились не по адресу. Здесь не будет обсуждений, как добиться переполнения стека, обойти алгоритмы шифрования или внедрить SQL-код. Если подобные вопросы и будут подниматься, то только в контексте рассмотрения их как параметров в модели рисков.

И все же не разочаровывайтесь, если вы являетесь техническим специалистом. Мы обязательно затронем детали аналитики применительно к безопасности. Взглянем на них с позиции аналитика или руководителя, пытающегося сделать наилучший выбор в контексте возможных потерь в будущем. А пока давайте оценим масштаб имеющейся проблемы, рассмотрим, как решаем ее сейчас, и наметим направление для улучшений, изложенных в остальной части книги.

Глобальная поверхность атаки

Государства, организованная преступность, хактивистские группировки и инсайдеры хотят заполучить наши секреты, наши деньги и нашу интеллектуальную собственность, а некоторые мечтают о нашем полном уничтожении. Звучит драматично? Что ж, если мы верно поняли, ФБР рассчитывает потратить на защиту нас от киберугроз столько же или больше, чем на защиту от тех, кто превращает самолеты, машины, скороварки и даже людей в бомбы. Так как вы читаете эту книгу, то, вероятно, уже осознаете серьезность ситуации. Тем не менее разъясним этот момент еще раз, хотя бы для того, чтобы помочь тем, кто уже разделяет данную точку зрения, доказывать свою правоту остальным.

Общемировое исследование рабочей силы в области информационной безопасности, проведенное в 2015 году с участием более 14 000 специалистов по вопросам безопасности, из которых 1800 являлись федеральными служащими, показало, что мы не просто несем потери, мы отступаем:

Данные из других источников подтверждают этот мрачный вывод. Страховой рынок Соединенного Королевства, Лондонский Ллойд, подсчитал, что кибератаки обходятся миру в 400 млрд долл. в год⁴. В 2014 году был скомпрометирован 1 млрд записей с личными данными пользователей, из-за чего журнал Forbes назвал его «годом взлома данных»⁵. К сожалению, название, вероятно, было дано преждевременно: ситуация запросто может ухудшиться.

Более того, основатель и глава компании XL Catlin, крупнейшего страховщика Лондонского Ллойда, заявил, что кибербезопасность – «самый большой и серьезный системный риск», с которым ему приходилось сталкиваться за 42 года работы в сфере страхования⁶. Потенциальные уязвимости широко используемого программного обеспечения, взаимосвязанный доступ к сети у компаний, поставщиков и клиентов, а также возможность осуществления масштабных скоординированных атак могут сильно повлиять не только на отдельную крупную компанию вроде Anthem, Target или Sony. Представители XL Catlin допускают вероятность одновременного воздействия на множество крупных организаций, которое скажется на всей экономике. По их мнению, если в течение короткого промежутка времени поступят обращения с несколькими значительными страховыми претензиями, то страховщикам будет не по силам покрыть все расходы.

Что вызывает такой резкий рост числа взломов и почему ожидается увеличение их количества? Все дело в поверхности атаки (attack surface). Обычно под ней понимают совокупность всех уязвимостей информационной системы. Поверхность атаки раскрывает ценную информацию ненадежным источникам. Не нужно быть профессионалом в области безопасности, чтобы это понять. У вашего дома, банковского счета, семьи, личности есть поверхность атаки. Если вы пользуетесь защитой от кражи личных данных, предоставляемой федеральным служащим или клиентам компаний Home Depot, Target, Anthem и Neiman Marcus, то получаете вы ее благодаря поверхности атаки, ведь эти компании поместили цифровые сведения о вас в зоне досягаемости преступников. Прямо или косвенно этому способствовал интернет. Перемены произошли быстро и без ведома всех заинтересованных сторон (организаций, служащих, клиентов или граждан).

Различные определения поверхности атаки описывают пути входа и выхода из системы, ее средства защиты, а иногда ценность имеющихся в системе данных^{7, 8}. В одних случаях термином обозначают поверхность атаки системы, а в других – поверхность атаки сети, но все эти определения слишком узкие даже для одной конкретной компании. Поэтому можно выделить поверхность атаки предприятия, которая включает не только все системы и сети в данной организации, но и воздействие третьих лиц. Речь идет обо всех в экосистеме предприятия, в том числе основных клиентах, поставщиках и, возможно, государственных учреждениях. Напомним, что в случае взлома компании Target источником уязвимости стала компания – поставщик систем отопления, вентиляции и кондиционирования воздуха.

Пожалуй, общая поверхность атаки, охватывающая всех граждан, потребителей и правительства, является своего рода глобальной поверхностью атаки: совокупным набором рисков кибербезопасности во всех системах, сетях и организациях. И с этим набором рисков мы сталкиваемся постоянно при оплате покупок банковской картой, просмотре сайтов в интернете, получении медицинских пособий или даже просто работая. Эта глобальная поверхность атаки – макроуровневое явление, возникновение которого обусловлено по меньшей мере четырьмя макроуровневыми причинами: увеличением числа пользователей по всему миру, разнообразием пользователей в мире, ростом числа обнаруженных и эксплуатируемых уязвимостей из расчета на каждый визит в сеть каждого пользователя, а также более тесным сетевым взаимодействием между организациями, что приводит к риску «каскадного отказа».

• Увеличение числа пользователей сети Интернет. Число интернет-пользователей во всем мире выросло в шесть раз за период с 2001 по 2014 год (от 500 млн до 3 млрд). Может быть неочевидно, что количество пользователей является параметром в некоторых поверхностях атаки, но есть другие показатели поверхности атаки, касающиеся ценности цели, которая частично связана с количеством пользователей (например, получение доступа к большему числу личных записей)⁹. Кроме того, в мировом масштабе увеличение числа интернет-пользователей действует как важный мультипликатор для остальных факторов.

• Число заходов каждого пользователя на онлайн-ресурсы. Разнообразие вариантов использования интернета, общее время, проведенное в сети, использование банковских карт и различных услуг, требующих хранения персональных данных для автоматизированных переводов средств, – все эти показатели постоянно растут. Для каждого человека. По всему миру. Например, с 2001 года число одних только веб-сайтов росло в пять раз быстрее, чем количество пользователей, достигнув к 2014 году 1 млрд. Устройства с выходом в интернет – еще один потенциальный способ использования Всемирной паутины даже без непосредственного участия человека. Согласно одному из прогнозов компании Gartner об интернете вещей, «количество подключенных к интернету устройств в 2015 году должно было вырасти на 30 % по сравнению с 2014-м и составить 4,9 млрд, а к 2020-му – достичь 25 млрд»¹⁰. Ключевой проблемой здесь является отсутствие согласованной системы безопасности в этих разработках. Консультативный комитет по связи в системе национальной безопасности (NSTAC) определил, что «осталось совсем небольшое окно, пока еще можно обеспечить функционирование интернета вещей таким образом, чтобы максимизировать безопасность и минимизировать риски, но это окно быстро закрывается. Если страна этого не сделает, ей придется бороться с последствиями в течение нескольких поколений»¹¹.

• Рост числа уязвимостей. Естественным следствием двух предыдущих факторов является увеличение количества способов использования таких возможностей со злым умыслом. Это происходит из-за роста количества систем и устройств с потенциальными уязвимостями, даже если число уязвимостей в одном устройстве не увеличивается. В любом случае будет расти количество обнаруженных уязвимостей, отчасти потому, что все больше людей их активно ищет и использует. И все чаще среди них встречаются хорошо организованные и хорошо финансируемые группы, работающие на различные государства.

• Возможность крупного каскада взломов. Все больше крупных организаций отмечают, что при более тесном взаимодействии эффективность работы повышается. Тот факт, что компанию Target взломали через ее поставщика, повышает вероятность того, что одна и та же атака может затронуть несколько организаций. У компаний вроде Target множество поставщиков, а у некоторых из них, в свою очередь, есть множество крупных корпоративных и правительственных клиентов. Составить карту связей такой киберэкосистемы практически невозможно, ведь для этого все задействованные организации должны будут разгласить конфиденциальную информацию. Вот почему для данного фактора не существует общепринятых метрик, которые можно было бы использовать, как в трех предыдущих случаях. Но есть подозрения, что большинство крупных организаций отделены друг от друга всего одним или двумя уровнями связей.

Кажется разумным, что в перечисленных четырех тенденциях более ранние усиливают последующие. В таком случае риск возникновения крупного каскада взломов может увеличиваться быстрее, чем происходит рост первых двух факторов.

Какова наша исходная и очевидная гипотеза? Поверхность атаки и взломы коррелируют. Если это так, самое страшное еще впереди. Мы движемся к историческому росту поверхности атаки и, следовательно, взлому, который затмит все случавшееся до сих пор. С учетом этого комментарии директора ФБР и заявления страховщиков Лондонского Ллойда нельзя считать паникерскими. Даже после таких мощных взломов, каким подверглись компании Target, Anthem и Sony, полагаем, «Большого взлома» мы еще не видели.

Ответ на киберугрозу

Ситуация кажется безвыходной, поскольку успех в бизнесе зависит от открытости. Банковские операции, покупки, медицинское обслуживание и даже трудоустройство связаны с раскрытием данных. Чтобы проводить транзакции, приходится сообщать свои данные, а чем активнее бизнес, тем больше поверхность атаки.

Когда данные открыты, на вас могут обратить внимание и повлиять неожиданными и злонамеренными способами. В целях защиты специалисты по кибербезопасности пытаются «укрепить» системы, т. е. удалить все несущественное, включая программы, пользователей, данные, привилегии и уязвимости. Укрепление сокращает поверхность атаки, но не устраняет ее. Однако даже такое частичное сокращение поверхности атаки требует значительных ресурсов, и, согласно текущим тенденциям, потребность в них будет только расти.

В целом внимание руководителей к рискам кибербезопасности возросло, а за вниманием следуют ресурсы. Советы директоров начинают задавать вопросы вроде «Взломают ли нас?», «Лучше ли мы, чем Sony?» или «Тратим ли мы достаточно на защиту от актуальных рисков?». Эти вопросы в итоге приводят к тому, что в некоторых компаниях вводится должность руководителя отдела информационной безопасности. Впервые она появилась в списке журнала Fortune (Fortune 100) более 20 лет назад, но с тех пор не было особого роста количества людей, занимающих эту должность. Журнал CFO Magazine признал, что еще в 2008 году должность руководителя отдела информационной безопасности посчитали бы «излишней»¹². Фактически крупные компании еще только начинают озадачиваться вопросом найма первых руководителей отдела информационной безопасности, и многие – лишь после того, как подвергнутся крупному взлому. К моменту написания этой книги компания Target наконец-то наняла руководителя отдела информационной безопасности¹³, то же самое сделала и компания JPMorgan, после того как ее взломали¹⁴.

Корпорации не только задают перечисленные выше вопросы и создают руководящие должности для специалистов по информационной безопасности, но и демонстрируют готовность (возможно, меньшую, чем хотелось бы специалистам по кибербезопасности) выделять серьезные ресурсы на решение этой проблемы.

• Сразу после терактов 11 сентября ежегодный рынок кибербезопасности в США составлял 4,1 млрд долл.¹⁵ К 2015 году бюджет министерства обороны США, выделяемый на информационные технологии, вырос до 36,7 млрд долл.¹⁶

• Это без учета 1,4 млрд долл. инвестиций в стартапы, занимающиеся кибербезопасностью¹⁷.

• Бюджеты, выделяемые на кибербезопасность, растут примерно в два раза быстрее, чем бюджеты сферы информационных технологий в целом¹⁸.

И как же организации используют новую руководящую должность и приток денег на обеспечение кибербезопасности? В основном они ищут уязвимости, выявляют атаки и устраняют нарушения. Конечно, размер поверхности атаки и объем уязвимостей, атак и нарушений означает, что организациям приходится делать трудный выбор. Не все удается исправить, остановить, восстановить и т. д., значит, обязательно будут определенные приемлемые (допустимые) потери. В документах часто не указано, какие риски являются приемлемыми, а когда они все же расписаны, формулировки обычно обтекаемы и не поддаются количественной оценке. Их нельзя толком использовать в расчетах для определения обоснованности тех или иных расходов.

В отношении уязвимостей это привело к появлению так называемого управления уязвимостями, а в плане атак – к управлению событиями, связанными с безопасностью, которое еще обобщенно называют управлением безопасностью. Совсем недавно добавилась «разведка угроз» и, соответственно, новое словосочетание «управление угрозами». Все они относятся к сфере тактических решений в области безопасности, в то время как руководителю необходимо представление о дальнейших действиях. Так каким образом осуществляется управление безопасностью? Как расставляются приоритеты распределения значительных, но ограниченных ресурсов при расширении списка уязвимостей? Другими словами, как организации принимают решения по кибербезопасности, связанные с распределением ограниченных ресурсов для борьбы с такими неопределенными и растущими рисками?

Безусловно, важную роль здесь играет профессиональное чутье, что не редкость в управленческой деятельности. Но при более систематическом подходе подавляющее большинство организаций, озабоченных проблемой кибербезопасности, прибегает к определенному методу подсчета, при котором риски отображаются на «матрице». Так работают и с проблемами тактического уровня, и со стратегическими, суммарными рисками. Например, если у приложения множество уязвимостей, все они объединяются в одну оценку. Затем аналогичными методами группы приложений объединяются в портфель, и строится матрица для него и других портфелей. Процесс агрегирования при этом, как правило, представляет собой некую форму выдуманной математики, неведомой ни актуариям, ни статистикам, ни математикам.

В одном широко применяемом подходе «вероятность» и «воздействие» оценивают субъективно, скажем по шкале от 1 до 5, и эти два значения используются для указания конкретного риска на матрице (называют ее по-разному: матрицей рисков, тепловой картой, картой рисков и т. д.). После матрицу часто дополнительно делят на секции низкого, среднего и высокого риска, подобно тому как показано на рис. 1.1. События, характеризующиеся высокой вероятностью и высокой степенью воздействия, окажутся в правом верхнем углу «высокого риска», в то время как события с низкой вероятностью и слабым воздействием будут в противоположном углу «низкого риска». Идея в том, что чем больше число, тем важнее событие и тем раньше нужно обратить на него внимание. Возможно, интуитивно такой подход кажется вам разумным, если так, то вы не одиноки.

Рис. 1.1. Знакомая матрица риска (она же тепловая карта или карта риска)

Различные варианты подсчета и карт риска одобрены и продвигаются в стандартах и руководящих документах несколькими крупными организациями, среди которых Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST), Международная организация по стандартизации (International Standards Organization, ISO), MITRE.org и сообщество «Открытый проект по обеспечению безопасности веб-приложений» (Open Web Application Security Project, OWASP). Большинство организаций, занимающихся кибербезопасностью, утверждают, что по меньшей мере один из продвигаемых вариантов является частью их основной концепции оценки риска. На самом деле большинство крупных компаний, занимающихся разработкой программного обеспечения, включая Oracle, Microsoft и Adobe, оценивают собственные уязвимости с помощью поддерживаемого NIST стандарта оценок под названием «Общая система оценки уязвимостей» (Common Vulnerability Scoring System, CVSS). Кроме того, множество существующих решений по безопасности также используют показатели CVSS как для оценки уязвимостей, так и в связи с атаками. Несмотря на то что во многих подобных руководящих документах содержатся хорошие рекомендации по управлению, то, как они используются для расстановки приоритетов в управлении рисками в масштабах предприятия, лишь усиливает риски.

Буквально сотням производителей систем безопасности и даже органам по стандартизации пришлось принять ту или иную форму системы оценки. Фактически концепции балльных оценок и матрицы рисков лежат в основе подходов к управлению рисками в индустрии безопасности.

Во всех случаях подходы строятся на идее, что такие методы приносят значительную пользу, то есть предполагается, что с ними лучше, чем без них. По мнению представителей одной из организаций по стандартизации, подобное ранжирование рисков вполне приемлемо:

Стоит ли верить последней фразе? Учитывая, в основе каких критически важных решений могут лежать подобные методы, мы утверждаем, что не стоит. Это проверяемое утверждение, и оно реально проверялось множеством различных способов. Рост атак в области кибербезопасности сам по себе уже намекает на то, что, возможно, настало время попробовать иной подход.

Поэтому давайте проясним нашу позицию в отношении существующих методов. Они неудачные. Они не работают. Тщательное изучение исследований, посвященных как этим методам, так и методам принятия решений в целом, указывает на следующее (обо всем этом подробнее говорится в главах 4 и 5).

• Нет доказательств, что типы балльных оценок и методы построения матриц рисков, широко используемые в кибербезопасности, повышают эффективность суждений.

• Напротив, есть доказательства, что эти методы вносят искажения и ошибки в процесс оценивания. Один из исследователей – Тони Кокс – даже утверждает, что они «хуже, чем действия наугад» (исследование Кокса и многие другие будут подробно описаны в главе 5).

• Вся мнимая «работа» методов, вероятно, является разновидностью эффекта плацебо. То есть метод может заставить вас почувствовать себя лучше, даже если его применение не способствует ощутимому улучшению в оценке рисков (или вовсе увеличивает число ошибок).

• В опубликованных исследованиях имеется огромное количество доказательств эффективности количественных, вероятностных методов.

• К счастью, большинство экспертов по кибербезопасности, похоже, готовы и способны использовать более эффективные количественные решения. Однако распространенные заблуждения (в том числе неправильные представления о базовой статистике), которых придерживаются часть людей, создают ряд препятствий для внедрения более эффективных методов.

Способ, с помощью которого служба кибербезопасности оценивает риск и выявляет степень его снижения, лежит в основе определения того, где следует использовать ресурсы в первую очередь. И если выбранный способ не работает или как минимум требует значительных улучшений, то именно это тогда и является главной проблемой, которой следует заняться службе кибербезопасности! Очевидно, что создание прочного фундамента для методов принятия решений и оценки рисков кибербезопасности повлияет на все остальные действия в сфере кибербезопасности. Если оценка рисков сама по себе слабое место, то ее исправление – самая важная «заплатка» для специалиста по кибербезопасности.

Предложение по управлению рисками кибербезопасности

В этой книге нами предлагается другое направление развития кибербезопасности, а каждое решение, рассматриваемое в его рамках, в итоге будет полностью соответствовать названию книги. То есть мы будем разбирать вопросы, описывая, как измерить риски кибербезопасности – все что угодно в области рисков кибербезопасности. Измерения станут инструментами для предложенных решений и, кроме того, продемонстрируют, каким образом эти решения выбирались. Итак, давайте считать, что мы все принимаем наш новый количественный подход, который строится на следующих принципах.

• Можно значительно улучшить существующие методы. Многие аспекты существующих методов были оценены и признаны непродуктивными. Подобное неприемлемо в масштабах проблем, с которыми сталкивается сфера кибербезопасности.

• В кибербезопасности можно применять тот же количественный язык анализа рисков, что и в других сферах. Как будет показано далее, существует множество областей, в которых риск огромен, данные минимальны, а участники хаотичны, и для этих областей регулярно строятся модели с помощью традиционных математических методов. Не нужно заново изобретать терминологию или методы, когда они уже есть в других сферах, где также сталкиваются со сложными проблемами анализа рисков.

• Существуют методы, которые уже показали себя более результативными по сравнению с профессиональным чутьем. И это верно даже для случаев, когда указанные методы, как и обычные, широко используемые, основываются только на субъективных суждениях экспертов по кибербезопасности.

• Усовершенствованные методы вполне применимы. Нам об этом известно, поскольку их уже применяли. Каждый из описанных в книге методов применялся хотя бы одним из авторов в реальных условиях в корпоративной среде. В настоящее время этими методами пользуются специалисты по кибербезопасности из самых разных отраслей.

• Описываемые модели можно усовершенствовать с помощью эмпирических данных. У вас больше данных, чем кажется. Они доступны из различных, как существующих, так и новых, только появляющихся источников. Но даже при ограниченных данных математические методы все равно могут быть эффективнее субъективных суждений. Кроме того, сами методы анализа рисков также можно измерять и отслеживать, чтобы постоянно их совершенствовать.

Книга разделена на три части, каждая из которых по-своему подтверждает все перечисленные принципы. В первой части представлен простой количественный метод, требующий чуть больше усилий, чем существующие методы балльной оценки, но в нем применяются техники, продемонстрировавшие заметно более эффективные результаты. Затем мы обсудим, как измерить сами методы измерения. Другими словами, попытаемся ответить на вопрос «Как узнать, что они работают?» относительно различных методов оценки кибербезопасности. Последняя глава первой части будет посвящена разбору распространенных возражений против количественных методов, подробному рассмотрению исследований, показывающих несостоятельность методов балльной оценки, а также обсуждению заблуждений и ложных представлений, удерживающих от перехода на более эффективные методы.

Во второй части мы отойдем от вопроса «почему используются определенные методы» и сосредоточимся на том, как еще улучшить простую модель, описанную в первой части. Мы поговорим о том, как добавить полезные детали к простой модели, как помочь специалистам по кибербезопасности отточить свои навыки оценки неопределенности и как улучшить модель с помощью эмпирических данных (даже если кажется, что данных мало).

В третьей части будет показана более общая картина: как эти методы можно реализовать в компании, как возникают новые угрозы и как развивающиеся инструменты и методы способствуют повышению эффективности измерений рисков кибербезопасности. И еще мы попытаемся сформулировать призыв к сфере кибербезопасности в целом.

А для начала в следующей главе будет заложена основа для понимания термина «измерение». Термин может казаться простым и очевидным, но неверное понимание измерений и методов их осуществления частично является причиной нежелания применять измерения в области кибербезопасности.

1. Greg Miller, “FBI Director Warns of Cyberattacks; Other Security Chiefs Say Terrorism Threat Has Altered,” Washington Post, November 14, 2013, www.washingtonpost.com/world/national-security/fbi-directorwarns-of-cyberattacks-other-security-chiefs-say-terrorism-threat-hasaltered/2013/11/14/ 24f1b27a-4d53-11e3-9890-a1e0997fb0c0_story.html.

2. Dan Waddell, Director of Government Affairs, National Capital Regions of (ISC)² in an announcement of the Global Information Security Workforce Study (GISWS), www.isc2.org, May 14, 2015.

3. Stephen Gandel, “Lloyd’s CEO: Cyber Attacks Cost Companies $400 Billion Every Year,” Fortune.com, January 23, 2015, http://fortune.com/2015/01/23/cyber-attack-insurance-lloyds/.

4. Sue Poremba, “2014 Cyber Security News Was Dominated by the Sony Hack Scandal and Retail Data Breaches,” Forbes Magazine, December 31, 2014, www.forbes.com/sites/sungardas/2014/12/31/2014-cybersecurity-news-was-dominated-by-the-sony-hack-scandal-and-retaildata-breaches/#1c79203e4910.

5. Kevin Haley, “The 2014 Internet Security Threat Report: Year Of The Mega Data Breach,” Forbes Magazine, July 24, 2014, www.forbes.com/sites/symantec/2014/07/24/the-2014-internet-security-threat-reportyear-of-the-mega-data-breach/#724e90a01a98.

6. Matthew Heller, “Lloyd’s Insurer Says Cyber Risks Too Big to Cover,” CFO.com, February 6, 2015, ww2.cfo.com/risk-management/2015/02/lloyds-insurer-says-cyber-risks-big-cover/.

7. Jim Bird and Jim Manico, “Attack Surface Analysis Cheat Sheet.” OWASP.org. July 18, 2015, www.owasp.org/index.php/Attack_Surface_Analysis_Cheat_Sheet.

8. Stephen Northcutt, “The Attack Surface Problem.” SANS.edu. January 7, 2011, www.sans.edu/research/security-laboratory/article/did-attacksurface.

9. Pratyusa K. Manadhata and Jeannette M. Wing, “An Attack Surface Metric,” IEEE Transactions on Software Engineering 37, no. 3 (2010): 371–386

10. Gartner, “Gartner Says 4.9 Billion Connected ‘Things’ Will Be in Use in 2015” (press release), November 11, 2014, www.gartner.com/newsroom/id/2905717.

11. The President’s National Security Telecommunications Advisory Committee, “NSTAC Report to the President on the Internet of Things,” November 19, 2014, www.dhs.gov/sites/default/fi les/publications/IoT%20Final%20Draft%20Report%2011–2014.pdf.

12. Alissa Ponchione, “CISOs: The CFOs of IT,” CFO, November 7, 2013, ww2.cfo.com/technology/2013/11/cisos-cfos/.

13. Matthew J. Schwartz, “Target Ignored Data Breach Alarms,” Dark Reading (blog), InformationWeek, March 14, 2014, www.darkreading.com/attacks-and-breaches/target-ignored-data-breach-alarms/d/d-id/1127712.

14. Elizabeth Weise, “Chief Information Security Officers Hard to Find – and Harder to Keep,” USA Today, December 3, 2014, www.usatoday.com/story/tech/2014/12/02/sony-hack-attack-chiefinformation-security-offi cer-philip-reitinger/19776929/.

15. Kelly Kavanagh, “North America Security Market Forecast: 2001–2006,” Gartner, October 9, 2002, www.bus.umich.edu/KresgePublic/Journals/ Gartner/ research/110400/110432/110432.html.

16. Sean Brodrick, “Why 2016 Will Be the Year of Cybersecurity,” Energy & Resources Digest, December 30, 2015, http://energyandresourcesdigest.com/ invest-cybersecurity-2016-hack-cibr/.

17. Deborah Gage, “VCs Pour Money into Cybersecurity Startups,” Wall Street Journal, April 19, 2015, www.wsj.com/articles/vcs-pour-moneyinto-cybersecurity-startups-1429499474.

18. PWC, Managing Cyber Risks in an Interconnected World: Key Findings from the Global State of Information Security Survey 2015, September 30, 2014, www.pwc.be/en/news-publications/publications/2014/gsiss2015.html.

19. OWASP, “OWASP Risk Rating Methodology,” last modified September 3, 2015, www.owasp.org/index.php/ OWASP_Risk_Rating_Methodology.

Прежде чем обсуждать, каким образом в сфере кибербезопасности можно измерить буквально все, нужно поговорить об измерениях как таковых и сразу отмести возражение, что некоторые вещи в кибербезопасности просто не поддаются измерению. Дело в том, что ряд недоразумений, связанных с методами измерений, измеряемыми явлениями или даже с самим понятием измерений, препятствует многим попыткам проводить измерения. Данная глава не принесет ничего нового тем, кто уже читал книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Это отредактированный вариант главы из первой книги с примерами, измененными под сферу кибербезопасности. Так что если вы уже читали первую книгу, то, возможно, предпочтете пропустить главу. В ином случае с главой лучше ознакомиться, чтобы понять важнейшие основы.

По нашему мнению, существует лишь три причины, почему можно посчитать что-либо, в том числе кибербезопасность, не поддающимся измерениям. И все три коренятся в тех или иных заблуждениях, которые мы делим на категории: концепция, объект и метод. Различные возражения против измерений будут подробнее разбираться далее (особенно в главе 5), а пока давайте рассмотрим самое основное.

1. Концепция измерений. Термин «измерения» часто понимается неправильно. Как только вы осознаете его реальное значение, гораздо больше объектов и явлений окажутся измеримыми.

2. Объект измерения. Не дается точное определение для того, что подвергается измерениям. Небрежные и двусмысленные формулировки мешают измерениям.

3. Методы измерения. Многие процедуры эмпирического наблюдения малоизвестны. Если бы люди были знакомы с некоторыми из этих базовых методов, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только можно измерить, но, вероятно, они уже давно измерены.

Хороший способ запомнить эти три распространенных заблуждения – воспользоваться памяткой, например «howtomeasureanything.com», где буквы «c», «o» и «m» в «.com» означают «концепцию», «объект» и «метод». Как только выясняется, что эти возражения возникают от недопонимания, становится очевидно, что измерить можно все что угодно.

Концепция измерений

Для людей, считающих, что какие-то вещи невозможно измерить, сама концепция измерения, или, точнее, ее неверная интерпретация, становится, вероятно, главным препятствием, которое необходимо преодолеть. Если ошибочно полагать, что измерение означает соответствие какому-то почти недостижимому стандарту определенности, то тогда даже в физических науках лишь немногое будет поддаваться измерению.

Если спросить руководителя или эксперта в сфере кибербезопасности, что означает измерение, они, как правило, ответят фразами наподобие «дать количественную оценку», «вычислить точное значение», «свести к одному числу», «выбрать репрезентативную выборку» и т. д. Во всех этих ответах говорится напрямую или подразумевается, что измерение – одно точное число, которое обязано быть верным. Если бы это было действительно так, то и правда лишь очень немногое можно было бы измерить.

Возможно, читателям доводилось слышать или самим говорить что-то вроде: «Нам не измерить реальный ущерб от утечки данных, потому что о некоторых последствиях нельзя знать наверняка». Или, быть может, такое: «Невозможно определить вероятность того, что мы окажемся объектом массированной атаки отказа в обслуживании, ведь неопределенность слишком велика». Подобные заявления указывают на описанные выше ошибочные интерпретации измерений, которые не только не связаны с реальным принятием решений, но и ненаучны. Когда ученые, актуарии или статистики проводят измерения, они используют другое фактическое определение.

В процессе принятия практических решений следует рассматривать измерения как наблюдения, количественно уменьшающие неопределенность. Простого уменьшения, не обязательно устранения неопределенности для измерений будет достаточно. Даже если некоторые ученые формулируют определение немного иначе, применяемые ими методы доказывают, что для них измерения также являются исключительно вероятностной задачей и твердой уверенности в реальных величинах у них, как правило, нет. Тот факт, что ошибки неизбежны, но их все равно можно считать прогрессом по сравнению с предыдущими данными, является важнейшим в методах проведения экспериментов, опросов и других научных измерений.

Практические различия между этим определением и наиболее популярной трактовкой измерений огромны. Прежде всего, верным измерениям, чтобы считаться таковыми, не нужно быть абсолютно точными. К тому же отсутствие зарегистрированной ошибки (подразумевающее, что число точное) может быть признаком того, что не применялись эмпирические методы, такие как выборка и эксперименты (т. е. на самом деле это вообще не измерения). Измерения, соответствующие основным стандартам научной достоверности, будут сообщать о результатах с некоторой долей неопределенности, например: «Существует 90 %-ная вероятность того, что атака на систему приведет к сбою в ее работе на период от 1 до 8 часов».

Такая концепция измерения может оказаться новой для многих читателей, но есть веские математические основания и практические причины для подобной трактовки. В конечном счете измерение – это лишь информация, а для информации существуют строгие теоретические рамки. Область знания, получившая название «теория информации», была разработана в 1940-х годах Клодом Шенноном, американским инженером-электриком и математиком. В 1948 году он опубликовал работу под названием A Mathematical Theory of Communication² («Математическая теория коммуникации»), заложив в ней основы теории информации и, по сути, большей части информационных технологий, с которыми работают специалисты по кибербезопасности.

Шеннон предложил математическое определение информации как степени уменьшения неопределенности в сигнале, которую он рассматривал с точки зрения энтропии, устраняемой сигналом. По Шеннону, адресат информации находится в некотором изначальном состоянии неопределенности, иными словами, ему уже что-то известно, а новая информация просто устраняет хотя бы часть неопределенности (т. е. необязательно полностью). Изначальное состояние знания или неопределенности адресата можно использовать для вычисления, скажем, пределов объема информации, передаваемой сигналом, минимальной интенсивности сигнала с поправкой на шум, а также максимально возможного сжатия данных.

Такая концепция «снижения неопределенности» крайне важна для бизнеса. Продуктивность значимых решений, принимаемых в состоянии неопределенности (например, связанных с утверждением крупных IT-проектов или новых средств контроля безопасности), можно повысить, пусть даже совсем немного, за счет снижения неопределенности. Иногда даже небольшое снижение неопределенности может сберечь миллионы долларов.

Итак, измерения в области кибербезопасности похожи на любые другие в том смысле, что для них не нужна определенность. Различные типы измерительных шкал могут продвинуть наше понимание измерений еще дальше. Обычно мы думаем, что для измерений необходимы конкретные, строго определенные единицы, например доллары в год в бюджете кибербезопасности или минуты для определения продолжительности времени простоя системы.

А можно ли считать подходящей для измерений шкалу с градациями «высокий», «средний» и «низкий»? Специалистам по кибербезопасности часто встречаются подобные шкалы во многих стандартах и практиках во всех областях оценки риска. Такие величины, как «воздействие» или «вероятность», общепринято оценивать субъективно по шкале от 1 до 5, а затем комбинировать, чтобы определить степень риска как высокую, среднюю или низкую. Эти обманчиво простые методы поднимают целый ряд проблем, которые более подробно будут рассмотрены далее в этой книге. А пока давайте поговорим о том, в каких случаях имеет смысл использовать шкалы, отличные от общепринятых единиц измерения.

Обратите внимание, что в предлагаемом нами определении измерения говорится, что оно «выражено количественно». Неопределенность в любом случае следует выразить количественно, хотя объект наблюдения может быть вовсе не количественной величиной, а качественной, скажем, обозначать принадлежность к какому-либо множеству. Например, можно «измерить» что-то, ответив «да» или «нет» (допустим, произойдет ли в этом году утечка данных или будет ли предъявлен иск по киберстрахованию), и это все еще будет точно соответствовать нашему определению измерения. Однако степень неопределенности в отношении подобных наблюдений все равно должна быть выражена количественно, например: существует 15 %-ная вероятность утечки данных в этом году, существует вероятность 20 % предъявления иска по киберстрахованию и т. д.

Точка зрения, в соответствии с которой измерения применимы к вопросам с ответом «да/нет» и прочим качественным признакам, согласуется с другим признанным направлением научной мысли в области измерений. В 1946 году психолог Стэнли Смит Стивенс опубликовал статью On the Theory of Scales and Measurement (Теория шкал и измерений)³. В ней описаны четыре различные шкалы измерения: номинальная, порядковая, интервальная и отношений. Если вы думаете о градусах Цельсия или долларах как единицах измерения, то вы используете интервальную шкалу и шкалу отношений соответственно. У обеих шкал есть четко определенная единица стандартной величины. В обоих случаях можно сказать, что 6 на 2 больше, чем 4 (6 градусов Цельсия или 6 долл.). Однако интервальная шкала не позволяет сказать, что 6 «на 50 % больше», чем 4, или «в два раза больше», чем 3. Например, 6 градусов Цельсия не «в два раза жарче», чем 3 градуса Цельсия (поскольку положение нуля на шкале Цельсия установлено произвольно в точке замерзания воды). А вот 6 млн долл. в два раза больше, чем 3 млн. То есть для интервальных шкал неактуальны некоторые математические вычисления, например умножение или деление.

Номинальные и порядковые шкалы еще более ограничены. У номинальной шкалы нет подразумеваемого порядка или величины, сюда можно отнести указание пола индивида, местоположения объекта или наличие у системы определенного признака. Номинальная шкала выражает состояние, не указывая, что одно состояние в два раза больше другого, или, если уж на то пошло, хотя бы просто больше или меньше оно относительно другого. Каждая шкала состояния – это просто иное состояние, не большее или меньшее. Порядковые шкалы, с другой стороны, ранжируют, но не сравнивают величины. Администратор обладает бóльшими правами, чем обычный пользователь, но при этом нельзя сказать, что его права в пять раз больше, чем у обычного пользователя, и в два раза больше, чем у другого пользователя. Поэтому большинство математических операций – кроме базовых логических или операций со множествами – неприменимы к номинальным или порядковым шкалам.

Тем не менее номинальные и порядковые шкалы могут быть информативными, даже несмотря на их отличия от более традиционных шкал измерения, таких как килограммы или секунды. Геологам полезно знать, что одна горная порода тверже другой, но не обязательно знать насколько. Метод, применяемый ими для сравнения твердости минералов, называется «шкала твердости Мооса», и используемая в нем шкала является порядковой.

Таким образом, использование порядковых шкал, подобных тем, что часто встречаются в области кибербезопасности, строго говоря, не противоречит концепции измерений, а вот то, как это делается, к чему применяется и что происходит с этими значениями потом, действительно нарушает основные принципы и может вызвать массу проблем. Геологи не умножают значения по шкале твердости Мооса на цвет породы. И хотя значение по шкале твердости Мооса – четко определенное измерение, в порядковых шкалах в области кибербезопасности такой четкости часто нет.

Позже мы покажем, что измерения, основанные на четко определенных величинах, таких как ежегодная вероятность события и вероятностное распределение потенциальных потерь, предпочтительнее, чем порядковые шкалы, обычно используемые в сфере кибербезопасности. На самом деле, в науке и технике ничего не зависит от порядковых шкал. Даже шкалу твердости Мооса часто заменяют другой: вне геологии для оценки материалов в научных и инженерных задачах более подходящей считается шкала Виккерса, являющаяся шкалой отношений.

Всё это важные особенности концепции измерений, из которых могут извлечь полезные уроки как руководители в целом, так и специалисты по кибербезопасности в частности. В распространенном представлении об измерениях как о точных значениях игнорируется полезность простого уменьшения неопределенности, если ее устранение невозможно или экономически нецелесообразно. Да и не все измерения требуется сводить к количеству в традиционном понимании. Измерения применяются как к дискретным, номинальным аспектам, которые требуется прояснить, таким как «Произойдет ли у нас крупная утечка данных?», так и к непрерывным величинам, например «Во сколько нам обойдется утечка данных, если она произойдет?». В бизнесе лица, принимающие решения, делают свой выбор в условиях неопределенности. И если эта неопределенность касается важных, связанных с риском решений, то ее уменьшение имеет большую ценность. Именно поэтому мы будем использовать данное нами определение измерений.

Байесовские измерения: прагматическая концепция для принятия решений

Когда мы говорим об измерении как о «снижении неопределенности», то подразумеваем наличие некоторого предшествующего состояния неопределенности, которое необходимо уменьшить. А поскольку степень неопределенности может меняться в результате наблюдений, мы считаем неопределенность характеристикой наблюдателя и не обязательно присущей наблюдаемому объекту⁴. Когда проводится тест на проникновение в систему, с его помощью не меняется состояние приложения, скорее, изменяется степень нашей неопределенности о состоянии приложения.

Мы количественно оцениваем эту начальную неопределенность и изменение неопределенности после наблюдений с помощью вероятностей. Это означает, что термин «вероятность» используется для обозначения состояния неопределенности наблюдателя или так называемой степени убежденности. Если вы почти уверены, что данная система будет взломана, то можно сказать, что вероятность этого составляет 99 %. Если вы не уверены, то можно говорить о существовании 50 %-ной вероятности (как станет ясно из главы 7, субъективное оценивание вероятностей – навык, которому можно научиться).

Аналогичным образом, если вы не уверены в продолжительности отключения после атаки типа «отказ в обслуживании» («DoS-атака»), можно сказать, что вероятность того, что истинное значение находится в диапазоне от 10 минут до 2 часов, составляет 90 %. Имея больше информации, можно было бы сузить диапазон, но все равно присвоить вероятность 90 % тому, что истинное значение в него попадает.

Такой взгляд на вероятности называют субъективистской, или иногда байесовской, интерпретацией. Название происходит от имени Томаса Байеса, британского математика и пресвитерианского священника XVIII века, чей главный вклад в статистику был опубликован лишь после его смерти. Его простая формула, известная как теорема Байеса, описывает, каким образом новая информация может скорректировать априорные вероятности. Понятие «априорные» по большей части относится к исходному состоянию неопределенности, но также может относиться и к состоянию неопределенности в момент, предшествующий любым объективным и зафиксированным наблюдениям. Как минимум в последнем случае априорная вероятность часто оказывается субъективной.

Для принятия решений такое употребление слова «вероятность» наиболее подходящее. Это не просто информация, которую можно получить на основе других данных. Человек формулирует степень неопределенности, обозначая вероятность. Способность выразить априорное состояние неопределенности является важной отправной точкой во всех практических решениях. По сути, у вас обычно уже имеется априорная неопределенность, даже если вы не можете обозначить конкретные вероятности. Указание априорной неопределенности еще и позволяет вычислить ценность дополнительной информации, поскольку ее ценность, естественно, хотя бы частично зависит от состояния неопределенности до сбора информации. Этим и занимается байесовский подход, значительно упрощая некоторые проблемы и позволяя получить больше пользы от ограниченной информации.

Специалисты по кибербезопасности должны понимать обозначенные выше особенности. Те, кто считает вероятность лишь результатом вычислений данных, а не отражением личной неопределенности, возможно, сами того не осознавая, придерживаются некоторой заданной интерпретации вероятности. Они выбирают «фриквентистскую» интерпретацию, и хотя им она может казаться объективной и научной, многие великие статистики, математики и ученые с ними не согласятся (в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» содержится подробное описание различий).

Поэтому, когда кто-то из специалистов по кибербезопасности говорит, что им не хватает данных для определения вероятности, это звучит крайне иронично. Мы используем вероятность потому, что у нас нет полной информации, а не вопреки этому. Лучше всего данная позиция была сформулирована общепризнанным основоположником области анализа решений, профессором Роном Ховардом из Стэнфордского университета. Во время подкаста с интервью журналу Harvard Business Review корреспондент спросил Ховарда, как решить проблему анализа «когда вероятность неизвестна». Ховард ответил:

Бывают случаи, когда вероятность является вычисляемой величиной, но, как утверждают великие умы Ховард и Джеймс Клерк Максвелл (из более ранней цитаты), вероятность также используется для обозначения нашего состояния неопределенности относительно чего-либо в данный момент, независимо от того, насколько велика эта неопределенность. Имейте в виду, однако, что хоть вероятность, о которой здесь говорится, и субъективна, она не является иррациональной и непредсказуемой. Необходимо, чтобы субъективная неопределенность была по крайней мере математически последовательной и не противоречила многократным последующим наблюдениям. Здравомыслящий человек не может просто сказать, например, что есть 25 %-ная вероятность, что его организация пострадает от определенной кибератаки, и 90 %-ная вероятность, что ее не будет (конечно же, в сумме эти шансы должны давать вероятность 100 %). Кроме того, если кто-то продолжает утверждать, что он на 100 % уверен в своих прогнозах, и постоянно ошибается, то можно не учитывать его субъективную неопределенность на объективных основаниях, так же как не берут в расчет показания сломанных электронных весов или амперметра. В главе 7 вы узнаете, как вероятность может быть субъективной и в то же время рациональной.

Наконец, следует помнить, что существует еще одна грань уменьшения неопределенности. Полное устранение неопределенности не является необходимым для измерения, но она должна сколько-нибудь снизиться. Если те, кто принимает решения, или аналитики считают, что проводят измерения, а эффективность их оценок и решений на самом деле не повышается или даже снижается, значит, они не сокращают число ошибок и не проводят измерения, как они понимаются в нашем определении.

Получается, чтобы определить, подходят ли для измерений порядковые шкалы, столь часто применяемые в области кибербезопасности, надо по меньшей мере выяснить, действительно ли эти шкалы уменьшают неопределенность (эти тонкости будут подробнее рассмотрены в главе 5).

Объект измерений

Даже после принятия более удобной формулировки понятия «измерение» (как наблюдения, уменьшающего неопределенность) некоторые вещи кажутся неизмеримыми, из-за того что мы просто не понимаем, что имеем в виду, когда впервые задаемся вопросом об их измерении. То есть мы не можем однозначно определить объект измерения. Если кто-то интересуется, как измерить «ущерб репутации», или «угрозу», или «срыв рабочего процесса», то достаточно спросить: «Что вы имеете в виду?» Любопытно, как часто люди затем уточняют термин, так что он сам по себе уже почти отвечает на вопрос об измерении.

Как только становится ясно, что имеется в виду и почему это важно, проблема начинает казаться гораздо более измеримой. На этом первом уровне анализа один из авторов, Хаббард, обычно проводит так называемые семинары по разъяснению. Они сводятся к тому, что клиенты заявляют конкретный, но изначально двусмысленный предмет, который требуется измерить. А затем им просто задаются вопросы: «Что вы имеете в виду под [указать нужное]?» и «Почему вас это волнует?»

Такой подход применим к широкому спектру проблем измерения, и кибербезопасность не исключение. В 2000 году, когда министерство по делам ветеранов обратилось к Хаббарду за помощью в определении показателей эффективности того, что они называли IT-безопасностью, Хаббард спросил: «Что вы подразумеваете под IT-безопасностью?» В ходе двух или трех семинаров сотрудники министерства дали ему точное определение: выяснилось, что под IT-безопасностью они понимали такие параметры, как снижение числа проникновений и заражений вирусами. Далее они пояснили, что подобные вещи влияют на министерство через мошенничество, потерю производительности или даже потенциальную юридическую ответственность (которой им едва удалось избежать, когда в 2006 году был найден украденный у них ноутбук с хранившимися на нем номерами социального страхования 26,5 млн ветеранов). Все выявленные в итоге воздействия почти в каждом случае оказались явно измеряемыми. Понятие «безопасность» было расплывчатым, пока его не разложили на компоненты, которые на самом деле хотели изучить.

То, что мы называем «цепочкой разъяснений», – всего лишь короткая серия рассуждений, которая должна помочь нам перейти от восприятия объекта как нематериального к восприятию его как осязаемого. Во-первых, следует признать, что если Х – волнующая нас проблема, то по определению X можно каким-то образом выявить. Зачем бы нам волноваться о таких вещах, как «качество», «риск», «безопасность» или «имидж», если бы они никак не проявлялись ни прямо, ни косвенно? Единственная причина переживать из-за какой-то неизвестной величины – уверенность, что она каким-то образом соотносится с желаемым или нежелательным результатом. Во-вторых, если этот объект можно выявить, то выявлен он будет в каком-то объеме. То есть раз объект вообще можно наблюдать, значит, его можно наблюдать в большем или меньшем количестве. Как только мы признаем это, последний шаг, возможно, станет самым простым: если можно наблюдать объект в каком-то количестве, то он должен быть измеримым.

Если цепочка разъяснений не сработает, можно попробовать то, что ученые называют «мысленным экспериментом». Представьте, что вы – инопланетный ученый, способный клонировать не только овец или даже людей, но и целые организации. Вы создаете две одинаковые организации, называя одну из них тестовой группой, а другую – контрольной. Теперь представьте, что в тестовой группе вами задается небольшое повышение параметра «ущерб репутации», при этом в контрольной группе он остается неизменным. Как думаете, какие изменения (прямые или косвенные) вы увидите в первой организации? Снизятся ли в ближайшей или долгосрочной перспективе продажи? Станет ли труднее набирать новых сотрудников, стремящихся работать в престижных компаниях? Придется ли проводить дорогостоящие пиар-кампании, чтобы компенсировать последствия? Если вы сможете наблюдать хотя бы одно отличие клонированных организаций друг от друга, то уже будете на пути к выяснению, как его измерить.

Также полезно указать, зачем надо что-то измерить, чтобы понять, что именно измеряется. Цель измерения часто является ключом к пониманию того, каким оно на самом деле должно быть. Измерения всегда должны подкреплять какое-то решение, неважно, принимается ли оно единожды или регулярно. В случае измерения рисков кибербезопасности измерения, скорее всего, проводятся, чтобы лучше распределить ресурсы для снижения рисков. Цель измерения дает подсказки о том, что на самом деле означает измерение и как его проводить. А попутно может обнаружиться еще ряд потенциальных объектов, которые, возможно, также потребуется измерить для подкрепления соответствующего решения.

C определения объекта измерения действительно начинаются почти все научные исследования, включая по-настоящему революционные. Специалистам по кибербезопасности и руководителям следует уяснить, что некоторые вещи кажутся неосязаемыми только потому, что были плохо определены. Чересчур расплывчатые термины, такие как «потенциальная сила угрозы», «ущерб репутации» или «доверие клиентов», выглядят поначалу неизмеримыми, вероятно, лишь из-за того, что их значение не совсем понятно. Такие термины могут, по сути, представлять собой список отдельных и наблюдаемых явлений, для понимания которых каждому из них требуется дать определение. Далее в этой книге (особенно в главе 6) будут предложены способы разложения на подобные списки из более конкретных элементов.

Разъяснение цели измерений следует начать со значений некоторых других терминов, что уже неоднократно здесь использовались. Чтобы измерить кибербезопасность, надо разобраться с вопросами «Что подразумевается под кибербезопасностью?» и «Какие решения зависят от ее измерения?».

Для большинства людей повышение уровня безопасности все же должно означать нечто большее, чем, скажем, увеличение количества сотрудников, прошедших обучение по безопасности, или числа компьютеров с установленным новым защитным программным обеспечением. Если уровень безопасности повышается, то некоторые риски должны понижаться. В таком случае необходимо понять, что подразумевается под риском. Для прояснения этой проблемы требуется уточнить понятия «неопределенность» и «риск». Они не только поддаются измерению, но и являются ключевыми для понимания измерений в целом. Итак, давайте определим значения этих терминов и их измерений.

Как задаются подобные вероятности, будет показано далее (сначала на основе техник из главы 7), пока же достаточно того, что мы определились с понятиями, с чего всегда и начинаются измерения. Были выбраны именно эти значения, поскольку они наиболее соответствуют нашему подходу к измерениям в описываемом здесь примере с безопасностью и ее ценностью. Однако, как вы увидите, они также пригодны для рассмотрения любых других проблем, касающихся измерений.

Теперь, когда имеются значения неопределенности и риска, появляется более эффективный инструментарий для определения следующих терминов, таких как «безопасность» (или «сохранность», «надежность» и «качество», но об этом позже). Говоря, что безопасность улучшилась, обычно мы имеем в виду, что конкретные риски снизились. С учетом приведенного выше определения риска его снижение должно означать, что вероятность и/или тяжесть последствий (убытки) снижаются для конкретных событий. Вот это и есть упоминавшийся ранее подход, помогающий измерить некоторые очень крупные вложения в IT-безопасность, включая модернизацию системы информационной безопасности министерства по делам ветеранов, обошедшуюся в 100 млн долл.

В общем, как только вы поймете, что имеете в виду, будете на полпути к измерениям. В главе 6 будут подробнее рассмотрены подходы к определению доступных для наблюдения последствий кибербезопасности, узнаем, как ослабить последствия нарушений кибербезопасности и как выяснить, какое решение необходимо принять (тогда мы снова обратимся к работе Рона Ховарда по анализу решений).

Методы измерения

В разговоре о методах измерения кто-то может представить довольно буквальный пример с измерением времени простоя системы или количества людей, прошедших обучение по безопасности. То есть когда нет больших «неявных» совокупностей, которые нужно оценить, а имеется прямой доступ ко всем объектам измерения. Если на этом понимание человека о методах измерения заканчивается, то, несомненно, многое будет казаться неизмеримым.

Статистика и наука в целом были бы намного проще, если бы можно было непосредственно видеть все, что когда-либо измерялось. Большинство «трудных» измерений, однако, предполагают косвенные умозаключения и выводы. Это, безусловно, относится и к сфере кибербезопасности, в которой часто приходится на основе увиденного делать выводы о чем-то невидимом. Изучение совокупностей, которые слишком велики или динамичны, чтобы их можно было рассмотреть целиком, – вот в чем на самом деле суть статистики.

Кибербезопасность не является какой-то исключительной областью, не относящейся к сфере статистики. Статистика была создана именно для решения подобных проблем. Специалистам по кибербезопасности, убежденным в обратном, стоит внимательно перечитать высказывание Марка Твена, приведенное выше. Люди вроде них могут считать, что все правильно помнят и понимают достаточно в области статистики и вероятности, чтобы без применения математики с уверенностью заявлять, какие выводы можно сделать из тех или иных данных. К сожалению, их умственные вычисления часто совсем не верны. Наличие ошибочных представлений о методах измерения мешает оценивать риск во многих областях, в том числе и в кибербезопасности.

Часто можно услышать утверждение, что выборка недостаточно велика, чтобы считаться «статистически значимой». Если слышите подобное, точно знайте одно: говорящий неправильно понимает идею статистической значимости. Недавний проведенный авторами опрос, в котором принял участие 171 специалист по кибербезопасности, показал, что такие заблуждения распространены в данной сфере так же, как и в любой другой (более подробно результаты исследования описаны в главе 5). Можно заметить, что некоторые представления о статистике противоречат следующим фактам.

• Не существует единого, универсального размера выборки, необходимого, чтобы считать ее статистически значимой.

• Чтобы правильно рассчитать статистическую значимость, нужно знать, что она зависит не только от размера выборки, но и от дисперсии внутри выборки, и от самой проверяемой гипотезы. Все эти факторы используются для расчета так называемого π-значения («пи-значения»), а затем результат сравнивается с заданным уровнем значимости. Если указанные шаги пропущены, то нельзя доверять заявлениям о том, что является статистически значимым.

• Выяснив, как вычислить статистическую значимость, и поняв, что она означает, вы обнаружите, что хотели узнать совсем не это. Статистическая значимость не означает, что вы узнали что-то новое, а ее отсутствие – что вы ничего не узнали.

Данный вопрос более детально рассматривается с математической точки зрения в первой книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». А пока, полагаем, вам лучше избегать употребления фразы «статистическая значимость». Что же действительно нужно знать, так это уменьшится ли неопределенность после изучения источника данных и оправдывает ли ее уменьшение определенные изменения в действиях. Статистики знают, что статистическая значимость не дает ответа на этот вопрос, и они сами постоянно поправляют тех, кто считает иначе. Для вопросов о степени снижения неопределенности существуют математические расчеты, и, отвечая на подобные вопросы, можно не ссылаться на статистическую значимость или на то, что под ней подразумевают аналитики из сферы кибербезопасности.

Экспертам по кибербезопасности, как и многим другим специалистам практически во всех областях управления, необходимо избавиться от ошибочных представлений о статистике и изучить новые концепции в ней. Позже мы обсудим, как можно использовать некоторые проверенные методы измерения для решения различных проблем при измерении того, что изначально, возможно, казалось неизмеримым. Здесь же представим несколько примеров, в которых выводы о неявных аспектах могут быть сделаны из вполне очевидных.

• Измерения очень больших совокупностей с помощью очень маленьких случайных выборок. Можно кое-что узнать из небольшой выборки случаев утечки данных и других нарушений, особенно в ситуации высокой степени неопределенности.

• Измерения в условиях со множеством переменных, в том числе неизвестных. Можно оценить, насколько эффективно новые средства контроля системы безопасности снизили риск даже при наличии множества других факторов, влияющих на то, нанесет ли кибератака урон системе.

• Измерение риска редких событий. О вероятности неудачи при запуске ракеты, которую никогда раньше не запускали, или наступления еще одного крупного финансового кризиса можно на практике узнать с помощью наблюдений и логических рассуждений. Эти проблемы не менее сложны, чем оценка риска редко случающегося крупного нарушения кибербезопасности, тем не менее их можно измерить, и измерения проводятся.

• Измерение субъективных предпочтений и ценностей. Можно измерить ценность искусства, свободного времени или уменьшения риска для вашей жизни, установив, сколько люди действительно платят за эти вещи. Опять же, опыт других областей в равной степени применим и к кибербезопасности.

Большинство из этих подходов к измерениям являются лишь вариациями основных методов, к которым относятся различные виды выборки и экспериментального контроля, а иногда и разнообразные типы вопросов, являющиеся косвенными показателями того, что мы пытаемся измерить. К подобным базовым методам наблюдения часто не прибегают в бизнесе при принятии определенных решений, вероятно, потому, что считают такие измерительные процедуры сложными и чрезмерно формализованными. Бытует мнение, что при необходимости эти методы не удастся оперативно применить без особых затрат и подготовки. Однако мы продемонстрируем методы, которые, используя популярное понятие в системной инженерии, можно даже назвать гибкими (agile).

Когда специалисты в сфере кибербезопасности или любой другой области говорят: «У нас недостаточно данных, чтобы это измерить», – они, вероятно, не понимают, что произносят вполне конкретное математическое утверждение, не подкрепленное никакими фактическими математическими выкладками. Действительно ли они вычисляли снижение уровня неопределенности, используя имеющийся объем данных? Рассчитывали ли они на самом деле экономическую ценность такого снижения неопределенности? Скорее всего, нет.

Когда дело доходит до вероятностных выводов о данных, наша интуиция превращается в проблему. Однако намного большей проблемой может стать то, что, как кажется, нам известно (ошибочно) о статистике. Поскольку на практике статистика позволяет делать информативные выводы из удивительно маленьких выборок.

Рассмотрим случайную выборку всего лишь из пяти единиц чего-либо. Это может быть время, проведенное сотрудниками на веб-сайтах, опрос компаний в некоторых отраслях, представляющих отчеты о бюджетах, выделенных на кибербезопасность, и т. д. Какова вероятность того, что медиана всей совокупности (точка, в которой половина совокупности находится ниже, а половина выше) окажется между наибольшим и наименьшим значением этой выборки из пяти? Ответ – 93,75 %. В книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» Хаббард называет это «правилом пяти». При такой маленькой выборке диапазон может быть очень широким, но если он окажется ýже, чем предыдущий, то можно говорить, что было проведено измерение в соответствии с данным ранее определением. Правило пяти простое, оно работает, и можно доказать, что оно является статистически обоснованным для удивительно широкого спектра задач. Если ваша интуиция или познания в статистике подсказывают иное, то проблема тут не в математике.

Может показаться, что нельзя быть уверенными в чем-либо на 93,75 % на основании случайной выборки всего лишь из пяти единиц, но это не так. Если бы случайно были выбраны пять значений, которые все располагались бы выше медианы или ниже ее, то медиана оказалась бы за пределами нашего диапазона. Но какова вероятность этого? Помните, что шанс случайно выбрать значения выше медианы, по сути, составляет 50 %, как шанс, что подброшенная монетка упадет орлом вверх. То есть вероятность, что все выбранные пять значений случайно окажутся выше медианы, сродни вероятности, что выпадет орел пять раз подряд. Шанс выпадения орла пять раз подряд при случайном подбрасывании монетки составляет 1 к 32, или 3,125 %, то же самое касается и выпадения решки пять раз подряд. Тогда шансы, что не выпадут все орлы или все решки, составляет 100 % – (3,125 % × 2), или 93,75 %. Таким образом, вероятность, что хотя бы одно значение в выборке из пяти окажется выше медианы и хотя бы одно будет ниже, составляет 93,75 % (округлите до 93 % или даже до 90 %, если хотите быть сдержанными в оценках). Некоторые читатели, возможно, со времен учебы помнят статистику для очень маленьких выборок. Ее методы были сложнее, чем правило пяти, но ответ, в сущности, мало отличался (и там и там применяются упрощающие допущения, которые очень хорошо работают на практике).

Это правило можно улучшить, увеличив выборку и применив простые методы для учета ряда погрешностей, которые мы обсудим далее. Тем не менее, даже несмотря на имеющиеся недостатки, правило пяти стоит взять на вооружение тем, кто хочет развить интуицию относительно измерений.

Давайте примем несколько обдуманных и конструктивных предположений вместо расхожих домыслов. Нами предлагается набор предположений, которые (на то они и предположения) не всегда верны в каждом отдельном случае, но все же на практике демонстрируют гораздо бóльшую эффективность, чем противоположные устоявшиеся мнения. Подробнее эти аспекты будут рассмотрены позже, а пока просто назовем их.

1. Независимо от того, насколько сложна или уникальна ваша проблема измерений, следует предполагать, что подобные измерения уже проводились ранее.

2. Если вы изобретательны, то, вероятно, сможете найти больше источников данных, чем предполагали изначально.

3. Возможно, вам нужно меньше данных, чем подсказывает интуиция, и это действительно так, особенно в ситуации с высокой степенью неопределенности.

В некоторых редких случаях только из-за отсутствия самых изощренных методов измерения что-либо кажется неизмеримым. Однако в случаях, касающихся так называемых непостижимых объектов, дело почти всегда вовсе не в нехватке продвинутых и сложных методов. Просто такие объекты, как правило, слишком неопределенные, поэтому даже самые простые методы измерения, скорее всего, позволят уменьшить какую-то часть их неопределенности. Кибербезопасность в настоящее время является настолько важным направлением, что даже небольшое снижение неопределенности может быть чрезвычайно ценным.

В следующей главе будет показано, как наши концепции можно частично применить для оценки рисков кибербезопасности с помощью очень простого количественного метода, и это займет лишь чуть больше времени, чем построение обычной матрицы рисков.

1. Гладуэлл Малкольм. Гении и аутсайдеры. Почему одним все, а другим ничего? / Пер. О. Галкина. – М.: Манн, Иванов и Фербер, 2020.

2. C. Shannon, “A Mathematical Theory of Communication,” The Bell System Technical Journal 27 (July/October, 1948): 379–423, 623–656.

3. S. S. Stevens, “On the Theory of Scales and Measurement,” Science 103 (1946): 677–680.

4. Leonard J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954).

5. Рон Ховард, подкаст Harvard Business Review, интервьюер Джастин Фокс, 20 ноября 2014 года.

Введение в практические количественные методы оценки в сфере кибербезопасности

В этой главе мы предложим простую отправную точку для разработки количественной оценки риска. Позже будут рассмотрены более подробные модели (начиная с главы 6) и более современные методы (начиная с главы 8). А пока начнем с модели, которая лишь заменяет обычную матрицу рисков. Это всего лишь способ зафиксировать субъективные оценки вероятности и воздействия, но сделать это вероятностно.

Чтобы все получилось, придется освоить несколько методов. Прежде всего вы познакомитесь с идеей субъективной оценки вероятностей (хотя упражнения для обучения такой оценке мы отложим до главы 7, пока потерпите). Также будет представлен очень простой метод моделирования, а работа по фактическому построению симуляции по большей части будет сделана за вас (пример будет представлен в таблице Excel, которую можно загрузить с сайта www.howtomeasureanything.com/cybersecurity).

Изучение вами данной главы заложит фундамент, на который мы будем опираться до конца книги, постепенно надстраивая различные улучшения. Вы узнаете, как проверять свои субъективные оценки вероятности и улучшать их, как математически обоснованно использовать даже малое число наблюдений для дальнейшего уточнения оценки, а кроме того, как совершенствовать модели с помощью дополнительной детализации и усложнения. Пока же остановимся на простейшем варианте метода замены, часто используемого сегодня в области кибербезопасности.

Простая замена «один на один»

Путь к более точной оценке риска можно начать, всего лишь заменив элементы, используемые в методе, с которым большинство экспертов по кибербезопасности уже знакомы, – матрице рисков. Как и в случае с матрицей рисков, мы будем полагаться только на суждение экспертов в области кибербезопасности. Они продолжат выносить субъективные экспертные суждения о вероятности и воздействии точно так же, как делают это сейчас при составлении матриц риска. Не потребуется никаких иных данных, кроме информации, которую, возможно, уже и так используют аналитики в сфере кибербезопасности для обоснования своих суждений с помощью матрицы риска. Как и прежде, эксперты смогут использовать столько данных, сколько посчитают нужным, для вынесения, по сути, все того же субъективного суждения.

Единственное предлагаемое нами изменение в том, чтобы вместо использования шкал типа «высокий, средний, низкий» или «от 1 до 5» эксперты научились субъективно оценивать фактические величины, стоящие за такими шкалами, т. е. вероятность и воздействие в денежном выражении. В табл. 3.1 кратко описана возможная замена каждого элемента привычной матрицы риска с помощью метода, использующего вероятности в явном виде.

Предложенный метод, как и матрица рисков, на самом деле не более чем еще один способ выражения текущего состояния неопределенности. Он не отражает надлежащее измерение в принятом нами смысле: мы не снижаем неопределенность на основе дополнительных наблюдений, мы лишь подтверждаем свою априорную неопределенность. Однако теперь уровень этой неопределенности выражен таким образом, который позволяет нам однозначно сообщать о риске и корректировать степень неопределенности с появлением новой информации.

Давайте теперь соберем воедино элементы данного подхода, начиная с того, как эксперт в сфере кибербезопасности дает субъективную оценку вероятности.

Эксперт как инструмент

В соответствии с принципами замены «один на один» нами будет задействован тот же источник данных для оценки, что использовался бы и при составлении матрицы рисков, – эксперт в сфере кибербезопасности. Подобно тому как эксперты уже оценивают вероятность и воздействие с помощью обычной матрицы рисков, они могут оценить их же, используя значимые величины. Чуть позже будет также разобрано, как добавить к их оценке дополнительную внешнюю информацию. В любой проблеме измерения важной отправной точкой является фиксирование текущего состояния неопределенности. Нужно лишь задать базовую структуру, выполнив следующие действия.

1. Определить список рисков. Классифицировать риски можно по-разному, но сейчас только укажем, что для обычной матрицы рисков составляется такой же список.

2. Определить конкретный период времени, в течение которого может возникнуть несущее риск событие (например: «Утечка данных из приложения Х произойдет в ближайшие 12 месяцев», «Потеря доступа к системе Х достаточно продолжительная, чтобы привести к снижению производительности в ближайшие пять лет» и т. д.).

3. Для каждого риска субъективно определить вероятность (от 0 до 100 %), с которой заявленное событие произойдет в указанное время (например: «Существует вероятность 10 %, что утечка данных из системы X произойдет в ближайшие 12 месяцев»).

4. Для каждого риска субъективно определить диапазон финансовых потерь в случае наступления события в виде 90 %-ного доверительного интервала (ДИ). Это достаточно широкий диапазон, позволяющий быть на 90 % уверенными, что фактические потери окажутся в его пределах (например: «Если произойдет утечка данных из приложения X, то с вероятностью 90 % можно предположить, что потери составят от 1 до 10 млн долл.»).

5. Если есть возможность, то получить оценки нескольких экспертов, но не проводить при этом общее совещание в попытке достичь консенсуса. Просто предоставьте список определенных событий, и пусть люди отвечают по отдельности. Если ответы некоторых экспертов сильно отличаются от остальных, выясните, не интерпретируют ли они иначе проблему. Например, если один человек называет вероятность наступления какого-либо события равной 5 % в течение года, а другой говорит, что оно с вероятностью 100 % происходит каждый день, тогда они, судя по всему, по-разному поняли вопрос (авторы лично сталкивались именно с таким вариантом). Однако, если эксперты понимают вопрос одинаково, просто усредните их ответы. То есть вычислите среднее арифметическое значение всех вероятностей наступления события, чтобы получить одно значение вероятности, а затем вычислите среднее арифметическое всех наименьших значений вероятностей для получения одного нижнего предела и наибольших значений для получения одного верхнего предела.

Идея субъективной оценки вероятностей может встретить возражения. Некоторые аналитики, без проблем говорящие, что вероятность составляет 4 по шкале от 1 до 5 или является средней по вербальной шкале, будут утверждать, что существуют требования к количественным вероятностям, делающие количественную оценку невыполнимой. Почему-то проблемы, которые не смущали их при использовании более неоднозначных методов, становятся основными препятствиями при попытке сформулировать значимую вероятность.

Это распространенное заблуждение. Как уже отмечалось в главе 2, использование субъективной вероятности для обозначения исходного состояния неопределенности эксперта является математически обоснованным. На самом деле некоторые проблемы в статистике можно решить только с помощью вероятностно выраженного исходного состояния неопределенности. И как раз такие задачи оказываются наиболее значимыми для принятия решений в любой области, включая кибербезопасность. Позже будут приведены источники, поддерживающие этот подход, в том числе несколько очень крупных эмпирических исследований, демонстрирующих его обоснованность. Более того, здесь есть глава, посвященная тому, как помочь читателям измерить и усовершенствовать собственные навыки оценки вероятностей с помощью короткой серии упражнений, позволяющих со временем повысить эффективность этих навыков. Оценки вероятности, получаемые после такого улучшения навыков, мы называем откалиброванными, и, как будет показано далее, существует достаточно много исследований, подтверждающих обоснованность подобных практик.

Пока же просто уясните, что большинство экспертов можно научить субъективно оценивать вероятности и что этот навык объективно измерим (как бы иронично это ни звучало). Помните: если основное беспокойство по поводу использования вероятностных методов возникает из-за отсутствия данных, то, значит, вам не хватает имеющихся данных и для применения неколичественных методов. Как уже говорилось, оба метода на начальном этапе используют один и тот же источник данных – экспертное мнение специалистов по кибербезопасности. И нельзя утверждать, что при использовании количественных показателей вероятности без надлежащего обучения будут допущены ошибки, которых удалось бы избежать, применяя качественные методы.

Достоверность мнения эксперта можно повысить за счет методов, учитывающих два других источника ошибок в суждениях: высокую степень несогласованности экспертов и склонность к распространенным ошибкам в умозаключениях, когда дело касается вероятностного мышления. Все это также будет рассмотрено в следующих главах (и, разумеется, влияние данных источников ошибок никак не учитывается в обычной матрице рисков).

Вычисляя неопределенность

У использования диапазонов для обозначения неопределенности вместо нереалистично точных конкретных значений есть свои преимущества. Скажем, при применении диапазонов и вероятностей нет нужды делать предположения, в которых вы не уверены. Однако плюс точных значений в том, что их легко складывать, вычитать, умножать и делить в электронной таблице. Если точно знать величину убытков каждого типа, можно без труда вычислить общие убытки. А поскольку для каждого типа у нас есть только диапазоны, то для вычислений придется использовать методы вероятностного моделирования.

Так каким же образом выполнять математические действия в электронной таблице, когда у нас не точные значения, а диапазоны? К счастью, есть проверенное практическое решение, которое можно применить на любом современном компьютере, – метод Монте-Карло. В симуляции по методу Монте-Карло с помощью компьютера генерируется множество сценариев, в качестве вводных данных для которых используются вероятности. В каждом сценарии для каждой из неизвестных переменных случайным образом задается конкретное значение. Затем эти значения подставляются в формулу для расчета выходных данных одного сценария. Процесс обычно охватывает тысячи сценариев.

В 1940-х годах ряд математиков и ученых начали использовать подобные симуляции тысяч случайных испытаний для некоторых очень трудных математических задач. Станислав Улам, Джон фон Нейман и Николас Метрополис сумели применить данный метод на примитивных компьютерах, доступных в то время, чтобы помочь решить математические задачи, связанные с разработкой первой атомной бомбы. Ими было обнаружено, что при проведении тысяч испытаний в произвольном порядке можно вычислить вероятность различных результатов для модели, имеющей некоторое количество входных данных, характеризующихся высокой степенью неопределенности. По предложению Метрополиса Улам назвал этот компьютерный метод генерации случайных сценариев методом Монте-Карло – по известному месту для любителей азартных игр, в честь своего дяди, заядлого игрока¹. В настоящем, когда имеется большая вычислительная мощность (в миллиарды раз превышающая практически по всем показателям ту, что была доступна в Манхэттенском проекте), симуляции по методу Монте-Карло используются для моделирования проектных и финансовых рисков, для создания моделей риска на электростанциях, в системе поставок, в страховании и, да, в кибербезопасности.

Если у вас нет опыта работы с симуляциями по методу Монте-Карло, скорее всего, они кажутся вам сложнее, чем есть на самом деле. Они регулярно применяются авторами и многими их сотрудниками для решения различных практических задач в бизнесе. Нам не единожды приходилось видеть, как люди, у которых сама идея использования симуляций по методу Монте-Карло вызывала дискомфорт, после непосредственной работы с ними становились в итоге их ярыми сторонниками.

Давайте начнем с очень простой задачи и разберем инструменты для ее решения. Предположим, есть набор возможных событий, которые могут случиться за год. Для каждого события заданы степень вероятности и диапазон возможных убытков, в случае если оно произойдет. Пусть вероятность одних событий составляет 1 %, а других – более 10 %. В конкретном году может не произойти события, которое приведет к значительным убыткам, или их окажется несколько, возможно даже, что одно и то же событие случится несколько раз в течение года. Для последнего варианта также есть решение, но сейчас мы будем придерживаться простого сценария и моделировать событие как результат «или-или», происходящий не чаще одного раза в год. Матрица рисков, в любом случае, не учитывает подобный вариант (как и некоторые другие аспекты, о которых поговорим позже), так что простой сценарий делает пример ближе к принципу замены «один на один».

Далее в книге будет возможность подробнее остановиться на этом виде моделирования. Однако, чтобы помочь вам начать работу, мы предоставили несколько простых примеров в электронной таблице Excel, которую можно загрузить с сайта www.howtomeasureanything.com/cybersecurity. Вооружившись информацией из таблицы и более подробными материалами из следующих глав, вы сможете моделировать свою неопределенность и отвечать на вопросы вроде «Какова вероятность того, что в следующем году из-за кибератаки убытки составят больше, чем X?».

Для решения нашей задачи мы смоделируем тысячи сценариев для каждого риска. В каждом сценарии нужно лишь определить по каждому виду риска, произойдет ли событие и, если произойдет, каковы будут его последствия.

Начнем с определения того, произошло ли событие в отношении одного риска в одном сценарии. Для этого при моделировании можно случайным образом генерировать «1», если событие произойдет, и «0», если не произойдет, где вероятность получения «1» равна заявленной вероятности события. В редакторе Excel это можно записать следующим образом:

Например, если вероятность события равна 0,15, то эта формула будет выдавать результат «1» (означающий, что событие произошло) в 15 % случаев. В Excel при каждом новом вычислении (по нажатию клавиши F9) будет получаться новый результат. Повторив операцию тысячу раз, вы увидите, что событие произойдет примерно 150 раз. Обратите внимание, что так будет для каждого отдельного риска, указанного в симуляции. То есть, если у вас 100 рисков, у каждого из которых различная вероятность, и вы запустите 1000 сценариев, то эта маленькая формула будет рассчитана 100 000 раз.

Для определения воздействия необходимо генерировать не просто «0» или «1», а континуум значений. Это можно сделать с помощью одной из обратных функций вероятности редактора Excel. Некоторые функции вероятности в Excel позволяют определить вероятность конкретного результата при определенном распределении вероятности. Например, НОРМРАСП(x;среднее; стандартное_откл;1) покажет вероятность того, что нормальное распределение с заданными средним значением и стандартным отклонением даст значение, равное x или меньше. Обратная же функция вероятности выдаст значение x с учетом вероятности.

В Excel обратная функция вероятности для нормального распределения выглядит так:

(Примечание: в последних версиях Excel также используется функция НОРМ.ОБР, но НОРМОБР тоже работает.) Если заменить аргумент «вероятность» на функцию СЛЧИС(), то получится нормально распределенное случайное число с указанным средним значением и стандартным отклонением. Стандартное отклонение – своего рода мера ширины распределения вероятности, но на самом деле эту величину специалистам очень трудно определить интуитивно. Лучше просто попросить эксперта назвать 90 %-ный доверительный интервал, как описывалось ранее. ДИ можно использовать для вычисления необходимых параметров среднего значения и стандартного отклонения на основе верхнего и нижнего пределов (ВП и НП) диапазона потенциальных убытков, предоставленного экспертом.

Этот диапазон мы превратим в распределение вероятности определенного типа, которое будем часто применять: логнормальное распределение, представляющее собой разновидность более привычного колоколообразного нормального распределения. Это просто нормальное распределение по логарифму значения, которое мы хотим смоделировать, и оно обычно гораздо точнее отображает реальность.

Рис. 3.1. Сравнение логнормального и нормального распределений

На рис. 3.1 показан пример подобного распределения в сравнении с нормальным. Обратите внимание, что логнормальное распределение, в отличие от нормального, выглядит однобоким или «перекошенным». При логнормальном распределении не может получиться нулевое или отрицательное число, но у него имеется хвост справа, допускающий получение очень больших значений в результатах. Именно поэтому логнормальное распределение часто реалистично отражает вероятность различных сумм убытков. Нормальное распределение достаточно широкое, чтобы охватить некоторые экстремальные события, однако оно может также выдавать нелогичные отрицательные результаты на другом конце шкалы (не может быть отрицательного количества взломанных учетных записей или отрицательного времени простоя системы). Вот почему логнормальное распределение используют еще и для моделирования различных величин, которые не могут быть отрицательными, но способны (хотя и редко) оказываться очень большими.

Для получения логнормального распределения в примере, представленном на сайте книги, применяется следующая формула Excel:

где:

Таким образом, если нами получен 90 %-ный ДИ для воздействия от 100 000 до 8 млн долл., тогда среднее и стандартное отклонение, которые должны использоваться в функции ЛОГНОРМОБР (т. е. среднее значение и стандартное отклонение логарифма исходного распределения), будут равны:

Определение убытков от события, у которого вероятность возникновения составляет 5 %, а воздействие – от 1 до 9 млн долл., можно записать так:

В большинстве случаев (95 %) эта функция будет выдавать ноль. И только в 5 % случаев она сгенерирует значение, которое с вероятностью 90 % попадет в диапазон от 1 до 9 млн долл. Обратите внимание, что, поскольку это 90 %-ный ДИ, существует вероятность 5 %, что значение окажется ниже нижнего предела (но выше нуля, так как логнормальное распределение может давать только положительные значения), и вероятность 5 %, что оно будет выше верхнего предела, иногда намного выше. Так, если в приведенном выше примере событие происходит, то существует вероятность 1 %, что убытки могут превысить 14,2 млн долл.

Логнормальные распределения следует применять осторожно. Экстремальные значения убытков заданного 90 %-ного ДИ могут оказаться нереалистичными, если верхний предел во много раз превысит нижний. Так происходит, когда эксперт, оценивающий значение, ошибочно решает, что верхний предел представляет собой наихудший вариант, а это не так. Верхний предел 90 %-ного доверительного интервала допускает с вероятностью 5 %, что значение будет больше. Экстремальные результаты также чувствительны к нижнему пределу. Если 90 %-ный ДИ составляет от 10 000 до 1 млн долл., то верхний предел оказывается в 100 раз больше нижнего. В этом случае существует вероятность 1 %, что убытки в 2,6 раза превысят заявленный верхний предел (составят 2,6 млн долл.). Если же 90 %-ный ДИ составляет от 1000 до 10 млн долл., то убытки с вероятностью 1 % будут больше верхнего предела более чем в 6,7 раза (67 млн долл.).

Если числа кажутся слишком большими, измените ширину диапазона или просто ограничьте сгенерированное значение некоторым максимумом. При желании обозначить, что 10 млн долл. – это максимальный убыток, можно использовать функцию =МИН(убытки;10000000), чтобы в результате получить наименьшую сумму из убытков или 10 млн долл.

В приложении А представлены и другие распределения, более подходящие для решения тех или иных типов проблем. Там же указаны формулы Excel для распределений с описанием, когда уместно применять каждое из них. Позже мы еще затронем тему выбора распределения.

Для большого количества событий и воздействий можно составить таблицу наподобие табл. 3.2, чтобы смоделировать все убытки для всех событий (пример можно скачать с сайта www.howtomeasureanything.com/cybersecurity).

В приведенном примере интерес представляет общая сумма убытков: 23 345 193 долл. Теперь остается лишь провести еще несколько тысяч испытаний, чтобы увидеть, каким будет распределение убытков. Каждый раз при пересчете таблицы в итоговой сумме будет появляться новое значение (если вы работаете в MS Office на ПК, то команда «пересчитать» должна запускаться нажатием клавиши F9). Если бы вы сумели каким-то образом записать каждый такой результат нескольких тысяч испытаний, то получили бы итог симуляции по методу Монте-Карло.

В Excel это проще всего сделать с помощью таблицы данных инструмента «Анализ „что если“». Можно запускать сколько угодно испытаний и видеть результаты каждого, и при этом не придется тысячи раз копировать табл. 3.2. Таблица данных позволяет пользователю Excel увидеть, как будет выглядеть серия ответов в формуле, если менять по одному параметру за раз. Например, у вас есть очень большая электронная таблица для расчета пенсионного дохода, включающая текущие нормы сбережений, рост рынка и ряд других факторов. Возможно, вы захотите посмотреть, как изменится оценка продолжительности проекта, если менять размер ежемесячных сбережений со 100 до 5000 долл. с шагом в 100 долл. В таблице данных автоматически отобразятся все результаты, как если бы вы вручную каждый раз самостоятельно изменяли этот один параметр и записывали результат. Этот метод применяется в электронной таблице, которую можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Чтобы узнать больше о таблицах данных в целом, изучите основы на страницах справки в Excel, но нами используется немного измененный вариант таблицы-образца. Обычно требуется ввести значение в поле «Подставлять значения по столбцам в» или в поле «Подставлять значения по строкам в» (в нашем случае можно было бы использовать только поле «Подставлять значения по столбцам в»), чтобы указать, какое значение таблицы данных будет многократно меняться для получения различных результатов. В данном же примере не требуется определять, какие входные данные менять, потому что у нас уже есть функция СЛЧИС(), меняющая значение каждый раз при пересчете. Таким образом, наши входные значения – просто произвольные числа, отсчитываемые от 1 до количества сценариев, которое мы хотим запустить.

Существует важный момент, касающийся количества испытаний при моделировании событий нарушения кибербезопасности. Нам часто приходится иметь дело с редкими, но обладающими большим воздействием событиями. Если вероятность события составляет всего 1 % в год, то 10 000 тестов в большинстве случаев приведут к 100 таким событиям за указанный срок, но этот показатель может немного варьироваться. При данном количестве испытаний он может произвольно варьироваться от ровно 100 (точно так же, как при подбрасывании монетки из 100 раз не обязательно выпадет ровно 50 орлов). В этом случае результат будет находиться между 84 и 116 примерно в 90 % случаев.

Теперь для каждого из случаев, когда происходит событие, нужно смоделировать убытки. Если у убытков длинный хвост, то при каждом запуске симуляции по методу Монте-Карло могут наблюдаться значительные отличия. Под длинным хвостом имеется в виду, что, вполне возможно, убытки будут больше среднего. Например, у нас может быть распределение убытков, где наиболее вероятным исходом являются убытки в 100 000 долл., но существует 1 %-ная вероятность крупных убытков (50 млн долл. или более). Однопроцентный наихудший сценарий в риске, вероятность которого всего лишь 1 % в год, – это, прежде всего, ситуация, которая может произойти с вероятностью 1/100 × 1/100, или 1: 10 000 в год. И поскольку 10 000 является заданным количеством тестов, то в какой-то симуляции это наихудшее событие может произойти один или несколько раз за 10 000 испытаний, а в какой-то может не произойти ни разу. Это значит, что каждый раз при запуске симуляции по методу Монте-Карло можно наблюдать, что среднее общее значение убытков немного меняется.

Самым простым решением здесь для специалиста, использующего метод Монте-Карло, которому не хочется слишком утруждаться, станет проведение большего числа испытаний. Разброс значений от симуляции к симуляции уменьшится, если провести 100 000 тестов или 1 млн. Вы удивитесь, как мало времени это занимает в Excel на достаточно быстром компьютере. У нас заняло несколько секунд проведение 100 000 тестов, так что затрачиваемое время не кажется серьезным ограничением. Мы даже выполнили в старом добром Excel миллион сценариев с несколькими крупными вычислениями, и на это потребовалось не более 15 минут. Однако, по мере того как события становятся все более редкими и значимыми, применяются более эффективные методы, чем увеличение числа испытаний в разы. Но пока не будем усложнять задачу и просто бросим дешевые вычислительные мощности на решение проблемы.

Теперь у нас есть способ генерации тысяч результатов в симуляции по методу Монте-Карло с помощью стандартного Excel (без каких-либо надстроек или кода Visual Basic для выполнения расчетов). Учитывая, насколько широко используется Excel, почти наверняка у любого аналитика из сферы кибербезопасности есть инструменты для его применения. А полученные данные можно использовать для другого важного элемента анализа риска – количественной визуализации риска.

Визуализация риска

Популярность матриц рисков, знакомых каждому, кто занимается кибербезопасностью, объясняется тем, что они доступно иллюстрируют вероятности и воздействия на одной схеме. В предложенном нами несложном решении шкала для вероятности заменена вероятностью в явном виде, а для воздействия – 90 %-ным ДИ, представляющим диапазон потенциальных убытков.

В нашем варианте вертикальная ось по-прежнему может быть представлена одной точкой – только вероятностью, а не балльной оценкой, зато воздействие теперь представлено более чем одной точкой. Заявляя, что вероятность наступления события составляет 5 %, мы не можем утверждать, что его воздействие составит ровно 10 млн долл. На деле существует вероятность 5 %, что у нас будут некоторые убытки, при этом есть 2 %-ная вероятность потерять больше 5 млн долл., вероятность потери более 15 млн долл. составляет 1 % и т. д.

Такой объем информации невозможно отобразить простой точкой на двухмерной диаграмме. Но можно представить его с помощью графика, называемого кривой вероятности превышения потерь. Нам не требуется заново изобретать велосипед (хотя риск-менеджеры во многих отраслях регулярно именно этим и занимаются), ведь эту концепцию также используют в оценке риска финансового портфеля, актуарной науке, в так называемой вероятностной оценке риска в ядерной энергетике и других технических науках. Наименование может меняться в зависимости от области: где-то это будет «вероятность превышения», а где-то «дополнительная функция кумулятивных вероятностей». На рис. 3.2 показан пример кривой вероятности превышения потерь.

Рис. 3.2. Пример кривой вероятности превышения потерь

На рис. 3.2 показана вероятность того, что данная сумма будет потеряна за некоторый период времени (например, год) из-за определенной категории рисков. Подобную кривую можно полностью построить на основе информации, полученной в предыдущем примере таблицы данных (табл. 3.3). Строить такие кривые риска можно как для конкретной уязвимости, так и для системы, структурной единицы или предприятия. По кривой вероятности превышения потерь хорошо видно, какой диапазон убытков возможен (а не просто точечное значение), а еще что бóльшие потери менее вероятны, чем меньшие. В примере на рис. 3.2 (который, судя по размерам сумм, вероятно, описывает риски в области кибербезопасности на уровне всего предприятия, причем весьма крупного) существует вероятность 40 %, что убытки составят 10 млн долл. в год или больше, а также вероятность примерно 15 % потерять 100 млн долл. или больше. Для удобства отображения более широкого диапазона потерь на горизонтальной оси используется логарифмическая шкала, но это лишь вопрос предпочтений, годится и линейная.

Рис. 3.3. Неотъемлемый риск, остаточный риск и рискоустойчивость

Кроме того, можно создать еще один вариант этого графика, добавив пару кривых. На рис. 3.3 показаны три кривые: неотъемлемый риск, остаточный риск и рискоустойчивость. Сопоставление неотъемлемого и остаточного рисков распространено в сфере кибербезопасности для представления рисков до применения предлагаемых средств контроля (т. е. методов снижения рисков) и после применения средств контроля соответственно. Неотъемлемый риск, однако, не обязательно означает полное отсутствие контроля, поскольку такой вариант невозможен в реальности. Скорее его можно определить как риск, включающий только минимально необходимые средства контроля, т. е. те, исключение которых равносильно небрежности, и, следовательно, вопрос о целесообразности их применения не стоит вовсе. Различие между неотъемлемыми и остаточными рисками составляет истинно произвольный контроль – такие виды контроля, исключение которых можно считать разумным. Примерами минимальных средств контроля могут быть защита с помощью пароля, системы сетевой защиты, некоторая регулярность обновления патчей, ограничение определенных видов доступа к учетным записям администраторов и т. д. Организация может составить собственный список минимальных средств контроля. Если средство контроля считается необходимым минимумом, то не возникает проблема выбора. А раз нет проблемы выбора, то информация не несет ценности для анализа решений. Поэтому лучше сосредоточить внимание на средствах контроля в тех случаях, когда разумны оба варианта: использовать и не использовать.

Кривая вероятности превышения потерь предоставляет простой и удобный визуальный способ сравнения риска с рискоустойчивостью, которую тоже можно однозначно и количественно выразить в виде кривой вероятности превышения потерь. На рис. 3.3 можно заметить, что часть кривой неотъемлемого риска (показана более жирной линией) находится выше кривой рискоустойчивости (показана пунктирной линией). Принято говорить, что эта часть кривой неотъемлемого риска «нарушает» или «ломает» рискоустойчивость. Кривая остаточного риска, с другой стороны, всегда находится на уровне кривой рискоустойчивости или под ней. И в таком случае говорят, что кривая рискоустойчивости «стохастически доминирует» над кривой остаточного риска. Это означает, что остаточный риск является приемлемым. Далее мы расскажем, как можно с легкостью определить кривую рискоустойчивости, но сначала опишем, как получить остальные кривые с помощью приведенной ранее симуляции по методу Монте-Карло.

Помните, что, как и в случае с другими методами, используемыми в этой главе, все технические детали отражены в доступных для скачивания электронных таблицах на упомянутом выше сайте.

Как видно из табл. 3.4, у гистограммы имеется два столбца. В первом столбце указаны суммы убытков, соответствующие значениям на горизонтальной оси для кривой вероятности превышения потерь. Во втором столбце указан процент результатов симуляции по методу Монте-Карло, которые дали значение, равное или большее, чем сумма в первом столбце. Самый простой метод получить эти значения вероятностей – применить функцию СЧЁТЕСЛИ в Excel. Если обозначить все данные второго столбца табл. 3.3 как «Результаты Монте-Карло», а под «Убытками» понимать каждую ячейку столбца убытков в гистограмме, находящуюся напротив соответствующей ячейки с расчетом вероятности, то формула этого самого расчета будет иметь следующий вид:

Функция СЧЁТЕСЛИ действует согласно своему названию. Она подсчитывает количество значений в определенном диапазоне, которые удовлетворяют заданному условию. Если функция СЧЁТЕСЛИ возвращает 8840 для данного диапазона и ячейки «Убытки» с суммой 2 млн долл., это означает, что в диапазоне находятся 8840 значений, превышающих 2 млн долл. Деление результата функции на количество тестов в симуляции Монте-Карло (10 000 в нашем примере) позволяет преобразовать его в значение между 0 и 1 (0 и 100 %). По мере применения формулы к все более и более крупным значениям в столбце убытков процент значений в симуляции, превышающих этот уровень убытков, будет уменьшаться.

Теперь просто создадим по этим двум столбцам точечную (X,Y) диаграмму в Excel. Если хотите, чтобы она выглядела так же, как показанная выше кривая вероятности превышения потерь, нужно выбрать тип диаграммы с гладкими кривыми и без маркеров для точки. Именно этот тип диаграмм используется в электронной таблице с сайта. Дополнительные кривые можно добавить, вставив еще столбцы данных. Скажем, создание кривой остаточного риска представляет собой аналогичную процедуру, но основанную на оценках вероятности и воздействия (которые, предположительно, будут меньше) после реализации предложенных дополнительных средств контроля.

Один из недостатков диаграммы с кривыми вероятности превышения потерь заключается в том, что изображение становится перегруженным при наличии множества таких кривых. В типичной матрице рисков каждый риск показан как одна точка (хотя и крайне нереалистичная и двусмысленная точка), а кривая вероятности превышения потерь отображается как линия. Вот почему одна из организаций, составив диаграмму с большим количеством кривых вероятности превышения потерь, назвала ее диаграммой спагетти. Однако с этим недостатком легко справиться, просто создав отдельные диаграммы для различных категорий. Кроме того, поскольку кривые вероятности превышения потерь всегда можно объединить математически, то возможно создание комплексных диаграмм кривых вероятности превышения потерь, где каждая кривая будет раскладываться на несколько других, показанных на отдельной подробной диаграмме. Это еще одно ключевое преимущество использования такого инструмента, как кривые вероятности превышения потерь, для передачи информации о рисках. На сайте книги доступна электронная таблица, демонстрирующая, как это делается.

Теперь сравните эту возможность комплексного сравнения с популярными подходами в оценке рисков кибербезопасности. Типичный подход «низкий/средний/высокий» недостаточно конкретен, чтобы можно было сказать, что «семь низких значений и два средних рискованнее, чем одно высокое» или «девять низких значений в сумме дают одно среднее», но это позволяет сделать кривая вероятности превышения потерь. И еще следует подчеркнуть, что высокая неоднозначность метода «низкий/средний/высокий» никоим образом не избавляет аналитика от необходимости задумываться о подобных вещах. Просто с матрицей рисков он вынужден воспринимать риски гораздо более неоднозначно.

Для построения обобщенной кривой необходимо для начала создать еще одну таблицу, подобную табл. 3.3, но в которой каждое значение будет являться суммой нескольких смоделированных категорий рисков, а затем на ее основе сделать таблицу, аналогичную табл. 3.4. Опять же, в качестве примера у нас есть электронная таблица, доступная для скачивания на сайте www.howtomeasureanything.com/cybersecurity. Порядок действий при этом следующий: проводится еще 10 000 тестов всех рисков, общее влияние которых нас интересует, и к их сумме применяется процедура построения кривой вероятности превышения потерь. Может показаться, что достаточно было бы просто взять отдельно составленные таблицы, такие как табл. 3.3, сложить количество значений, подпадающих под условия соответствующей ячейки с расчетом процента, и получилась бы обобщенная кривая. Но нет, полученные результаты будут неверны, за исключением случаев, когда риски идеально коррелируют (опустим подробности, почему так происходит, но, немного поэкспериментировав, вы сами в этом убедитесь, если захотите увидеть разницу между двумя процессами).

Придерживаясь этого метода, можно увидеть риски системы при нескольких уязвимостях, риски структурного подразделения от нескольких систем и риски в масштабах предприятия для всех структурных подразделений.

В идеале информация для кривой рискоустойчивости собирается на встрече с руководителями, обладающими компетенцией заявлять, насколько большой риск организация готова принять в соответствии с ее политикой. Хаббарду доводилось формировать кривые рискоустойчивости различных типов (кривая вероятности превышения потерь – лишь один из видов количественной оценки рискоустойчивости) для множества организаций, в том числе с целью определения рискоустойчивости ряда приложений обеспечения кибербезопасности. Такая встреча обычно длится около полутора часов. Предполагается, что в ходе нее вы просто объясняете саму концепцию руководству, а затем просите их установить несколько точек на кривой. Также в процессе необходимо определить, какая именно кривая рискоустойчивости вас интересует (например, ежегодный риск для отдельной системы, риск на десятилетие для всего предприятия и т. д.). Как только суть дела объяснена, можно начинать задавать вопросы, оттолкнувшись от какой-то произвольной точки.

Аналитик: Согласны ли вы принять вероятность десять процентов того, что в год из-за рисков кибербезопасности убытки составят более пяти миллионов долларов?

Руководитель: По-моему, лучше бы обойтись вообще без рисков.

Аналитик: По-моему, тоже, но сейчас вы уже рискуете во многих областях. Очевидно, что, сколько ни вкладывай в снижение рисков, полностью они не исчезнут.

Руководитель: Верно. Полагаю, я могу согласиться с вероятностью десять процентов, что убытки составят пять миллионов долларов или более.

Аналитик: Как насчет вероятности двадцать процентов потерять более пяти миллионов долларов в год?

Руководитель: Кажется, это перебор. Давайте остановимся на десяти процентах.

Аналитик: Отлично, тогда десять процентов. Итак, какую вероятность гораздо бóльших убытков, например пятьдесят миллионов долларов или больше, вы готовы назвать? Может быть, хотя бы один процент?

Руководитель: Полагаю, я не люблю рисковать. Считаю допустимой однопроцентную вероятность для убытков в размере двадцать пять миллионов долларов или более за год…

И так далее. Отметив три или четыре точки, можно интерполировать остальные и передать результат руководству на окончательное утверждение. Технически процесс не сложный, но важно знать, как реагировать на некоторые потенциальные вопросы или возражения. Кто-то из руководителей может указать, что процедура кажется весьма абстрактной. В таком случае стоит привести примеры из практики их компании или других предприятий, касающиеся выбранных убытков и того, как часто они возникают.

Кроме того, некоторые предпочитают рассматривать кривую только в рамках определенного бюджета на кибербезопасность, от них можно услышать что-то вроде «приемлемость данного риска зависит от того, во сколько нам обойдутся меры по его предотвращению». Подобное беспокойство вполне разумно. Если руководство готово уделить вам больше времени, можно задать рискоустойчивость при различных уровнях расходов на предотвращение рисков. Есть даже способы нахождения оптимального соотношения риска и отдачи (подробнее об этом читайте в первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе»). Однако большинство, похоже, готовы рассмотреть идею о том, что существует максимально приемлемый риск. Именно его мы и пытаемся определить.

Стоит также отметить, что авторы множество раз обсуждали с руководителями организаций кривые рискоустойчивости как в области кибербезопасности, так и в других областях. Если вы переживаете, что начальство ничего не поймет, можем вас заверить: мы с таким ни разу не сталкивались. Даже когда нас уверяли, что начальник в этом не разбирается. На самом деле руководители, похоже, осознают необходимость определения уровня приемлемых рисков не хуже других специалистов в области кибербезопасности. Мы еще вернемся к данной теме в главе 5, когда будем обсуждать различные иллюзорные препятствия для применения количественных методов.

Поддержка решения: рентабельность смягчения последствий

В конечном счете смысл анализа рисков – даже с матрицей рисков, которую мы заменяем, – это поддержка решений. Однако проблема, с которой мы сталкивались раньше, заключалась в принятии конкретных решений по распределению ресурсов для конкретных средств управления. Во сколько обойдется, в конце концов, перевести один «высокий» риск в «средний»? Будет ли это стоить нам 5000 долл. или 5 млн? А что, если наш бюджет на кибербезопасность составляет 8 млн долл. и при этом у нас 80 «низких», 30 «средних» и 15 «высоких» рисков? А если за одну и ту же сумму можно смягчить последствия или нескольких «низких» рисков, или одного «среднего»? Если вам доводилось слышать (авторам вот доводилось) вопросы вроде «если потратить еще миллион долларов, удастся ли перевести этот риск из красной зоны в желтую?», то, возможно, такой подход к проблеме вызывал бы у вас раздражение. Когда руководителю отдела информационной безопасности приходится принимать решения о распределении средств на практике, очевидно, что от традиционной матрицы рисков помощи мало. Может показаться, что реально справиться и вовсе без этих методов. Однако, как будет показано далее, одной из ошибок руководителей отделов информационной безопасности является убеждение, что они примут верные решения, полагаясь только на свою экспертную интуицию.

Руководителю отдела информационной безопасности необходимы расчеты «рентабельности средств контроля», представляющей собой отношение снижения ожидаемых убытков в денежном выражении к стоимости средств контроля. Если рассматривать только выгоду в течение одного года (и игнорировать прочие соображения об изменении стоимости со временем), формула может быть такой:

Термин «ожидаемый» в контексте проектных расчетов обычно относится к средневзвешенному по вероятности значению некоторой суммы. Таким образом, ожидаемые убытки – это среднее значение убытков в симуляции по методу Монте-Карло, связанное с конкретной причиной. Если применить средства контроля для снижения рисков, а затем смоделировать новый набор убытков, среднее значение этих убытков станет меньше (за счет уменьшения вероятности любого из убытков, или уменьшения воздействия от наступления события, влекущего за собой убытки, или и того и другого). Разница убытков до и после применения средств контроля – это и есть параметр «снижение ожидаемых убытков» в формуле выше. Если снижение ожидаемых убытков равно затратам, то, согласно формуле, рентабельность средств контроля составит 0 %. Это верно и для других форм инвестиций.

Также необходимо будет определить, в течение какого периода времени ожидается снижение убытков. Если средства контроля – это текущие расходы, которые можно начать и прекратить в любое время, то приведенная выше формула будет применяться к годовой выгоде (снижению убытков) и годовым затратам. Если же средства контроля – разовая инвестиция, выгода от которой может проявляться в течение длительного периода времени, то следует придерживаться финансовых правил компании, касающихся капиталовложений. Вероятно, при этом надо будет рассчитать выгоду как текущую стоимость потока инвестиций при заданной ставке дисконтирования. Или потребуется подготовить внутреннюю норму рентабельности. Мы не будем уделять этому внимание, но существуют несложные финансовые расчеты, которые, опять же, можно выполнить с помощью одних лишь простых функций в редакторе Excel.

Необходимо соблюдать осторожность, если планируется раскладывать простой диапазон воздействия на множество переменных, используемых для его расчета. В показанном ранее примере вычисление ожидаемых потерь требует очень простых подсчетов: достаточно умножить рассчитанное среднее значение распределения воздействия на вероятность наступления события (электронная таблица, представленная на сайте, сделает это за вас). Однако если разложить воздействие на множество компонентов, которые необходимо перемножить (например, количество взломанных учетных записей умножить на стоимость одной записи, продолжительность отключения умножить на количество пострадавших людей и умножить на стоимость одного человека в час и т. д.), то работа со средними значениями уже не даст разумную оценку. Фактически придется запускать отдельную симуляцию для каждой строки. Но в нашей простейшей модели пока можно об этом не задумываться. По мере совершенствования модели мы сможем вносить в нее больше деталей. В последующих главах будут описаны способы развития модели через добавление элементов, постепенно повышающих ее реалистичность.

Куда двигаться дальше

Существует множество моделей, которые аналитики в сфере кибербезопасности могли бы использовать для определения текущего состояния неопределенности. Можно просто оценить вероятность и воздействие напрямую, без дальнейшего разложения. Можно разработать метод моделирования, определяющий, как изменяются вероятность и воздействие в зависимости от типов угроз, возможностей угроз, уязвимостей или характеристик систем. Можно перечислить приложения и оценить риск для каждого из них либо перечислить средства контроля и оценить риски, на предотвращение которых направлено каждое средство.

В конечном счете нам неважно, какая стратегия моделирования будет выбрана вами, а вот что требует обсуждения, так это вопрос, как следует оценивать различные стратегии. Если появится достаточно информации, чтобы все компании могли обоснованно принять единый, унифицированный метод моделирования, тогда так и нужно будет поступить. До тех пор следует позволить компаниям использовать различные подходы к моделированию, тщательно оценивая при этом относительную эффективность выбранных методов.

Начать можно с применения каких-либо существующих готовых решений для разложения рисков. Помимо методов, продвигаемых Хаббардом, эти решения включают в себя методологию и инструменты, используемые в подходе FAIR (factor analysis of information risk – факторный анализ информационных рисков), разработанном Джеком Джонсом и Джеком Фройндом². По мнению авторов, FAIR как еще одно решение, основанное на методе Монте-Карло, но предлагающее собственный вариант разложения рисков на дальнейшие компоненты, вполне подходит для того, чтобы помочь компании сделать первый шаг в верном направлении. Также можно добиться довольно многого с помощью простых инструментов, с которыми мы уже вас познакомили (и еще познакомим в следующих главах). Читатели, обладающие хотя бы базовыми знаниями в области программирования, математики или финансов, запросто смогут привнести что-то свое. Таким образом, большинство читателей смогут развить описанные инструменты, как посчитают нужным. А те, кто заинтересуется, смогут найти на нашем сайте дополнительные инструменты для отдельных разбираемых вопросов, например для использования языков программирования R и Python. Однако поскольку все, что мы делаем в этой книге, можно полностью выполнить в Excel, применять дополнительные инструменты не обязательно.

Пока что разобранный в этой главе метод все еще является лишь очень простым решением, основанным на экспертном суждении. Про обновление нашей первоначальной модели данными с использованием статистических методов мы расскажем далее. Тем не менее даже на этом этапе видны преимущества предлагаемого метода по сравнению с матрицей рисков. Он позволяет фиксировать более подробную информацию о знаниях эксперта по кибербезопасности и дает доступ к более мощным аналитическим инструментам. При желании даже сейчас можно было бы сделать что угодно из перечисленного ниже (или все).

• Как уже упоминалось, можно разложить воздействие на отдельные оценки различных видов затрат: юридические, устранение последствий, перебои в работе системы, затраты на пиар и т. д. Каждый вид может являться функцией известных ограничений, таких как количество сотрудников, или бизнес-процесс, на который повлияло отключение системы, или количество учетных записей в системе, которые могут быть скомпрометированы в случае взлома. Это позволит эффективно использовать знания компании о подробностях работы ее систем.

• Можно установить взаимосвязь между событиями. Например, специалист по кибербезопасности может знать, что если произойдет событие X, то событие Y станет гораздо более вероятным. Опять же, это позволит применить знания, которые в менее количественном методе невозможно было бы использовать напрямую.

• Там, где это возможно, о некоторых вероятностях и воздействиях можно сделать вывод по известным данным с использованием надлежащих статистических методов. Мы знаем, как скорректировать состояние неопределенности, описанное в этом методе, с помощью новых данных и математически обоснованных методов.

• Эти результаты можно надлежащим образом «суммировать», чтобы определить совокупные риски для целых комплексов систем, структурных подразделений или компаний.

Подробнее о каждом из перечисленных усовершенствований будет рассказано далее, а здесь лишь продемонстрировано, как выглядит простая замена «один на один». Теперь можно перейти к альтернативным методам оценки риска. Как выбрать самый подходящий из всех методов, с которых можно было бы начать в нашей простой модели, и тех, которые можно было бы к ней добавить? Или, если уж на то пошло, как узнать, что метод вообще работает?

1. Станислав Улам. Приключения математика. – Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. – 272 с.

2. Jack Freund and Jack Jones, Measuring and Managing Information Risk: A FAIR Approach (Waltham, MA: Butterworth-Heinemann, 2014).

Надеемся, что из главы 2 вы уяснили, как применяется термин «измерение» в науке о принятии решений и в эмпирических науках в целом. На наш взгляд, это наиболее подходящая трактовка измерения для сферы кибербезопасности. В главе 3 вы познакомились с простейшим уровнем количественного анализа рисков. Еще многое предстоит рассказать об особенностях методов измерения, но пока мы предлагаем выбрать первой целью измерений сам анализ рисков.

Авторы знакомы с самыми разными экспертами, которые активно защищают свои точки зрения на относительные достоинства различных методов оценки риска в сфере кибербезопасности. Мы вывели простое наблюдение, что обе стороны с полярно противоположными позициями часто получают аргументы в свою поддержку от высококвалифицированных специалистов с многолетним опытом работы в сфере кибербезопасности. Один компетентный эксперт, к примеру, будет утверждать, что конкретная система, основанная на качественной оценке, повышает эффективность принятия решений, позволяет добиться консенсуса и избежать проблем, возникающих при более количественных методах. Другой столь же квалифицированный эксперт будет настаивать, что это иллюзия и что такие методы просто «неправильно считают». Так как известно, что по крайней мере один из них (или оба) должен быть не прав, значит, квалификации и опыта в области кибербезопасности недостаточно, чтобы определить, является ли конкретное мнение на определенную тему верным.

Это подводит нас к нескольким сложным вопросам. Как решить, какие методы эффективнее? Могут ли методы анализа рисков, которыми специалисты по кибербезопасности пользовались десятилетиями и в которых они весьма уверены, на самом деле не работать? Возможно ли, что предполагаемые преимущества широко используемых инструментов – иллюзия? Что вообще подразумевается, когда говорят, что метод «работает», и как это можно измерить? Нам кажется, что самое важное измерение при оценке риска кибербезопасности, да и любой другой оценке риска – измерение того, насколько хорошо работают сами методы оценки рисков.

Если задуматься, то имеет ли вообще значение, работает анализ рисков или нет? И подразумевается ли под «работает», что он лишь внешне соответствует своему названию или же что он и правда улучшает процесс распознавания рисков и управления ими? Мы будем придерживаться позиции, которую считаем очевидной и которая не должна вызывать споров.

• Важно, чтобы анализ рисков работал на самом деле.

• Под «работает» мы имеем в виду, что он измеримо снижает риски по сравнению с альтернативными методами при тех же ресурсах. То есть, по нашему мнению, анализ рисков в любой области, включая кибербезопасность, это не просто бутафория ради галочки.

• Регуляторы и организации по стандартизации должны сделать так, чтобы измеряемая производительность методов являлась ключевой характеристикой их соответствия предъявляемым требованиям. Если соблюдение стандартов и правил в действительности не способствует повышению эффективности управления рисками, то такие стандарты и правила нужно менять.

• Также нам кажется, что мы вправе сказать, что для урегулирования вопроса со множеством противоречивых мнений экспертов всех уровней необходимо начать измерять, насколько хорошо работают методы анализа рисков.

• Мы твердо убеждены, что использование компаниями методов анализа рисков кибербезопасности, которые не могут показать измеримое улучшение качества оценки рисков или, что еще хуже, снижают его, и есть самый большой риск в кибербезопасности, а повышение эффективности оценки рисков является наиболее важным приоритетом в управлении рисками.

Измерение самих методов лежит в основе всех рекомендаций в данной книге. Нами предлагаются либо методы анализа рисков на основе уже проведенных и опубликованных измерений, либо, если подобные измерения не проводились, способы, позволяющие определить действенный метод. И кстати, описывая, как измерить относительную эффективность методов, неплохо бы также объяснить, как ее измерять не следует.

К концу данной главы вы увидите, что в опубликованных исследованиях уже представлены измерения ключевых элементов количественных методов, предложенных в главе 3. В следующей же главе описано исследование, показывающее, что компоненты популярных в настоящее время методов оценки рисков могут принести больше вреда, чем пользы. А теперь давайте рассмотрим, почему методы должны прежде всего обосновываться исследованиями, а не мнениями экспертов.

Аналитическое плацебо: почему нельзя доверять только мнению

Порой можно услышать, что тот или иной метод «проверен» и является «лучшей практикой». Метод могут расхваливать, называя «строгим» и «формальным», и подразумевается, будто этого достаточно, чтобы полагать, что он повышает качество оценки и решений. В конечном итоге метод получает звание «принятого стандарта», а некоторые довольные пользователи даже приводят свидетельства его эффективности.

Как часто эти утверждения основаны на реальных измерениях эффективности метода? Вряд ли кто-то проводил крупные клинические испытания с тестовыми и контрольными группами. Оценки редко сравниваются с фактическими результатами, а нарушения кибербезопасности, которые особенно дорого обходятся организациям, почти никогда не отслеживаются на большом количестве примеров, чтобы увидеть, действительно ли риск изменяется в зависимости от того, какие методы оценки риска и принятия решений используются. К сожалению, звание «лучшей практики» не означает, что метод был измерен и получил научное обоснование его превосходства над множеством других практик. Как говорил Фейнман, нас легко одурачить. Видимые улучшения могут оказаться всего лишь миражом. Даже если метод приносит больше вреда, чем пользы, люди все равно могут искренне считать, что видят его преимущества.

Как такое возможно? Виновато «аналитическое плацебо» – ощущение, что некоторые методы анализа повысили качество решений и оценок, даже если это не так. Аналогия с плацебо и его ролью в медицинских исследованиях на самом деле слишком мягкая. В медицине плацебо и правда может давать положительный физиологический эффект, а не просто дарить ощущение полезности. Однако, используя термин в данном контексте, мы имеем в виду, что в буквальном смысле нет никакой пользы, а только одно ее ощущение. В областях, не относящихся к кибербезопасности, проводились исследования, показавшие, что чем больше усилий тратилось на анализ, тем выше была уверенность в его эффективности, даже если фактически она не повышалась совсем. Вот несколько таких примеров, также упоминавшихся в других книгах Хаббарда.

• Спортивные прогнозы. В исследовании, проведенном в 2008 году в Чикагском университете, отслеживалась вероятность исходов спортивных событий, которые определяли участники испытания, исходя из получаемых объемов информации о командах, но при этом не сообщались названия команд или имена игроков. По мере того как участникам выдавалось больше информации о командах в конкретной игре, повышалась их уверенность в том, что они выбирают победителя, даже несмотря на то что реальная вероятность выбора победителя оставалась почти неизменной независимо от количества полученной информации¹.

• Психологическая диагностика. Другое исследование показало, что практикующие клинические психологи становятся увереннее в поставленном диагнозе и в прогнозах различных видов рискованного поведения, когда собирают больше информации о пациентах. И опять же процент соответствия прогнозов наблюдаемым результатам поведения на самом деле не повышался².

• Инвестиции. Пол Андреассен, психолог-исследователь из Массачусетского технологического института, в 1980-х годах провел несколько экспериментов, показавших, что сбор большего количества сведений об акциях в инвестиционных портфелях повышал уверенность испытуемого, но не способствовал повышению доходности портфеля. В одном из исследований он продемонстрировал, что люди склонны слишком остро реагировать на новости и считать дополнительные сведения информативными, даже если в среднем доходность в результате не повышается³.

• Сотрудничество в спортивных прогнозах. Еще одно исследование предполагало сотрудничество спортивных болельщиков друг с другом для повышения точности прогнозов. И снова после совместной работы повышалась уверенность, но не фактические показатели. Более того, участники редко вообще меняли мнение, сформировавшееся еще до совместного обсуждения. Прямым следствием сотрудничества было стремление получить подтверждение тому решению, которое участники уже приняли⁴.

• Сотрудничество при обсуждении интересных фактов. В другом исследовании, посвященном изучению пользы сотрудничества, испытуемых просили дать ответы на вопросы на общую эрудицию, подобные вопросам из «Своей игры» (Jeopardy). Исследователи рассматривали многочисленные формы взаимодействия, в том числе дельфийский метод, свободное обсуждение и прочие методы сотрудничества. Несмотря на то что взаимодействие не улучшило оценки по сравнению с простым усреднением индивидуальных оценок, испытуемые действительно чувствовали большее удовлетворение от его результатов⁵.

• Определение лжи. В исследовании 1999 года измерялась способность испытуемых обнаруживать ложь в контролируемых тестах с использованием видеозаписи инсценированных допросов «подозреваемых». Актеры в роли подозреваемых должны были скрывать определенные факты о «преступлениях» и демонстрировать явную нервозность по поводу того, что их раскроют. Некоторых испытуемых, просматривавших видеозаписи, обучали распознавать ложь, а других – нет. Обученные испытуемые были более уверены в суждениях о распознавании лжи, хотя на деле распознавали ложь хуже, чем необученные⁶.

И это лишь несколько из множества подобных исследований, показывающих, что можно обучаться, собирать информацию, сотрудничать с другими людьми и это повысит уверенность в суждениях, но не фактическую эффективность оценки. Конечно, эти примеры относятся к проблемам решения совершенно иных типов задач. Но почему предполагается, что сходные проблемы не свойственны вопросам кибербезопасности? В фармацевтической промышленности новый препарат фактически считают плацебо, пока не будет доказана его эффективность. Тот факт, что плацебо существует в одних областях, означает, что оно может существовать и в других, если только данные не показывают обратного. Глядя на примеры проблем в таких разных областях, как инвестиции, скачки, футбольные матчи и диагностика пациентов в психологии, кажется, что бремя доказывания должно лежать на человеке, утверждающем, что в какой-то другой области, например кибербезопасности, можно избежать этих проблем. Так что давайте остановимся на предположении, что для сферы кибербезопасности характерны те же проблемы, что наблюдаются во многих других областях, где людям приходится выносить суждения.

Мы определенно не будем при измерении эффективности различных методов полагаться на заявления экспертов, независимо от того, каким уровнем знаний, по их мнению, они обладают и насколько громко о себе заявляют. И поэтому, хотя мы можем вполне обоснованно сказать, что обладаем большим опытом в области кибербезопасности (Сирсен) и количественного анализа рисков в целом (Хаббард), мы не будем полагаться на свой авторитет, говоря о том, что работает, а что – нет (а подобный недостаток, кажется, имеется у многих книг по управлению рисками и информационной безопасности). Наши аргументы будут основаны на опубликованных результатах крупных экспериментов. Любое упоминание случаев из жизни или цитирование лидеров мнений будет приводиться только для иллюстрации точки зрения, но не в качестве ее доказательства.

Бесспорно, что аргументы и доказательства – это способ получения достоверных выводов о реальности. Под «аргументами» нами понимается использование математики и логики для получения новых утверждений из предыдущих подтвержденных заявлений. К «доказательствам», на наш взгляд, не относятся случаи из жизни или доводы свидетелей (любой метод, включая астрологию и экстрасенсорное общение с животными, способен генерировать подобные «доказательства»). Лучшими источниками доказательств служат большие случайные выборки, клинические испытания, объективные данные за прошедшие периоды и т. д. А чтобы затем делать выводы, данные должны быть оценены с помощью соответствующих математических методов.

Почему у вас больше данных, чем кажется

Необходимо определить научно обоснованный способ оценки методов, а затем сравнить различные методы на основе этой оценки. Однако существует распространенное опасение, что в сфере кибербезопасности просто не найдется достаточного количества данных для надлежащих, статистически достоверных измерений. Иронично, что утверждается это почти всегда без должных математических расчетов.

Вспомните из главы 2: если расширить свой кругозор в отношении того, какие данные могут быть информативными, то на деле у нас будет больше данных, чем кажется. Поэтому ниже представлена часть способов, благодаря которым у нас больше данных об эффективности методов оценки рисков кибербезопасности, чем мы думаем.

• Не стоит ограничиваться только собственным примером. Конечно, каждая организация уникальна, но это не означает, что нельзя учиться на чужом примере (по сути, опыт ничего бы не значил, если бы мы не умели обобщать практические знания, не являющиеся абсолютно идентичными). Именно с помощью информации из более крупных совокупностей страховые компании оценивают риск вашего здоровья, даже если вы никогда не предъявляли претензий, а врач считает, что лекарство, которое вы раньше не принимали, подойдет вам, так как знает о крупном исследовании с участием множества других людей.

• Можно измерять как целые системы, так и их компоненты. Можно измерить общую эффективность всей системы или отдельных ее компонентов. Когда инженер прогнозирует поведение новой системы, которая еще не построена, он применяет знания о поведении компонентов и их взаимодействии. Проще измерить несколько компонентов оценки риска, чем ждать, пока произойдут редкие события. Например, отслеживание того, насколько эффективно аналитики в области кибербезопасности оценивают более частые незначительные события, является мерой компонента «экспертная оценка» в системе управления рисками.

• Можно обратиться к опубликованным исследованиям. Если рассмотреть на уровне компонентов исследования более крупных совокупностей, не связанных с нашим собственным опытом, то нам станет доступно гораздо больше данных. При отсутствии данных или результатов сторонних исследований, возможно, пора начать собирать данные в процессе измерения.

В идеальном мире у вашей компании было бы так много собственных данных, что не пришлось бы делать выводы из более крупных совокупностей данных других предприятий. Можно было бы оценить общую эффективность системы оценки рисков, измерив реальные результаты, наблюдаемые в вашей компании. Имея крупную компанию и достаточно времени, можно было бы наблюдать изменения при значительных утечках данных в различных структурных подразделениях, применяющих разные методы оценки рисков. Более того, можно было бы задействовать множество организаций в общеотраслевых экспериментах и получить в изобилии данные даже о событиях, редко возникающих в отдельно взятой компании.

Естественно, крупные эксперименты в масштабах всей отрасли нецелесообразны по нескольким причинам, в том числе из-за количества затрачиваемого на них времени (да и какие организации захотели бы оказаться в группе «плацебо», применяющей фальшивый метод?). Не удивительно, что на момент написания книги в рецензируемой литературе не было опубликовано ни одного подобного исследования. Так что же можно тогда сделать для сравнения различных методов оценки рисков научно обоснованным способом? Другие упомянутые выше аспекты стратегии измерений предоставляют различные варианты действий, и некоторые из них могут дать ответы немедленно.

Самым целесообразным решением для первоначального измерения было бы поэкспериментировать с крупными совокупностями данных, но в рамках существующих исследований на уровне компонентов. Компонентное тестирование – подход, знакомый многим профессионалам в области информационных технологий. К доступным для рассмотрения компонентам относятся отдельные этапы оценки рисков, используемые инструменты и методы сотрудничества. Даже простое обозначение вероятности кибератаки является компонентом процесса, который можно проверить. На самом деле на эту тему уже проводилось множество исследований на уровне компонентов, в том числе очень масштабных, выполнявшихся десятилетиями многими исследователями и опубликованных в ведущих рецензируемых научных журналах.

Если продемонстрировано, что отдельные компоненты метода повышают его эффективность, то метод, основанный полностью на таких элементах, с гораздо большей вероятностью будет эффективным, чем метод, для компонентов которого нет подобных доказательств или, что еще хуже, отмечено наличие у них недостатков. Это ничем не отличается от работы инженера-конструктора, занимающегося проектированием нефтеперерабатывающего завода или ракеты. Он применяет доказанные законы физики для оценки компонентов системы и затем рассчитывает, как они будут вести себя в совокупности. Существует множество потенциальных компонентов для оценки, поэтому давайте разделим их на две основные категории, которые используются или могут использоваться при оценке рисков кибербезопасности.

• Какова относительная эффективность сугубо традиционных моделей в оценке неопределенных результатов по сравнению с экспертами?

• При обращении к мнению экспертов какова эффективность инструментов, помогающих этим экспертам в оценке результатов?

Когда алгоритмы превосходят экспертов

Ключевой компонент, который следует учитывать при анализе рисков кибербезопасности, – это эффективность способа синтезирования информации для составления оценок. В частности, лучше ли полагаться на экспертов при вынесении суждения или на статистическую модель? Одним из специфических вопросов, область изучения которого изобилует исследованиями, является сравнение статистических моделей и мнений экспертов при оценке неопределенных результатов будущих событий. Благодаря таким исследованиям был получен один из самых цитируемых и впечатляющих выводов в психологии: даже относительно наивные статистические модели, похоже, превосходят экспертов-людей, предоставляя на удивление большее разнообразие оценок и прогнозов.

Мы не утверждаем, что можно полностью заменить человека при оценке рисков, а лишь рассматриваем несколько ситуаций, в которых были созданы объективные количественные модели и проведено их сравнение с профессиональным чутьем. Нам интересно выяснить следующее: если бы можно было построить чисто количественную модель на основе ранее полученных данных, стоило бы вообще это делать?

Читая об исследовании, вы, скорее всего, также захотите узнать, а можно ли, собственно, применять исследования из других областей к кибербезопасности. Если останетесь с нами, думаем, вы в итоге согласитесь с тем, что применение возможно. На самом деле, как и упомянутый ранее эффект плацебо, исследования настолько многочисленны и разнообразны, что, кажется, бремя доказательства будет возложено на того, кто утверждает, что кибербезопасность каким-то образом не затрагивает эти фундаментальные вопросы.

Некоторые из исследований начинались в совершенно другой области в те времена, когда концепции кибербезопасности еще не существовало. Так, в 1950-х годах американский психолог Пол Мил высказал идею, потрясшую область клинической психологии. Он утверждал, что основанные на экспертных оценках клинические суждения о пациентах с психическими расстройствами могут быть хуже простых статистических моделей. Мил собрал большую исследовательскую базу, демонстрирующую, что статистические модели, основанные на медицинских записях, поставленных диагнозах и прогнозах, как минимум совпадали с суждениями квалифицированных клиницистов, а обычно превосходили их. Мил смог показать, например, что тесты на определение черт характера лучше экспертов прогнозировали преступность среди несовершеннолетних, аддиктивное поведение и некоторые виды поведения, связанные с неврологическими расстройствами.

В 1954 году им был написан фундаментальный труд под названием Clinical versus Statistical Prediction («Клинический прогноз против статистического»). И уже в этом первоначальном исследовании Мил смог процитировать более 90 работ, оспаривавших предполагаемый авторитет экспертов⁷. Исследователи, к примеру Робин Доус (1936–2010) из Мичиганского университета, с воодушевлением продолжили работу в этом направлении. И каждые новые результаты, полученные ими, только подтверждали выводы Мила, несмотря на то что они расширили охват, включив также специалистов, не занимающихся клинической диагностикой^{8, 9, 10}. Собранная в итоге библиотека исследований включала сведения, предсказывающие средний балл успеваемости первокурсников и студентов-медиков, рецидив преступлений, медицинские прогнозы и результаты спортивных событий. После того как число исследований значительно возросло, Мил был вынужден констатировать следующее:

В указанном исследовании применялись довольно простые методы. Экспертов просили предсказать какие-либо объективно проверяемые результаты, например потерпит ли новый бизнес неудачу или какова будет эффективность химиотерапии для больного раком. Затем составляли прогноз для того же явления, используя алгоритм, основанный только на данных за прошлые периоды. И, наконец, тестировали оба метода на большом количестве прогнозов и определяли, какой из них работает лучше.

Убедительные выводы Мила и его коллег неизбежно привлекли интерес других исследователей, которые стали искать подобные явления в других областях. В одном из недавних примеров, исследовании компании, занимающейся разведкой нефти, отмечалась тесная взаимосвязь между использованием количественных методов (в том числе симуляций по методу Монте-Карло) для оценки рисков и финансовой успешностью компании^{12, 13}. В НАСА симуляции Монте-Карло на основе ранее полученных данных применяются наряду с более мягкими методами (основанными на субъективных шкалах) для оценки рисков превышения стоимости, срыва сроков и провала миссии. При оценке затрат и срывов расписания, полученной с помощью количественных методов, ошибки в среднем случались вполовину реже, чем у ученых и инженеров, использующих неколичественные методы¹⁴.

Пожалуй, самым амбициозным исследованием такого рода является эксперимент, который в течение 20 лет проводил Филип Тетлок. Результаты Тетлок опубликовал в книге Expert Political Judgment: How Good Is It? («Экспертное политическое суждение: насколько оно хорошо?»). Название указывает на конкретную область, но автор трактовал проблему достаточно широко, включая в нее экономику, военные вопросы, технологии и многое другое. Он отслеживал вероятности мировых событий, которые предсказывали в общей сложности 284 эксперта в соответствующих областях. К концу исследования было собрано более 82 000 отдельных прогнозов¹⁵ (это означает, что по объему данные Тетлока равны или превосходят данные III фазы крупнейших клинических испытаний лекарств, опубликованных в научных журналах). Исходя из полученных данных, Тетлок был готов сделать еще более сильное заявление, чем Мил с коллегами:

Робин Доус, один из упоминавшихся ранее коллег Мила, подчеркивал, что низкая эффективность людей в задачах прогнозирования и оценки возникает отчасти из-за неточной интерпретации вероятностной обратной связи¹⁶. Те исследователи стали рассматривать эксперта как своего рода несовершенного посредника между входными данными и результатом. Очень немногие эксперты действительно проверяют свою эффективность с течением времени. К тому же они склонны обобщать собственные воспоминания об отдельных несистематических наблюдениях. Затем эксперт делает приблизительные выводы из этих выборочных воспоминаний, и, согласно опубликованному Доусом исследованию, это может привести к «иллюзии обучения», т. е. эксперты могут интерпретировать опыт как свидетельство результативности. Они полагают, что многолетний опыт должен привести к повышению эффективности, и потому считают, что так и происходит на самом деле. Но, как выяснилось, нельзя считать, что обучение происходит само собой, и неважно, сколько лет опыта накоплено.

Тетлок в своей книге предположил, что «у людей эффективность ниже, поскольку в глубине души мы мыслим причинно-следственными категориями и испытываем отвращение к вероятностным стратегиям, допускающим неизбежность ошибок». Математика взаимодействия с ошибками и неопределенностью – это математика вероятностей. Если не осмыслить ее, то возникнут большие трудности с вероятностным прогнозированием проблем. Если человек не силен в простой арифметике, нас же не удивит, что он будет тогда плохо разбираться в оценке, скажем, стоимости и продолжительности крупного, сложного инженерного проекта со множеством взаимосвязанных элементов. И покажется естественным, что кому-то разбирающемуся в таких оценках будет известно, как перемножить количество людей, участвующих в работе, стоимость их труда и продолжительность выполнения проекта, чтобы оценить требуемые трудозатраты. А также этот человек будет знать, как суммировать затраты на решение отдельных задач с другими расходами по проекту (например, на материалы, лицензию, аренду оборудования и т. д.).

Поэтому, когда эксперты говорят, что, исходя из определенного опыта и данных, одна угроза представляет собой больший риск, чем другая, они, осознанно или нет, занимаются своего рода вычислениями в уме. Это не значит, что эксперты буквально пытаются складывать числа в уме, скорее, они действуют в соответствии со своим чутьем в отношении чего-то, что во многих случаях действительно можно вычислить. Насколько хорошо наша интуиция соответствует математическим фактам, также измерялось во множестве исследований, включая работу израильско-американского психолога, лауреата премии по экономике памяти Альфреда Нобеля 2002 года, Даниэля Канемана и его коллеги Амоса Тверски. Они выяснили, что даже хорошо разбирающиеся в статистике исследователи склонны сильно ошибаться в определении вероятности того, что новые данные подтвердят или опровергнут результаты предыдущего эксперимента с заданным размером выборки¹⁷. И кроме того, они склонны неверно оценивать ожидаемые вариации наблюдений в зависимости от размера выборки¹⁸.

Под «хорошо разбирающимися в статистике» мы подразумеваем, что участники этого исследования были настоящими учеными, чьи работы публиковались в уважаемых, рецензируемых журналах. Как отметили Канеман и Тверски в своем исследовании: «Дело не в том, что они должны знать математику, они знали математику». Получается, что и те, кто знает математику, полагаются на свою интуицию, а интуиция ошибается. Даже для квалифицированных ученых различные повторяющиеся (но устранимые) математические ошибки – лишь одна из трудностей, возникающих из-за попыток заниматься «вычислениями в уме».

Несмотря на то что все приведенные исследования не связаны с кибербезопасностью, объем результатов в столь многих областях свидетельствует о том, что они фундаментальные и применимы к любой сфере человеческих суждений, включая кибербезопасность. Однако, если данное разнообразие выводов не убедило вас в том, что те же проблемы относятся и к кибербезопасности, рассмотрим еще один аргумент, выдвинутый Канеманом и Гэри Клейном, другим исследователем в области психологии принятия решений.

Канеман и Клейн выделяют три условия, необходимых для того, чтобы опыт привел к обучению. Во-первых, должна быть последовательная обратная связь. Человек должен получать информацию о прошлой деятельности регулярно, а не эпизодически. Во-вторых, обратная связь должна быть сравнительно быстрой. Если человек делает несколько прогнозов событий, которые могут произойти через несколько лет (что не редкость при анализе экономического эффекта новых инвестиций, скажем, в технологии, инфраструктуру или новые продукты), то задержка в получении обратной связи усложнит обучение. В-третьих, обратная связь должна быть однозначной. Если человек просто говорит, что проект в области кибербезопасности будет «успешным» или что риск будет снижен, то здесь возможны интерпретации. А когда прошлые результаты можно интерпретировать по-разному, данные, как правило, интерпретируются так, как выгоднее. В отсутствие регулярной, быстрой и однозначной обратной связи, скорее всего, мы будем запоминать информацию избирательно и интерпретировать свой опыт так, чтобы выглядеть в лучшем свете.

Поэтому аналитики рисков кибербезопасности должны задать себе ряд неудобных вопросов: «Действительно ли опыт эксперта в сфере кибербезопасности соответствует этим условиям? Действительно ли эксперты по кибербезопасности записывают все свои оценки вероятности и воздействия, а затем сравнивают их с результатами наблюдений? Даже если предположить, что они это делают, как долго им обычно приходится ждать, чтобы узнать, была ли их оценка правильной? Даже если оценки записываются и мы ждем достаточно долго, чтобы событие произошло, становится ли ясно, что первоначальная оценка была правильной или что описанное событие произошло? Например, если мы говорим, что наша репутация пострадала в результате взлома, откуда мы это знаем и как на самом деле подтвердить – хотя бы приблизительно – значимость события, определенную в первоначальных расчетах?» В кибербезопасности, как и во многих других областях, обучение невозможно без процессов, направленных на его обеспечение. Эти выводы очевидны для таких исследователей, как Мил:

Все это не означает, что эксперты мало разбираются в своей области. Они обладают большим объемом подробных технических знаний. Эффективность работы экспертов в упомянутых исследованиях касалась только оценки величин на основе субъективных выводов по прошлому опыту. То есть проблема состоит в том, что эксперты, похоже, часто путают знания об огромном множестве деталей с умением прогнозировать неопределенные будущие события. Специалист по кибербезопасности может хорошо разбираться в технических аспектах, таких как проведение тестов на проникновение, использование средств шифрования, настройка файрволов, и многих других и при этом быть неспособным реально оценить собственные навыки прогнозирования будущих событий.

Инструменты для повышения эффективности человеческого компонента

Исходя из рассмотренных выше исследований, может создаться впечатление, что эксперты почти ничего не способны сделать для оценки рисков. Однако мы совсем не это имели в виду. Когда есть возможность создать грамотные математические модели, основанные на объективных наблюдениях и ранее полученных данных, так и нужно сделать. И все же нельзя отрицать, что с некоторыми задачами по-прежнему лучше справится эксперт. Эксперт является компонентом анализа рисков, который невозможно отбросить, но можно улучшить.

Прежде всего эксперты должны помогать определить проблему, в том числе оценивать ситуации, когда данные неоднозначны или условия не соответствуют имеющимся статистическим данным. Эксперты также должны предлагать решения для проверки.

Наша цель – повысить статус эксперта. Нам бы хотелось, чтобы к экспертам в области кибербезопасности относились как к части системы оценки рисков. За ними необходимо наблюдать, как за гоночным автомобилем или спортсменом, и корректировать их работу для достижения максимальной результативности. Эксперт – это такой своеобразный тип измерительного прибора, который можно «откалибровать» для повышения эффективности.

Стоит также отметить, что все проблемы, которые будут перечислены ниже, присущи не только кибербезопасности. Однако профессия эксперта обладает характеристиками, которые относят ее к сферам деятельности, где люди склонны выносить «некалиброванные» суждения. Кибербезопасность может брать пример с других технологичных инженерных областей, зависящих от экспертной оценки, которые применяют конкретные методы для отслеживания и калибровки суждений экспертов. В Комиссии по ядерному регулированию США (КЯР), например, признают значимость роли эксперта на нескольких этапах процесса оценки риска. Отчет КЯР об использовании и получении экспертных оценок гласит следующее:

Мы согласны. Следует пристально проверять эксперта, как и любой другой инструмент измерений. По нашему мнению, специалист в области кибербезопасности – важнейший и в конечном счете незаменимый компонент любого анализа рисков. Даже с учетом появления новых источников данных, позволяющих проводить еще более эффективный количественный анализ рисков, кибербезопасность в обозримом будущем будет по-прежнему зависеть от специалистов в этой области. Именно из-за ключевой роли, отведенной квалифицированным экспертам, необходимо обратить особое внимание на качество выполнения ими различных критически важных задач. И точно так же, как точность измерений прибора не определяется с помощью него самого, не следует полагаться на самих экспертов в оценке их эффективности.

Как и раньше, начнем с изучения имеющихся исследований по теме. Мы хотим рассмотреть применяемые экспертами инструменты и выявить, действительно ли они повышают ценность их суждений или, наоборот, понижают ее.

Важнейшим компонентом анализа рисков является оценка экспертами по кибербезопасности вероятности возникновения событий, связанных с нарушением кибербезопасности, и потенциальных убытков при их наступлении. Независимо от того, используются ли вероятности в явном виде или неколичественные вербальные шкалы, экспертам необходимо определить, является ли один вид угрозы более вероятным, чем другой. Поскольку в какой-то момент процесса придется полагаться на мнение эксперта, следует рассмотреть, как можно измерить его мастерство в решении задачи и что покажут такие измерения.

На эту тему опубликовано достаточно исследований в самых разных областях, проводившихся с участием экспертов и неспециалистов. Во всех исследованиях применялся схожий подход: собиралось большое количество оценок, сделанных различными людьми, а затем они сравнивались с наблюдаемыми результатами. Полученные выводы убедительны и повторяются в каждом новом исследовании, посвященном данному вопросу.

• Без обучения или других средств контроля почти все люди, определяя вероятности, получают значения, существенно отличающиеся от реально наблюдаемых результатов (например, когда кто-то говорит, что уверен на 90 %, предсказанный результат происходит гораздо реже, чем в 90 % случаев).

• Существуют методы, в том числе обучение, которые значительно повышают способность экспертов оценивать субъективные вероятности (т. е. когда они будут говорить, что уверены на 90 %, то окажутся правы примерно в 90 % случаев).

Приведем пример, связанный с другой профессией – финансовыми директорами, – иллюстрирующий типичные результаты подобных исследований. В 2010 году Национальным бюро экономических исследований был проведен эксперимент, в котором финансовых директоров ряда корпораций попросили оценить годовую доходность индекса S&P 500²¹. Оценки давались в виде диапазонов (значения нижнего и верхнего пределов), достаточно широких, чтобы финансовый директор посчитал, что правильный ответ с вероятностью 80 % будет содержаться в данном диапазоне. Назовем эти диапазоны 80 %-ными доверительными интервалами[4]. Просто подождав, в итоге можно было легко узнать фактическую доходность за указанный период времени. Несмотря на то что финансовые директора были очень опытными и образованными, как и требовала должность, их 80 %-ные ДИ на практике содержали правильные ответы только в 33 % случаев. То есть испытуемые считали, что предоставили диапазоны, не содержащие правильный ответ, лишь в 20 % случаев, а на самом деле правильные ответы выходили за пределы их диапазонов в 67 % случаев. Показатель «неожиданных отклонений» оказался гораздо выше, чем они ожидали.

Причина кроется в чрезмерной уверенности. Уверенность экспертов, в данном случае выражавшаяся в ширине 80 %-ного ДИ, позволяла получить правильный ответ гораздо реже, чем они ожидали. Другими словами, они были уверены в значении вероятности 80 %, что указанный интервал содержит наблюдаемое значение, но на самом деле такой вероятности не было. К сожалению, этим грешат не только финансовые директора. Несколько исследований, проведенных в последние десятилетия, подтверждают, что излишняя самоуверенность – распространенная черта почти всех нас. Откалиброванные оценки вероятности, судя по большому объему опубликованных результатов, являются предметом исследований с 1970-х годов, и начало этим исследованиям положили Даниэль Канеман и Амос Тверски²². Их работа показала, что почти все представители самых разных профессии так же излишне самоуверенны, как и упомянутые финансовые директора, причем независимо от рода деятельности.

Это исследование не является чисто академическим. Предмет изучения влияет на реальные суждения и на действия, предпринимаемые для решения реальных проблем. За последние 20 лет Хаббард сумел сформировать один из крупнейших наборов данных, касающихся этого явления. Он протестировал и обучил более 1000 человек из различных отраслей, занимающих разные должности и относящихся к разным уровням управления. Из них по меньшей мере 54 испытуемых специализировались именно в области кибербезопасности.

Чтобы измерить, насколько хорошо эксперты распределяют субъективные вероятности, Хаббард проводил с ними серию тестов, аналогичных тем, что использовались в большинстве других исследований. В контрольном тестировании (оно проводится перед обучением, направленным на совершенствование навыков оценки) он просил участников указать 90 %-ный ДИ количества верных ответов для вопросов на общую эрудицию (когда родился Исаак Ньютон, какова высота самого высокого здания в мире и т. д.). Большинство людей указали диапазоны, содержавшие 40–50 % правильных ответов, что соответствует результатам из упомянутых выше исследований[5].

Чрезмерная уверенность также наблюдается при определении вероятностей дискретных событий, например приведет ли кибератака к крупной утечке данных в этом году. Безусловно, результат единичного события, как правило, не является достоверным индикатором того, насколько реалистична ранее заявленная вероятность. Если говорится о существовании 25 %-ной вероятности наступления события к концу следующего года, то сам факт, что оно произошло или не произошло, еще не будет являться доказательством нереалистичности вероятности. Но если отследить работу ряда экспертов, делающих множество вероятностных оценок, то можно сравнить ожидания с наблюдениями и составить более достоверное представление о качестве оценки. Например, пусть группа экспертов дает 1000 оценок вероятности определенных событий. Это могут быть утечки данных какого-то минимального объема, возникающие в течение конкретного периода времени, вероятность убытков на сумму более 10 млн долл. и т. п. Предположим, по словам экспертов, в 100 из этих оценок они уверены на 90 %. Тогда заявленный результат должен происходить примерно в 90 случаях из 100. Можно ожидать некоторых расхождений в силу удачного стечения обстоятельств или же вычислить (о чем будет рассказано позже) допустимое количество случайных ошибок. С другой стороны, если они окажутся правы только в 65 из 100 случаев, когда заявляли, что уверены в результате на 90 %, такой показатель гораздо хуже, чем можно было бы ожидать при банальном невезении (если бы речь шла только о невезении, шанс, что они будут ошибаться так часто, составил бы всего 1 к 68,9 млрд). Поэтому гораздо правдоподобнее выглядит объяснение, что эксперты просто наделяли слишком высокой вероятностью события, в которых им следовало быть менее уверенными.

К счастью, другими исследователями были проведены эксперименты²³, показавшие, что экспертов можно научить лучше оценивать вероятности с помощью наборов оценочных тестов, обеспечения быстрой, постоянной и четкой обратной связи в достаточном объеме, а также техник повышения точности субъективных вероятностей. Иными словами, исследователи обнаружили, что оценка неопределенности – общий навык, которому можно обучить, добившись измеримого улучшения показателей. То есть, когда откалиброванные эксперты в области кибербезопасности говорят, что они на 85 % уверены в том, что в ближайшие 12 месяцев в их отрасли произойдет крупная утечка данных, значит, действительно вероятность утечки составляет 85 %.

И еще раз, выборка людей, проходивших тестирование по этому «компоненту», включала в себя не только финансовых директоров, но и врачей, студентов, ученых, менеджеров проектов и многих других. Поэтому можно вполне обоснованно утверждать, что эти наблюдения, вероятно, относятся ко всем. А если кто-то попытается доказать, что эксперты по кибербезопасности отличаются от представителей других профессий, участвовавших в исследованиях, помните, что в выборке Хаббарда было 54 эксперта в области кибербезопасности из нескольких компаний. В первом тесте они показали примерно такие же низкие результаты, как и представители любой другой профессии. В процессе же обучения их результаты существенно улучшились, как и у представителей остальных профессий, которых тестировал Хаббард, а успешность калибровки к концу обучения тоже оказалась у всех групп примерно одинаковой (85–90 % экспертов научились выверять свои оценки).

В главе 7 будут подробнее описаны процесс обучения и его результаты. Мы объясним, как научиться калибровать свои оценки с помощью несложного упражнения и как можно измерять собственную эффективность с течением времени. Этот навык станет отправной точкой для разработки более совершенных количественных моделей.

В целом проверка субъективных вероятностей для калибровки чрезмерной самоуверенности подразумевает, что придется ждать проявления наблюдаемых результатов. Однако есть и другой вид калибровки, действие которого можно легко наблюдать почти сразу, не дожидаясь, пока наступит предсказанный результат и наступит ли вообще, – измерение согласованности оценок эксперта. То есть, независимо от точности оценки, следует ожидать, что эксперт будет последовательно давать один и тот же ответ при возникновении похожих ситуаций. Конечно, единообразие ответов не означает, что они верны, но, как известно, два противоречащих друг другу ответа не могут одновременно быть правильными. Величина несогласованности должна хотя бы соответствовать нижнему пределу ошибки оценивания. Если же «эксперты» дают совершенно разные ответы каждый раз при решении сходных задач, то с тем же успехом они могли бы просто игнорировать предоставленную информацию и наугад выбирать оценки путем жеребьевки. Не нужно ждать наступления предсказываемых событий, чтобы оценить согласованность оценок таких экспертов.

Аналогичным образом, даже если специалисты отвечают в полном соответствии с собственными предыдущими суждениями, но ответы сильно отличаются от мнения других экспертов, то как минимум известно, что все они не могут быть правы (зато могут быть все неправы). К счастью, эти компоненты деятельности экспертов также измерялись в долгосрочной перспективе. Исследователи дали названия обеим мерам согласованности оценок²⁴:

• стабильность – согласие эксперта с собственным предыдущим суждением, сделанным в идентичной ситуации (тот же эксперт, те же данные, другое время);

• консенсус – согласие эксперта с другими экспертами (одинаковые данные, разные эксперты).

Пока во всех областях, в которых проводились исследования, была выявлена сильная степень несогласованности оценок экспертов (с точки зрения как стабильности, так и консенсуса) практически во всех суждениях. Такая несогласованность оценок проявляется и у менеджеров проектов, оценивающих затраты, и у врачей, диагностирующих пациентов, и у экспертов в сфере кибербезопасности, определяющих риски.

В качестве примера, демонстрирующего несогласованность оценок экспертов, можно привести одно исследование начала XX века, в котором нескольким врачам-радиологам была выдана пачка из 96 рентгеновских снимков язвы желудка²⁵.

Каждого радиолога просили оценить, может ли язва стать причиной злокачественной опухоли. Неделю спустя те же радиологи получили еще один набор из 96 рентгеновских снимков для оценки. Врачи не знали, что на самом деле получили те же самые снимки, но в другом порядке. Исследователи выявили, что радиологи меняли свои ответы в 23 % случаев.

Если спросить экспертов в такой ситуации, должно ли их суждение каким-то образом зависеть от порядка расположения элементов в списке, все они согласятся, что не должно. Тем не менее, согласно исследованиям, подобные изменения порядка элементов все же влияют на суждения.

Отдельный источник несогласованности оценок кроется в другой распространенной особенности суждений. При оценке цифр на эксперта может повлиять эффект, известный как «якорный»: если просто подумать о каком-либо числе, это повлияет на значение последующей оценки даже по совершенно не связанному вопросу. Исследователи показали, как при использовании произвольных значений, таких как номер социального страхования или случайное число, можно оказать влияние на последующие оценки, например количества врачей в районе или цены товаров на eBay^{26, 27}.

Где гарантия, что случайные, не относящиеся к делу факторы вроде якорного эффекта не влияют и на суждения экспертов по кибербезопасности? У нас было достаточно возможностей собрать информацию по этому вопросу, и ее краткое изложение приведено ниже.

• Во многих не связанных друг с другом проектах за последние пять лет Хаббард и его сотрудники опросили 54 экспертов по кибербезопасности на предмет вероятности возникновения различных видов нарушений кибербезопасности. Проекты выполнялись для клиентов из четырех областей: нефтегазовой, банковской, высшего образования и здравоохранения. Все упомянутые эксперты ранее прошли обучение по калибровке оценки вероятности.

• Каждому эксперту были предоставлены описательные данные по различному количеству систем или сценариев угроз в организации (от 80 до 200 штук). Типы сценариев и предоставляемые данные различались между клиентами, но они могли включать информацию о типе подверженных риску данных, об операционных системах, находящихся под угрозой, о существующих средствах контроля, типах и количестве пользователей и т. д.

• Всех экспертов просили оценить для каждой из этих систем или сценариев вероятности возникновения различных типов событий (до шести штук), включая нарушения конфиденциальности, несанкционированное редактирование данных, несанкционированные транзакции денежных средств, кражи интеллектуальной собственности, перебои с доступом и т. д.

• Поскольку 54 эксперта оценивали вероятность возникновения от одного до шести событий для каждой из ситуаций, которых было от 80 до 200 штук, один эксперт, как правило, давал от 300 до 1000 оценок. В итоге получилось более 30 000 индивидуальных оценок вероятностей.

Однако при оценивании экспертам не сообщалось, что в представленных списках имелось несколько дублирующих друг друга пар сценариев. Скажем, что данные, представленные для системы в девятой строке списка, могли быть идентичны данным, представленным в 95-й строке, что 11-я и 81-я строки одинаковые и т. д. У каждого эксперта в списке было несколько дубликатов, в общей сложности 2428 пар дублей.

Чтобы измерить несогласованность, было достаточно сравнить первую оценку, данную экспертом, со второй для идентичного сценария. Сравнение оценок показано на рис. 4.1. Для лучшего отображения концентрации большого количества точек в одних и тех же местах диаграммы вокруг каждой точки добавлено немного шума, чтобы они не накладывались друг на друга. Шум очень мал по сравнению с общим эффектом и предназначен только для отображения диаграммы, т. е. не учитывается при статистическом анализе результатов.

Как видно, в 26 % случаев разница между первой и второй оценками составила более 10 процентных пунктов, например первая оценка была 15 %, а вторая – 26 %. Некоторые различия оказались гораздо существеннее. В 2,7 % случаев разница превысила даже 50 процентных пунктов. Сводная информация несогласованности в ответах представлена на рис. 4.2.

Рис. 4.1. Согласованность оценок в дублирующихся сценариях: сравнение первой и второй оценок вероятностей одного и того же сценария, сделанных одним и тем же экспертом

Какими бы непоследовательными ни выглядели результаты, на самом деле все гораздо хуже, чем кажется. Здесь нужно сравнить эти несогласованности с «предвзятостью» эксперта, то есть насколько сильно различаются ответы экспертов при оценке событий конкретного типа. Вероятности существенно различались в зависимости от типа оцениваемого риска. Например, риску нарушения работоспособности (выхода системы из строя), как правило, присваивали более высокую вероятность, чем риску нарушения целостности, при котором кто-то мог фактически украсть денежные средства с помощью несанкционированных транзакций. Если все ответы эксперта для данного типа риска (например, вероятности крупной утечки данных) колебались между, скажем, 2 и 15 %, то в большинстве случаев исследователи определяли, что разброс его оценок составлял 5 или 10 процентных пунктов.

Рис. 4.2. Сводная информация о распределении несогласованных оценок

Согласованность оценок отчасти показывает, насколько тщательно эксперт изучает каждый сценарий. У некоторых экспертов несогласованность являлась основной причиной большинства предвзятых суждений. Обратите внимание, что если бы несогласованность и предвзятость являлись одним и тем же, то наблюдалась бы ситуация, когда эксперт просто подбирает вероятности случайным образом, независимо от предоставленной информации. В указанных же опросах большинство испытуемых как минимум пытались отвечать с учетом внимательного изучения предоставленной информации. Тем не менее мы видим, что несогласованность оценок являлась причиной по крайней мере в 21 % случаев предвзятости. Это значительный процент суждений эксперта, отражающий исключительно его личную несогласованность оценок.

Следует отметить, что участники обнаружили небольшой процент дубликатов. Некоторые отправляли электронные письма со словами: «Мне кажется, в вашем опросе допущена ошибка. Эти две строки содержат идентичные данные». Но никто не заметил больше двух дублирующихся пар, а большинство людей не нашли и одной. Что еще важнее, обнаружение ряда дубликатов оценщиками могло только уменьшать наблюдаемую несогласованность оценок. Тот факт, что они случайно заметили несколько дубликатов, означает, что их показатель согласованности оценок получился выше, чем в случае, если бы они не нашли дубликаты. Другими словами, несогласованность по крайней мере такова, как показано в результатах исследования, но не ниже.

К счастью, мы также можем показать, что степень несогласованности можно уменьшить, что приведет к повышению точности оценок. Можно статистически сгладить несогласованность оценок экспертов с помощью математических методов, уменьшающих ошибку оценивания у экспертов. Авторам доводилось применять эти методы на практике именно в сфере кибербезопасности (данные о степени несогласованности оценок с рис. 4.1 взяты как раз из таких реальных проектов). Более подробно о них мы расскажем далее.

Как мы уже выяснили, существует немало данных о разных аспектах субъективного экспертного суждения, однако также имеются любопытные исследования о том, как объединить суждения разных экспертов. Возможно, наиболее распространенный метод объединения экспертных суждений иногда упоминается в вооруженных силах США под названием BOGSAT. Это акроним, означающий «куча парней сидит кружком и разговаривает». Эксперты собираются вместе и обсуждают, насколько вероятно наступление события или каковы будут последствия, если оно произойдет, пока не достигнут консенсуса (или, по крайней мере, пока не стихнут последние возражения).

Для объединения суждений могут применяться различные математические методы, а также существуют разнообразные способы обеспечения взаимодействия между экспертами. Как и в случае с прочими компонентами, нас интересует, являются ли одни методы измеримо более эффективными, чем другие.

Некоторые исследования, например, показывают, что случайную несогласованность в стабильности оценок отдельных людей можно уменьшить, просто усреднив оценки, данные несколькими людьми²⁸. Вместо того чтобы собраться вместе и попытаться достичь консенсуса в группе, каждый из экспертов проводит оценку самостоятельно, и их оценки усредняют.

Данный подход и лежащие в его основе исследования были описаны в книге Джеймса Шуровьески «Мудрость толпы»²⁹. Шуровьески также изложил несколько других методов сотрудничества, таких как «рынки предсказаний»[6], демонстрирующих заметно бóльшую эффективность по сравнению с оценками отдельных экспертов. Те же данные, которые позволили компании Hubbard Decision Research измерить стабильность экспертов, позволяют измерить и консенсус. Если бы эксперты проявляли индивидуальную несогласованность, т. е. демонстрировали низкую стабильность, можно было бы ожидать, что разногласия в их оценках будут возникать исключительно из-за случайной индивидуальной несогласованности. Однако фактическое общее количество разногласий между экспертами оказалось больше, чем можно было объяснить одной лишь мерой стабильности. То есть наряду с индивидуальной несогласованностью наблюдались и общие разногласия между экспертами одной организации по поводу важности различных факторов и риска атак в сфере кибербезопасности в целом.

Тем не менее интересно отметить, что эксперты в сфере кибербезопасности в одной организации давали ответы, которые хорошо соотносились с ответами их коллег из другой похожей организации. Один эксперт мог оценить вероятность возникновения события значительно выше, чем его коллеги, но при этом информация, заставлявшая его повышать или понижать вероятность в оценке, оказывала аналогичное воздействие и на других экспертов. То есть они были как минимум более или менее согласны в отношении «направления». Следовательно, разные эксперты вряд ли просто выбирали ответы наугад. В определенной степени они соглашались друг с другом, и, как показали результаты описанного выше исследования, их прогнозы можно сделать более точными, если взять среднюю оценку нескольких экспертов.

Мы уже выяснили, что эксперты менее эффективны, чем статистические модели, основанные на объективных данных за прошедший период. А что насчет количественных моделей, которые все еще основаны на субъективных оценках? Могут ли эксперты, применяя только имеющиеся знания, строить модели, которые превзошли бы их оценки, сделанные без использования количественных моделей? Результаты исследований показывают, что могут.

С 1970-х по 1990-е годы исследователи, изучавшие теорию принятия решений, Дональд Дж. Мак-Грегор и Дж. Скотт Армстронг, как по отдельности, так и совместно проводили эксперименты, чтобы выяснить, насколько можно повысить эффективность оценки с помощью разложения на составляющие³⁰. Они задействовали сотни испытуемых в различных экспериментах с целью определить, насколько сложно оценить такие вещи, как окружность монеты или количество мужских брюк, производимое в США за год. Одних испытуемых просили напрямую оценить эти величины, а второй группе нужно было оценить разложенные на составляющие переменные, которые затем использовались для оценки исходного количества. Например, отвечая на вопрос о брюках, вторая группа оценила бы численность мужчин в США, количество брюк, покупаемых одним мужчиной в год, процент брюк, произведенных за границей, и т. д. Затем результаты первой группы (оценку, произведенную без разложения) сравнили с результатами второй группы.

Армстронг и Мак-Грегор выяснили, что разложение не помогало, если в оценках первой группы и так было относительно мало ошибок, например при оценке окружности американской 50-центовой монеты в миллиметрах. Однако если первая группа допускала много ошибок, а так происходило в случае с оценкой количества мужских брюк, произведенных в США, или общим количеством автомобильных аварий в год, тогда разложение на составляющие оказывалось значительно полезнее. Было установлено, что с самыми неопределенными переменными простое разложение на составляющие – ни в одном случае число переменных при разложении не превышало пяти – сокращало количество ошибок в 10 или даже 100 раз. Представьте, если бы эти решения принимались в реальных условиях с высоким уровнем неопределенности. Безусловно, разложение на составляющие стоит потраченного на него времени.

Выполнение вычислений в явном виде, даже если в качестве исходных данных используются субъективные оценки, устраняет источник ошибок. Чтобы оценить финансовые потери в результате атаки типа «отказ в обслуживании» на конкретную систему, можно оценить продолжительность атаки, количество пострадавших людей и затраты на единицу времени для каждого пострадавшего. Однако, получив эти значения, нужно не просто оценить их произведение, а вычислить его. Поскольку, как уже говорилось, при таких подсчетах люди склонны совершать несколько ошибок, связанных с интуицией, то будет лучше проводить расчеты не в уме. Для многих исследователей это было очевидно, как писал Мил в одной из своих работ:

Но не все разложения на составляющие одинаково информативны. Можно чересчур увлечься раскладыванием проблемы на элементы³². Разложение на составляющие производится потому, что в одних вещах мы более уверены, чем в других, но можем вычислить вторые на основе первых. Если же переменные, на которые раскладывается задача, не являются более определенными, то можно не добиться успеха. На самом деле неудачное разложение способно ухудшить ситуацию. В главе 6 мы более подробно обсудим так называемое неинформативное разложение.

Даже если предположить, что разложение на составляющие оказывается вам полезно, существует несколько стратегий его выполнения, и мы не будем придерживаться какой-то определенной точки зрения относительно степени их информативности. Разные организации могут предпочитать разные методы разложения, поскольку информация, которой они располагают, также различна. Но, как станет ясно из главы 6, существуют жесткие математические правила относительно того, действительно ли разложение на составляющие уменьшает неопределенность. Следует применять эти правила наряду с эмпирически измеренной эффективностью для определения наилучшего метода разложения на составляющие для конкретной организации.

Резюме и дальнейшие шаги

«По моему опыту…» – если предложение начинается с этих слов, к нему стоит относиться с осторожностью, особенно когда речь идет об оценке самих экспертов. Существуют причины, почему наш опыт, даже накопленный за многие десятилетия, не может служить надежным источником информации в некоторых вопросах. Из-за аналитического плацебо невозможно определить качество своих оценок, опираясь лишь на собственные субъективные ощущения. Для оценки экспертов и применяемых ими методов следует обратиться к научным исследованиям, лежащим в ее основе. И эти исследования четко указывают на следующие выводы.

1. По возможности рекомендуется использовать понятные количественные модели, основанные на объективных ранее полученных данных. Роль экспертов в первую очередь будет заключаться в разработке и настройке этих моделей, а не в выполнении отдельных оценок.

2. Для оценки вероятностей и других количественных величин можно научить экспертов определять субъективные вероятности, которые будут сравниваться с наблюдаемой реальностью.

3. Несогласованность оценок экспертов можно снизить с помощью математических методов, а также путем сотрудничества с целью повышения точности оценок. При рассмотрении мнений нескольких экспертов, даже просто выведя среднее значение из их оценок, получится более точный результат, чем дадут мнения экспертов, взятые по отдельности.

4. Разложение на составляющие повышает точность оценки, особенно когда приходится иметь дело с очень высокой степенью неопределенности. Модели, требующие проведения конкретных вычислений, а не подсчетов в уме, позволяют избежать многих ошибок в выводах, как правило, свойственных экспертам.

В данной главе наши измерения различных методов оценки риска были сосредоточены на ранее опубликованных результатах научных исследований отдельных компонентов процесса оценки риска, включая альтернативные инструменты оценки вероятностей (с помощью экспертов или алгоритмов), способы контроля несогласованности оценки экспертов, их сотрудничество и разложение на составляющие. Внимание уделялось только тем компонентам, о которых у нас есть данные исследований, показывающие, что альтернативные методы способны измеримо улучшить результаты.

Все компоненты методов, представленных в главе 3, и всё, о чем пойдет речь далее, опираются на результаты исследований. Нами не будут разбираться компоненты методов, по которым не проводились исследования, и, что не менее важно, не будут применяться методы, которые, как было доказано, увеличивают вероятность ошибки. Учитывая важность оценки рисков кибербезопасности, следует продолжать искать пути совершенствования методов. Никогда не стоит забывать о скептицизме, вынуждающем нас задаваться вопросом: «Откуда я знаю, что это работает?»

Позже будет рассказано, как выйти за рамки существующих исследований и статистически грамотно отслеживать собственные данные, чтобы еще больше снизить неопределенность и иметь возможность постоянно совершенствовать методы оценки рисков. А в следующей главе мы продолжим анализ компонентов на основе существующих исследований, но сосредоточимся на методах, которые не приводят к улучшению результатов или даже ухудшают их. Это необходимо сделать, так как данные компоненты фактически являются частью наиболее широко используемых методов и стандартов в области кибербезопасности. Пришло время решить эти вопросы раз и навсегда, а также дать ответы на распространенные возражения против использования рекомендуемых нами методов количественной оценки.

1. C. Tsai, J. Klayman, and R. Hastie, “Effects of Amount of Information on Judgment Accuracy and Confidence,” Organizational Behavior and Human Decision Processes 107, no. 2 (2008): 97–105.

2. Stuart Oskamp, “Overconfidence in Case-Study Judgments”, Journal of Consulting Psychology 29, no. 3 (1965): 261–265, doi:10.1037/h0022125. Reprinted in Judgment under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (Cambridge, UK: Cambridge University Press, 1982).

3. P. Andreassen, “Judgmental Extrapolation and Market Overreaction: On the Use and Disuse of News,” Journal of Behavioral Decision Making 3, no. 3 (July – September 1990): 153–174.

4. C. Heath and R. Gonzalez, “Interaction with Others Increases Decision Confidence but Not Decision Quality: Evidence against Information Collection Views of Interactive Decision Making,” Organizational Behavior and Human Decision Processes 61, no. 3 (1995): 305–326.

5. D. A. Seaver, “Assessing Probability with Multiple Individuals: Group Interaction versus Mathematical Aggregation,” Report No. 78–73 (Los Angeles: Social Science Research Institute, University of Southern California, 1978).

6. S. Kassin and C. Fong, “I’m Innocent!: Effects of Training on Judgments of Truth and Deception in the Interrogation Room,” Law and Human Behavior 23 (1999): 499–516.

7. Paul E. Meehl, Clinical versus Statistical Prediction; A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota Press, 1954).

8. R. M. Dawes, D. Faust, and P. E. Meehl, “Clinical versus Actuarial Judgment,” Science (1989), doi:10.1126/science.2648573.

9. William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy,” Psychology, Public Policy, and Law 2 (1996): 293–323.

10. William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-Analysis,” Psychological Assessment 12, no. 1 (2000): 19–30.

11. Paul Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50 (1986): 370–375.

12. William Bailey et al., “Taking Calculated Risks,” Oilfield Review 12, no. 3 (Autumn 2000): 20–35.

13. G. S. Simpson et al., “The Application of Probabilistic and Qualitative Methods to Asset Management Decision Making,” presented at SPE Asia Pacific Conference on Integrated Modeling for Asset Management, April, 25–26, 2000, Yokohama, Japan.

14. C. W. Freaner et al., “An Assessment of the Inherent Optimism in Early Conceptual Designs and Its Effect on Cost and Schedule Growth.” Paper presented at the Space Systems Cost Analysis Group/Cost Analysis and Forecasting/ European Aerospace Cost Engineering Working Group 2008 Joint International Conference, European Space Research and Technology Centre, Noordwijk, The Netherlands, May 15–16, 2008, European Space Agency, Paris, France.

15. Philip E. Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? (Princeton, NJ: Princeton University Press, 2005; Kindle edition, location 869).

16. Robyn Dawes, House of Cards: Psychology and Psychotherapy Built on Myth (New York: Simon & Schuster, 1996).

17. Amos Tversky and Daniel Kahneman, “Belief in the Law of Small Numbers,” Psychological Bulletin 76, no. 2 (1971): 105–110.

18. Daniel Kahneman and Amos Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 3 (1972): 430–454.

19. William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical – Statistical Controversy,” Psychology, Public Policy, and Law 2 (1996), 293–323; #167.

20. Herren DeWispelare and Clemen Bonano, “Background Report on the Use and Elicitation of Expert Judgement”, prepared for Center for Nuclear Waste Regulatory Analyses under Contract NRC-02-93-005, September 1994.

21. I. Ben-David, J. R. Graham, and C. R. Harvey, Managerial Miscalibration (No. w16215) (Washington, DC: National Bureau of Economic Research, 2010).

22. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

23. Sarah Lichtenstein, Baruch Fischhoff, and Lawrence D. Phillips, “Calibration of Probabilities: The State of the Art to 1980,” in Judgement under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (Cambridge, UK: Cambridge University Press, 1982).

24. L. Goldberg, “Simple Models or Simple Processes?: Some Research on Clinical Judgments,” American Psychologist 23, no. 7 (July 1968).

25. Paul J. Hoffman, Paul Slovic, and Leonard G. Rorer, “An Analysis-of-Variance Model for the Assessment of Configural Cue Utilization in Clinical Judgment,” Psychological Bulletin 69, no. 5 (1968): 338.

26. Amos Tversky and Daniel Kahneman, “Judgment under Uncertainty: Heuristics and Biases,” Science 185, no. 4157 (1974): 1124–1131.

27. D. Ariely et al., “Coherent Arbitrariness: Stable Demand Curves without Stable Preferences,” The Quarterly Journal of Economics 118, no. 1 (2003): 73–106.

28. R. Clemen and R. Winkler, “Combining Probability Distributions from Experts in Risk Analysis,” Risk Analysis 19 (1999): 187–203.

29. Шуровьески Д. Мудрость толпы / Пер. В. Логвинова. – М.: МИФ, 2013. – 410 с.

30. Donald G. MacGregor and J. Scott Armstrong, “Judgmental Decomposition: When Does It Work?” International Journal of Forecasting 10, no. 4 (1994): 495–506.

31. Paul Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50 (1986): 370–375.

32. Michael Burns and Judea Pearl, “Causal and Diagnostic Inferences: A Comparison of Validity,” Organizational Behavior and Human Performance 28, no. 3 (1981): 379–394.

Наша конечная цель – постараться подтолкнуть сферу кибербезопасности к более активному применению количественных методов оценки рисков. В предыдущих главах было показано, что существует несколько методов, которые одновременно практичны (авторы применяли их в реальных ситуациях в области кибербезопасности) и заметно повышают эффективность оценки рисков, что доказано. Нами был предложен очень простой метод «один на один», основанный на замене компонентов матрицы рисков. Любой человек, обладающий техническими навыками для работы в сфере кибербезопасности, безусловно, владеет необходимыми умениями для реализации этого решения. Ознакомившись с основами, аналитик сможет построить свою работу на этом фундаменте с помощью методов, описанных в последующих главах.

Однако, несмотря на представленные ранее доказательства, многие из наших концепций, скорее всего, встретят сопротивление. Будут и священные коровы, и красные селедки, и черные лебеди, и прочие метафоры на зоологическую тематику, связанные с аргументами против использования количественных методов. Поэтому в данной главе нами будут рассмотрены все возражения, и стоит предупредить заранее, что это будет утомительно. Глава длинная, и не раз может казаться, что чему-то уделяется больше внимания, чем следовало бы. И все же необходимо разобрать по порядку каждый аргумент и подробно изложить наши доводы, сделав их настолько несокрушимыми, насколько позволят доказательства.

Изучение местности: опрос специалистов в области кибербезопасности

Готовясь к рассмотрению такого объемного вопроса, нам хотелось больше узнать о квалификации специалистов по кибербезопасности и их мнении по многим вопросам, которые мы затрагиваем. Нас интересовала степень принятия ими существующих подходов и общее впечатление о количественных методах. Поэтому мы попросили 171 специалиста в области кибербезопасности с разной квалификацией и из различных отраслей ответить на несколько вопросов о статистике и применении количественных методов в кибербезопасности. Участники опроса были набраны из ряда организаций, связанных с информационной безопасностью, в том числе из Общества по оценке информационных рисков (Society for Information Risk Assessment, SIRA), Ассоциации аудита и контроля информационных систем (Information Systems Audit and Control Association, ISACA) и трех крупнейших дискуссионных групп в социальной сети LinkedIn. В общей сложности было 63 вопроса, охватывающих биографические сведения участников, информацию об их организациях и нарушениях, с которыми им приходилось сталкиваться. Также имелись вопросы, связанные с использованием количественных методов в кибербезопасности, и опросник для определения степени их грамотности в области статистики.

Один из разделов, названный нами «Отношение к количественным методам» и содержавший 18 вопросов, помог определить, поддерживали ли специалисты по кибербезопасности применение подобных методов или относились к ним скептически. В рамках этого раздела выделялось еще как бы две подгруппы. Некоторые пункты опросов (семь, если точнее) были сформулированы с явно «антиколичественным» уклоном, например: «Информационная безопасность слишком сложна, чтобы создавать в ней модели с помощью количественных методов». Такие пункты позволяли гораздо четче обозначать сторонников и противников количественных методов. Другие пункты касались мнений, которые не были явно «антиколичественными», но указывали на признание ценности неколичественных методов, например: «Порядковые шкалы помогают выработать консенсус для определения дальнейших действий». В табл. 5.1 приведено несколько примеров из каждой подгруппы вопросов раздела «Отношение к количественным методам».

Нас порадовало, что большинство специалистов, работающих в сфере кибербезопасности (86 %), в целом принимали количественные методы, основанные на вероятностных моделях, т. е. их ответы на большинство вопросов, касающихся мнения о количественных методах, выражали поддержку этих методов. Например, большинство (75 %) согласились с утверждением, что «в кибербезопасности рано или поздно придется принять более сложный вероятностный подход, основанный на актуарных методах, тем, кто этого еще не сделал».

Однако только 32 % опрошенных всегда поддерживали количественные методы (т. е. 68 % не согласились с некоторыми утверждениями, где предпочтение отдавалось количественным, а не более мягким методам). Даже те, кто поддержал количественные методы, отметили, что следует продолжать применять более мягкие методы. Например, 64 % согласились с утверждением «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий», но 61 % заявили, что используют матрицы рисков. Есть пусть и небольшое, но важное меньшинство (8,3 %), настроенное против количественных методов. Это вызывает беспокойство, поскольку подобные убежденные меньшинства способны как минимум замедлить внедрение количественных методов (авторам доводилось наблюдать несколько таких случаев). И даже большинство, в целом принимающее количественные методы, может не спешить внедрять более эффективные методы лишь из-за опасений, что замена кажется слишком сложной, или потому, что считают существующие методы оптимальными, несмотря на их недостатки.

Конечно, любой опрос, участие в котором добровольное, не защищен от систематической ошибки выборки, однако нельзя знать наверняка, будет ли тогда смещение больше в сторону поддержки или неприятия количественных методов. В любом случае уровень принятия количественных методов оказался достаточно высоким относительно наших ожиданий. Некоторые читатели могут поставить под сомнение методы, размер выборки и прочие аспекты, но далее мы обсудим статистическое значение и рассмотрим уровень научной квалификации сотрудников Hubbard Decision Research, проводивших анализ результатов.

Если вы сомневаетесь, что при оценке рисков кибербезопасности следует использовать больше количественных методов, посмотрите, будут ли обсуждаться в этой главе смущающие вас моменты, и изучите контраргументы. Если вы уже являетесь поклонником количественных методов и мы зря вас убеждаем, все равно прочитайте главу, чтобы иметь возможность более грамотно отвечать на возражения, когда с ними столкнетесь.

На первый взгляд, аргументы против использования количественных методов многочисленны и разнообразны, но, по нашему мнению, все они сводятся к нескольким основным типам заблуждений. Начнем с изучения набора методов, наиболее популярных в настоящее время в области оценки рисков кибербезопасности: порядковых шкал на матрице рисков. Выявив сложности и возражения, связанные с ними, мы надеемся перейти к реализации математически обоснованной оценки риска в области, которая очень в этом нуждается.

Какого цвета ваш риск? Общепринятая – и рискованная – матрица рисков

Любой эксперт по кибербезопасности узнает и, скорее всего, одобрит обычную матрицу рисков, основанную на порядковых шкалах. По нашему опыту, большинство руководителей готовы превозносить матрицу рисков, относя ее к «лучшим практикам». Как уже упоминалось в главе 1, ее шкалы представляют вероятность и воздействие, но не в вероятностном или денежном выражении, а в виде порядковых шкал с обозначениями «низкий», «средний», «высокий» или числовой градацией, скажем, от 1 до 5. Например, вероятность и воздействие могут быть обозначены цифрами 3 и 4 соответственно, а возникающий в результате риск отнесен в категорию «средний». Затем на основе шкал обычно строится двумерная матрица, а ее области далее разделяются на категории от «низкого» до «высокого» риска, или им присваиваются цвета (зеленый – низкая степень риска, а красный – высокая). Иногда порядковые шкалы используются без матрицы рисков, как в случае с методологией оценки рисков от OWASP¹, где несколько порядковых шкал объединяются в общий балл риска (примечание: у OWASP, как и у многих других, есть отличные рекомендации по контролю, но перечень средств контроля и методология управления рисками – не одно и то же). Шкалы применяются к показателям, которые могут указывать на риск (например, «легкость обнаружения» или «регулирующее воздействие»), а затем полученные оценки распределяются по категориям риска «высокий, средний, низкий» так же, как в матрице рисков.

Как уже упоминалось в главе 2, порядковые шкалы сами по себе не противоречат теории измерений или статистике. У них действительно есть обоснованная сфера применения. Но являются ли они заменой шкал отношений вероятности и воздействия? То есть могут ли они быть неким неясным заменителем вероятностей, которые уже используют в страховании, науке о принятии решений, статистике и многих других областях? И не должна ли показаться такая замена количественных показателей на порядковые шкалы типа «высокий» или «средний» столь же странной, как утверждение инженера, что масса детали самолета является «средней», или бухгалтера, составляющего отчет, что доход был «высоким» или «4» по пятибалльной шкале?

Это важные вопросы, поскольку матрицы рисков, использующие порядковые шкалы для представления вероятности и воздействия, – обычное явление в кибербезопасности. В ходе нашего исследования выяснилось, что для оценки рисков и информирования о них 61 % организаций в той или иной форме используют матрицы рисков, а 79 % – порядковые шкалы. Хотя бы частичное применение статистических методов, многочисленные доказательства эффективности которых приведены в главе 4, встречается гораздо реже. Например, только 13 % респондентов утверждают, что применяют симуляцию по методу Монте-Карло, а 14 % отметили, что так или иначе используют байесовские методы (хотя оба эти ответа на самом деле встречались гораздо чаще, чем ожидали авторы).

Порядковые шкалы в каком-либо виде продвигаются практически всеми организациями по стандартизации, консалтинговыми группами и поставщиками технологий безопасности, работающими в сфере кибербезопасности. Десятки, если не сотни, фирм помогают компаниям внедрять методы или программные средства с использованием балльных оценок и матриц рисков. Стандарт 31010 Международной организации по стандартизации (ISO) гласит, что метод карты рисков (в табл. А.1 стандарта «Матрица последствий и вероятностей») «строго необходим» для идентификации риска².

Очевидно, что эти методы глубоко вплетены в экосистему кибербезопасности. Однако, как бы широко ни использовались шкалы в кибербезопасности, нет ни одного исследования, указывающего на то, что применение подобных методов действительно помогает снизить риск. Не существует даже исследования, которое бы показало, что суждения отдельных экспертов хоть в чем-то эффективнее профессионального чутья. Безусловно, есть много сторонников таких методов. Но как бы убедительно они ни звучали, к их мнению стоит относиться с осторожностью из-за возможности эффекта аналитического плацебо, исследования которого приведены в главе 4.

С другой стороны, ряд исследований показывает, что типы шкал, используемых в матрицах риска, могут снизить точность суждений эксперта из-за добавления источников ошибок, которых не было бы, давай он оценку только с помощью профессионального чутья. Мы бы даже сравнили эти методы с добавлением в огонь ракетного топлива. В борьбе с угрозами, которые трудно обнаружить, и так достаточно неопределенности, зачем ее увеличивать, абстрагируясь от данных с помощью сомнительных шкал?

В книге The Failure of Risk Management Хаббард посвящает целую главу обзору исследований проблемы балльной оценки. В последующих изданиях его книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» источники информации на тему дополнялись по мере накопления результатов новых исследований, выявлявших трудности в использовании шкал. Чтобы прояснить данный вопрос, прибегнем к тому же методу, что и в главе 4, т. е. рассмотрим исследования, касающиеся трех ключевых аспектов.

• Психология шкал. Психологические исследования, посвященные использованию вербальных шкал, подразумевающих градацию от «маловероятно» до «как правило», для оценки вероятности события и изучению влияния специфики вербальных или числовых порядковых шкал (например, от 1 до 5) на совершаемый выбор.

• Математика и матрицы рисков. Математические проблемы, связанные с попытками провести вычисления с порядковыми шкалами или представить их на матрице рисков.

• Совокупность этих проблем. Каждая из двух вышеперечисленных проблем достаточно серьезна сама по себе, но стоит привести и результаты исследований, показывающих, что происходит, если рассматривать их в совокупности.

Порядковые шкалы широко применяются в силу простоты, а вот психология их использования на самом деле не так проста. Эксперта, применяющего шкалы, следует рассматривать как инструмент. Инструмент может демонстрировать неожиданное поведение, и необходимо изучить условия, что его вызывают. Как и при анализе компонентов ранее, мы будем обращаться к исследованиям в других областях, когда исследований в области кибербезопасности окажется недостаточно.

Одним из исследуемых компонентов шкал риска является смысл слов, употребляемых для описания вероятности. Исследователями, среди которых психолог Дэвид Будеску, были опубликованы данные о том, насколько по-разному люди интерпретируют понятия вроде «маловероятно» или «крайне вероятно», предназначенные для передачи вероятности. Очевидно, что такая неоднозначность допускает ряд различных трактовок, но Будеску задался вопросом, насколько они при этом могут отличаться. В своем эксперименте он предлагал испытуемым читать фразы из доклада Межправительственной группы экспертов по изменению климата (МГЭИК), в каждой из которых фигурировала одна из семи категорий вероятности (например, «весьма вероятно, что экстремальные температуры, волны жары и сильные осадки будут повторяться все чаще»). Будеску обнаружил, что люди очень по-разному интерпретируют степень вероятности, подразумеваемую во фразе. Так, он выявил, что «весьма вероятно» может означать любую вероятность в диапазоне от 43 до 99 %, а «маловероятно» может означать как низкую вероятность (8 %), так и высокую (66 %), в зависимости от того, кого спрашивают³.

В исследовании Будеску участвовали 223 студента и преподавателя из Иллинойсского университета, а не профессионалы, занимающиеся интерпретацией такого рода исследований. Поэтому возникает закономерный вопрос, распространяются ли эти выводы на более подкованную аудиторию. К счастью, существует исследование, подкрепляющее результаты Будеску, но в области анализа разведданных, которая может показаться ближе аналитикам из сферы кибербезопасности. В книге Psychology of Intelligence Analysis, написанной на основе рассекреченных документов ЦРУ и выпущенной в 1999 году, бывший аналитик ЦРУ Ричардс Дж. Хойер – младший рассказывает об оценке схожих вероятностных утверждений 23 офицерами НАТО⁴. Аналогично результатам Будеску для выражения «весьма вероятно», Хойер обнаружил, что под фразой «очень вероятно» понимаются разные вероятности, начиная от 50 % и заканчивая почти 100 %. И точно так же согласуются с данными Будеску результаты Хойера для выражения «маловероятно», ответы для которого варьировались от 5 до 35 %. На рис. 5.1 показан диапазон ответов в исследовании Хойера.

В ходе проведения нами опроса 28 % специалистов по кибербезопасности сообщили, что пользуются вербальными или порядковыми шкалами, где вероятность, которую эти шкалы должны обозначать, даже не определена. Некоторые пользователи шкал пытаются уменьшить неоднозначность, предлагая конкретные определения для каждой фразы, например: «очень маловероятно» – вероятность менее 10 % (фактически, так и написано в стандарте NIST 800-30)⁵. В нашем опросе 63 % респондентов, использующих порядковые шкалы, указали, что они применяют вербальные или числовые порядковые шкалы, где вероятности определяются подобным образом. Однако Будеску обнаружил, что определения тоже не помогают.

Даже в ситуации, когда каждому уровню вербальной шкалы был присвоен свой диапазон вероятности (например, «весьма вероятно» означало «более 90 %», а «очень маловероятно» – «менее 10 %»), его не придерживались более чем в половине случаев. Другими словами, даже когда участникам четко объясняли значение терминов, они интерпретировали их в контексте утверждений, в которых термины были представлены. То есть фраза «весьма вероятно» имела для испытуемых разное значение, когда звучала применительно к экстремальным температурам, таянию ледников или повышению уровня моря.

Рис. 5.1. Варианты интерпретаций сотрудниками НАТО фраз, обозначающих степень вероятности

Источник: Хойер, Psychology of Intelligence Analysis, 1999

В табл. 5.2 показано, насколько широко испытуемые в исследовании Будеску интерпретировали вербальные шкалы, даже когда им были даны конкретные указания относительно значений. Оказалось, что около половины респондентов проигнорировали рекомендации (возможно, само понятие «рекомендации» предполагает слишком много толкований).

Отдельные крайние значения результатов требуют пояснений. При выборе варианта «очень маловероятно» наблюдается удивительный диапазон от 3 до 75 %. Значение 75 % было выбрано не единожды. Две трети респондентов не следовали рекомендациям, т. е. интерпретировали это выражение, как обозначающее более 10 %. Как такое может быть? Будеску обнаружил очень слабую взаимосвязь между интерпретацией степени вероятности испытуемыми и их взглядами на исследования климата, иначе говоря, они не наделяли события более высокой вероятностью только из-за большей озабоченности исследованиями климата. Однако, как отмечает Будеску, определенное влияние на ответы могла оказать двусмысленность некоторых утверждений. Если утверждение касалось вероятности экстремальных температур, то испытуемый мог добавить в оценку вероятности и неопределенность в понимании термина «экстремальная температура».

Источник: Дэвид В. Будеску, Стивен Брумелл и Хан-Хуэй Пор, Иллинойский университет в Урбане-Шампейне

Хаббард предлагает еще одно возможное объяснение. Он наблюдал на практике в процессе обсуждения рисков с клиентами, как событие оценивалось «крайне вероятным» отчасти из-за того, какое воздействие оно могло оказать. Конечно, воздействие и вероятность следует оценивать по отдельности, но менеджеры и аналитики делали заявления вроде: «Вероятность 10 %, что событие будет происходить ежегодно, слишком велика для такого крупного события, поэтому считаю, что 10 %-ный шанс его наступления крайне вероятен». Естественно, это всего лишь случай из практики, и мы не полагаемся на такого рода наблюдения, ведь данных Будеску и Хойера вполне достаточно, чтобы очертить проблему. Однако как потенциальное объяснение сам факт наличия таких заявлений указывает на возможность того, что некоторые люди весьма необдуманно пытаются объединить вероятность, воздействие и собственную неприязнь к риску. Им нужны методы, которые раскрывали бы смысл этих разных понятий.

Более того, чтобы адекватно определить вероятность события, необходимо учитывать период времени, в течение которого оно должно произойти. Если, например, указывается 10 %-ная вероятность события, значит ли это, что 10 % – вероятность его наступления в следующем году? Или в следующем десятилетии? Очевидно, что эти оценки сильно различаются. Как получается, что руководство или аналитики могут прийти к согласию по данным пунктам, даже не указав такую элементарную единицу измерения риска?

Все эти факторы в совокупности создают то, что Будеску называет «иллюзией коммуникации». Люди могут считать, что они успешно договорились о рисках, но при этом совершенно по-разному понимать сказанное. Им может казаться, что они пришли к соглашению, если все говорят, что один риск является «средним», а другой – «высоким». И даже когда вероятность обозначается с помощью конкретных чисел, слушатель или докладчик могут соотносить собственную рискоустойчивость с оценкой вероятности или полагать, что указана вероятность наступления события в течение более длительного периода времени, чем подразумевает собеседник.

До сих пор обсуждалась только психология интерпретации людьми неоднозначной терминологии в области риска, но это еще не все. Помимо использования неколичественных обозначений для вероятностей и влияния, оказываемого прочими неясностями, наблюдаются любопытные реакции на субъективные порядковые шкалы в целом. Относительно произвольные характеристики шкал оказывают гораздо большее влияние на суждения, чем можно было бы ожидать.

Например, профессор Крейг Фокс из Калифорнийского университета в Лос-Анджелесе провел исследование, показавшее, что особенности деления шкал оказывают неожиданное влияние на ответы, независимо от того, насколько точно определены отдельные значения⁶. На шкале от 1 до 5 значение «1» будут выбирать чаще, чем на шкале от 1 до 10, даже если «1» определяется одинаково в обоих случаях (скажем, «1» может означает перерыв в работе длительностью менее 10 минут или несанкционированный доступ, повлекший за собой убытки на сумму менее 100 000 долл.). Кроме того, существует множество исследований, показывающих, что и другие произвольные характеристики шкал необычно влияют на выбор ответа, и сильнее, чем кажется. К таким исследованным характеристикам относятся, например, указание соответствующих порядковых числовых шкал в дополнение к вербальным шкалам или вместо них⁷ и выбор направления шкалы (является ли «5» высоким баллом или низким)⁸.

Подобные проблемы типичны в психометрии и проектировании опросов для исследований. Опросы разрабатываются с использованием различных видов контроля и тестирования элементов, чтобы можно было оценить влияние когнитивных искажений. Они называются «артефактами» исследования, и при формулировании выводов их можно игнорировать. Однако нет никаких доказательств, что какие-либо из перечисленных выше подобных факторов учитывались бы при разработке шкал оценки риска. И поэтому нельзя воспринимать эти методы как должное, необходимо принимать во внимание психологию того, как оцениваются риски и как при этом используются инструменты измерений.

На первый взгляд, математика, лежащая в основе шкал или матриц рисков, очень проста. Однако, как уже продемонстрировал пример с психологией шкал, стоит копнуть поглубже, и все становится не столь очевидно. Это может показаться немного странным, но, как и в случае с любым другим компонентом анализа риска, масштаб проблемы в целом означает, что не следует оставлять без внимания такой широко используемый инструмент.

Вероятно, никто не занимался изучением данной темы дольше, чем Тони Кокс, доктор философии, выпускник Массачусетского технологического института и эксперт по рискам. Многие из его работ посвящены проблемам, которые привносят порядковые шкалы в процесс оценки риска, и тому, как эти шкалы затем преобразуются в матрицу рисков (которая затем часто преобразуется в области риска от «низкого» до «высокого»). Кокс исследует всевозможные неочевидные последствия применения различных видов порядковых шкал и матриц риска и то, как они могут привести к ошибкам при принятии решений⁹.

Одну из таких ошибок он называет «сжатием диапазона». Сжатие диапазона – своего рода экстремальная ошибка округления, возникающая из-за того, каким образом непрерывные величины вероятности и воздействия сводятся к одному порядковому значению. Неважно, как категории непрерывных величин делятся на порядковые, приходится делать выбор, который нивелирует ценность работы. Например, верхняя граница воздействия может быть определена как «убытки в размере 10 млн долл. или более», а значит, суммы 10 млн долл. и 100 млн долл. относятся к одной категории. Чтобы это скорректировать, придется либо поднять первое значение категории выше 10 млн долл. – а значит, диапазоны в нижних категориях также придется расширять, – либо увеличить число категорий.

Сжатие диапазона усугубляется еще больше при объединении двух порядковых шкал в матрицу. В результате, как отмечает Кокс, в одной ячейке (т. е. позиции пересечения строки и столбца матрицы) могут оказаться два очень разных риска, а в ячейку с более высоким риском может попасть менее серьезный риск, чем в ячейку с низким риском. Чтобы убедиться в этом, рассмотрим матрицу рисков в табл. 5.3, составленную на основе реальной матрицы, продвигаемой крупной консалтинговой компанией.

Прежде всего разберем, как два совершенно разных риска могут оказаться в одной и той же ячейке. Возьмем два риска для категории вероятности «редко», которая представляет диапазон «от более 1 до 25 %», с максимальными убытками «10 млн долл. или более»:

• риск A: вероятность – 2 %, воздействие – 10 млн долл.;

• риск Б: вероятность – 20 %, воздействие – 100 млн долл.

С помощью этой информации Кокс рассчитывает ожидаемые убытки (взвешенные по вероятностям убытки), так же как делали бы актуарии для многих видов рисков, и затем сравнивает полученные произведения вероятности и воздействия рисков: 200 000 долл. для риска А (2 % × 10 млн долл.) и 20 млн долл. для риска Б (20 % × 100 млн долл.). Другими словами, для актуария риск Б в 100 раз значительнее риска А. Однако эти два совершенно разных риска располагаются в одной и той же ячейке (т. е. в одной и той же строке, в одном и том же столбце) на матрице рисков!

Далее рассмотрим приведенный Коксом пример с двумя разными рисками в ячейках, расположенных в обратном порядке по ожидаемым убыткам. Опять же, дело в том, что для отображения непрерывных величин с широкими диапазонами в виде дискретных промежутков некоторым «промежуткам» на осях вероятности и воздействия приходится присваивать широкие диапазоны значений. Итак, вот еще два риска:

• риск A: вероятность – 50 %, воздействие – 9 млн долл.;

• риск Б: вероятность – 60 %, воздействие – 2 млн долл.

В данном случае риск А имеет ожидаемые убытки в размере 4,5 млн долл., а ожидаемые убытки от риска Б составляют 1,2 млн долл. Однако если следовать правилам представленной матрицы, то риск Б считался бы высоким, а риск А – всего лишь средним. По словам Кокса, все вместе эти свойства делают матрицу рисков буквально «более чем бесполезной». Как бы невероятно это ни звучало, он утверждает (и демонстрирует), что матрица может быть даже менее эффективной, чем случайно расставленные приоритеты рисков.

Кто-то возразит, что аргументы надуманны, ведь, в отличие от примеров, на практике обычно нет конкретных вероятностей и воздействий, а лишь весьма смутные представления об их диапазонах. Но неясность лишь скрывает проблемы, а не решает вопрос недостатка информации. Кроме того, Кокс указывает, что в матрицах риска игнорируются корреляции между событиями. Давая нам интервью, он заявил, что «общепринято полностью игнорировать корреляции между уязвимостью, последствиями и угрозой. А ведь корреляции могут полностью изменить понимание ситуации для управления рисками».

Кокс видит потенциал в объединении вычисляемых рисков и рискоустойчивости: «Отношение к риску, принятое при оценке неопределенных последствий, никогда не раскрывается в сочетании с матрицей рисков. Однако, не зная его, невозможно расшифровать, что должны означать эти рейтинги или как они могут измениться, если оценку будет делать человек с иным отношением к риску. Оценки, показанные в матрице, отражают неизвестную смесь фактических и субъективных компонентов». И задает, похоже, самый главный вопрос: «Проблема возникает, когда, глядя на шкалу или матрицу, вы спрашиваете: „На что я смотрю?“»

Можно заявить, что это всего лишь особенность конкретной матрицы рисков, а с другой матрицей и другими категориями не возникнет такой проблемы. На самом же деле подобные примеры несоответствий все равно останутся, независимо от того, как определяются диапазоны воздействия и вероятности. Кокс даже работал над поиском способа избежать хотя бы некоторых из этих проблем. Его «теорема о матрице рисков» показывает, как соблюдение ряда правил и условий распределения категорий может привести к построению по крайней мере слабо согласованной матрицы. Он вполне четко определяет понятие «слабо согласованная» и никогда не признаёт, что матрица может являться таковой полностью. В трех словах – матрицы усиливают неоднозначность. Кокс резюмирует свою позицию, говоря: «Даже теоретически не существует однозначного способа составления таких рейтингов в виде матрицы рисков, когда лежащие в ее основе степени серьезности неопределенны».

Не все методы балльных оценок задействуют матрицы риска. Выше уже говорилось, к примеру, что в методах, рекомендуемых OWASP для получения общей оценки риска, просто суммируются несколько порядковых шкал. И тогда же мы упомянули, что этот и другие подобные методы в настоящее время являются приоритетными в сфере безопасности в различных системах оценки, включая общую систему оценки уязвимостей (Common Vulnerability Scoring System, CVSS), общую систему оценки слабых мест (Common Weakness Scoring System, CWSS), общую систему оценки конфигураций (Common Configuration Scoring System, CCSS) и т. п. Все эти системы измерений применяют неподходящие математические вычисления к нематематическим объектам с целью обобщения некоего понятия риска. У них нет тех проблем, что у матрицы рисков, но есть другие, например невозможность с точки зрения математики применять операции сложения и умножения к порядковым шкалам. Как отмечается нами в презентациях на данную тему, это все равно что сказать «птицы, умноженные на оранжевый, плюс рыбы, умноженные на зеленый, равно высокий». И, конечно же, методы, подобные применяемым в CVSS, столкнутся с теми же проблемами психологии восприятия шкал (обсуждались выше), что и любая матрица рисков.

Упоминавшиеся выше эффекты накладываются друг на друга, т. е. вместе они сильнее затрудняют управление рисками, чем по отдельности. Данные, полученные из множества источников, показывают, что объединять шкалы и матрицы риска вредно.

В 2008 и 2009 годах Хаббард собрал данные о рисках кибербезопасности от пяти разных организаций. Они предоставляли ответы нескольких сотрудников, каждый из которых давал десятки оценок различных рисков. В общей сложности было получено чуть более 2000 отдельных ответов. Хаббард обнаружил, что ответы можно было четко поделить на группы – примерно 76 % ответов соответствовали одному из двух значений шкалы («3» или «4» по пятибалльной шкале). Иначе говоря, большинство ответов сводилось к выбору между двумя конкретными значениями шкалы из пяти. Матрица, которая должна была быть 5 × 5, чаще всего оказывалась матрицей 2 × 2. Прямым результатом группировки стало снижение разрешающей способности, т. е. увеличение ошибки округления и уменьшение объема информации. Объединив результаты с данными другого исследования, Хаббард предположил, что группировка может только усугубить проблемы, обнаруженные в предыдущих экспериментах.

Совместно с психологом Диланом Эвансом Хаббард опубликовал в 2010 году полученные результаты в журнале IBM Journal of Research & Development (Эванс – компетентный ученый и профессор, также занимавшийся изучением влияния плацебо и его использования в клинических испытаниях лекарств). В их работе был представлен исчерпывающий обзор существовавшей на тот момент литературы по этому вопросу, а также наблюдения Хаббарда по результатам анализа оценок на основе порядковых шкал. В итоге в работе был сделан следующий вывод:

Другое, более современное и (как Хаббард с удовольствием признаёт) более комплексное исследование, в ходе которого была изучена психологическая литература, теоретические вопросы и исходные данные, показало аналогичные результаты. В статье для журнала Economics & Management Общества инженеров-нефтяников (Society of Petroleum Engineers, SPE) авторы Филип Томас, Рейдар Брэтвольд и Дж. Эрик Бикель проанализировали 30 работ, в которых описывались различные матрицы рисков (в основном используемые в нефтяной и газовой промышленности). Они не только представили полноценный обзор всех источников литературы (включая Будеску, Кокса, Хаббарда, Эванса и многих других), но и изучили влияние изменения вида матрицы риска и способа ранжирования различных рисков, а затем измерили, как матрицы рисков искажают данные¹¹.

Опираясь на выводы Кокса, Томас с соавторами показали, что различные виды матриц рисков влияли на ранжирование рисков таким образом, как их разработчики, вероятно, не предполагали. Например, в пяти из 30 изученных ими видов матриц рисков порядок оценки был инвертирован, т. е. высокому воздействию или вероятности присваивалось значение «1», а не «5». Затем в таких матрицах оценки вероятности и воздействия перемножались, как и во многих других, но меньший результат указывал на высокую степень риска. Разработчики этих методов, возможно, думали, что вид матрицы – условность, никак не влияющая на ранжирование рисков. На самом же деле все с точностью до наоборот. Также Томас и соавторы изучили влияние различных способов распределения вероятности и воздействия по нескольким дискретным порядковым значениям (например, категория «маловероятно» определяется диапазоном от 1 до 25 %, а умеренное воздействие – от 100 000 до 1 млн долл.). И снова было установлено, что произвольный выбор вида сильно сказывается на ранжирование рисков.

Кроме того, они определили «фактор лжи» для нескольких типов матриц риска. Фактор лжи – величина, определенная Эдвардом Тафти и Питером Грейвсом-Моррисом в 1983 году на основании того, насколько сильно в диаграммах намеренно или непроизвольно искажаются данные из-за вводящих в заблуждение особенностей их отображения¹². По сути, это разновидность сжатия диапазона, подробно рассмотренному Коксом. С помощью специального метода вычисления фактора лжи Томас с соавторами обнаружили, что соотношение искажений данных, усредненных по различным видам матриц рисков, превышало 100. Чтобы понять, что означает фактор лжи, равный 100, нужно иметь в виду, что при объяснении действия метода Эдвард Тафти приводил пример, который называл «чудовищной ложью», и его фактор лжи составлял 14,8.

По мнению Томаса и его соавторов, в любой матрице рисков заложены «грубые несогласованность и произвол». Их вывод согласуется с выводами всех других исследователей, всерьез занимавшихся изучением матриц рисков:

Выводы были озвучены на вебинаре в рамках курса лекций по принятию стратегических решений и управлению рисками в Стэнфорде. Чтобы донести до слушателей полученные результаты, они поместили на один из слайдов презентации большой прямоугольник с надписью «Теория тепловых карт и эмпирическое тестирование» (рис. 5.2). К серьезной теме авторы исследования подошли с юмором – прямоугольник был пуст.

Рис. 5.2. Теория тепловых карт и эмпирическое тестирование Источник: P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66

Если вам кажется, что выводы должны касаться только нефтегазовой отрасли (целевая аудитория журнала, в котором опубликовано исследование), рассмотрим пример НАСА, упомянутый в главе 4. В этом исследовании проводилось сравнение метода Монте-Карло и статистических методов, основанных на регрессии, с более мягкими методами. Более мягким методом, о котором шла речь, была созданная НАСА версия матрицы рисков 5 × 5. У ученых и инженеров миссии, хорошо знавших свою сферу деятельности, надо полагать, было преимущество перед бухгалтерами, и тем не менее бухгалтеры с использованием симуляций по методу Монте-Карло и данных за прошлые периоды составили более точные прогнозы, чем ученые и инженеры с помощью матрицы рисков.

Наконец, подобные шкалы никак не учитывают ограничения экспертных суждений, как описано в главе 4. Ошибки экспертов только усугубляются из-за дополнительных погрешностей, привносимых шкалами и матрицами. Мы согласны с решением, предложенным Томасом и соавторами. В сфере кибербезопасности (или других областях анализа рисков, где также используются матрицы рисков) не надо пытаться заново изобретать количественные методы, хорошо зарекомендовавшие себя и применяемые для решения многих не менее сложных проблем. Томас и соавторы рекомендуют подходящие инструменты анализа решений, использующие вероятности в явном виде для выражения неопределенности. Они сравнивают матрицы рисков с анализом решений следующим образом:

Чтобы лучше понять различия, просто сравните матрицу рисков с кривой вероятности превышения потерь, представленной в главе 3. Напомним, что кривая вероятности превышения потерь охватывает все виды неопределенности в отношении воздействия, независимо от того, насколько широким может быть диапазон, а кривая рискоустойчивости дает ясное представление о том, какой риск приемлем для руководства организации. Итак, как в матрице рисков допустить большую неопределенность в отношении воздействия, если воздействие не укладывается в одну категорию? Как в матрице рисков однозначно отразить рискоустойчивость руководства, позволяя точно оценить варианты?

Как и авторы данной книги, Томас, Брэтвольд и Бикель приходят к выводу, который уже должен стать очевидным для всех, кто прочитал результаты исследований:

Надеемся, на этом вопрос исчерпан.

Exsupero Ursus и другие заблуждения

Знаете, есть такой старый анекдот о двух туристах, собирающихся в поход в лес (если вы его уже много раз слышали, заранее благодарим за терпение, но рассказываем мы его не просто так).

Этот старый (и всем надоевший) анекдот дал название особому заблуждению, возникающему при оценке любых моделей или методов принятия решений. Мы называем это заблуждение Exsupero Ursus или, если вам не нравится заумный псевдонаучный термин на латинском, который придуман нами с помощью Google Translate, можно называть его заблуждением «обогнать медведя». Суть заблуждения примерно следующая: если существует хоть один пример, что конкретный метод не сработал или имеет даже незначительные недостатки, то следует сразу переходить к другому методу, не выясняя, нет ли у альтернативного метода худших недостатков и каковы результаты его применения.

Нам часто встречаются менеджеры и руководители, которым трудно поверить, что количественные модели могут быть эффективнее профессионального чутья или качественных методов. Таким был и сотрудник отдела операционных рисков, который бросил вызов количественным методам, спросив: «Разве можно смоделировать все факторы?» Естественно, модели никогда не моделируют «все» факторы и даже не пытаются это делать. Сотрудник находился в заблуждении Exsupero Ursus. Верил ли он, что, опираясь на собственное суждение или применяя более мягкий метод балльной оценки, учитывает буквально все факторы? Конечно, нет. Он просто сравнивал количественный метод с неким идеалом, который, очевидно, охватывает все возможные факторы, вместо сравнения с реальными альтернативами: собственным суждением или другими предпочтительными методами.

Помните: упомянутые в данной книге количественные методы продвигаются нами потому, что мы можем сослаться на конкретные исследования, доказывающие, что они превосходят (в смысле измеримо превосходят) конкретные альтернативы вроде профессионального чутья. Согласно популярной цитате великого статистика Джорджа Бокса: «Все модели ошибочны, но некоторые полезны». И исследования ясно показывают, что одни модели измеримо полезнее других, они эффективнее прогнозируют наблюдаемые результаты и с большей вероятностью приведут к желаемому исходу. Если указывать на недостатки какой-либо модели, то такие же требования следует применять и к предлагаемому альтернативному варианту. В первой модели может быть ошибка, но если у альтернативы еще больше ошибок, стоит все же придерживаться первой.

Приведенное фундаментальное заблуждение, похоже, лежит в основе ряда аргументов против использования количественных вероятностных методов. Достаточно перечислить лишь некоторые из них, и станет понятно, что каждое возражение можно парировать одним и тем же ответом.

Некоторые эксперты по кибербезопасности, принимавшие участие в опросе (18 %), заявили, что согласны с утверждением «следует использовать порядковые шкалы потому, что вероятностные методы невозможно применить в сфере кибербезопасности». Оно опровергается тем фактом, что все обсуждаемые здесь методы уже много раз применялись в реальных организациях. Придерживаться мнения, что эти методы непрактичны, – все равно что говорить пилоту авиакомпании, будто коммерческие полеты нецелесообразны. Так откуда же на самом деле берется это неприятие?

Наш опрос выявил одну из возможных причин такой позиции: принятие количественных методов сильно зависит от уровня статистической грамотности. Один из наборов вопросов был нацелен на проверку базовых знаний в области статистики и вероятностных концепций. Оказалось, что те, кто считал количественные методы непрактичными или видел другие препятствия для их использования, гораздо чаще демонстрировали низкий уровень статистической грамотности.

Раздел, посвященный статистической грамотности, содержал 10 вопросов, касавшихся основ статистики. Многие из них сформулированы на основе вопросов, использовавшихся в других исследованиях уровня статистической грамотности, которые проводил Канеман с соавторами. Некоторые вопросы касались распространенных ложных представлений о корреляции, размере выборки, выводах на основе ограниченных данных, значении термина «статистически значимый» и базовом понятии вероятности (см. пример в табл. 5.4).

Для дальнейшего ознакомления полный отчет об исследовании можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Затем мы сравнили статистическую грамотность с отношением, выявленным с помощью семи вопросов с «антиколичественным» уклоном из раздела «Отношение к количественным методам». Выявленная в итоге взаимосвязь между статистической грамотностью и положительным отношением к использованию количественных методов представлена на рис. 5.3.

Обратите внимание, что показатель «равно медианному или ниже» в плане отношения к количественным методам не обязательно означает, что участники опроса были в целом против количественных методов. Большинство весьма благосклонно восприняли количественные методы, и поэтому среднее число положительных ответов все еще можно относить к поддержке методов, а не их отрицанию, просто у людей из категории «равно медианному или ниже» было больше сомнений по поводу количественных методов, чем у тех, кто ответил положительно на более чем половину вопросов про отношение к ним. Для статистической грамотности, однако, медианный балл (3 из 10) показывал, насколько хорошо человек ответил, если бы просто угадывал ответы (учитывая число вариантов ответов на вопрос, при случайном выборе любого ответа, кроме «Я не знаю», в среднем получится 2,3 правильного ответа из 10). Те, кто дал меньше правильных ответов, не только хуже угадывали, но и верили в распространенные заблуждения. А те, у кого результаты по статистической грамотности были выше медианных, справились лучше, чем могли бы при простом угадывании.

Рис. 5.3. Сравнение уровня статистической грамотности и отношения к количественным методам

Теперь, когда мы прояснили этот момент, видно, что у участников, набравших выше медианного значения по статистической грамотности, в большинстве случаев и в ответах на вопросы об отношении к количественным методам значения были больше медианных. Аналогичным образом участники, у которых количество положительных ответов на вопросы про отношение к количественным методам превысило медианное значение, с большей вероятностью обладали и хорошим уровнем статистической грамотности. Выводы справедливы даже с учетом малого количества вопросов в опроснике. Зная количество вопросов и число вариантов ответа на вопрос, можно провести статистическую проверку. Проведенные нами вычисления показывают, что взаимосвязь между статистической грамотностью и отношением к статистике является статистически значимой даже при небольшом количестве вопросов на одного респондента (для хорошо разбирающихся в статистике читателей отметим, что P-значение этих результатов менее 0,01). Благодаря опросу также удалось сделать еще рад интересных наблюдений.

• Четверть испытуемых, хуже других настроенных в отношении количественных методов (нижние 25 %), в два раза чаще просто пропускали вопросы на статистическую грамотность, чем те, кто попал в четверть наиболее поддерживающих количественные методы.

• Больший опыт в сфере кибербезопасности соотносится с позитивным отношением к количественным методам. Также выяснилось, что те, кто хотя бы пытался применять количественные методы вроде симуляций по методу Монте-Карло, более склонны к их поддержке. Согласно полученным данным, 23 % из тех, кто положительно относился к количественным методам, пробовали симуляции Монте-Карло, в то время как из противников количественных методов ими пользовались только 4 % испытуемых. Не станем утверждать, что положительное отношение к количественным методам вызвало желание попробовать метод Монте-Карло или что его применение сделало их сторонниками количественных показателей. Но связь налицо.

• Те, кто хуже всех справился с тестом на статистическую грамотность, чаще переоценивали свои навыки в области статистики. Это согласуется с феноменом, известным как эффект Даннинга – Крюгера¹³. Существует тенденция, что люди, плохо справляющиеся с каким-либо тестом (на вождение, базовую логику и т. д.), склонны верить, что справляются с задачей лучше, чем есть на самом деле. В ходе исследования выяснилось, что 63 % участников с уровнем статистической грамотности ниже среднего ошибочно определяли уровень своих знаний в области статистики как средний или выше среднего. Поэтому те, кто плохо справляется с тестами на статистическую грамотность, обычно не осознают, что их представления неверные.

На самом деле все это лишь эмпирически подтверждает подозрения, которые у нас возникли после многочисленных отдельных наблюдений. Люди, считающие непрактичным применение количественных методов в сфере кибербезопасности, думают так не потому, что знают больше о кибербезопасности, а потому, что недостаточно много знают о количественных методах. Если вы полагаете, что разбираетесь в количественных вероятностных методах, но не согласны с тем, что они применимы в кибербезопасности, не вините гонца. Мы всего лишь сообщаем результаты наблюдений.

Тех же, кто в большинстве своем считает, что можно применять более эффективные методы, и поддерживает их изучение, не требуется убеждать лишний раз. Но, возможно, вы сможете использовать эту информацию для выявления причин внутрифирменного неприятия, и даже сумеете повлиять на будущие решения по обучению и найму персонала, чтобы повысить осведомленность о количественных методах в кибербезопасности.

Кому-то это, возможно, будет тяжело признать, но вывод из нашего опроса столь же неизбежен, сколь и суров. Кибербезопасность – крайне важная тема, вызывающая растущую озабоченность, и мы не можем позволить себе тянуть с решением этой проблемы. Как говорилось в главе 4, а также ранее в данной главе, нужно непредвзято оценивать все модели, в том числе количественные, поэтому мы не стремимся заставить критиков замолчать. Однако пустые возражения против количественных методов следует воспринимать всего лишь как боязнь статистики, порожденную статистической безграмотностью.

Уверены, что получим письма от читателей по этому поводу. Но расчеты обоснованы, а в аргументах против нашего вывода будут содержаться серьезные изъяны (мы знаем, поскольку уже много раз с ними сталкивались). В проведении нашего анализа помогал сотрудник компании Hubbard Decision Research Джим Клинтон – старший специалист по количественному анализу. У него докторская степень в области когнитивной психологии, и им опубликованы научные исследования по применению передовых статистических методов в экспериментальной психологии. Так что да, он знал, что делал, когда оценивал статистическую достоверность опроса. Упоминаем об этом, предвосхищая возражения касательно методов опроса, количества и типа предложенных вопросов и статистической значимости в целом. Методы, размер выборки и корректно составленные ответы на вопросы для определения уровня статистической грамотности вполне валидны. Однако нам известно по прошлому опыту и из результатов этого опроса, что найдутся заблуждающиеся в оценке своих познаний о статистических методах люди, которые решат, что раз выводы противоречат неким математическим вычислениям, производимым ими в уме, значит, результаты опроса ошибочны. Это не так. Мы не прикидывали в уме. Мы проводили реальные вычисления. Теперь давайте продолжим.

Согласившиеся с утверждением «порядковые шкалы или качественные методы устраняют проблемы количественных методов» 29 % испытуемых были подвержены разновидности заблуждения Exsupero Ursus. Ход рассуждений здесь примерно такой: раз количественные методы несовершенны, то надо использовать альтернативу, которая каким-то образом исправит их ошибки. Но что это за предполагаемый механизм коррекции? Как видно из представленных ранее исследований, порядковые шкалы и матрицы риска не только не исправляют ошибки количественных методов, но и добавляют к ним свои собственные.

Опять же, на наш взгляд, нужно задавать неудобные вопросы о любых методах, включая количественные, и мы попытались сделать это, представив многочисленные результаты исследований в доказательство своей точки зрения. Не менее скептически мы относимся и к популярным более мягким альтернативам, продвигаемым многими организациями по стандартизации и консалтинговыми компаниями. Мы процитировали исследование, последовательно раскрывающее недостатки этих методов и выявляющее относительное преимущество количественных методов. Давайте рассмотрим теперь другие ответы в нашем опросе, выделим причины неприятия количественных методов и проанализируем их по очереди.

«Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет» – распространенное возражение на использование статистики во многих областях, не только в кибербезопасности. В нашем исследовании с ним согласились 23 % респондентов. Тем не менее, как упоминалось в главе 2, у вас больше данных, чем кажется, а нужно вам меньше, чем кажется, стоит только проявить изобретательность при сборе данных и действительно выполнять вычисления с тем небольшим объемом данных, который уже имеется. Заблуждение Exsupero Ursus здесь, опять же, заключается в том, что альтернатива предложенному количественному методу каким-то образом нивелирует недостаток данных. Порядковые шкалы и профессиональное чутье избавляют от проблемы нехватки данных, но делают это, скрывая само наличие проблемы. Упомянутое ранее исследование показывает, что порядковые шкалы и матрицы риска могут фактически увеличивать количество ошибок, т. е. они буквально уменьшают и без того ограниченный объем информации, доступной интуиции человека, использующего эти методы.

К счастью, как и в случае с другими вопросами на выявление негативного отношения к количественным методам, большинство респондентов не согласны с утверждением и склоняются к тому, чтобы пробовать более эффективные методы. Однако 23 % – значительная часть специалистов в области кибербезопасности, которые в корне не понимают причин использования вероятностных методов. Один из согласившихся с утверждением написал следующее в разделе опроса для ответов в произвольной форме:

Прежде чем ответить, уточним, что это не личный выпад в адрес человека, любезно принявшего участие в нашем опросе, или в адрес других людей, согласных с рассматриваемым утверждением. Но нельзя помочь сфере кибербезопасности, игнорируя претензии вместо беспристрастного их разбора. Для нас важно высказанное мнение, и мы считаем, что оно заслуживает ответа. Итак, приступим.

Безусловно, такие убытки как минимум возможны в достаточно крупных организациях, и нам известны подобные случаи. Тогда если это «возможный диапазон», то почему бы не установить верхний предел в 1 млрд долл. или больше? Но очевидно, что шанс наступления у всех этих исходов разный. А распределение вероятностей как раз и передает вероятности различных исходов. Наверняка у аналитика имеется больше информации, чем обозначено, или он хотя бы может ее собрать.

Если этот широченный диапазон действительно является степенью неопределенности в отношении убытков и если вероятность всех исходов в этом диапазоне одинакова, то неужели, по мнению аналитика, его избавила бы от неопределенности, скажем, обычная матрица рисков? Конечно, не избавила бы. Она бы просто скрыла неопределенность (на самом деле, аналитик, вероятно, поместил бы этот риск в одну ячейку матрицы, хотя указанный диапазон должен охватывать большинство категорий воздействия или все их).

Другой интересный вопрос: если уровень неопределенности относительно потенциальных убытков действительно таков, то какие шаги предпринимает аналитик для хотя бы частичного уменьшения неопределенности? Естественно, любой риск с таким широким диапазоном неопределенности заслуживает дальнейшего изучения. Или же аналитик планирует просто продолжать скрывать эту серьезную неопределенность от совета директоров, используя неоднозначную терминологию риска? Вспомните из главы 2, что именно в подобных случаях крайней неопределенности ее уменьшения проще добиться и оно имеет большее значение. Нами уже описывались исследования, показывающие, как разложение такого широкого диапазона (путем продумывания оценок отдельных последствий и запуска симуляции для их суммирования), скорее всего, приведет к снижению неопределенности.

Те, кто согласен с утверждением, что вероятностные методы требуют точных данных, неправильно понимают ключевой аспект вероятностных методов. Количественные вероятностные методы используются именно из-за отсутствия идеальной информации. Если бы у нас была идеальная информация, нам бы вообще не понадобились вероятностные модели. Помните, все, что предлагается в этой книге, мы или наши коллеги не единожды применяли в разных условиях. Нам неоднократно доводилось представлять широкие диапазоны высшему руководству многих компаний, и, по нашему опыту, они ценят четко сформулированные заявления о неопределенности.

Подобным образом можно ответить и на возражения, что кибербезопасность слишком сложна для количественного моделирования или что количественные методы неприменимы в ситуациях, где задействованы люди. Как и в предыдущих случаях, мы должны спросить: а как именно матрицы рисков и шкалы риска нивелируют эти проблемы? Если они слишком сложны для количественного моделирования, то почему предполагается, что неколичественное решение справится с такой сложностью? Помните, что независимо от уровня сложности системы, даже вынося чисто субъективные суждения о ней, вы ее уже моделируете. Заблуждение Exsupero Ursus (т. е. это не идеальный метод, он не сработал однажды, поэтому его нельзя использовать) все еще существует лишь из-за того, что к альтернативам вероятностных методов не предъявляются те же требования.

Многие эксперты делают неверное предположение, что чем сложнее проблема, тем менее эффективны будут количественные методы по сравнению с экспертами-людьми. Тем не менее выводы Мила и Тетлока (рассмотренные в главе 4) свидетельствуют об обратном: по мере усложнения проблем эксперты справляются не лучше наивных статистических моделей. Таким образом, сложность моделируемого мира одинакова как для количественных, так и для неколичественных моделей. Однако, в отличие от матрицы рисков и порядковых шкал, компоненты даже упрощенного количественного метода выдерживают научную проверку.

Кристофер «Кип» Бон, актуарий страхового брокера Aon, сталкивался с теми же возражениями и придерживается той же точки зрения относительно них, что и мы. У Бона большой опыт в проведении анализа рисков во многих областях, и при этом он является одним из растущего числа актуариев, занимающихся страхованием рисков кибербезопасности с использованием количественных инструментов анализа. Вот что он сказал в интервью:

Хорошо сказано, Кип. Сложность, нехватка данных, непредсказуемый человеческий фактор и быстро меняющиеся технологии часто используются как оправдания, чтобы избегать применения количественных методов. Ирония в том, что фактически принимается решение как-то справиться с этими проблемами с помощью профессионального чутья, не документируя ничего и не вычисляя. Если задача чрезвычайно сложна, то именно ее и не следует пытаться решать в уме. Аэродинамическое моделирование и мониторинг электростанций столь же сложны, но именно поэтому инженеры не проводят анализ в уме. В кибербезопасности придется иметь дело со множеством взаимодействующих систем, средств контроля и многочисленными видами убытков. У одних систем одни виды убытков, у других – другие, а вероятность наступления разных событий также различна. И все это надо будет свести в совокупный портфель, чтобы определить общий риск. Вычисления не очень сложные (тем более что нами предоставлены электронные таблицы практически для каждого разбираемого расчета), но все же не нужно производить их в уме.

Поэтому всякий раз, услышав подобное возражение, просто спрашивайте: «А как ваш нынешний метод (матрица рисков, порядковые шкалы, профессиональное чутье и т. д.) нивелирует этот недостаток?» Более мягкие методы создают видимость решения проблемы лишь благодаря тому, что не заставляют вас иметь с ней дело. Какой бы ни была степень вашей неуверенности – даже если она колеблется в диапазоне воздействия от 0 до 500 млн долл., как в примере выше, – вы все равно можете конкретно очертить эту неопределенность и соответствующим образом расставить приоритеты в средствах контроля безопасности.

Последнее возражение, которое мы упомянем в связи с заблуждением Exsupero Ursus, таково: существует множество примеров неудачного применения количественных методов, и, следовательно, лучше воздержаться от их использования. Смысл в том, что такие события, как финансовый кризис 2008 года, взрыв на буровой платформе Deepwater Horizon в 2010 году и последовавший за ним разлив нефти в Мексиканском заливе, катастрофа на японской атомной электростанции «Фукусима» в 2011 году и прочие инциденты, свидетельствуют о несостоятельности количественных методов. У этого возражения несколько слабых мест, и они разобраны Хаббардом в книге The Failure of Risk Management: Why It’s Broken and How to Fix It, здесь мы приведем лишь парочку из них.

Во-первых, во всех случаях предполагается, что применялись настоящие количественные методы, а не профессиональное чутье, которое каким-то образом позволило бы предотвратить катастрофу. Для подобных утверждений нет никаких оснований, более того, имеются доказательства обратного. Например, смесь жадности и желания получить премию порождали некую систему, что сначала создавала, а затем скрывала риски инвестиций. В некоторых случаях (вроде кризиса в компании AIG), по сути, именно отсутствие актуарно обоснованного анализа со стороны регулирующих органов и аудиторов позволило таким системам разрастись.

Во-вторых, в качестве аргумента приводятся лишь избранные истории. Сколько можно привести примеров неудач, связанных с методами, построенными исключительно на интуиции, или мягкими методами? Даже если бы все указанные случаи являлись справедливыми примерами фактического провала количественных методов (авторы признают, что таких немало), мы все равно вернулись бы к тому, как избежать основного обсуждаемого здесь заблуждения, а именно необходимости сопоставить частоту неудач количественных и неколичественных методов. Дело в том, что провалов, когда при принятии решений использовались неколичественные методы, тоже много. В самом деле, насколько эффективны суждения и профессиональное чутье были в условиях финансового кризиса, при проектировании АЭС «Фукусима» или управлении буровой платформой Deepwater Horizon?

В качестве примера можно привести масштабную утечку данных в розничной сети Target в 2013 году. Этот инцидент хорошо известен в сообществе кибербезопасности, но, возможно, методы, неудачно примененные компанией Target для оценки рисков, не столь известны. Хаббард и Сирсен взяли интервью у человека, работавшего в компании Target примерно за год до события. Согласно источнику, компания была максимально далека от применения количественных методов для решения проблемы киберрисков. Несмотря на попытки внедрения количественных методов, несколько человек упорно пользовались методом, основанным на вербальной оценке рисков с распределением по категориям «высокий, средний, низкий». Это были руководители, считавшие, что количественные методы слишком сложные и требуют слишком много времени. Они даже потрудились составить список причин, почему не стоит применять количественные методы. Среди известных нам пунктов списка были те самые возражения, что опровергаются выше (по нашей информации, после утечки данных в руководстве отдела кибербезопасности произошли значительные изменения).

В конце концов, компания признала утечку данных о кредитных картах 70 млн человек. Суммарные компромиссные выплаты компаниям Mastercard и Visa превысили 100 млн долл.¹⁴ Если бы мы считали такие истории достаточным основанием для сравнения методов, то, конечно, могли бы потратить время и найти еще примеры. Раз уж на то пошло, применяли ли компании Anthem, Sony, Home Depot, федеральное правительство США и прочие организации, подвергшиеся крупным кибератакам, вероятностные методы вместо шкал и матриц рисков? Вряд ли.

Отдельные примеры, безусловно, не могут служить подтверждением в споре, какой метод лучше. Единственный способ не впасть в заблуждение Exsupero Ursus – рассматривать большие совокупности, выбранные непредвзято, и систематически сравнивать неудачи обоих методов, как мы делали выше.

Даже если в одном методе есть ошибки, его следует предпочесть тому, в котором ошибок еще больше. Результаты описанных нами исследований (см. примечания к этой главе и главу 4) подтверждают эффективность количественных методов по сравнению с профессиональным чутьем и экспертами, использующими шкалы или матрицы рисков. С другой стороны, в единственном доступном исследовании матриц риска утверждается, что матрицы бесполезны и даже могут навредить.

Наконец, есть возражения, которые не являются заблуждениями Exsupero Ursus и не основаны на ошибочных представлениях о количественных методах вроде убежденности, что необходимы исключительно точные данные. Эти возражения сводятся к подчеркиванию достоинств неколичественных методов. Например, что они лучше, так как их легче объяснить, следовательно, с ними проще согласиться и принять их в работу. В ходе нашего опроса 31 % респондентов согласились с утверждением «порядковые шкалы, используемые в большинстве оценок информационного риска, лучше количественных методов, поскольку их легко понять и объяснить». Также большинство (64 %) согласились с тем, что «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий».

Однако, как видно из исследования Будеску, кажущаяся понятность и простота объяснения, возможно, вызваны лишь сокрытием важных данных за неоднозначной терминологией. Мы согласны, что «иллюзия коммуникации» Будеску может заставить одного человека думать, что он что-то объяснил, а другого, что он понял объяснение, и всех их – что в итоге они пришли к единому мнению. Авторам многократно приходилось в самых разных компаниях объяснять различные количественные методы руководителям высшего звена, в том числе в ситуациях, когда нам говорили, что руководители ничего не поймут. На самом же деле ситуации, когда люди не понимали, возникали гораздо реже, чем нас пытались убедить. Похоже, чаще одна группа предупреждает нас о том, что другая группа не поймет количественную информацию (редко кто признается, что сам ее не понимает).

Если аналитик в сфере кибербезопасности говорит, что кто-то другой не поймет информацию, вполне вероятно, что он просто сам не разобрался в вопросе. Нам то и дело пытаются внушить, что руководство не поймет «теоретические» методы (хотя каждый упомянутый здесь метод применялся для решения практических задач и обсуждался с высшим руководством). Поэтому у нас сложилось впечатление, что, называя вероятностные методы теоретическими, человек на самом деле хочет сказать: «Я этого не понимаю» А возможно, и: «Я чувствую угрозу». Надеемся, наш пример простой модели замены «один на один» из главы 3 сможет помочь решить эту проблему. Мы максимально упростили подход, но при этом применяли методы, демонстрирующие измеримое улучшение и приносящие действенные результаты.

Хотя большинство участников опроса полагали, что порядковые шкалы помогают прийти к консенсусу, на наш взгляд, если взаимодействие является иллюзией, как показано у Будеску, то и консенсус тоже иллюзия. Видимость консенсуса может быть убедительной, но, как уже говорилось в главе 1, важно, чтобы метод оценки риска действительно работал, а его эффективность была измеримой. Возможно, руководители компании Target полагали, что их методы «работают», ведь они считали, что сообщают о риске, а когда пришли к консенсусу, думали, что все стороны понимают, с чем соглашаются. Если сама оценка риска основана на неэффективных методах, то, вероятно, стоит предпочесть небольшие разногласия иллюзорному консенсусу.

Заключение

Следует рассматривать препятствия на пути использования более эффективных количественных методов как обычные недоразумения, основанные на распространенных заблуждениях. Подведем итоги.

• Применение популярных шкал и матриц ничего не дает. Они подвержены влиянию тех же факторов, которые считаются препятствиями для количественных методов (сложность кибербезопасности, участие людей, меняющиеся технологии и т. д.). Фактически они вносят неясность в коммуникацию и банально используют неверные вычисления. Лучше отказаться от их применения во всех формах анализа риска.

• Все, что можно смоделировать с помощью качественных шкал, также моделируется и с помощью количественных вероятностных методов, даже если задействовать лишь тот же источник данных, что и в большинстве качественных методов (т. е. эксперта в области кибербезопасности). Эти методы демонстрируют измеримое повышение эффективности на основе предыдущих исследований. Их эффективность также можно измерить после внедрения, поскольку здесь применимы стандартные статистические методы для сравнения оценки рисков с наблюдаемой реальностью.

• Количественные модели были многократно реализованы на практике. Отказ от них как от «теоретических» лишь показывает, что человек, использующий такое название, их боится.

Кибербезопасность стала слишком важной областью, чтобы оставить ее на откуп методам, которые, как читатель должен признать после наших веских аргументов, очевидно несостоятельны. Компании и правительства больше не могут позволить себе придерживаться заблуждений, мешающих внедрять работающие методы. Мы довольно много написали на эту тему и ценим ваше терпение, если вы дочитали все до конца. Нами приводилось множество источников в подтверждение каждого довода, но хочется закончить эту главу еще одним аргументом в поддержку количественных методов. Прочитайте, что пишет ниже Джек Джонс, лидер в области кибербезопасности, и закроем эту тему, вернувшись к разбору более эффективных методов.

Формирование положительного отношения к более эффективным методам

Почти все согласны, что применение количественных оценок и метрик – в целом хорошая практика, но тема количественной оценки риска в сфере защиты информации может стать причиной серьезных споров и даже ссор. Многие даже не верят, что это возможно или практически осуществимо. В таком случае зачем же пытаться количественно оценить риск? Почему бы не обойтись без раздоров и не продолжить просто считать уязвимости, уровни осведомленности и количество атак? Причина – в контексте. Другими словами, все эти и прочие элементы сферы информационной безопасности, которые могут быть выбраны для измерения, имеют значение лишь применительно к их влиянию на риск (т. е. частоту возникновения и величину убытков).

С особенно сильным неприятием количественной оценки риска можно столкнуться при взаимодействии со специалистами по информационной безопасности и аудиторами, чья карьера и репутация построены на определенном образе мышления и действий, тем более когда их подход широко применяется во всей отрасли, а его ограничения мало кому известны. Ситуация усугубляется, если сюда добавляются заблуждения относительно количественной оценки, и, что еще хуже, когда не утверждаются базовые понятия (например, такие термины, как «риск», не для всех означают одно и то же). Для успешного преодоления подобного неприятия необходимо сочетание тактик.

У повышения осведомленности в области количественной оценки рисков есть по крайней мере несколько аспектов, в том числе следующие.

• Выработка единого мнения в отношении содержания понятия «риск» (подсказка: угрозы и недостаток контроля не являются рисками). Без такой основы все остальное будет оставаться борьбой, и, скорее всего, безуспешной. Стоит помнить, что конечная цель информационной безопасности – способность контролировать частоту возникновения убытков и уровень их серьезности.

• Помощь в понимании того, что количественная оценка – это не так сложно, она не требует высшего математического образования. На самом деле при правильном подходе она интуитивно понятна, концептуально проста и прагматична. Но все же для количественной оценки нужно обладать критическим мышлением, и вот это уже может оказаться серьезной проблемой, поскольку многие люди нашей профессии годами не пытались мыслить критически, когда речь заходила об измерении рисков. В основном риск определяется на глазок. Я не пытаюсь умалить их ум или врожденную способность к критическому мышлению, но ставлю в укор методы, на которые в нашей профессии так сильно полагаются (например, те же контрольные списки и порядковое ранжирование рисков).

Одно из основных опасений многих людей состоит в том, что количественная оценка риска окажется слишком трудоемкой. Лучший способ опровергнуть данное заблуждение – начать с анализа небольших, легче воспринимаемых проблем. Вместо того чтобы пытаться измерить нечто аморфное вроде «риска вычислений в облачных средах», измеряйте строго определенные проблемы, такие как «риск, связанный с тем, что облачный сервис конкретного провайдера выйдет из строя из-за кибератаки». Подобные более четкие и однозначные задачи требуют меньше времени и намного легче поддаются анализу, а еще их удобно использовать для быстрой демонстрации практической ценности количественного анализа рисков.

Несколько таких небольших анализов способны также продемонстрировать, насколько оперативно входные данные можно задействовать в разных анализах, что может еще больше ускорить достижение результатов и повысить эффективность.

Во многих организациях независимо от их размера есть функции, где главную роль играет количественный анализ. В качестве примера можно привести некоторые из наиболее зрелых направлений, связанных с риском (скажем, кредитный риск в финансовых учреждениях), и бизнес-аналитику. Там, где подобные функции существуют, часто встречаются компетентные руководители, которые ценят количественные показатели и готовы отстаивать соответствующие методы. Такие люди могут стать важными союзниками в сложных ситуациях корпоративной политики.

Считается, что количественная оценка риска сродни переключателю: стоит организации начать количественно оценивать риски информационной безопасности, как она полностью перестает действовать на глазок. Это в корне неверно. Ни одна из организаций, с которыми мне доводилось работать, не могла даже приблизиться к количественному определению всех имевшихся проблем информационной безопасности. Для этого банально нет ни ресурсов, ни времени. Поэтому важно разработать процедуру выработки приоритетов, которая поможет определять, когда следует проводить количественную оценку риска.

В зависимости от своих ресурсов и потребностей организация может выбрать, с чего начать количественную оценку. Возможно, сперва она понадобится только для обоснования крупных расходов на информационную безопасность или для определения наиболее важных задач. Суть в том, что количественная оценка риска может быстро предоставить весьма ценные сведения и не будет тормозить работу, если применять ее вдумчиво, а не как попало.

Количественная оценка рисков информационной безопасности может привести к смене парадигмы в организации, и, как почти при любой смене парадигмы, придется в процессе преодолеть косность и неприязнь. Одним из ключей к успеху является понимание того, что самая сложная часть перехода – культурная, как в рамках организации, так и (по крайней мере пока) в сфере информационной безопасности в целом. И поскольку культура в значительной степени функционирует благодаря убеждениям, для достижения успеха необходимо сосредоточиться на их изменении.

1. Open Web Application Security Project, “OWASP Risk Rating Methodology,” last modified September 3, 2015, www.owasp.org/index.php/OWASP_Risk_Rating_Methodology.

2. IEC, “ISO 31010: 2009–11,” Risk Management – Risk Assessment Techniques (2009).

3. D. V. Budescu, S. Broomell, and H. Por, “Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change,” Psychological Science 20, no. 3 (2009): 299–308.

4. Richards J. Heuer, Jr., Psychology of Intelligence Analysis (Langley, VA: Center for the Study of Intelligence, Central Intelligence Agency, 1999).

5. Rebecca M. Blank and Patrick D. Gallagher, Guide for Conducting Risk Assessments, NIST Special Publication 800–30, Revision 1 (Gaithersburg, MD: National Institute of Standards and Technology, 2012), http://csrc.nist.gov/publications/nistpubs/800–30‐rev1/sp800_30_r1.pdf.

6. K. E. See, C. R. Fox, and Y. Rottenstreich, “Between Ignorance and Truth: Partition Dependence and Learning in Judgment under Uncertainty,” Journal of Experimental Psychology: Learning, Memory and Cognition 32 (2006): 1385–1402.

7. G. Moors, N. D. Kieruj, and J. K. Vermunt, “The Effect of Labeling and Numbering of Response Scales on the Likelihood of Response Bias,” Sociological Methodology 44, no. 1 (2014): 369–399.

8. J. Chan, “Response‐Order Effects in Likert‐Type Scales,” Educational and Psychological Measurement 51, no. 3 (1991): 531–540.

9. L. A. Cox Jr., “What’s Wrong with Risk Matrices?” Risk Analysis 28, no. 2 (2008): 497–512.

10. D. Hubbard and D. Evans, “Problems with Scoring Methods and Ordinal Scales in Risk Assessment,” IBM Journal of Research and Development 54, no. 3 (April 2010): 2.

11. P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66.

12. Edward R. Tufte and P. Graves-Morris, The Visual Display of Quantitative Information (Cheshire, CT: Graphics Press, 1983).

13. J. Kruger and D. Dunning, “Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self‐Assessments,” Journal of Personality and Social Psychology 77, no. 6 (1999): 1121–1134.

14. Ahiza Garcia, “Target Settles for $39 Million over Data Breach,” CNN Money, December 2, 2015.