Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Разбор по деталям

Вспомним аналитика в сфере кибербезопасности из главы 5, который оценивал убытки в диапазоне «от 0 до 500 млн долл.» и переживал, как начальство отреагирует на такие неинформативные данные. Если подобные экстремальные убытки действительно могли возникнуть, безусловно, было бы неправильно скрывать это от начальства. К счастью, есть альтернатива: просто разложите их по компонентам. При подобном риске проведение более тщательного анализа будет вполне оправданно.

Воздействие обычно изначально представлено в виде перечня неустановленных и неопределенных возможных исходов. Его уточнение зависит от понимания объекта измерения, как обсуждалось в главе 2. То есть надо понять, что именно измеряется через более конкретное определение объекта. Ниже будет рассмотрено, как разделить неоднозначную гору исходов хотя бы на несколько основных категорий воздействия.

В главе 3 описано создание простой количественной модели, в которой всего лишь воспроизводятся этапы построения привычной матрицы рисков, но с опорой на количественные методы. Это элементарный базовый вариант, который можно усовершенствовать с помощью разложения. В исследованиях, приведенных в главе 4, упоминалось, что разложение на составляющие особенно помогает при очень высокой степени неопределенности, а именно такая, как правило, и бывает в сфере кибербезопасности. Поэтому в данной главе мы разберем, как можно развить простую модель из главы 3, воспользовавшись преимуществами разложения на составляющие.

Разложение простой модели замены «один на один»

В каждой строке модели, показанной в главе 3 (см. табл. 3.2), было только два вида данных: вероятность возникновения события и диапазон убытков. И то и другое подходит для разложения. К примеру, в случае наступления события можно оценить вероятность для событий подобного типа (была ли это утечка конфиденциальных данных, отказ в обслуживании и т. д.). Эта информация позволит дополнительно уточнить вероятность. Воздействие также возможно разделить на несколько видов затрат: судебные издержки, расходы на расследование нарушений, время простоя и т. д. Каждую из этих затрат можно вычислить на основе других входных данных, простых и менее абстрактных, чем некий совокупный итог воздействия.

Теперь рассмотрим подробнее, как использовать дальнейшее разложение на составляющие для повышения значимости данных.

Простая стратегия разложения воздействия, знакомая многим специалистам по кибербезопасности, – это разложение на конфиденциальность, целостность и доступность. Как вам, вероятно, известно, под нарушением конфиденциальности подразумевается неправомерное раскрытие информации. Сюда можно отнести утечку миллионов записей или кражу корпоративных секретов и интеллектуальной собственности. Нарушение целостности означает изменение данных или поведения системы, которое может привести к несанкционированным финансовым операциям, повреждению оборудования, неверной логистике и т. д. Наконец, нарушение доступности трактуется как определенное отключение системы, приводящее к снижению производительности, продаж или другим затратам, связанным с вмешательством в бизнес-процессы. Мы не настаиваем на применении данного подхода всеми, но многие аналитики в области кибербезопасности находят такое разложение полезным при осмыслении проблемы.

Давайте еще упростим процесс по примеру одной компании, объединившей конфиденциальность и целостность. Считается, что убытки вследствие нарушения доступности встречаются чаще по сравнению с двумя другими категориями, а поэтому при ее оценке можно задействовать иную уже известную информацию о системе, например типы бизнес-процессов, которые поддерживает система, количество пользователей, влияние на производительность, возможное влияние на продажи в период недоступности системы и т. д. В табл. 6.1 показан вариант подобного небольшого разложения на примере электронной таблицы для модели замены «один на один» из главы 3. Для экономии места здесь отброшены столбцы справа с агрегированием данных. Полный вариант таблицы вместе с оригинальной моделью, описанной в главе 3, как обычно, можно найти на сайте www.howtomeasureanything.com/cybersecurity.

Обратите внимание, что начали мы с разложения события на составляющие, определив прежде всего его тип. Была задана вероятность, что событие связано только с конфиденциальностью и целостностью (КонфЦел), и вероятность, что оно касается только доступности (Дост). Вероятность того, что это могут быть оба типа, равна 1 – КонфЦел – Дост. Смоделировать определение типа события (поскольку уже установлено, что событие произошло, то не может быть результата, когда не указан ни один из типов) можно, например, применив в Excel следующую формулу:

Убытки от нарушения конфиденциальности или целостности будут добавлены при получении значения функции, равного 1 (произошло событие нарушения конфиденциальности и целостности) или 3 (произошло событие нарушения как конфиденциальности с целостностью, так и доступности). Та же логика применяется к нарушению доступности, которое возникает, если результат равен 2 или 3. Кроме того, можно было бы просто оценить вероятность наступления событий по отдельности, а не определять сначала наличие события, а затем его тип. Для этого существует намного больше способов, и поэтому для оценки следует выбирать вариант разложения, который кажется вам наиболее удобным и реалистичным.

Убытки, возникшие вследствие нарушения доступности, рассчитываются путем умножения продолжительности отключения системы в часах на стоимость одного часа простоя. Как и в более простой модели в главе 3, генерируются тысячи значений для каждой строки. В каждом произвольном тесте случайным образом определяется тип события и его стоимость. Весь список затрат, вызванных событиями, суммируется для каждого из тысяч тестов, а затем строится кривая вероятности превышения потерь, как показано в главе 3. Как и раньше, у каждой строки может быть предлагаемое средство контроля, способное снизить вероятность и, возможно, воздействие события (это снижение также может быть выбрано случайным образом из заданных диапазонов).

Если событием является атака на заданную систему, то обычно имеется хоть какая-то информация о том, как эта система используется в организации. Например, приблизительное представление о количестве пользователей системы, нарушится ли их деятельность полностью без системы, или они смогут обойтись без нее какое-то время, а также влияет ли система на продажи или другие операции. А многим организациям уже приходилось сталкиваться с выходом систем из строя, и этот опыт может лечь в основу их оценки возможной длительности отключения.

Теперь, когда у вас есть общее понимание принципа разложения на составляющие, давайте обсудим другие стратегии, которые можно использовать. А чтобы разложить модель, используя более широкий спектр распределений вероятности, изучите список распределений в приложении А. И конечно, с сайта www.howtomeasureanything.com/cybersecurity можно загрузить электронную таблицу, содержащую все указанные распределения вероятностей, которые созданы с помощью обычного инструментария MS Excel (т. е. без макросов VBA или надстроек).

Каждая строка в симуляции из табл. 6.1 обозначена просто как «событие», но на практике следует указывать событие более конкретно, и тут возможны различные подходы. Подумайте, что вы обычно вносите в матрицу рисков. Если бы нужно было включить в матрицу 20 элементов, указали бы вы 20 приложений или 20 категорий угроз? А может, указали бы структурные подразделения организации или типы пользователей?

Большинство специалистов, применяющих метод матрицы рисков, похоже, начинают с проблемно ориентированного разложения. То есть, внося элемент в матрицу рисков, они думают прежде всего о его прикладной роли. Вполне неплохое начало. Опять же мы не придерживаемся конкретной позиции относительно методов разложения на составляющие, пока не получим доказательств, что какие-то из них лучше или хуже. Однако для удобства и по привычке мы начали простую модель в главе 3 с прикладного подхода к проблеме разложения. Если вам удобнее, когда список рисков содержит отдельные источники угроз, уязвимости или что-то еще, то описанный здесь подход несложно будет перенести на предпочтительную модель.

Решив, что обозначают строки таблицы, следующим шагом следует определить, насколько подробное разложение вам нужно в каждой строке. При каждом разложении на составляющие стоит по возможности опираться на уже известные сведения, можно назвать их «наблюдаемыми величинами». В табл. 6.2 приведено еще несколько примеров.

Даже после моделирования какой-то части указанных компонентов диапазон все равно может остаться достаточно широким, но тем не менее появится возможность рассуждать об относительной вероятности различных исходов. Специалист по кибербезопасности, считавший, что диапазон убытков составит от нуля до 500 млн долл., просто не учел, что следует постараться сделать выводы из известных данных вместо зацикливания на неизвестных. Небольшое разложение на составляющие покажет, что не все значения в этом огромном диапазоне одинаково вероятны. И, скорее всего, можно будет пойти к совету директоров, имея больше информации о потенциальных убытках, чем равномерное распределение от 0 до 500 млн долл. или более.

И не забывайте: все это делается, чтобы оценить альтернативы. Нужно уметь разбираться в стратегиях снижения рисков. Даже если предположить, что диапазон настолько широк и все варианты в нем одинаково вероятны, это все равно еще не означает, что такой же диапазон будет у каждой системы в списке. И очень полезно знать, у каких систем он будет. Вам известно, что у одних систем больше пользователей, а у других – меньше, что одни системы обрабатывают личную медицинскую информацию или данные индустрии платежных карт, а другие – нет, что к некоторым системам имеют доступ поставщики и т. д. Вся эта информация полезна для расстановки приоритетов в действиях, даже если вы никогда полностью не избавитесь от неопределенности.

Приведенный список лишь подсказывает еще несколько элементов, на которые можно разложить модель. До сих пор мы акцентировали внимание в большей степени на разложении воздействия, чем вероятности, поскольку воздействие многим кажется более конкретным понятием. Но таким же образом раскладывается и вероятность. Этому будут посвящены главы 8 и 9. А далее в этой главе мы еще обсудим, как выполнить оценку одного из самых сложных типов убытков – урона репутации.

Дополнительные рекомендации по разложению на составляющие: понятность, наблюдаемость, полезность

Оценивая последствия конкретного нарушения кибербезопасности в конкретной системе, специалист, возможно, думает: «Хм, произойдет отключение системы на несколько минут, а то и на час или больше. В системе 300 пользователей, и отключение затронет большинство из них. Они обрабатывают заказы и помогают службе поддержки клиентов. Значит, воздействие не ограничится тем, что придется заплатить людям зарплату за время простоя. Реальным убытком станет потеря продаж. Насколько помню, в час выручка составляет от 50 000 до 200 000 долл., но она может меняться в зависимости от сезона. Часть клиентов, которых не смогут обслужить, может быть, перезвонят позже, но некоторых мы потеряем навсегда. Плюс будут определенные затраты на экстренное устранение последствий. Итак, я оцениваю с 90 %-ным ДИ, что убытки за один инцидент составят от 1000 до 2 млн долл.».

Все мы, вероятно, понимаем, что, припоминая данные и производя подсчеты в уме, безупречных результатов не добиться (а представьте, насколько все усложнится, если в подсчетах придется учитывать различные формы распределения вероятностей). Поэтому не стоит удивляться, что исследователи, упомянутые в главе 4 (Армстронг и Мак-грегор), выяснили, что лучше разложить проблему на составляющие и выполнять расчеты явным образом. Если вы ловите себя на том, что считаете в уме, – остановитесь, проведите разложение на составляющие и (прямо как в школе) продемонстрируйте математические вычисления.

Понятно, что стратегии разложения на составляющие будут сильно отличаться в зависимости от желаемого уровня детализации и имеющейся информации об организации у разных аналитиков. Тем не менее существуют принципы разложения, которые применимы в любой ситуации. Наша задача – определить, как дальше разложить проблему таким образом, чтобы независимо от отрасли или особенностей компании разложение на составляющие действительно повышало эффективность оценки риска.

Это важный вопрос, поскольку не все стратегии разложения одинаково хороши. И хотя существуют исследования, показывающие, что неопределенные величины можно более эффективно оценить с помощью разложения на составляющие, есть также исследования, выявляющие условия, при которых разложение не помогает. Необходимо научиться различать эти случаи. Если от разложения нет пользы, то лучше обойтись без него и провести оценку на более общем уровне. Как отмечается в одной из научных статей, разложение на составляющие, выполненное «в ущерб концептуальной простоте, может привести к выводам более низкого качества, чем непосредственные самостоятельные суждения»².

Хорошей основой для осмысления стратегий разложения на составляющие служит опубликованная в 1966 году работа Рона Ховарда, которому обычно приписывают введение термина «анализ решений»³. Для практического решения проблем, связанных с неопределенностью, Ховард и его последователи применяли несколько абстрактные области теории принятия решений и теории вероятностей. Они также выяснили, что многие трудности, сопутствующие принятию решений, в реальности не являются чисто математическими. Согласно их наблюдениям, люди, принимающие решения, часто даже не способны надлежащим образом определить, в чем заключается проблема. По мнению Ховарда, необходимо «преобразовать смятение в ясность мыслей и действий»⁴.

Ховард описывает три обязательных условия для проведения математических расчетов в анализе решений: решение и факторы, которые определяются для его обоснования, должны быть понятными, наблюдаемыми и полезными.

• Понятность. Все понимают, что вы имеете в виду. Вы сами понимаете, что имеете в виду.

• Наблюдаемость. Что вы увидите, когда явление возникнет? Вовсе не обязательно, что вы раньше с ним сталкивались, но как минимум его возможно наблюдать, и вы узнаете его, когда увидите.

• Полезность. Явление должно иметь значение для принятия каких-либо решений. Что бы вы сделали по-другому, если бы знали о нем заранее? Многие явления, которые стремятся измерить в области безопасности, оказываются никак не связанными с принимаемыми решениями.

Значение этих условий часто недооценивают, но если начать систематически учитывать их все при каждом разложении на составляющие, возможно, будут выбираться несколько иные стратегии. Например, вы собираетесь разложить свои риски на составляющие таким образом, что придется оценивать уровень мастерства злоумышленника. Это один из «факторов угрозы» в стандарте OWASP, и нам встречались самостоятельно разработанные версии такого подхода. Предположим, вы, согласившись с аргументами, приведенными в предыдущих главах, решили отказаться от порядковых шкал, рекомендуемых OWASP и другими, и теперь ищете способ количественно разложить на составляющие уровень мастерства злоумышленника. Попробуем применить условия Ховарда к этому фактору.

• Понятность. Можете ли вы объяснить, что подразумеваете под «уровнем мастерства»? Точно ли это однозначная единица измерения или хотя бы четко определенное дискретное состояние? Действительно ли как-то поможет фраза «мы определяем „средний“ уровень угрозы как работу специалиста, более квалифицированного, чем любитель, но менее квалифицированного, чем сотрудник хорошо финансируемой государственной организации»?

• Наблюдаемость. Как вообще это обнаружить? Какие у вас основания заявлять, что уровень мастерства исполнения одних угроз выше или ниже, чем других?

• Полезность. Даже если вы получите однозначное определение уровня мастерства и сумеете его каким-то образом увидеть, как эта информация должна повлиять на действия вашей компании?

Мы не утверждаем, что оценка уровня мастерства злоумышленника – плохой элемент стратегии разложения риска. Возможно, вы однозначно определите уровень мастерства, выявив типы применяемых методов. И можете отслеживать частоту таких атак, а также имеете доступ к информации об угрозах, где сообщается о случаях новых атак, с которыми вы еще не сталкивались. А проведение этой оценки заставит вас пересмотреть вероятность взлома конкретной системы, что, в свою очередь, позволит понять, какие средства контроля следует внедрить или даже каков будет общий бюджет на кибербезопасность. В таком случае все три условия будут выполнены. Но если это не так, а подобное, похоже, бывает очень часто, оценки уровня мастерства являются чистой спекуляцией и не привносят никакой ценности в процесс принятия решений.

Только что разобранный пример с уровнем мастерства злоумышленника как угрозы в зависимости от ситуации может служить хорошим или плохим примером разложения на составляющие. Если разложение соответствует критериям Ховарда и действительно снижает неопределенность, его можно назвать информативным. В ином случае разложение является неинформативным, и лучше придерживаться более простой модели.

Представьте, что перед вами стоит человек с ящиком в руках и просит вас оценить с 90 %-ным ДИ вес ящика только по виду. Размер ящика – примерно 60 см в длину и 30 см в высоту и ширину. Человек не похож на профессионального тяжелоатлета, поэтому ящик явно весит меньше, скажем, 160 кг. Вы также замечаете, что человек немного отклонился назад, чтобы сбалансировать свой вес, и переминается с ноги на ногу, как будто ему неудобно стоять. В итоге вы называете 90 %-ный ДИ от 9 до 45 кг. Диапазон кажется большим, поэтому вы решаете разложить задачу на составляющие, оценив количество предметов в ящике и вес каждого предмета. Или, возможно, в ящике лежат предметы нескольких категорий, поэтому вы оцениваете количество категорий предметов, число предметов каждой категории и вес каждого предмета в данной категории. Повысится ли качество оценки? В действительности оно вполне может понизиться. Вы разложили проблему на множество чисто теоретических вопросов, ответы на которые затем попробуете использовать для математических расчетов. Это пример неинформативного разложения.

Разница между ним и информативным разложением заключается в том, описывается ли проблема с помощью количественных величин, о которых вы более осведомлены, чем о самой исходной проблеме. Информативное разложение – это разложение, использующее конкретные знания эксперта по кибербезопасности о его сфере деятельности. Например, у эксперта могут быть подробные сведения о типах систем в организации и типах записей, хранящихся в них. Он может располагать информацией о внутренних бизнес-процессах, чтобы, скажем, оценить воздействие атак типа «отказ в обслуживании», или способен такую информацию получить. А также ему известно, какие виды средств контроля уже имеются. Разложение на составляющие рисков кибербезопасности с учетом подобных конкретных сведений, скорее всего, окажется целесообразным.

Однако предположим, что эксперт по кибербезопасности попытается построить модель, где требуется оценить численность и уровень мастерства спонсируемых государством кибервзломщиков или даже хакерской группировки Anonymous (о которой, как следует из названия, очень сложно узнать что-то определенное). Приведет ли результат действительно к снижению неопределенности по сравнению с изначальным ее уровнем?

Компоненты разложения должны выглядеть для эксперта менее абстрактными, чем общая их сумма. Если воздействие в долларах раскладывается на такие факторы, как уровень мастерства злоумышленника, значит, неопределенность относительно этих нововведенных факторов должна быть ниже, чем в отношении первоначальной прямой оценки денежных потерь.

Разложение может считаться информативным и в случае, когда в результате его проведения диапазон расширяется, но только при условии, что это ставит под сомнение предполагаемый изначальный диапазон. Например, пусть требуется оценить воздействие нарушения работоспособности системы, при котором в течение ограниченного времени будет недоступно приложение, задействованное в каком-либо ключевом процессе (скажем, принятии заказов). Допустим, изначально воздействие оценили в диапазоне от 150 000 до 7 млн долл., что показалось слишком неопределенным, и было решено разложить его дальше на длительность отключения системы и стоимость одного часа простоя. Предположим, что, согласно оценкам, отключение продлится от 15 минут до 4 часов, а стоимость одного часа простоя составляет от 200 000 до 5 млн долл. Укажем также, что речь идет о логнормальном распределении для каждого фактора (как отмечалось в главе 3, оно часто применяется в тех случаях, когда значение не может быть меньше нуля, но может оказаться очень большим). Снизится ли в итоге неопределенность? Удивительно, но нет, если под «снижением неопределенности» понималось сужение диапазона воздействия, поскольку при произведении этих двух логнормальных распределений получается более широкий 90 %-ный ДИ от 100 000 до 8 млн долл. Но, даже несмотря на это, новый диапазон может считаться полезным, так как, вероятно, будет точнее отражать возможное воздействие, чем первоначальный диапазон.

Здесь стоит добавить небольшое примечание: если вы решили, что диапазон произведений находится путем перемножения нижних пределов и перемножения верхних пределов, то нет, для получения двух независимых случайных величин расчеты проводятся иначе. А если сделать, как указано, то получится диапазон от 50 000 до 20 млн долл. (0,25 часа умножить на 200 000 долл. в час для нижнего предела и 4 часа умножить на 5 млн в час для верхнего предела). Такой вариант мог быть верным, только если бы две переменные идеально коррелировали друг с другом, а это очевидно не наш случай.

Итак, разложение на составляющие может пригодиться хотя бы просто в качестве проверки реалистичности начального диапазона. Оно также может потребоваться при выполнении симуляций со множеством отдельных событий, складывающихся в риск на уровне портфеля, как показано в табл. 6.1. Когда аналитики оценивают большое количество отдельных событий, не всегда понятно, каковы последствия этих отдельных оценок на уровне портфеля. В нашей практике однажды был случай, когда профильные специалисты оценили вероятности примерно сотни отдельных событий в диапазоне от 2 до 35 %. После чего выяснилось, что, согласно симуляции, в год происходит около дюжины значимых событий. Одному из менеджеров подобные риски показались нереалистичными, ведь ни одно из этих значимых событий не случалось ни разу за последние пять лет. Все бы встало на свои места, если бы эксперты предположили, что стоит ожидать резкого увеличения частоты событий (оценка проводилась более двух лет назад, и мы можем уверенно сказать, что роста не произошло). Но вместо этого оценщики решили иначе взглянуть на вероятности, чтобы они не так сильно расходились с наблюдаемой реальностью.

Суть разобранных примеров можно свести к двум фундаментальным правилам разложения на составляющие.

• Правило разложения № 1. Для разложения следует использовать факторы, которые лучше поддаются оценке, или данные, которые можно получить (т. е. не выделять величины еще более умозрительные, чем исходные).

• Правило разложения № 2. Результат разложения стоит сравнивать с прямой оценкой, выполняя симуляцию, как только что было показано в примере с отключением. Возможно, это приведет к отказу от разложения, если полученные результаты покажутся абсурдными, или же к решению скорректировать первоначальный диапазон.

На практике, чтобы применяемая стратегия разложения на составляющие оставалась информативной, нужно помнить еще несколько моментов. Разложение имеет определенные математические последствия, которые необходимо учитывать, чтобы определить, стал ли уровень неопределенности меньше, чем раньше.

• Если вы рассчитываете уменьшить неопределенность, перемножив две переменные, полученные при разложении, то эти переменные должны обладать не просто меньшей неопределенностью, чем начальный диапазон, а желательно намного меньшей. Как правило, соотношение верхнего и нижнего пределов переменных должно быть намного меньше трети соотношения между верхним и нижним пределами исходного диапазона. В примере из предыдущего раздела отношение пределов исходного диапазона было около 47 (7 млн долл. / 150 000 долл.), в то время как два других диапазона имели соотношения пределов 16 и 25 соответственно.

• Когда неопределенность в основном связана с какой-то одной из полученных при разложении переменных, отношение верхнего и нижнего пределов этой переменной должно быть меньше, чем у исходного диапазона. Например, пусть, по первоначальной оценке, стоимость отключения системы составляет от 1 до 5 млн долл. Если главным источником неопределенности для стоимости является продолжительность отключения, то соотношение верхнего и нижнего пределов ожидаемого времени простоя должно быть меньше соотношения верхнего и нижнего пределов первоначальной оценки (5 к 1). В ином случае от разложения не будет особого толка, и если есть основания доверять изначальному диапазону, то лучше использовать его. С другой стороны, это может означать и то, что изначальный диапазон был слишком узким, и тогда стоит присмотреться к результатам разложения.

• В некоторых случаях перемножаемые переменные связаны между собой таким образом, что от разложения не будет пользы, если только не задать модель этой взаимосвязи. Например, пусть нужно умножить A на B, чтобы получить C, при этом, когда значение A велико, значение B мало, а при большом значении B значение A маленькое. При оценке отдельных независимых диапазонов для A и B диапазон получившейся величины C может оказаться сильно завышенным. Так может произойти в случае с продолжительностью отключения системы и стоимостью часа простоя. А именно, чем важнее система, тем активнее будет вестись работа по ее возвращению в строй. Раскладывая событие на подобные составляющие, следует также моделировать их обратную зависимость. Или можно просто указать один общий диапазон воздействия, вместо того чтобы его раскладывать.

• Если у вас достаточно эмпирических данных для оценки распределения, то дальнейшее разложение на составляющие, вероятно, не принесет особой пользы.

Трудное разложение на составляющие: ущерб репутации

В ходе опроса, упомянутого в главе 5, некоторые специалисты по кибербезопасности (14 %) согласились с утверждением «невозможно рассчитать диапазон нематериальных последствий крупных рисков, таких как ущерб репутации». Несмотря на то что большинство не согласны с этим утверждением и на тему ведется немало дискуссий, нам редко доводилось наблюдать попытки смоделировать данный риск в сфере кибербезопасности. Обычно его приводят в качестве примера проблемы, которую очень сложно измерить. Поэтому мы хотим более подробно остановиться на этом конкретном виде убытков и показать, как с помощью эффективного разложения на составляющие можно решить даже такую, казалось бы, нематериальную проблему. В конце концов, считается, что репутация – это категория убытков, к которой специалисты в сфере кибербезопасности обращаются, когда хотят посеять как можно больше страха, неуверенности и сомнений. Ее потеря считается невосполнимой. Но повторим вопрос, заданный в главе 2 применительно к объекту измерения, а также ранее в этой главе применительно к критерию наблюдаемости Ховарда: «Что мы видим, когда сталкиваемся с потерей репутации?»

Многие сразу же скажут, что наблюдаемым количеством станет долгосрочная потеря продаж, а затем, возможно, добавят, что также упадут цены на акции. Конечно, эти два фактора взаимосвязаны. Если бы инвесторы (особенно институциональные, рассчитывающие влияние продаж на оценку рыночной стоимости) посчитали, что продажи сократятся, то цены на акции упали бы уже по этой одной причине. Таким образом, если бы наблюдались изменения в продажах или ценах на акции сразу после крупных событий, связанных с кибербезопасностью, это позволило бы выявить эффект ущерба репутации или по крайней мере эффекты, влияющие на принятие решений.

Логично предположить, что существует связь между крупной утечкой данных и потерей репутации, приводящей к изменениям объема продаж, цен на акции или обоих показателей. В статьях вроде «Target заявляет: взлом нанес ущерб продажам и имиджу. Совокупный ущерб еще не ясен» (Target Says Data Breach Hurt Sales, Image; Final Toll Isn’t Clear)⁵ выдвигаются предположения о наличии прямой связи между утечкой данных и репутацией. В сентябре 2014 года в журнале Forbes вышла статья аналитического агентства Trefis с Уолл-стрит, в которой отмечалось падение акций компании Target на 14 % в течение двух месяцев после взлома, и подразумевалось, что эти два события связаны⁶. В статье Trefis ссылается на Poneman Institute (ведущий исследовательский центр в сфере кибербезопасности, опирающийся в основном на данные опросов), согласно прогнозу которого ожидался 6 %-ный отток покупателей после крупной утечки данных. Исходя из этой информации, кажется очевидным, что крупная утечка данных ведет к значительному снижению продаж и рыночной стоимости акций.

И все же стоит относиться к таким заявлениям скептически. Несколько исследований, проводившихся до 2008 года, показали, что в день утечки наблюдалось незначительное изменение цены акций, но не было никакого долгосрочного эффекта^7,8,9. Правда, эти исследования можно счесть устаревшими, поскольку они были опубликованы задолго до крупных утечек данных, таких как в компаниях Target и Anthem. Но так как эти компании торгуются на бирже, мы подумали, что достаточно будет найти и сравнить данные о продажах до и после взлома.

Естественно, изменения могут быть вызваны многими факторами, и некоторая волатильность ожидалась бы даже в случае отсутствия взломов. Поэтому при рассмотрении такого рода событий следует учитывать, насколько велики изменения по сравнению с исторической волатильностью продаж и цен на акции. На рис. 6.1 показаны изменения (относительно времени взлома) квартальных продаж трех крупных компаний розничной торговли, в которых произошли утечки данных, получившие широкую огласку: Home Depot, JCPenney и Target. На рис. 6.3 показаны изменения цен на акции этих компаний и компании Anthem.

Рис. 6.1. Поквартальное изменение объема продаж компаний розничной торговли, пострадавших от крупных утечек данных, относительно квартала, в котором произошла утечка

Рис. 6.2. Ежедневные изменения цены на акции компаний, пострадавших от крупных утечек данных, относительно дня, когда произошла утечка

На рис. 6.1 и 6.2 не заметно значительных изменений после утечки данных по сравнению с волатильностью до утечки. Для лучшего понимания рассмотрим изменения относительно исторической волатильности.

Рис. 6.3. Изменение цен на акции трех компаний розничной торговли после крупной утечки данных в сравнении с исторической волатильностью

Рис. 6.4. Изменения в скорректированных с учетом сезонности квартальных продажах после утечки данных в сравнении с исторической волатильностью

На рис. 6.3 и 6.4 историческая волатильность продаж и цен на акции показана в течение трех лет до утечки данных в виде интервала с пятого по 95-й процентиль изменений. Маркерами отмечены изменения после утечки данных в сравнении с диапазоном исторической волатильности (вертикальные пунктирные линии). Изменения продаж и цен на акции после утечки данных показаны относительно их исторической волатильности.

Как видно, любая связь между крупной утечкой данных и продажами или ценой на акции в лучшем случае является слабой, даже при таких масштабных утечках, что произошли в Home Depot и Target. И хотя создается впечатление, что утечки данных могли привести к некоторому снижению в среднем, подобное снижение можно объяснить историческим «шумом» ежедневных или квартальных изменений. В марте 2015 года в журнале Forbes были опубликованы результаты еще одного анализа агентства Trefis, из которых следовало, что хотя у Home Depot не было фактических потерь в кварталах после утечки данных, но, по заявлению руководства, компания понесла из-за случившегося другие убытки, в том числе связанные с «юридической помощью, мошенничеством с платежными картами и расходами на перевыпуск карт»¹⁰.

Что же касается падения стоимости акций на 14 %, которое наблюдалось у компании Target в течение двух месяцев после утечки данных, то его тоже следует рассматривать в контексте. Так, ранее в том же году, когда произошла утечка, имело место схожее снижение цен акций Target на 14 % за двухмесячный период с августа по сентябрь. А к ноябрю 2014 года цена оказалась даже выше, чем непосредственно перед утечкой данных.

А как же опросы, показывающие, что потребители перестанут покупать товары в розничных магазинах, пострадавших от крупной утечки данных? Тут можно лишь сказать, что показатели продаж не соответствуют заявлениям респондентов. Это вполне согласуется с фактом, что, по-видимому, выражаемая в вопросе позиция относительно ценности частной жизни и безопасности не отражается на реальных поступках, как показано в одном австралийском исследовании¹¹. Trefis даже было добавлено примечание по поводу наблюдаемого снижения продаж у Target, указывающее, что «клиентопоток в данной отрасли продаж в целом снижается из-за постепенного перехода покупателей в онлайн, где присутствие компании Target ничтожно мало»¹². В Trefis также отметили следующее касательно компании Home Depot:

Таким образом, становится понятно, что существуют и другие факторы, влияющие на возникновение у компании розничной торговли трудностей с удержанием клиентов. Поэтому, вероятно, в ситуации реальной «потери репутации» также многое будет зависеть от того, куда клиенты компании могут обратиться, чтобы получить те же продукты и услуги. Но даже при наличии всех этих факторов, как было в случае с компанией Target, все равно трудно отделить их влияние от обычных колебаний рынка.

Наконец, если обратиться к прошлым сообщениям о суммах затрат, вызванных утечками данных, кое-что не сходится. Убытки от утечки данных в компании T.J. Maxx в 2007 году оценивались в более чем 1,7 млрд долл.¹⁴ Прошло достаточно времени, чтобы проявились даже отдаленные последствия. Но если какие-то убытки, приближенные к этой сумме, и были, то они, похоже, хорошо скрыты в финансовых отчетах компании. До утечки данных годовой доход от операций T.J. Maxx составлял около 700 млн долл., а в какой-то момент после утечки вырос до примерно 1,2 млрд долл. В годовых отчетах представлены весьма обобщенные данные, однако воздействие, даже вполовину менее серьезное, чем предсказывалось, должно было явственно отразиться хоть в одном году. Тем не менее подобного влияния не видно ни по прибыли, ни по расходам, ни по денежным средствам или новым займам. Безусловно, компания T.J. Maxx понесла убытки, но нет никаких доказательств, что их сумма была хоть сколько-нибудь приближена к 1,7 млрд долл.

Потерять бизнес в результате утечки данных возможно, но тот факт, что эффект такого воздействия трудно отделить от обычных ежедневных или поквартальных колебаний, помогает определить практический подход к моделированию данного типа убытков. Маршалл Кюперс, кандидат наук в области управления и инженерии из Стэнфорда, посвятил свое исследование изучению этих вопросов. Вот что рассказал Кюперс авторам данной книги:

Мы не утверждаем, что крупные утечки данных не приносят убытки. С ними связаны реальные затраты, но следует подумать, как моделировать их иначе, без туманных отсылок на репутацию. Фактические «репутационные» убытки можно более реалистично смоделировать как ряд вполне материальных затрат, называемых нами «проекты по искуплению», а также других внутренних и юридических обязательств. Проекты по искуплению – расходы компании, направленные на сокращение долгосрочных последствий потери репутации. Другими словами, компании, похоже, стараются контролировать ущерб, наносимый их репутации, а не принимают последствия как есть, что, возможно, приводило бы к гораздо большему урону. Подобные усилия, по-видимому, оказывают достаточный сдерживающий эффект на реальные репутационные потери, раз их влияние на продажи или цены на акции малозаметно. К таким сдерживающим мерам относятся:

• крупные новые инвестиции в системы и политику кибербезопасности для исправления потенциальных уязвимостей;

• замена значительной части руководителей высшего звена, отвечающих за кибербезопасность (они могут оказаться козлами отпущения, но такой шаг может быть необходим для репутации);

• активизация взаимодействия с общественностью с целью убедить клиентов и акционеров, что проблема решается (это помогает донести до аудитории, что усилия из предыдущих пунктов позволят решить проблему);

• маркетинговые и рекламные кампании (помимо распространения информации о том, как была решена проблема) для компенсации возможных потерь в бизнесе.

По всей видимости, именно эти действия по минимизации негативного воздействия на репутацию, а не сам ущерб репутации и требуют реальных затрат. Каждое из них представляет собой удобный конкретный показатель, для которого у нас есть множество примеров в прошлом. Безусловно, если, на ваш взгляд, ущерб репутации связан с иными затратами, то следует смоделировать их. Но что в действительности значит для бизнеса ущерб репутации, если невозможно обнаружить его влияние ни на продажи, ни на цены акций? Поэтому главное – убедитесь, что ваше предположение подкреплено эмпирической базой. В противном случае, возможно, будет проще придерживаться стратегии расходов на проекты по искуплению.

Итак, если потратить чуть больше времени и усилий на анализ, можно получить разумную оценку даже такого вроде бы «неосязаемого» явления, как потеря репутации.

Заключение

Разложение на составляющие может быть в определенной мере очень полезным, что было нами продемонстрировано на простом дополнительном разложении, которое можно использовать для развития примера из главы 3. Кроме того, загружаемая электронная таблица-образец и описание распределений в приложении А познакомят вас еще с некоторыми инструментами, полезными при разложении.

Мы также отметили, что разложения на составляющие бывают неинформативными. Необходимо строить разложение таким образом, чтобы в нем применялись известные фактические данные – какими бы ограниченными они ни были, – а не суждения о суждениях. Стоит проверять свои разложения на составляющие с помощью симуляций и сравнивать результаты с первоначальной оценкой до разложения. Это покажет, удалось ли в результате разложения на составляющие сузить диапазон оценки ущерба, или, наоборот, его придется расширить. В конце мы проработали особенно сложное для количественной оценки воздействие – потерю репутации – и показали, что даже в таких случаях есть конкретные наблюдаемые последствия, которые можно оценить.

Пока еще не затрагивалась тема разложения на составляющие вероятности событий, за исключением определения вероятности наступления двух типов событий (нарушение доступности в сравнении с нарушением конфиденциальности и целостности). Вероятность часто является бóльшим источником неопределенности для аналитика и беспокойства для руководства, чем воздействие. К счастью, ее тоже можно разложить на составляющие, данный вопрос будет рассмотрен позже в этой части.

Еще необходимо выяснить, откуда берутся первоначальные оценки диапазонов и вероятности. Как обсуждалось в предыдущих главах, экспертов, которые раньше присваивали произвольные баллы в матрицах рисков, можно научить присваивать субъективные вероятности, причем так, что это само по себе уже приведет к измеримым улучшениям оценки. Затем такую первоначально заданную неопределенность можно скорректировать с помощью очень полезных математических методов, даже если кажется, что данных мало. Мы рассмотрим эти темы в двух последующих главах: «Калиброванные оценки» и «Уменьшение неопределенности с помощью байесовских методов».

1. Ronald A. Howard and Ali E. Abbas, Foundations of Decision Analysis (New York: Prentice Hall, 2015), 62.

2. Michael Burns and Judea Pearl. “Causal and Diagnostic Inferences: A Comparison of Validity,” Organizational Behavior and Human Performance 28, no. 3 (1981): 379–394.

3. Ronald A. Howard, “Decision Analysis: Applied Decision Theory,” Proceedings of the Fourth International Conference on Operational Research (New York: Wiley-Interscience, 1966).

4. Ronald A. Howard and Ali E. Abbas, Foundations of Decision Analysis (New York: Prentice Hall, 2015), xix.

5. “Target Says Data Breach Hurt Sales, Image; Final Toll Isn’t Clear,” Dallas Morning News, March 14, 2014.

6. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” Forbes, March 30, 2015, www.forbes.com/sites/greatspeculations/2015/03/30/home-depot-will-the-impact-of-the-data-breach-besignificant/#1e882f7e69ab.

7. Karthik Kannan, Jackie Rees, and Sanjay Sridhar, “Market Reactions to Information Security Breach Announcements: An Empirical Analysis,” International Journal of Electronic Commerce 12, no. 1 (2007): 69–91.

8. Alessandro Acquisti, Allan Friedman, and Rahul Telang, “Is There a Cost to Privacy Breaches? An Event Study,” ICIS 2006 Proceedings (2006): 94.

9. Huseyin Cavusoglu, Birendra Mishra, and Srinivasan Raghunathan, “The Effect of Internet Security Breach Announcements on Market Value: Capital Market Reactions for Breached Firms and Internet Security Developers,” International Journal of Electronic Commerce 9, no. 1 (2004): 70–104.

10. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” March 27, 2015, www.trefis.com/stock/hd/articles/286689/home-depot-will-the-impact-of-the-data-breach-be-significant/2015-03-27.

11. Wallis Consulting Group, Community Attitudes to Privacy 2007, prepared for the Office of the Privacy Commissioner, Australia, August 2007, www.privacy.gov.au/materials/types/download/8820/6616.

12. Trefis Team, “Data Breach Repercussions and Falling Traffic to Subdue Target’s Results,” August 18, 2014, www.trefis.com/stock/tgt/articles/251553/aug-20data-breach-repercussions-and-falling-traffic-tosupdue-targets-results/2014-08-18.

13. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” March 27, 2015, www.trefis.com/stock/hd/articles/286689/home-depot-will-the-impact-of-the-data-breach-be-significant/2015-03-27.

14. Ryan Singel, “Data Breach Will Cost TJX 1.7B, Security Firm Estimates,” Wired, March 30, 2007, www.wired.com/2007/03/data_breach_wil/.

Описанный ранее метод требует субъективной оценки количественных вероятностей. Например, эксперту в области кибербезопасности надо оценить вероятность наступления события или размер убытков в случае его наступления. И здесь приходится столкнуться с определенным сопротивлением. Некоторые эксперты по кибербезопасности, которых, похоже, не смущает оценка вероятности как «средняя» или «2», часто недоумевают, как можно субъективно оценивать количественную вероятность события.

Безусловно, вопрос о достоверности субъективных вероятностей вполне правомерен. К счастью, как упоминалось в главе 5, уже проведено немало исследований на данную тему, и очевидны два вывода: 1) большинство людей плохо умеют распределять вероятности, но 2) их можно научить делать это очень хорошо.

Поэтому, да, достоверность субъективных оценок вероятности объективно измерима, и ее уже измеряли (как ни парадоксально). Отрицать это – значит отвергать научно подтвержденные факты. Эксперт в области кибербезопасности способен научиться выражать свою неуверенность с помощью субъективного и одновременно количественного показателя неопределенности. В этой главе вы познакомитесь с азами использования субъективных оценок вероятностей, а также способами измерения навыков такой оценки и улучшения их с практикой.

Данная глава во многом дублирует главу о калибровке из первой книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Если читатель уже знаком с обсуждением калиброванных оценок вероятности из той книги, эту главу можно пропустить или бегло просмотреть.

Введение в субъективную вероятность

В самом простом методе, описанном ранее, имеются два типа распределения вероятностей. Один применяется к дискретным событиям типа «или-или», например произойдет ли крупная утечка данных платежных карт клиентов компании розничной торговли. Другой применяется к диапазонам значений, скажем, какова будет величина убытков в секторе продаж в случае крупной утечки данных платежных карт клиентов. Суть двух типов распределения вероятностей кратко представлена в табл. 7.1.

В главе 3 оба метода применялись для выражения неопределенности относительно наступления события, касающегося кибербезопасности. К типу дискретного события относилось определение самого факта наступления события. Нами присваивалась вероятность (1 %, 15 % и т. д.), что событие произойдет в течение определенного периода времени. А его финансовое воздействие выражалось уже в виде диапазона.

Конечно, из этих двух форм распределений можно создать множество комбинаций. Могут быть дискретные события с более чем двумя исходами или сочетания дискретных и непрерывных распределений. Из нескольких бинарных распределений можно даже построить непрерывное распределение. На практике, однако, такое разграничение полезно.

Выразить неопределенность относительно непрерывных величин можно через представление их в виде диапазона вероятных значений. Как отмечалось в главе 3, диапазон, с определенной вероятностью содержащий правильный ответ, называется в статистике доверительным интервалом[7]. 90 %-ный ДИ – диапазон, который с вероятностью 90 % может содержать правильный ответ (существует некоторая полемика по поводу использования термина и субъективных вероятностей в целом, о чем мы поговорим далее в этой главе). Напомним, что в главе 3 нам нужен был диапазон для обозначения неопределенности убытков в результате взлома или других нарушений кибербезопасности. Эти значения можно рассчитать с помощью всевозможных сложных методов статистического анализа или же задать, основываясь лишь на собственном опыте. В любом случае значения отражают вашу неуверенность в отношении данной величины.

Кроме того, вероятности позволяют описать неопределенность в отношении конкретного будущего события, например будет ли украдена информация о платежных картах клиентов, персональные медицинские или иные данные в результате взлома какой-либо системы. Скажем, можно предположить, что в ближайшие 12 месяцев существует 2 %-ная вероятность утечки данных, достаточно крупной, чтобы потребовалось публичное объявление (обратите внимание, что при определении вероятностей будущих событий всегда следует указывать период времени, иначе вероятность теряет смысл).

А если событие не произойдет, как узнать, была ли вероятность «верной»? Очевидно, что при вероятности намного меньше 50 % вряд ли кто-то всерьез ожидает наступления события. Однако единичное событие в любом случае не определяет, была ли заявленная вероятность верной или нет, а поэтому имеет смысл рассматривать ряд точек данных. Мы можем спросить: «Из большого числа событий, которым присвоили 5 %-ную вероятность наступления в течение года, действительно произошли около 5 %?» Аналогичным образом, если мы считали, что вероятность события составляет 20 или 1 % в тот же период времени, происходили ли события в 20 или 1 % случаев соответственно?

К сожалению, как вы можете помнить из главы 4, обширные исследования показали, что очень немногие люди от природы являются калиброванными оценщиками. В психологии принятия решений калиброванные оценки вероятности изучались с 1970-х и 1980-х годов вплоть до самого недавнего времени. Как уже отмечалось, ведущими исследователями в этой области стали Даниэль Канеман и его коллега Амос Тверски². Психология принятия решений изучает, как люди на самом деле принимают решения, какими бы иррациональными они ни были. Этим она отличается от многих методов науки управления или количественного анализа, которым обучают в бизнес-школах и которые направлены на выработку «оптимальных» решений для конкретных, четко определенных проблем. Согласно исследованию Канемана и Тверски, почти все подвержены либо «чрезмерной уверенности», либо «недостаточной уверенности» в своих оценках. Хотя подавляющее большинство людей все же склонны к чрезмерной уверенности (см. вставку «Две крайности субъективной уверенности»). Определение шансов наступления неопределенных событий или диапазонов для неопределенных величин – навык, который не возникает автоматически на основе опыта и интуиции.

К счастью, работы других исследователей показывают, что можно добиться более точных оценок, если научиться справляться с собственной необъективностью в оценке³. Выявлено, что составители прогнозов и букмекеры в целом точнее оценивали шансы наступления событий, чем, скажем, руководители. Кроме того, сделано несколько тревожных открытий о том, насколько неточны врачи в прогнозировании неизвестных вещей, например вероятности того, что опухоль окажется злокачественной или что боль в груди – сердечный приступ. Было выдвинуто предположение, что раз существует такая разница между различными профессиями, значит, оценивать шансы наступления неопределенных событий можно научиться.

Исследователи определили способ, как экспертам выяснить, проявляют ли они систематически недостаточную уверенность, чрезмерную уверенность или другие предубеждения в своих оценках. Проведя такую самооценку, они смогут освоить несколько техник улучшения оценок и измерения этих улучшений. Иными словами, исследователи выяснили, что оценка неопределенности является общим навыком, которому можно научиться и который можно измеримо совершенствовать. То есть, когда калиброванные эксперты в области кибербезопасности заявляют о своей уверенности на 95 % в том, что система не будет взломана, то действительно существует вероятность 95 %, что система не будет взломана.

Как упоминалось выше, существуют разные точки зрения на понятие вероятности, среди сторонников каждой из них немало известных имен в математике, статистике и естественных науках. Мы не будем вдаваться в подробности данной полемики, но если заинтересуетесь, смотрите книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», особенно третье издание. Доводы, приводимые в ней Хаббардом, просто повторяют аргументы, которые уже озвучивали великие ученые и математики, такие как Л. Дж. Сэвидж, Э. Т. Джейнс и Г. Джеффрис. Суть их сводится к тому, что субъективистский взгляд на вероятность – фактически единственно применимый для принятия решений на практике. Для удобства основное содержание споров изложено в разделе «Исключительно философская интерлюдия» данной главы.

Упражнение в калибровке

С помощью небольшого опросника давайте проверим, насколько хорошо вы умеете количественно оценивать неопределенность. В табл. 7.2 приведены десять вопросов с 90 %-ным ДИ и десять бинарных вопросов (т. е. с ответами «верно/неверно»). Если вы не побеждали в викторине «Своя игра», то вряд ли сможете уверенно ответить на все вопросы из области общих знаний (хотя некоторые из них очень просты). Тем не менее о них всех у вас, скорее всего, имеется какое-то приблизительное представление. Похожее упражнение Хаббард выполняет со слушателями на мастер-классах и семинарах. Разница лишь в том, что тесты, проводимые им, содержат больше вопросов каждого типа, а после теста разбираются некоторые из работ и даются соответствующие пояснения. Подобное обучение калибровке обычно занимает полдня.

Но даже при такой небольшой выборке можно выявить значимые аспекты ваших навыков. Что еще важнее, упражнение поможет осознать, что ваше нынешнее состояние неопределенности само по себе поддается количественной оценке.

В табл. 7.2 представлено по 10 вопросов каждого из двух типов.

1. С 90 %-ным доверительным интервалом. Для каждого вопроса укажите верхний и нижний пределы. Помните, что диапазон должен быть достаточно широким, чтобы вы считали вероятность того, что ответ будет в него попадать, равной 90 %.

2. Бинарные. Ответьте, является ли каждое из утверждений верным или неверным, затем обведите вероятность, отражающую степень вашей уверенности в ответе. Если вы абсолютно уверены в своем ответе, следует указать, что ваши шансы на верный ответ составляют 100 %. Если вы понятия не имеете, верно ли утверждение, то шанс должен быть как при подбрасывании монетки (50 %). В остальных случаях выбирайте одно из значений между 50 и 100 %.

Конечно, можно просто найти ответы на все вопросы, но стоит помнить, что упражнение прежде всего направлено на понимание того, насколько хорошо вы умеете оценивать проблемы, ответы на которые нельзя нигде подсмотреть (например, как долго продлится отключение системы в следующем году, или произойдет ли утечка данных в одной из систем предприятия).

Важная подсказка: вопросы различаются по сложности. Некоторые покажутся простыми, а другие – слишком сложными. Но независимо от того, насколько сложным кажется вопрос, вы все равно что-нибудь да знаете по этой теме. Сосредоточьтесь на том, что знаете. В вопросах с диапазоном это могут быть определенные границы, за пределами которых ответ покажется абсурдным (например, вам, вероятно, известно, что Ньютон не жил ни в Древней Греции, ни в ХХ веке). Аналогично и с бинарными вопросами: даже если не уверены, у вас по крайней мере есть предположение, какой ответ более вероятен.

После завершения теста, но перед тем, как посмотреть ответы, попробуйте провести небольшой эксперимент, чтобы проверить, действительно ли указанные диапазоны отражают ваш 90 %-ный ДИ. Возьмем один из вопросов с ДИ, скажем, про публикацию Ньютоном закона всемирного тяготения. Предположим, вам предложили шанс выиграть 1000 долл. одним из двух способов.

A. Вы выиграете, если год публикации книги Ньютона окажется между датами, которые вы указали в качестве верхнего и нижнего пределов. Если нет, вы ничего не получаете.

Б. Вы вращаете барабан (рис. 7.1), разделенный на два неравных сектора, один из которых занимает 90 % поверхности, а другой – только 10 %. Если при остановке барабана стрелка окажется в большом секторе, вы выигрываете, если в маленьком – ничего не получаете (т. е. вероятность того, что вы выиграете 1000 долл., составляет 90 %).

Что предпочтете? На барабане уже определена вероятность 90 %, что вы выиграете 1000 долл., и 10 %, что ничего не выиграете. Если вы такие же, как большинство (около 80 %) людей, то предпочтете крутить барабан. Почему так? Единственное объяснение – вы считаете, что с барабаном больше шансов на выигрыш. Из чего придется сделать вывод, что 90 %-ный ДИ, указанный вами, на самом деле таковым не является. Возможно, это ваш 50 %-ный, 65 %-ный или 80 %-ный ДИ, но никак не равный 90 %. Таким образом, ваша первоначальная оценка, вероятно, была слишком самоуверенной. Стремясь показать, что вы более уверены, чем есть на самом деле, вы как раз и демонстрируете свою неуверенность.

Рис. 7.1. Вращайте и выигрывайте!

Столь же нежелательный исход – выбор варианта А, где вы выигрываете 1000 долл., если правильный ответ окажется в пределах названного вами диапазона. В этом случае вы явно уверены более чем на 90 %, что ваш диапазон содержит ответ, хотя и указываете, что уверены всего лишь на 90 %. Другими словами, такой выбор обычно характерен для недостаточно уверенного человека.

Единственный приемлемый ответ – задать диапазон так, чтобы для вас не было разницы между вариантами А и Б. Это означает, вы должны считать, что с шансом 90 % – не больше и не меньше – ответ находится в пределах вашего диапазона. Для человека с чрезмерной уверенностью (т. е. для большинства из нас) равнозначность вариантов А и Б достигается за счет увеличения ширины диапазона. А при недостаточной уверенности изначальный диапазон, наоборот, следует сужать.

Разумеется, такая же проверка применима и к бинарным вопросам. Скажем, вы на 80 % уверены в ответе на вопрос о месте рождения Наполеона. Опять же, можно выбрать между ставкой на правильность своего ответа или вращением барабана, только в этом случае выигрышный сектор барабана занимает 80 % поверхности. Если предпочтете крутить барабан, скорее всего, ваша уверенность в ответе меньше 80 %. Теперь предположим, что размер сектора на барабане изменен до 70 %. Если после этого вы решите, что шансы при вращении барабана такие же (не больше и не меньше), как и у вашего ответа, значит, можно говорить о том, что на самом деле вы уверены в правильности своего ответа на 70 %.

На занятиях по калибровке Хаббард называет это «тестом равноценной ставки» (иногда в примерах из литературы по психологии принятия решений его называют «равноценной урной», в этом случае ответы извлекаются из урны наугад). Как следует из названия, тест проверяет, действительно ли вы на 90 % уверены в диапазоне, сравнивая его со ставкой, которую вы должны посчитать равноценной. Согласно исследованиям, если притвориться, что на кону стоят деньги, то способность человека оценивать шансы значительно улучшается⁴. На самом деле настоящие ставки на деньги оказываются лишь немногим эффективнее, чем подобные притворные ставки.

Такие методы, как тест равноценной ставки, помогают экспертам давать более реалистичную оценку неопределенности. Людей, хорошо умеющих оценивать неопределенность (т. е. они правы в 80 % случаев, когда говорят, что уверены на 80 %, и т. д.), называют «калиброванными». Существует еще несколько простых способов совершенствования калибровки, но сначала посмотрим, как вы справились с тестом. Ответы приведены в конце главы после примечаний.

Чтобы узнать, насколько хорошо вы откалиброваны, нужно сравнить ожидаемые результаты с фактическими. Поскольку в вопросах с диапазоном требовался 90 %-ный ДИ, то, по сути, вы ожидали, что 9 из 10 правильных ответов окажутся в пределах указанных вами диапазонов. Остается только сравнить количество ответов, попавших в заявленные диапазоны, с ожидаемым количеством – 9. Если ожидания совпадут с результатами, возможно, вы хорошо откалиброваны. Выборка очень маленькая, и по ней, конечно, нельзя с полной уверенностью судить об одном человеке. Но поскольку подобные тесты прошли более 1000 человек, можно проследить закономерность даже при таком небольшом количестве вопросов.

На рис. 7.2 показаны фактическое и ожидаемое распределения ответов, попавших в заявленный ДИ в тесте из 10 вопросов (данные на рисунке на самом деле отражают результаты нескольких вариаций тестов из 10 вопросов, и результаты аналогичны для всех версий). Если бы все респонденты являлись идеально калиброванными, можно было бы ожидать, что у большинства из них (75 %) 8, 9 или 10 из 10 ответов окажутся в пределах заявленных 90 %-ных доверительных интервалов. Именно такое распределение мы бы ожидали получить, если бы бросили 10-гранный кубик 10 раз, подсчитали количество раз, когда результат был равен 9 или меньше, и повторили процесс тысячу раз. Вместо этого мы видим, что большинство людей предоставляют диапазоны, которые больше похожи на 40 %-ный или 60 %-ный ДИ, а не 90 %-ный. Те, кто случайно получил восемь или более ответов в пределах указанных диапазонов, математически согласуются с категорией некалиброванного, но удачливого «верхнего хвоста» некалиброванной популяции. То есть это не группа уже откалиброванных на момент первого теста людей.

Рис. 7.2. Распределение ответов в пределах 90 %-ных ДИ для калибровочного теста из 10 вопросов

Ожидаемый результат ответов на вопросы типа «верно/неверно» не является конкретным числом, так как степень вашей уверенности может быть разной для каждого ответа – от 50 до 100 %. Если для всех 10 вопросов вы указали 100 %, значит, ожидаете, что все 10 ответов будут верными. Если же вы были уверены в правильности каждого ответа только на 50 % (т. е. считали, что ваши шансы не лучше, чем при подбрасывании монетки), значит, ожидали, что примерно половина из них будет правильной. Чтобы вычислить ожидаемый результат, преобразуйте все обведенные процентные значения в десятичные дроби (т. е. 0,5; 0,6; 0,7; 0,8; 0,9; 1) и сложите их. Допустим, ваша уверенность в ответах была 1; 0,5; 0,9; 0,6; 0,7; 0,8; 0,8; 1; 0,9 и 0,7. Итого 7,9. Значит, «ожидаемое» число правильных ответов равнялось 7,9.

Если вы такие же, как большинство людей, то количество правильных ответов окажется меньше, чем ожидалось. Этого количества вопросов, опять же, недостаточно для измерения вашего умения оценивать неопределенность, но большинство людей настолько самоуверенны, что даже такое небольшое число вопросов может быть весьма показательным.

Одним из способов оценки результативности при прохождении подобного теста является определение вероятности, что действительно откалиброванный человек (т. е. тот, у которого каждый 90 %-ный ДИ с шансом 90 % содержит нужное значение) получит такой же результат, как у вас. Расчеты показывают, что существует лишь 1 шанс из 612, что калиброванному человеку сильно не повезет и только 5 из 10 (или еще меньше) 90 %-ных ДИ будут содержать правильные ответы. Образец электронной таблицы с расчетами и примеры более объемных тестов можно найти на сайте www.howtomeasureanything.com/cybersecurity. Но поскольку более половины респондентов, проходящих тесты, показывают настолько плохие результаты (56 %), можно смело делать вывод, что это систематическая чрезмерная уверенность, а не случайное невезение в сочетании с небольшим размером выборки. И дело не в том, что вопросы были слишком сложными, ведь результаты отражают выводы, сделанные на основе множества тестов с самыми разными вопросами за последние несколько лет. Даже при такой маленькой выборке, если в пределах вашего диапазона оказываются менее семи ответов, то вы, скорее всего, самоуверенны, а если в диапазон попадает менее пяти ответов, вы очень самоуверенны.

С тестами «верно/неверно» респонденты справляются немного лучше, но в среднем они все равно склонны к чрезмерной уверенности, настолько, что это выявляется, как правило, даже с помощью теста всего из 10 вопросов. Обычно люди ожидают правильно ответить на 74 % вопросов типа «верно/неверно», но на самом деле отвечают правильно только на 62 %. Почти треть участников предполагали, что из 10 вопросов в тестах данного типа дадут от 80 до 100 % верных ответов; но ответили правильно только на 64 % вопросов. Отчасти результаты в тесте «верно/неверно» лучше потому, что статистически он менее точен: больше шансов, что калиброванному человеку не повезет, а некалиброванный покажет результат как у калиброванного на такой небольшой выборке вопросов. Но все же, если фактическое число правильных ответов оказалось по меньшей мере на 2,5 ниже ожидаемого, скорее всего, вы слишком самоуверенны.

Дальнейшее совершенствование калибровки

Согласно научным исследованиям, на калибровку значительное влияние оказывает обучение. Выше уже упоминался тест равноценной ставки, создающий видимость связи личных последствий с результатами. Исследования доказывают, что еще одним ключевым методом калибровки способности оценивать неопределенности является повторение с обратной связью. В этом случае участникам задается несколько вопросов общей тематики вроде тех, которые были в только что пройденном вами тесте. Участники отвечают, затем им показывают правильные ответы и повторяют тест.

Однако отдельно взятый метод, похоже, не в силах полностью избавить большинство людей от природной самоуверенности. В попытке это исправить мы объединили несколько методов и выяснили, что большую часть людей можно почти идеально откалибровать.

В другом методе участникам предлагается назвать аргументы против каждой из своих оценок. Например, ваша оценка потерь из-за юридических обязательств может быть основана на другом подобном примере, произошедшем в вашей компании. Но, вспомнив, насколько разными были заявленные убытки в других компаниях, а может, и некоторые удивительные решения судов, возможно, вы пересмотрите первоначальный диапазон. Научные исследования выявили, что этот метод сам по себе значительно улучшает калибровку⁵.

Еще Хаббард просил экспертов, предоставляющих оценки в виде диапазона, рассматривать каждую границу диапазона как отдельный «бинарный» вопрос. Девяностопроцентный ДИ означает наличие вероятности 5 %, что истинное значение может быть выше верхнего предела, и вероятности 5 %, что оно окажется ниже нижнего предела. Значит, специалисты по оценке должны быть на 95 % уверены, что правильное значение меньше верхнего предела. Если такой уверенности нет, следует увеличивать верхний предел, пока они ее не достигнут. Аналогичный тест применяется к нижнему пределу. Выполнение этого теста, похоже, позволяет избежать якорного эффекта, упомянутого в главе 4. Напомним, что якорный эффект является своего рода зацикленностью: если у нас в голове засело какое-то число, то все остальные оценки, как правило, будут тяготеть к нему. Некоторые специалисты по оценке, составляя диапазоны, задумывают одно число, а затем складывают или вычитают «ошибку» для создания диапазона. Такой подход может казаться разумным, но на самом деле чаще приводит к тому, что у экспертов получаются «чрезмерно уверенные» диапазоны (т. е. слишком узкие). Рассмотрение же каждого предела в отдельности как самостоятельного бинарного вопроса «Вы на 95 % уверены, что предел больше/меньше этой суммы?» избавляет от склонности к якорному эффекту.

Кроме того, можно сделать так, чтобы естественная склонность к якорному эффекту работала наоборот. Вместо того чтобы начинать с точечной оценки и затем превращать ее в диапазон, начните с абсурдно широкого диапазона, а затем постепенно исключайте значения, которые считаете крайне маловероятными. Если вы понятия не имеете, насколько велики могут быть убытки от утечки данных об интеллектуальной собственности (ИС), начните с диапазона от 100 до 10 млрд долл. Затем вы поймете, что при краже ИС как минимум будут предприняты усилия по оценке убытков, и повысите нижний предел. Потом признаете, что стоимость ИС не может превышать все доходы от данного продукта, а новые технологии уменьшают срок жизни ИС, и, возможно, понизите верхний предел. И, продолжая в том же духе, вы сможете сузить диапазон, убрав все абсурдные значения.

Иногда мы называем это «тестом на абсурдность». В нем вопрос «Как я думаю, каким может быть это значение?» перефразируется на «О каких значениях я точно знаю, что они нелепы?» Ищутся и затем исключаются явно абсурдные ответы, пока не останутся варианты, которые все еще маловероятны, но уже не совсем неправдоподобны, что и будет пределом наших знаний о данной величине.

После нескольких калибровочных тестов и практики с остальными методами специалисты по оценке учатся корректировать свое «чутье вероятности». Большинство становится почти идеально калиброванными всего лишь за половину дня обучения. Главное здесь, что испытуемые хоть и тренируются на вопросах общих знаний, навык калибровки переносится на любую область оценки.

На сайте www.howtomeasureanything.com/cybersecurity представлены дополнительные калибровочные тесты каждого типа (с диапазоном и бинарные). Работая с ними, попробуйте для улучшения калибровки применить разобранные методы, которые кратко изложены в табл. 7.3.

Концептуальные помехи калибровке

Упомянутые выше методы не помогут, если понятия человека о калибровке или вероятностях в целом иррациональны. И хотя большинство людей, занимающих должности, связанные с принятием решений, придерживаются конструктивных взглядов на вероятности или способны их усвоить, некоторые демонстрируют удивительные заблуждения по данному вопросу. Нами было рассмотрено несколько общих концептуальных препятствий в главе 5, давайте теперь уделим чуть больше внимания заблуждениям, связанным с использованием субъективных вероятностей. Вот несколько комментариев, полученных Хаббардом во время обучения группы людей калибровке, а также в процессе получения калиброванных оценок после обучения.

• Не может быть, что моя уверенность в 90 % верна на 90 % потому, что субъективная 90 %-ная уверенность никогда не будет иметь таких же шансов, как и объективные 90 %.

• Вот мой 90 %-ный доверительный интервал, но я понятия не имею, правильный ли он.

• Это невозможно оценить. У нас же никакой информации.

• Не зная точного ответа, невозможно узнать шансы.

Первая фраза принадлежит инженеру-химику, и в ней отражена проблема, с которой он изначально столкнулся при калибровке. До тех пор пока человек будет считать, что субъективная вероятность уступает объективной, освоить калибровку у него не выйдет. Однако после нескольких упражнений по калибровке наш инженер-химик обнаружил, что может субъективно задавать вероятности, которые оказывались верными так часто, как и предполагалось. Иначе говоря, его 90 %-ные доверительные интервалы содержали правильные ответы в 90 % случаев.

Остальные замечания очень похожи. Все они частично основаны на идее, что, если не знаешь точные величины, значит, не знаешь ничего полезного. И в очередной раз обратите внимание, что ни одна из проблем, озвученных в этих возражениях, не исчезнет, если заменить субъективные, но четко определенные вероятности и диапазоны двусмысленными фразами о «высокой» или «средней» вероятности или убытках. Какими бы ни были трудности, связанные с использованием калиброванных оценок вероятности, с ними нельзя справиться, скрыв проблему за словесными формулировками, лишь усугубляющими неточность.

Даже калиброванным экспертам на начальном этапе потребуются определенные усилия для преодоления подобных заблуждений. В основе следующего примера лежит беседа специалиста компании Hubbard Decision Research с сотрудниками службы информационной безопасности министерства по делам ветеранов США (о нем упоминалось в главе 2) еще в 2000 году. Эксперт от министерства первоначально вообще не обозначил диапазон, настаивая, что его невозможно оценить. Начав с того, что он «ничего не знает» о переменной, эксперт постепенно признал, что весьма уверен в некоторых границах.

Аналитик: Если ваши системы выходят из строя из-за компьютерного вируса, как долго длится отключение? Как всегда, мне нужен лишь девяностопроцентный доверительный интервал.

Эксперт по безопасности: Трудно точно сказать. Иногда система выходит из строя на короткий срок, а иногда на длительный. Детально это не отслеживается, так как приоритетом всегда является восстановление системы, а не документирование события.

Аналитик: Естественно, вы не можете сказать точно. Вот почему мы указываем только диапазон, а не конкретное число. Вот каким было самое долгое отключение на вашем опыте?

Эксперт по безопасности: Не знаю, по-разному бывало…

Аналитик: Отключение когда-нибудь длилось более двух рабочих дней?

Эксперт по безопасности: Нет, такого никогда не было.

Аналитик: А больше одного дня?

Эксперт по безопасности: Не помню… возможно.

Аналитик: Мы ищем ваш девяностопроцентный доверительный интервал для периода отключения в будущем. Если взять все отключения, вызванные вирусом, они обычно длились больше суток?

Эксперт по безопасности: Понимаю, к чему вы клоните. Пожалуй, в среднем они длились меньше одного дня.

Аналитик: Значит, верхний предел для события будет?..

Эксперт по безопасности: Что ж, думаю, что почти все системные сбои будут исправлены в течение двадцати четырех часов.

Аналитик: Отлично. Теперь давайте рассмотрим нижний предел. Насколько мал он может быть?

Эксперт по безопасности: С некоторыми инцидентами удается справиться за пару часов. Другие требуют больше времени.

Аналитик: Понятно, а систему когда-нибудь возвращали к работе меньше, чем за час?

Эксперт по безопасности: Полагаю, иногда это занимало менее тридцати минут.

Аналитик: Хорошо. Итак, ваш девяностопроцентный доверительный интервал продолжительности отключения от тридцати минут до двадцати четырех часов?

Эксперт по безопасности: Да, но мне кажется, что систему могут отключить и на три дня.

Аналитик: Конечно. Вот почему мы называем это девяностопроцентным доверительным интервалом. Мы допускаем пятипроцентную вероятность, что длительность окажется ниже нижнего предела, и пятипроцентную вероятность, что она будет выше верхнего предела. При моделировании мы получим значения меньше тридцати минут или более двадцати четырех часов в общей сложности один раз из десяти. В зависимости от выбранного распределения в редких случаях можно получить длительность в несколько дней.

Эксперт по безопасности: Тогда, пожалуй, все верно.

Это типичный разговор в ситуации с рядом величин с высокой неопределенностью. Сначала эксперты наотрез отказываются называть диапазон: кто-то, возможно, из-за расхожего мнения, что в бизнесе отсутствие точных показателей – то же самое, что и отсутствие какой-либо информации вообще; а кто-то, быть может, из-за нежелания стать «ответственным за число». Но отсутствие точного числа не означает, что вы ничего не знаете. Эксперту по безопасности было известно, что для большинства сбоев варианты, когда проблема устраняется менее чем за 30 минут или же решается дольше недели, определенно не соответствуют действительности. По крайней мере, он знал, что такие крайности случаются редко. Безусловно, у него не было конкретных величин, но неопределенность не была безграничной.

Данный пример – одна из причин, почему нам не нравится использовать в анализе слово «предположение». Предположение – это утверждение, которое считается истинным для текущих целей, независимо от того, является ли таковым на самом деле. Предположения необходимы, если требуется применять методы учета, требующие конкретные точки в качестве значений. Вы никогда не знаете конкретную точку с уверенностью, поэтому любое такое значение будет предположительным. Но когда есть возможность смоделировать неопределенность с диапазонами и вероятностями, не обязательно утверждать то, чего вы не знаете наверняка. Если вы не уверены, диапазоны и присвоенные вероятности должны это отражать. Если вы понятия не имеете, является ли узкий диапазон правильным, просто расширяйте его, до тех пор пока он не станет отражать известную вам информацию.

Легко потеряться в том, как много неизвестно о проблеме, и забыть, что кое-что вы все же знаете. Вам буквально никогда не доведется измерять явление, единственными границами которого будут отрицательная и положительная бесконечности.

Приведенный диалог также является примером теста на абсурдность в подходе с обратным якорным эффектом, о котором говорилось выше. Мы применяем его всякий раз, когда слышим фразу «Откуда я могу это знать?!» или «Вот мой диапазон, но это лишь догадка». Неважно, как мало, по мнению экспертов, у них сведений о величине, – всегда найдутся значения, в абсурдности которых они уверены. А точка, где значение из абсурдного начнет превращаться в маловероятное, но в некоторой степени правдоподобное, как уже отмечалось, станет пределом их неуверенности в величине. В качестве заключительного теста мы даем равноценную ставку, чтобы посмотреть, будет ли полученный в результате диапазон на самом деле 90 %-ным ДИ.

Скорее всего, в процессе внедрения количественных методов, в какой-то мере опирающихся на субъективную оценку вероятностей, вы столкнетесь и с другими концептуальными возражениями. Как показал приведенный в главе 5 опрос, некоторые эксперты в сфере безопасности весьма любопытно распределяют вероятности. Еще один пример – описанный Хаббардом случай, когда эксперт ответил, что вероятность наступления каждого события составляет 100 %. Коллеги эксперта спорили с ним, считая такую позицию явно абсурдной. Но он возразил, что должен вести себя так, как будто каждое из событий произойдет. Сидящие рядом коллеги заметили, что в таком случае вероятности наступления всех событий считались бы одинаковыми, а поскольку ресурсы ограничены, то пришлось бы распределять их произвольно. Похоже, эксперт перепутал понятия вероятности и рискоустойчивости, а заодно и способы взаимодействия с ними.

Исключительно философская интерлюдия

На протяжении всей книги 90 %-ный ДИ рассматривается как на диапазон значений (обозначенный верхним и нижним пределами), в котором с вероятностью 90 % содержится истинное значение. Мы придерживаемся этого определения независимо от того, установлен ли ДИ субъективно или – как будет показано в главе 9 – с помощью данных выборки. При этом вероятность интерпретируется нами как выражение неопределенности или «степени убежденности» лица, выполняющего оценку.

Некоторые (не все) профессора статистики придерживаются другой интерпретации, противоречащей только что изложенной. Если бы мы вычислили, что 90 %-ный ДИ, скажем, для оценки совокупности пользователей, соблюдающих протокол безопасности, составляет от 25 до 40 %, они возразили бы, что заявление о 90 %-ной вероятности того, что истинное среднее значение совокупности находится внутри интервала, неверно. С их точки зрения, истинное среднее значение совокупности либо находится в интервале, либо нет.

Это один из аспектов так называемой частотной интерпретации доверительных интервалов. В нем путаются и студенты, и даже многие ученые. Приверженцы частотной интерпретации (фреквентисты) утверждают, что термин «вероятность» можно применять только к совершенно случайным событиям, которые «строго повторяемы» и имеют бесконечное число итераций. Эти три условия, если точно им следовать, превратят вероятность в чисто математическую абстракцию, которая окажется совершенно неприменима ни к одной ситуации принятия практических решений.

Однако большинство лиц, принимающих решения, судя по всему, придерживаются позиции, описанной в этой книге. Их называют субъективистами, поскольку они используют вероятности для описания личного состояния неопределенности, и неважно, отвечает ли оно таким критериям, как «совершенная случайность». Эту позицию еще иногда называют байесовской интерпретацией (хотя у интерпретации часто нет ничего общего с формулой Байеса, которую мы обсудим в главе 8). С точки зрения субъективиста, вероятность просто описывает знание человека о явлении, пока оно не станет доступным для наблюдения, и не имеет значения при этом, связана ли неопределенность с каким-либо неизменным фактом вроде истинного среднего значения совокупности или нет. Использование вероятностей (и доверительных интервалов) в качестве выражения неопределенности – практический подход к принятию рискованных решений.

Допустим, вы заключаете пари с коллегой о том, сколько человек потеряют ноутбуки в следующем месяце (мы не предлагаем заключать такие пари, это просто пример). Вы заявляете, что ваш 90 %-ный ДИ потерянных ноутбуков в следующем месяце находится в диапазоне от 2 до 10. Предположим, что вместо этого также можно вращать барабан, где вероятность выигрыша составляет 90 %. Какой бы способ ставки вы ни выбрали, вы в равной мере готовы воспользоваться и другим способом. Пока не появится новая информация, например фактическое количество потерянных ноутбуков, диапазон доверительного интервала будет восприниматься вами как вероятность. Будь на кону реальные деньги, подозреваем, что эксперимент с участием статистиков-фреквентистов, делающих ставки на различные доверительные интервалы и вращение барабана, показал бы, что они повели бы себя как субъективисты.

Во многих опубликованных работах, содержащих эмпирические исследования, физики⁷, эпидемиологи⁸ и палеобиологи⁹ многократно и предельно ясно описывают доверительный интервал как вероятно содержащий оцениваемое значение. Но, похоже, никому еще не приходилось отзывать из-за этого статью, и вряд ли придется. Важно отметить, что любая интерпретация – исключительно семантическая и не является результатом математического обоснования или эмпирического наблюдения, истинность или ложность которого можно было бы доказать. Вот почему они называются лишь «интерпретациями», а не «теоремами» или «законами».

Однако между этими двумя интерпретациями существует прагматическое, измеримое, реальное различие: студенты считают фреквентистскую интерпретацию гораздо более запутанной. Некоторые преподаватели статистики прекрасно это понимают и поэтому обучают как субъективистской, так и фреквентистской интерпретации. Как и большинство ученых, занимающихся вопросами принятия решений, мы будем исходить из того, что 90 %-ный доверительный интервал с вероятностью 90 % содержит истинное значение (благодаря чему не придется сталкиваться с математическим парадоксом).

Эффект калибровки

Один из авторов, Хаббард, с 1995 года начал заниматься калибровкой и сбором данных о том, насколько хорошо люди справляются с тестами из вопросов общей тематики и насколько верно откалиброванные специалисты оценивают неопределенность в реальной жизни. Для этого их оценки сравнивались с фактическими результатами после наступления оцениваемых событий. Методы калибровки и тесты постепенно эволюционировали, но после 2001 года выработанный подход в целом не изменялся. С тех пор Хаббард и его команда в компании Hubbard Decision Research обучили более 1000 человек методам калибровки и задокументировали их успехи: ожидаемые и фактические результаты нескольких калибровочных тестов, проводимых один за другим во время семинаров.

Собранные таким образом сведения позволили лучше понять обобщенные данные, часто публикуемые в различных рецензируемых научных изданиях. Академические исследования обычно показывают агрегированные результаты всех участников исследования, поэтому можно видеть только среднее значение по группе. Объединив таким же образом показатели участников семинаров, Хаббард получил результаты, очень схожие с данными таких академических исследований. Однако, имея возможность отделить данные по каждому испытуемому, он выявил еще один интересный феномен. Хаббард заметил, что большинство людей к концу обучения добиваются превосходных результатов, а средний показатель снижается из-за нескольких человек, показывающих плохой результат.

Чтобы определить, кто из испытуемых откалиброван, следует допускать некоторое отклонение от идеала даже для полностью откалиброванного человека. Кроме того, некалиброванному участнику может повезти. С учетом этой статистической ошибки 80 % участников оказываются идеально откалиброваны уже после пятого упражнения. Они не склонны ни к недостаточной уверенности, ни к чрезмерной уверенности. Их 90 %-ные ДИ с вероятностью около 90 % содержат правильный ответ.

Еще 10 % участников демонстрируют значительное улучшение, но не достигают идеальной калибровки. А 10 % вообще не показывают каких-либо улучшений по сравнению с первым выполненным тестом[9]. Анализ выявил наличие среди испытуемых групп с различной результативностью, что не соответствует модели, согласно которой все участники изначально слегка неоткалиброваны. Последнюю группу нельзя объяснить случайным набором неудачливых участников, а те, кто был откалиброван, не могут быть просто удачливым, но неоткалиброванным большинством. Почему около 10 % людей, видимо, вообще не способны улучшить свои результаты в процессе обучения калибровке? Какова бы ни была причина, она не так уж и важна. Все, на кого мы когда-либо полагались в фактических оценках, относились к первым двум группам, и почти все они были в первой, идеально откалиброванной, группе. Среди тех, кто, казалось, сопротивлялся любым попыткам калибровки даже до тестирования, никогда не было компетентных экспертов или специалистов, принимающих решения по конкретным вопросам. Возможно, они были менее мотивированы, зная, что их мнение не будет иметь большого веса. А может, люди, не имеющие склонности к таким задачам, просто не стремятся совершенствоваться до уровня, необходимого для выполнения подобных оценок. В любом случае это ни на что не влияет.

Как видно, для большинства людей занятия оказываются очень эффективными. Но отражают ли успехи на занятиях способность оценивать вероятность неопределенности в реальной жизни? Ответ – однозначно да. Хаббард постоянно отслеживал, как хорошо откалиброванные специалисты действуют в реальных ситуациях, однако один контролируемый эксперимент, проведенный в сфере IT, до сих пор выделяется среди остальных. В 1997 году Хаббарда попросили научить аналитиков консалтинговой компании Giga Information Group (впоследствии была приобретена Forrester Research, Inc.) определять вероятность наступления неопределенных событий в будущем. Giga занималась исследованиями в области информационных технологий и предоставляла свои исследования другим компаниям по подписке. В компании был принят метод определения вероятности наступления событий, прогнозируемых для клиентов, и в ней хотели убедиться, что он будет успешно функционировать.

Хаббард обучил 16 аналитиков компании Giga с помощью описанных ранее методов. В конце обучения аналитики получили 20 конкретных прогнозов, касающихся IT-индустрии, которые необходимо было разделить на истинные или ложные и определить вероятность их наступления. Тест проводился в январе 1997 года, а все вопросы касались событий, которые могли бы произойти к 1 июня 1997 года (например, «верно или неверно, что компания Intel выпустит процессор Pentium с тактовой частотой 300 МГц к 1 июня» и т. п.). В качестве контрольной группы выступали 16 директоров по IT различных организаций из числа клиентов Giga, которым был предоставлен тот же список прогнозов. После 1 июня стало возможным определить фактические результаты. Хаббард представил свои выводы на Giga World 1997 – главном симпозиуме в IT-индустрии того года. Итоги эксперимента приведены на рис. 7.3. Обратите внимание, что некоторые участники не ответили на часть вопросов, поэтому сумма ответов в каждой группе меньше 320 (16 испытуемых по 20 вопросов на каждого).

Горизонтальная ось – указанная участниками вероятность того, что прогноз по конкретному вопросу окажется верным. Вертикальная ось показывает, сколько прогнозов оказались верными на самом деле.

Рис. 7.3. Результаты калибровочного эксперимента для 20 прогнозов развития IT-индустрии в 1997 году. Источник: Hubbard Decision Research

Ответы идеально откалиброванного человека должны быть расположены вдоль пунктирной линии, означающей, что человек был прав в 70 % случаев, когда был на 70 % уверен в своих прогнозах, прав в 80 % случаев, когда был уверен на 80 %, и т. д. Видно, что результаты аналитиков (где точки обозначены маленькими квадратами) очень близки к идеальной уверенности и легко укладываются в допустимую погрешность. Сильнее всего результаты отклоняются от идеальной калибровки в нижней части графика, но и тут они все еще находятся в допустимых пределах погрешности (диапазон допустимых ошибок шире в левой части графика и сужается до нуля в правой). Когда участники заявляли, что уверены на 50 %, они оказывались правы примерно в 65 % случаев. Это означает, что они, возможно, знали больше, чем говорили, и – только в этой части графика – были немного неуверенны. Такие результаты близки к 50 % и могут быть случайными. Существует 1 %-ная вероятность, что 44 или более из 68 человек окажутся правы, просто загадав ответ и подбросив монетку.

Чуть более значительное отклонение – имеется в виду статистически, а не визуально – наблюдается на другом конце шкалы. Там, где аналитики указывали высокую степень уверенности, случайность вызвала бы лишь незначительное отклонение от ожидаемого результата, а значит, на этом конце графика они были немного самоуверенны. Но в целом аналитики оказались очень хорошо откалиброваны.

Для сравнения, результаты клиентов компании, не проходивших обучение калибровке (обозначены маленькими треугольниками), свидетельствуют об очень большой самоуверенности. Цифры рядом с результатами калибровки показывают, что в 58 случаях конкретный клиент заявлял об уверенности на 90 % в определенном прогнозе. Из этих случаев верными оказались менее 60 % прогнозов. Клиенты, указавшие, что они на 100 % уверены в правильности прогноза, в 21 случае получили только 67 % правильных ответов. Все эти результаты соответствуют данным ряда других исследований калибровки за последние несколько десятилетий.

Не менее интересен тот факт, что аналитики Giga на самом деле не дали большее число правильных ответов (вопросы были общими для IT-индустрии и не касались специальностей аналитиков). Они просто проявляли немного больше осторожности в отношении прогнозов с высокой степенью уверенности. Однако до начала обучения по калибровке аналитики в ответах на вопросы из области общих знаний показывали такие же плохие результаты, как и клиенты при прогнозировании реальных событий. Вывод очевиден: разница в точности полностью обусловлена обучением калибровке, а обучение калибровке, даже если в процессе него используются вопросы на общие знания, работает для реальных прогнозов.

Многие из прежних читателей и клиентов Хаббарда проводили собственные семинары по калибровке и получали различные результаты в зависимости от того, насколько точно они следовали разобранным здесь рекомендациям. В каждом случае, когда у них не получалось откалибровать такой процент людей, как на семинарах Хаббарда, оказывалось, что они на самом деле обучали не всем стратегиям калибровки, указанным в табл. 7.3. В частности, не применялась равноценная ставка, которая, похоже, является одной из наиболее важных стратегий калибровки. Те, кто придерживался описанных стратегий и отрабатывал их в каждом упражнении, неизменно получали результаты, аналогичные тем, что наблюдал Хаббард.

Другими факторами могут быть мотивация и опыт оценки. Хаббард обычно обучает опытных менеджеров и аналитиков, большинство из которых знают, что им придется применять новые навыки для реальных оценок. Дейл Ренигк из Университета Северной Каролины в Чапел-Хилле провел подобный тренинг для своих студентов и отметил гораздо более низкий показатель калибровки (хоть и все равно со значительным улучшением). В отличие от менеджеров, студентам редко приходится оценивать что-либо, и возможно, это стало одним из факторов, повлиявших на результаты. Как было замечено на семинарах, проводимых самим Хаббардом, те, кто не ожидает, что полученные навыки понадобятся в будущем для оценки проблем в реальном мире, почти всегда демонстрируют незначительные или нулевые улучшения.

Есть еще один чрезвычайно важный эффект калибровки. Помимо улучшения способности субъективно оценивать шансы калибровка, похоже, избавляет от возражений против вероятностного анализа при принятии решений. До обучения калибровке людям может казаться, что любая субъективная оценка бесполезна, а единственный способ узнать ДИ – провести вычисления, которые они смутно припоминают из университетского курса статистики. Они могут не доверять вероятностному анализу в целом, поскольку все вероятности кажутся им произвольными. Однако после калибровки редко кто мыслит подобными категориями. Судя по всему, проблема решается за счет получаемого практического опыта указания вероятностей, благодаря чему постепенно приходит понимание, что это – измеримый навык, в котором можно добиться реальных улучшений. И хотя это не было целью Хаббарда в начале работы по калибровке специалистов, в итоге стало ясно, насколько данный процесс важен для формирования положительного отношения к концепции вероятностного анализа при принятии решений.

Теперь вам известно, как можно количественно оценить текущую неопределенность, научившись предоставлять калиброванные вероятности. Этот навык имеет решающее значение для следующего шага в измерениях.

1. P. Laplace, Théorie analytique des probabilités (Paris: Courcier, 1812), переведена на английский Ф. У. Траскоттом и Ф. Л. Эмори под названием A Philosophical Essay on Probabilities (Mineola, NY: Dover, 1952), 16–17.

2. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; и D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

3. Фишхофф Б., Филлипс Л. Д., Лихтенштейн С. Калибровка вероятностей: положение дел к 1980 г. // Принятие решений в неопределенности. Правила и предубеждения / Под ред. Д. Канемана, С. Пауля, А. Тверски. – Харьков: Гуманитарный центр, 2021. – 540 с.

4. Там же.

5. Там же.

6. L. J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954), 2.

7. Идье В., Драйард Д., Джеймс Ф. и др. Статистические методы в экспериментальной физике. – М.: Атомиздат 1976. – 335 с.; Byron P. Roe, Probability and Statistics in Experimental Physics, 2nd ed. (New York: Springer Verlag, 2001), 128.

8. C. C. Brown, “The Validity of Approximation Methods for the Interval Estimation of the Odds Ratio,” American Journal of Epidemiology 113 (1981): 474–480.

9. Steve C. Wang and Charles R. Marshal, “Improved Confidence Intervals for Estimating the Position of a Mass Extinction Boundary,” Paleobiology 30 (January 2004): 5–18.

Доверительные интервалы: 1. 203. 2. 1687. 3. 8,9. 4. 1969. 5. 1564. 6. 3,944. 7. 78,5 %. 8. 88. 9. 560. 10. 1964.

Верно/Неверно: 1. Неверно. 2. Верно. 3. Верно. 4. Неверно. 5. Верно. 6. Верно. 7. Неверно. 8. Верно. 9. Неверно. 10. Верно.

В предыдущей главе показано, что эффективность субъективной вероятности можно объективно измерить, а ее всесторонние измерения описаны в научной литературе. Субъективные априорные вероятности – отправная точка всего нашего анализа. Это оптимальный способ получить математически значимые результаты, которые будут полезны при моделировании, используя лишь специальные знания и опыт эксперта по кибербезопасности. Выражение текущей неопределенности в количественном виде позволяет обновлять вероятности согласно новым наблюдениям с помощью ряда эффективных математических методов.

Инструменты, представленные в данной главе, являются частью байесовских методов в теории вероятности и статистике. Названы методы в честь автора их основополагающей идеи, математика и священника Томаса Байеса. У них множество преимуществ, которые особенно хорошо подходят для решения проблем в сфере кибербезопасности. Во-первых, используются имеющиеся знания экспертов. Это отличает подход Байеса от традиционных методов, вероятно, знакомых читателям по университетскому курсу статистики, в которых предполагается, что до получения данных выборки о показателе буквально ничего не известно. Во-вторых, благодаря применению таких исходных знаний можно делать выводы на основе очень небольшого количества информации. Возможно, эти выводы лишь немного уменьшат неопределенность для эксперта по кибербезопасности, но они все равно могут оказать значительное влияние на принятие решений по снижению риска. Если же у вас действительно много данных, то различия между байесовским подходом и измерениями на основе базовых методов выборки, игнорирующими априорные знания, нивелируются.

В этой главе будут представлены некоторые основные байесовские рассуждения и показано, как их можно применить к одной из проблем в области кибербезопасности. Пока мы для ознакомления сосредоточимся на фундаментальных принципах. Кому-то рассматриваемая информация покажется общеизвестной. Мы исходим из того, что читатели знакомы с основами алгебры, и не более. Но при этом есть множество деталей, требующих разъяснения, так что, если информация покажется вам элементарной, смело ее пропускайте. Если же она, наоборот, выглядит слишком сложной, имейте в виду, что вам, как всегда, доступны готовые расчеты в загружаемой электронной таблице (www.howtomeasureanything.com/cybersecurity). Если вы осилите эту главу, наградой станет доступ к некоторым очень мощным инструментам в следующей.

Мы будем рассматривать материал в контексте, начав с проблемы, волнующей всех в сфере кибербезопасности, – крупной утечки данных.

Пример крупной утечки данных

Представим один гипотетический и чересчур упрощенный сценарий. Как руководитель отдела информационной безопасности компании ABC, вы оказались ответственны за сохранение большого количества программных продуктов, размещенных в облаке. Все они обрабатывают критически важные данные, которые должны быть надежно защищены. Соответствующие базы данных включают финансовые и даже конфиденциальные данные. Допустим, компания достаточно крупная, и каждое облачное приложение ежедневно обрабатывает миллионы записей критически важных данных. Также 500 разработчиков, находящихся в разных точках земного шара, регулярно обновляют код. Вдобавок ваша компания внедрила подход DevOps, позволяющий ежедневно устанавливать разнообразные обновления ПО. И наконец, вы вложили деньги в средства защиты и службу безопасности.

Иначе говоря, ваши системы связаны со множеством рисков, из-за ведущихся разработок к ним ежедневно добавляется много новых, но в то же время вы хорошо вооружены и считаете, что готовы к бою. Неожиданно вас вызвали в офис генерального директора на разговор.

Генеральный директор: Мне только что стало известно, что финансовую компанию XYZ взломали прямо через их сайт, там огромные потери данных и масса обязательств по возмещению ущерба! Каковы шансы, что какой-либо из наших сайтов смогут взломать и выкрасть данные клиентов?

Руководитель отдела информационной безопасности, достав свое мобильное устройство и открыв электронную таблицу с «наивным» байесовским калькулятором, скачанную с сайта www.howtomeasureanything.com/cybersecurity: Одна целая двадцать четыре сотых процента в течение следующего года, но я оставляю за собой право скорректировать оценку после завершения комплексного независимого теста на проникновение.

Генеральный директор: Число невероятно точное.

Руководитель отдела информационной безопасности: На самом деле это вероятность. Она отражает мою неуверенность относительно ожидаемого «точного» результата. В данном случае вероятность была выведена из других подготовленных мной субъективных оценок вероятности. Сотрудники моего отдела, включая меня, прошли калибровку, поэтому мы знаем, насколько хорошо умеем оценивать субъективные вероятности.

Генеральный директор: Теперь мне стало любопытно. Насколько сильно изменится ваше мнение, если тест что-то обнаружит? А если он ничего не обнаружит? Измените ли вы это вполне конкретное число?

Руководитель отдела информационной безопасности: Мы проводили другие тесты на проникновение, но теперь тестировщики ищут определенный набор уязвимостей, которыми можно воспользоваться удаленно. Если тестировщики найдут их в наших облачных продуктах и смогут украсть защищенные данные без нашего ведома, то, пожалуй, моя субъективная оценка возможных будущих убытков возрастет до двадцати четырех процентов. Если тестировщики ничего не добудут, то она снизится до одной целой одной сотой процента. Более важный вопрос – если им удастся нас взломать или почти взломать, какова вероятность, что нас уже не взломали ранее? И, возможно, еще более важный вопрос: когда следует проводить экспертизу, чтобы определить, понесли ли мы убытки? Экспертиза стоит очень дорого…

Генеральный директор: Пожалуйста, сообщите мне результаты тестов и рекомендуемые решения с учетом результатов. Давайте сделаем все быстро… это наш шанс. А пока покажите мне таблицу, у меня к ней много других вопросов!

Вопросы вроде тех, которые генеральный директор задавал о будущих убытках, – нормальны. Когда происходят крупные взломы таких компаний, как Sony, JPMorgan, Target и RSA, руководители, естественно, задаются вопросом: «А могло такое случиться с нами?» Они переживают из-за крайне неопределенных и, возможно, значительных будущих убытков. И разумно тогда переформулировать вопрос, введя количественную составляющую: «Какова вероятность, что у нас произойдет крупная утечка данных?»

Чтобы пример стал реалистичнее, представьте, что мы определили три конкретных термина (определили достаточно четко, чтоб они прошли наш тест на понятность), загрузили вышеупомянутую электронную таблицу и внесли в нее эти термины надлежащим образом.

Познакомимся с идеей изменения вероятности на основе условия. То есть у вас есть вероятность того, что событие произойдет, вы узнаёте что-то новое и обновляете эту вероятность. На самом деле это такой способ еще немного разложить вероятность, указав, что само условие может быть неопределенным состоянием, которое также обусловлено чем-то еще.

В нашем простом примере анализ будет сведен к трем дискретным бинарным состояниям, каждое из которых является либо истинным, либо ложным. Три определяемых нами термина следующие:

• возникновение в данном году крупной утечки данных (КУД);

• существование пока неизвестной, но возможной удаленно эксплуатируемой уязвимости (УЭУ);

• результат теста на проникновение, который указывает на наличие некой удаленно эксплуатируемой уязвимости, т. е. положительный тест на проникновение (ПТП).

Предположим, что КУД, УЭУ и ПТП были определены для нас в однозначной форме, они понятны, наблюдаемы и полезны для принятия практических решений. В этом примере генеральный директор и другие заинтересованные стороны (лица, принимающие решения) хотят оценить риск возникновения КУД, подобной тем, о которых они читают в новостях. Они согласились, что для признания утечки данных крупной необходимо, чтобы количество похищенных записей составляло не менее 1 млн. Кроме того, они согласовали конкретное определение значения УЭУ, определив типы слабых мест в своих веб-приложениях, облачной инфраструктуре и/или действий с системой безопасности, которые позволят внешнему злоумышленнику украсть данные удаленно. Наконец, тест на проникновение – это определенная кампания с потенциальными результатами, и значение этих результатов четко определено.

Когда наши заинтересованные стороны точно знают, что означают эти термины, как их увидеть и какие последствия они будут иметь для работы компании, тогда проблема разложена так, что с ней удобно работать. Попытавшись разложить этот риск на «злоумышленника уровня спецслужбы крупной страны и владеющего „уязвимостью нулевого дня“», мы бы совершили ошибку бесполезных разложений, и в этом случае наши действия и способы получения достоверной информации оказались бы неприменимы.

Байесовский пример, который мы собираемся описать, включает в себя две стадии анализа. Наличие удаленно эксплуатируемой уязвимости изменяет вероятность крупной утечки данных. А результат теста на проникновение изменяет вероятность удаленной эксплуатации уязвимости. Таким образом проводится простое разложение на составляющие вероятности крупной утечки данных. Но в целом этот пример придуман для того, чтобы максимально упростить байесовское решение.

Краткое знакомство с байесовским подходом и теорией вероятности

Наша модель началась с суждений руководителя отдела информационной безопасности о ключевых переменных и их взаимосвязи. В частности, он предоставил калиброванную оценку вероятности масштабной утечки данных в свете существования удаленно эксплуатируемой уязвимости.

Введя несколько условных обозначений, мы сможем избежать более длительных и потенциально более запутанных словесных объяснений. Некоторым читателям они, возможно, хорошо знакомы, но на случай, если вы что-то подзабыли, просмотрите эту статью, чтобы освежить в памяти, как писать на языке вероятностей. А начнем мы с нескольких практичных правил из теории вероятностей. Это не полный список фундаментальных аксиом и определенно не всеобъемлющий перечень всех теорем, которые могут оказаться полезными, однако, чтобы разобраться в материале главы, их будет достаточно.

1. Правило записи вероятности.

P(A) = вероятность события A. P(A) принимает некоторое значение между 0 и 1 включительно.

P(~A) = вероятность того, что событие A не наступит. Читайте знак «~» как «нет», «не» или «не будет».

Если P(КУД) – вероятность крупной утечки данных в указанном году, то P(~КУД) – вероятность, что крупной утечки данных не произойдет.

2. Правило «Какое-то суждение должно быть истинным, но противоречащие суждения не могут быть истинными одновременно».

Вероятности всех взаимоисключающих и совместно исчерпывающих событий или состояний должны в сумме давать 1. Если есть только два возможных исхода, скажем, А или не А, тогда:

Например, крупная утечка данных либо произойдет, либо нет. Если мы однозначно определили термин (а по нашему предположению, в этом случае так и есть), то может быть либо один вариант, либо другой, но не оба одновременно (т. е. КУД может произойти или НЕ произойти).

3. Правило записи вероятности наступления более одного события.

P(A,B) означает, что верны и A, и B. Если A и B «независимы», т. е. вероятность одного не зависит от другого, тогда P(A,B) = P(A)P(B). Поскольку в случае КУД, УЭУ и ПТП это может быть не так, нельзя говорить, что P(КУД, УЭУ, ПТП) = P(КУД)P(УЭУ)P(ПТП).

4. Правило записи и вычисления вероятности в ситуации «это зависит от» (условная вероятность).

P(A | B) = условная вероятность A при заданном B. Например, P(КУД | УЭУ) – так можно записать вероятность возникновения крупной утечки данных при наличии удаленно эксплуатируемой уязвимости. Также верно, что P(A | B) = P(A,B) / P(B). Изменение A в зависимости от двух или более событий записывается как P(A | B,C).

5. Правило разложения вероятности наступления более одного события на ряд вероятностей «это зависит от».

Применив правило 4, можно превратить совместную вероятность двух событий в P(A,B) = P(A | B)P(B), а если речь идет о совместной вероятности трех событий, можно написать P(A,B,C) = P(A | B,C)P(B | C)P(C) и т. д. Это называется «цепным правилом».

6. Правило «возможны разные варианты развития событий».

Правило 4 можно распространить на вычисление вероятности, основанной на всех условиях, при которых событие может наступить, и вероятностей каждого из этих условий.

Например, положительный тест на проникновение оказывает определенное влияние на вероятность крупной утечки данных. Используя это правило, вероятность крупной утечки данных можно записать следующим образом:

7. Правило Байеса, или Как «перевернуть» условную вероятность.

Часто требуется «перевернуть» условную вероятность. То есть мы можем начать с P(A | B), но на самом деле нам нужна P(B | A). Оба варианта равноценны, только если P(A) = P(B), что часто не так. Поэтому, чтобы перевернуть их, надо применить формулу Байеса, которая записывается как:

Иногда такую запись называют «простой» байесовской формой. P(B) вычисляется в соответствии с правилом, изложенным в пункте 3. Если рассматривать только два условия для P(B), тогда правило 4 позволит заменить P(B), так что:

В разбираемом нами случае требуется узнать вероятность крупной утечки данных при наличии некоторой дополнительной информации, например обнаружения конкретной удаленно эксплуатируемой уязвимости. Можно записать это как:

Иными словами, формула Байеса позволяет определить P(КУД | УЭУ) из P(УЭУ | КУД) или наоборот. Это означает, что можно определить вероятность доказательств, учитывая событие, и, наоборот, вероятность наступления события, учитывая доказательства. Чтобы понять, чем они отличаются друг от друга, рассмотрим следующие примеры.

• «Какова вероятность, что у нас была утечка данных, в свете того что за последние шесть месяцев обнаружено несколько вредоносных программ, связанных с находящимися в черном списке серверами управления и контроля (C&C)?»

Записывается как: P(Утечка | Вредоносное ПО с сервера из черного списка).

• Не менее важен вопрос: «Какова вероятность наличия вредоносного ПО, отсылающего информацию на занесенные в черный список серверы, которые принадлежат организованной преступной группировке, учитывая, что, судя по появлению на черном рынке миллионов корпоративных электронных писем, идентификаторов пользователей, номеров социального страхования и других защищенных данных, у нас была утечка?»

Записывается как: P(Вредоносное ПО с сервера из черного списка | Утечка).

Заметили, чем они отличаются? Первый пример сводится к вопросу: «Какова вероятность события (утечки) с учетом имеющихся доказательств?» А во втором спрашивается: «Какова вероятность доказательства с учетом того факта, что событие произошло?» Если вам интересно изучить тему подробнее, то отметим, что путаница между смыслами подобных вопросов приводит к так называемой ошибке прокурора.

В этом «переворачивании» и кроется суть формулы Байеса, и поэтому оно служит важнейшим основанием для рассуждений в условиях неопределенности. Байесовская вероятность превращается в мерило «согласованности» при измерении ваших оценок относительно каких-либо неопределенных событий по мере получения все большего количества данных. В частности, она обосновывает процесс обновления суждений.

Для всех описанных операций нужен источник входных данных. В нашем примере для этого используются калиброванные оценки руководителя отдела информационной безопасности. Поскольку он опирается на свой предыдущий опыт и откалиброванные навыки оценки вероятности для получения исходных данных, мы называем их информативным априорным распределением. Опять же, «априорное» означает «то, в чем вы уже убеждены». Информативное априорное распределение – красивый способ сказать, что ваши данные получены от эксперта в своей области, который что-то знает, хорошо откалиброван и готов утверждать, что одни события более вероятны, чем другие.

Также можно начать с неинформативного априорного распределения. В этом случае исходное состояние предполагает максимально возможный уровень неопределенности, и любое его изменение будет зависеть только от новых данных. Такая точка отсчета считается более осторожной, поскольку на нее не могут повлиять ошибочные оценки эксперта. С другой стороны, она не учитывает и совершенно обоснованные оценки.

Можно утверждать, что неинформативное априорное распределение дискретного бинарного события составляет 50 %. Хотя по этому поводу и ведутся философские споры, в которые мы не станем углубляться, но с математической точки зрения это самая большая неопределенность, которая может возникнуть в системе, имеющей только два возможных состояния.

Конечно, выбор источника информации в каждом случае субъективен. Неинформативное априорное распределение считается более осторожным, но оно же, вероятно, и менее реалистичное, чем информативное (так как обычно у вас нет полного отсутствия предварительной информации). Каким бы ни было соотношение субъективного и объективного, теория вероятности может помочь сделать рассуждения более последовательными.

Если вы усвоили изложенное и все стало интуитивно понятно, то есть еще несколько концепций, которые можно взять на вооружение, разобравшись, откуда берется формула Байеса. Для этого расширим цепное правило (пункт 5 в базовом словаре).

Рассмотрим все возможные комбинации удаленно эксплуатируемой уязвимости и крупной утечки данных: оба события истинны (УЭУ, КУД), оба события ложны (~УЭУ, ~КУД), истинно только одно событие (~УЭУ, КУД и УЭУ, ~КУД). Воспринимайте их как ветви «дерева цепных правил», пример которого представлен на рис. 8.1.

Рис. 8.1. Дерево цепных правил

Начиная слева, на каждом новом уровне к существующей ветви добавляется еще одна, и в итоге получаются четыре нужные нам комбинации. Слева направо по верхней ветви получаем P(УЭУ)P(КУД | УЭУ) = P(УЭУ,КУД). То есть дерево отображает слева направо получение вероятностей с помощью умножения. Каждая ветвь заканчивается «элементарными вероятностями», как их называют специалисты в области теории принятия решений. Это еще один способ разложения вероятности, похожие операции мы выполняли с воздействием в главе 6. Не обязательно расписывать дерево полностью, достаточно понимать принцип как из одних его узлов выводятся другие. А теперь посмотрим, как появляется формула Байеса.

Пожалуйста, не думайте, что все эти формулы нужно выучить наизусть, просто считайте их подпунктами правила. Мы будем ссылаться на них в ходе анализа.

Применение формулы Байеса к ситуации взлома облачного хранилища

Теперь, когда освоены базовые операции с вероятностями, проанализируем, каким образом формируются выходные данные на основе всех представленных выше уравнений. Для облегчения понимания получения вероятностей используем более крупное дерево цепных правил. Если сумеете в этом всем разобраться, для чего достаточно школьных знаний алгебры, то будете на пути к освоению моделирования с использованием любых технологических средств. Кроме того, пример специально упрощен, чтобы можно было увидеть математические доказательства. Расчеты покажутся не такими уж сложными благодаря предлагаемым нами инструментам вычисления, которые при желании можно использовать для дальнейшего изучения взаимосвязей.

На рис. 8.2 показаны вычисления из электронной таблицы, которую можно загрузить с сайта. В столбце слева приведены входные данные, полученные от калиброванных экспертов, а в столбце справа – производные значения, рассчитанные на основе этих данных.

Прежде чем рассмотреть, как была выведена каждая из этих вероятностей, стоит прояснить, почему нам точно известны элементы в столбце «Входные данные, полученные от калиброванных экспертов», а не в столбце «Производные значения». На самом деле можно было бы выбрать множество комбинаций различных входных и выходных данных. Калиброванные эксперты просто начинают с тех величин, которые, как им кажется, смогут лучше оценить. Или, имея представление о некоторых производных величинах, они могут проверить, совпадают ли их оценки вероятностей из второй таблицы с теми, что указаны в первой.

Также можно оценить P(КУД | ПТП) напрямую, не используя УЭУ в качестве промежуточного шага. Однако мы хотели показать, как неопределенности, касающиеся разных состояний, могут быть связаны между собой. Теперь по порядку продемонстрируем математические расчеты для каждого из значений, приведенных в столбце «Производные значения» на рис. 8.2.

Рис. 8.2. Пример разложения крупной утечки данных с условными вероятностями

1. Какова вероятность того, что эту уязвимость можно эксплуатировать удаленно?

2. Какова вероятность P(КУД)?

3. Какова вероятность наличия удаленно эксплуатируемой уязвимости с учетом того, что есть вероятность крупной утечки данных?

Примечание. Теперь вы видите, что, как уже подчеркивалось выше, P(КУД | УЭУ) ≠ P(УЭУ | КУД).

4. Какова вероятность наличия удаленно эксплуатируемой уязвимости с учетом вероятности того, что крупной утечки данных не было?

Используя дополнительные калиброванные вероятности, полученные от руководителя отдела информационной безопасности, а именно

и

мы получаем

А теперь то, что мы действительно хотели узнать все это время: насколько сильно результаты теста на проникновение изменят вероятность крупной утечки данных?

5. Вероятность крупной утечки данных при положительном тесте на проникновение:

6. Вероятность крупной утечки данных при отрицательном тесте на проникновение:

Данные о результате теста на проникновение оказались информативны, поскольку P(КУД | ПТП) > P(КУД) > P(КУД | ~ПТП). Воспринимайте информативные условия как качели-балансир, где посередине находится исходная априорная вероятность. Если условие повышает вероятность, то противоположное условие должно ее уменьшать, и наоборот (кстати, именно поэтому правильным ответом в вопросе на проверку статистической грамотности в табл. 5.4 главы 5 является ответ А).

Таким образом, мы продемонстрировали, как можно применить байесовский анализ для обновления априорной вероятности крупной утечки данных, основываясь на результатах наблюдаемого теста на проникновение. Чтобы максимально упростить процесс, все расчеты представлены в электронной таблице, которую, как обычно, можно найти на сайте www.howtomeasureanything.com/cybersecurity. Начали мы с применения теста на понятность к трем переменным (УЭУ, КУД и ПТП), но это лишь отправная точка для продвинутых моделей, объединяющих суждения с доказательствами с целью уменьшения неопределенности.

1. Dennis V. Lindley, Understanding Uncertainty (Hoboken, NJ: John Wiley & Sons, 2006).

Напомним, что в нашем опросе 23 % респондентов согласились с утверждением «Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет». Их меньшинство, но даже те, кто не согласен с утверждением, скорее всего, попадали в ситуации, когда казалось, что данных слишком мало для формулирования полезных выводов. Именно поэтому, видимо, большинство участников опроса также ответили, что порядковые шкалы уместны при измерении неопределенности. Возможно, им удобно использовать крайне неточные и произвольные значения вроде «высокий, средний, низкий» для передачи информации о риске, но при этом, по иронии судьбы, они верят и в количественные подходы. Те же, кто всецело доверяет количественным методам, полностью отвергают порядковые шкалы при измерении крайне неопределенных величин. При высокой степени неопределенности вы используете вероятности и диапазоны, активно заявляя о своей неуверенности, особенно когда полагаетесь на знания экспертов. Из результатов исследований, описанных ранее, вам уже известно, как даже субъективные оценки можно разложить на составляющие и сделать более согласованными, прежде чем применять новые «объективные» данные, и как использовать для обновления оценки всего одну точку данных (например, результат одного теста на проникновение).

Теперь, когда заложена основа эмпирических байесовских методов с помощью, пожалуй, чрезмерно упрощенного примера, можно перейти к решению более сложных – и более реалистичных – проблем.

Вычисление частоты с помощью (очень) малого количества точек данных: бета-распределение

Есть чуть более сложная производная от формулы Байеса, о которой стоит чаще вспоминать в сфере кибербезопасности. Допустим, вы представляете одну из крупнейших компаний розничной торговли, о которых говорилось в главе 6, и вам снова требуется оценить вероятность утечки данных. Но в этом случае новые эмпирические данные являются не результатом теста на проникновение, а наблюдаемыми (точнее, широко освещенными в СМИ) крупными утечками данных. Естественно, вам бы захотелось использовать новостные репортажи для оценки вероятности подобного нарушения в вашей организации. В идеальном мире у вас была бы актуарная таблица для сферы кибербезопасности вроде тех, что применяются при оценке страхования жизни, здоровья и имущества. Тысячи компаний в отрасли прилежно сообщали бы данные в течение многих десятилетий. А вы бы на их основе вычисляли «интенсивность» или «частоту» утечек данных, отражающую процент компаний, в которых произойдет утечка в конкретном году. Как и в страховании, частоту можно было бы использовать в качестве косвенного показателя вероятности того, что у вас произойдет такое же событие.

Но в реальности для вашей актуарной таблицы взломов не так уж много информации. К счастью, много данных и не понадобится, если задействовать статистический инструмент, известный как бета-распределение. С его помощью можно делать выводы о годовой частоте нарушений даже в случае, когда данных очень мало.

К тому же, как уже не раз отмечалось, у вас больше данных, чем кажется. При оценке ущерба репутации, например, странно говорить о недостатке сведений о крупных утечках данных, поскольку, по сути, есть вся нужная информация. Ведь каждая масштабная утечка в крупных компаниях розничной торговли, повлекшая за собой огромные убытки, активно освещалась. Собственно говоря, многие убытки возникли лишь потому, что утечка получила широкую огласку (если была крупная утечка данных, которая почему-то до сих пор не обнародована, то такой компании розничной торговли удалось избежать части или большинства основных убытков, связанных с утечкой).

Изучив отчет компании Verizon о расследовании утечек данных – Data Breach Investigations Report (DBIR), а также другие источники сведений о нарушениях, можно узнать количество утечек в каждой отрасли. Однако сама по себе эта информация не сообщает нам, какова вероятность возникновения утечки в отдельной компании отрасли. Если в такой-то отрасли в указанном году произошло пять утечек данных, то в масштабах отрасли это 30 % или 5 %? Для ответа потребуется узнать (разложить) размер совокупности, из которой были взяты компании, включая те, где утечек не было.

Именно на этом этапе некоторые эксперты по кибербезопасности (те, кто помнит из области статистики ровно столько, чтобы истолковать все неправильно) сдаются, говоря, что несколько утечек не являются «статистически значимыми» и не позволяют делать какие-либо выводы. Другие (особенно те, кто, как мы надеемся, прочитает эту книгу) не отступят так легко. Ведь у нас, повторимся, больше данных, чем кажется, а нужно нам меньше, чем кажется, особенно при наличии доступа к бета-распределению.

С бета-распределением удобно определять долю генеральной совокупности – часть совокупности, попадающую в определенную категорию. Если только 25 % сотрудников правильно выполняют какую-либо процедуру, доля генеральной совокупности составит 25 %. Теперь предположим, мы не знаем, составляет ли она ровно 25 %, но хотели бы ее оценить. При возможности провести полную перепись всей совокупности доля была бы известна точно, но у нас есть доступ только к небольшой выборке. Если имеется выборка, скажем, только из 10 человек, будут ли результаты информативны? Именно здесь появляется бета-распределение. И, вероятно, вас удивит, что, в соответствии с бета-распределением нам потребуется довольно небольшая выборка, чтобы получить новую информацию.

Как бы парадоксально это ни звучало, с помощью бета-распределения можно определить диапазон для доли генеральной совокупности даже при очень малом количестве данных. Оно применимо ко многим ситуациям в области кибербезопасности, в том числе к вероятности возникновения риска, с которым сталкивались лишь немногие организации. У бета-распределения всего два параметра: альфа (α) и бета (β) – сначала они могут показаться абстрактными, но чуть позже мы расскажем о них подробнее. В редакторе Excel распределение записывается формулой =БЕТАРАСП(x;альфа; бета), где x – доля совокупности, которую нужно протестировать. Функция вычисляет вероятность, что доля генеральной совокупности меньше x – мы называем это интегральной функцией плотности (ИФП), поскольку для каждого x она дает накопленную вероятность, что случайная величина будет меньше х.

В Excel также есть обратная функция вероятности для бета-распределения: =БЕТА.ОБР(вероятность; альфа; бета). Она возвращает долю генеральной совокупности, достаточно высокую, чтобы существовала вероятность, что истинная доля совокупности меньше.

Параметры α и β в бета-распределении кажутся абстрактными, и в книгах по статистике редко поясняется, как их понимать. Однако существует конкретный способ их объяснения как числа «попаданий» и «промахов» в выборке. Попаданием в выборке является, скажем, компания, у которой была утечка данных в определенный период времени, а промахом – компания, в которой ее не было.

Чтобы вычислить α и β на основе попаданий и промахов, необходимо определить априорную вероятность. Опять же, информативная априорная вероятность может быть просто откалиброванной оценкой эксперта по данной проблеме. Если же нам нужна предельно осторожная оценка, можно использовать неинформативную априорную вероятность и просто оставить равномерное распределение от 0 до 100 %. Это можно сделать с помощью бета-распределения, задав значения α и β, равные 1. Такой подход указывает на то, что у нас нет почти никакой информации об истинной доле генеральной совокупности. Потому это «неинформативное» априорное распределение. Нам известно лишь математическое ограничение, что доля генеральной совокупности не может быть меньше 0 % и не может превышать 100 %. В остальном мы просто говорим, что все значения между ними одинаково вероятны, как показано на рис. 9.1.

Рис. 9.1. Равномерное распределение (бета-распределение, в котором α = β = 1)

Обратите внимание, что на рисунке равномерное распределение представлено в более привычном виде «функции плотности распределения вероятности (ФПР)», где площадь под кривой равна 1. Так как функция БЕТАРАСП является интегральной вероятностью, необходимо создать несколько уровней приращения, вычисляя разницу между двумя интегральными функциями плотности, близкими друг к другу. Просто представьте, что высота точки на ФПР обозначает относительную вероятность по сравнению с другими точками. Напомним, что у нормального распределения максимум приходится на середину, т. е. значения вблизи середины нормального распределения более вероятны. В представленном же случае равномерного распределения мы показываем, что все значения между минимумом и максимумом равновероятны (т. е. оно плоское).

Теперь, если у нас есть выборка из некоторой совокупности, пусть даже очень маленькая, можно обновить параметры α и β, указав число попаданий и промахов. Для выполнения расчетов на сайте www.howtomeasureanything.com/cybersecurity доступна электронная таблица с бета-распределением. Снова рассмотрим случай, когда необходимо оценить долю пользователей, соблюдающих некие процедуры безопасности. Отобрав случайным образом шесть пользователей, обнаруживаем, что только один из них делает все правильно. Давайте назовем его «попаданием», а остальных пятерых – «промахами». Добавив попадания к априорному значению α, а промахи – к априорному значению β, получаем:

На рис. 9.2 показано, как будет выглядеть ФПР, если добавить выборку из шести объектов с одним попаданием в наше исходное равномерное распределение. Для построения такого изображения можно воспользоваться следующей формулой:

где i – размер используемого приращения (размер увеличения произвольный, но чем меньше его сделать, тем точнее будут изображения распределений). Если вам что-то непонятно, изучите пример в электронной таблице.

Рис. 9.2. Распределение, начинающееся с априорного равномерного и обновленное данными выборки с 1 попаданием и 5 промахами

Как так получается в бета-распределении? Не противоречит ли это тому, что рассказывают в базовом университетском курсе статистики о размерах выборки? Нет. С расчетами все в порядке. По сути, в бета-распределении к диапазону возможных значений применяется формула Байеса. Чтобы понять, как это работает, рассмотрим вопрос попроще, например: какова вероятность того, что в выборке из шести объектов будет 1 попадание, если только 1 % совокупности выполняет процедуру правильно? Раз предполагается, что нам известна доля генеральной совокупности, и нужно вычислить вероятность получения именно такого количества «попаданий» в выборке, следует применить так называемое биномиальное распределение. Биномиальное распределение – своего рода дополнение к бета-распределению. В первом случае оценивается вероятность различных результатов выборки с учетом доли генеральной совокупности, а во втором случае – доля генеральной совокупности с учетом количества результатов в выборке. В Excel биномиальное распределение записывается как =БИНОМРАСП(число_успехов; число_испытаний; вероятность успеха;0), где «0» означает, что будет получена вероятность конкретного результата, а не накопленная вероятность до определенного уровня.

Это позволяет нам получить наблюдаемый результат (например, 1 из 6) для одной возможной доли генеральной совокупности (в данном случае 1 %). Расчеты повторяются для гипотетической доли совокупности, равной 2, 3 и т. д. до 100 %. Теперь с помощью формулы Байеса можно перевернуть данные, чтобы получить сведения, которые на самом деле нас интересуют: какова вероятность, что X является долей генеральной совокупности, учитывая, что у нас 1 попадание из 6? Другими словами, биномиальное распределение дает нам P(наблюдаемые данные | доля), и мы переводим их в P(доля | наблюдаемые данные). Это очень полезный трюк, который в бета-распределении уже выполнен за нас.

Еще один момент, прежде чем продолжить: не кажется ли вам диапазон от 5,3 до 52 % широким? Тут стоит учитывать, что в выборке было всего шесть человек, а ваш предыдущий диапазон был еще шире (90 %-ный ДИ при равномерном распределении от 0 до 100 % составляет от 5 до 95 %). Все, что требуется для дальнейшего уменьшения диапазона, – продолжать делать выборки, и каждая выборка будет немного изменять диапазон. Распределение можно получить, даже если в трех выборках у вас будет ноль попаданий, при условии что начали вы с априорного распределения.

Если необходимы дополнительные примеры, чтобы лучше понять сказанное, рассмотрим один из тех, что приводил Хаббард в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Представьте урну, наполненную красными и зелеными шариками. Допустим, мы считаем, что доля красных шариков может составлять от 0 до 100 % (это наше априорное значение). Чтобы оценить долю генеральной совокупности, отбираются шесть шариков, один из которых оказывается красным. Оценив результат, как в примере с соблюдением протоколов безопасности, мы бы получили диапазон от 5,3 до 52 %. Ширина диапазона объясняется тем, что из шести шариков можно получить один красный при многих значениях доли генеральной совокупности. Такой результат возможен, как если красных шариков всего 7 %, так и если половина всех шариков являются красными. Давайте посмотрим теперь, как экстраполировать разобранные примеры на нарушения кибербезопасности.

Думайте о нарушении как о вытаскивании красного шарика из урны. Каждая компания в вашей отрасли ежегодно случайным образом вытягивает что-то из «урны нарушений». Некоторым компаниям достается красный шарик, указывающий на наличие нарушения кибербезопасности. Таких компаний могло быть и больше, а могло быть и меньше. Вам точно неизвестно, с какой частотой происходят нарушения (т. е. доля шариков красного цвета), но можно использовать наблюдаемые нарушения для ее оценки.

Итак, у вас есть список известных нарушений кибербезопасности из отчета Verizon DBIR, но он не указывает на величину совокупности. Иначе говоря, известно, что в урне есть 100 красных шариков, но, не зная общего количества шариков, нельзя определить, какую долю генеральной совокупности они составляют. Однако все еще можно произвольно отобрать несколько шариков и просто сравнить количество красных шариков в выборке с размером самой выборки, а не с неизвестным общим размером совокупности. Аналогичным образом знание, что в данной отрасли произошло X нарушений, поможет только в случае, если известен размер отрасли. Так что придется взять другой источник, не отчет Verizon DBIR, чтобы узнать перечень компаний розничной торговли. Это может быть список Fortune 500 или, возможно, список от ассоциации компаний розничной торговли. В любом случае он не должен зависеть от того, сталкивалась ли организация с нарушениями кибербезопасности, о которых сообщается в отчете Verizon DBIR, и, следовательно, большинство компаний списка не будут фигурировать в отчете. Список – это ваша выборка (сколько шариков вытаскивается из урны). Некоторые компании из него, однако, окажутся упомянуты в отчете Verizon DBIR как жертвы нарушений кибербезопасности (т. е. они вытянули красный шарик).

Допустим, в списке нашлось 60 подходящих компаний розничной торговли. Из этой выборки в 60 объектов за период с начала 2014 по конец 2015 года выявлено два сообщения о крупных утечках данных. Так как оценивается вероятность возникновения нарушения в течение года, необходимо количество лет в имеющихся данных умножить на количество фирм. Подведем итоги:

• размер выборки: 120 единиц данных (60 компаний × 2 года);

• попадания: 2 взлома за указанный период времени;

• промахи: 118 единиц данных, в которых не было крупных нарушений;

• альфа: априорное значение + попадания = 1 + 2 = 3;

• бета: априорное значение + промахи = 1 + 118 = 119.

Добавив эти данные в электронную таблицу, получим распределение, подобное представленному на рис. 9.3.

Считайте наблюдаемые нарушения примером того, что могло бы произойти. Если вытянуто 120 шариков и два из них оказались красными, это еще не означает, что ровно 1,67 % шариков в урне – красные. Вытащив шарики из урны в указанном количестве, можно было бы оценить с вероятностью 90 %, что истинная доля красных шариков в урне составляет от 0,7 до 5,1 %.

Рис. 9.3. Частота утечек данных в год для указанной отрасли

Аналогичным образом, имея только два нарушения кибербезопасности в списке из 60 компаний за два года (120 единиц данных), нельзя утверждать, что ежегодная частота нарушений составляет ровно 1,67 %. Мы лишь оцениваем вероятность различной частоты из нескольких наблюдений. В следующем году нам может повезти больше или меньше, даже если в долгосрочной перспективе частота и останется такой же.

Даже среднее значение бета-распределения не составляет ровно 1,67 %, так как среднее значение бета-распределения равно α / (α + β), или 2,46 %. Причина различий в значениях в том, что на бета-распределение влияет априорное распределение. Даже при отсутствии случаев утечек данных α бета-распределения была бы равна 1, а β – 121 (120 промахов + 1 для априорного значения β), и тогда среднее значение было бы 0,8 %.

Другая удобная особенность бета-распределения заключается в легкости обновления. Каждый проходящий год, а по сути, и каждый проходящий день, независимо от наличия факта взлома, может обновлять параметры α и β распределения нарушений кибербезопасности в соответствующей отрасли. Для любой компании, в которой в течение указанного периода произошло заданное событие, обновляется параметр α, а для компаний, в которых не произошло, – параметр β. Даже если ничего не происходило в течение целого года, параметры β все равно обновляются, а следовательно, и наша оценка вероятности события.

Обратите внимание, что неинформативное априорное распределение вроде равномерного распределения использовать не обязательно. Если даже до изучения новых данных у вас есть основания полагать, что одни значения частот гораздо менее вероятны, чем другие, то можно так и указать. Можно формировать какие угодно априорные распределения, пробуя разные параметры α и β, пока не получится распределение, которое, по вашему мнению, соответствует априорной информации. Начните поиск априорных значений с α и β, равных 1, а затем, если вы считаете, что частота должна быть ближе к нулю, увеличьте β. Можете ориентироваться на среднее значение, которое должно быть α / (α + β). Увеличение параметра α, наоборот, сдвинет частоту возникновения события немного дальше от нуля. Чем больше сумма α + β, тем ýже будет диапазон. Проверить диапазон можно с помощью обратной функции вероятности для бета-распределения в Excel: значения =БЕТА.ОБР(0,05; альфа; бета) и =БЕТА.ОБР(0,95; альфа; бета) будут вашим 90 %-ным доверительным интервалом. Для обновления распределения на основе новой информации будет применяться все та же процедура – добавление попаданий к α и промахов к β.

Отказавшись от применения бета-распределения и опираясь на наблюдаемую частоту 1,67 %, мы могли серьезно недооценить риски для отрасли. Даже вытаскивая шарики из урны, в которой, как нам известно, ровно 1,67 % красных шариков (остальные зеленые), мы бы все равно ожидали, что при каждом вытаскивании соотношение будет разным. Если бы нужно было вытянуть 120 шариков и предполагалось, что доля красных шариков составляет 1,67 %, то согласно вычислениям вероятность вытаскивания более трех красных шариков составила бы всего 14 % (по формуле в Excel: 1-БИНОМРАСП(3;120;0,0167;1)). С другой стороны, если бы у нас просто был 90 %-ный ДИ, что от 0,7 до 5,1 % шариков – красные, то вероятность вытащить больше трех красных шариков превысила бы 33 %.

Если применить подобные рассуждения к рискам безопасности в отрасли или компании, то вероятность возникновения нескольких событий резко возрастает. Это может означать более высокую вероятность нескольких крупных нарушений кибербезопасности в отрасли в течение года или, если используются данные на уровне компании, – взлом нескольких из множества систем компании. По сути, это «разворачивает» кривую вероятности превышения потерь против часовой стрелки, как показано на рис. 9.4. Среднее значение остается тем же, а риск экстремальных убытков увеличивается. Это может означать, что рискоустойчивость превышена на правом конце кривой.

Рис. 9.4. Пример того, как бета-распределение изменяет вероятность экстремальных убытков

На наш взгляд, это может быть основным недостающим компонентом анализа рисков в области кибербезопасности.

Прошлые наблюдения стоит в действительности рассматривать только как пример возможного развития ситуации, и, следовательно, необходимо допускать вероятность, что раньше нам просто везло.

Чтобы изучить тему подробнее и выяснить, как можно использовать бета-распределение в модели замены «один на один», а также узнать, каким образом оно может влиять на кривую вероятности превышения потерь, скачайте с нашего сайта электронную таблицу к этой главе.

AllClear ID, ведущая компания в области защиты пользователей от нарушений кибербезопасности, применяет бета-распределение для оценки рисков кибербезопасности с помощью данных о нарушениях в отрасли. Компания предлагает три решения: AllClear Reserved Response™; услуги по взаимодействию с клиентами, которые включают в себя поддержку и оповещение; а также услуги по защите личных данных пользователей. Специалисты компании работают с инцидентами любого масштаба, в частности они занимались самыми крупными взломами из произошедших в последние годы.

Клиентам, пользующимся продуктом Reserved Response, гарантируется помощь при инциденте, что делает оценку риска критически важной для обеспечения надлежащего объема ресурсов в соответствии с требующимся обслуживанием. За помощью в оценке рисков крупного взлома не только для одного клиента, а для всей своей клиентской базы представители AllClear ID обратились в компанию Дага Хаббарда, Hubbard Decision Research (HDR), попросив смоделировать риски утечки данных во всех отраслях, которые они поддерживают, включая возможность того, что несколько крупных клиентов могут подвергнуться взломам в перекрывающиеся периоды времени. Получившаяся в итоге модель – один из многих инструментов, используемых AllClear ID при анализе оценок риска.

Компания HDR применила бета-распределение к данным об отраслевых взломах, взятым из отчета Verizon DBIR. В 2015 году было зарегистрировано 2435 случаев утечки данных, но, как объяснялось выше, сама по себе эта цифра не сообщала ежегодную частоту утечек для конкретного количества компаний. Применяя описанный ранее метод, специалисты HDR начали с перечня компаний, относящихся к отраслям, в которых оказывает поддержку AllClear ID. Затем его сравнили с отчетом Verizon DBIR, чтобы определить, у скольких из выбранных компаний случались утечки данных. В одной из отраслей в списке Fortune 500 находились 98 компаний. Несколько из них пострадали от нарушений кибербезопасности в течение двухлетнего периода с начала 2014 года и до конца 2015 года. Таким образом, 98 организаций и двухлетний период давали в общей сложности 196 единиц данных, среди которых были «попадания» и «промахи» (промахи – компании, не столкнувшиеся с нарушениями в течение года). Теперь стало возможным оценить вероятность нарушения кибербезопасности компаний заданной отрасли, входящих в список Fortune 500.

При моделировании методом Монте-Карло компания HDR использовала бета-распределение с α и β, что позволило получить 90 %-ный доверительный интервал для годового значения частоты наступления событий для каждого клиента. Если частота нарушений приближена к верхнему пределу, то вероятность наложения друг на друга нарушений кибербезопасности у нескольких клиентов значительно увеличивается. Созданная симуляция Монте-Карло показала как раз такую вероятность наложения друг на друга периодов пика нарушений кибербезопасности у нескольких клиентов, пользующихся решением Reserved Response. Эти сведения, помимо прочих, помогают компании AllClear ID планировать ресурсы, необходимые для удовлетворения потребностей клиентов, даже если нельзя точно узнать конкретное количество и сроки нарушений кибербезопасности.

Разложение на составляющие вероятностей с несколькими условиями

В примерах главы 8 приведена условная вероятность только с одним условием. Однако часто даже в самых простых моделях требуется учитывать гораздо больше условий. Один из способов решения проблемы – создание «таблицы вероятностей узлов», как ее называют в байесовских методах. Эксперт получает все комбинации условий и должен выполнить калиброванную оценку вероятности определенного события. В табл. 9.1 показано, как могут выглядеть несколько строк такой таблицы.

Столбцы в табл. 9.1 являются лишь примером. Нам попадались варианты, где компании также учитывали тип операционной системы, было ли программное обеспечение разработано внутри компании, есть ли доступ у поставщиков, количество пользователей и т. д. Право определить идеальные параметры остается за вами, главное, чтобы они отвечали условиям понятности, наблюдаемости и полезности Рона Ховарда (полезность в этом случае означает, что данные заставят вас изменить свою оценку). Мы же сосредоточимся на том, как проводятся расчеты, независимо от выбираемых факторов риска.

Предположим, что условия (столбцы) в табл. 9.1 дополнили и их стало больше четырех. Наш предыдущий опыт моделирования в области кибербезопасности при работе с различными организациями подсказывает, что обычно бывает от 7 до 11 условий. Каждое из них может иметь как минимум два возможных значения (скажем, конфиденциальные данные или нет). Но у некоторых условий, как видно из примера, значений может быть три, четыре и более, что приводит к множеству комбинаций условий. Например, если есть семь условий, у трех из которых по два возможных значения, а у остальных – по три, то это уже 648 строк таблицы (2 × 2 × 2 × 3 × 3 × 3 × 3). На практике комбинаций оказывается гораздо больше, поскольку часто есть несколько условий с четырьмя или более вариантами значений. Модели, составленные для отдельных клиентов компании HDR, могли генерировать тысячи, а то и десятки тысяч возможных комбинаций.

В идеале нам бы не помешали данные по множеству различных сбоев. Для измерений чем больше точек данных, тем лучше, но специалисты по кибербезопасности стремятся снижать количество случаев взломов, отказов в обслуживании и других подобных событий. Как всегда, при нехватке данных можно обратиться к экспертам, которые дадут оценку события с учетом каждого из условных состояний. Например, можно запросить оценку вероятности, при условии что применяются стандартные меры обеспечения безопасности, система содержит личную медицинскую информацию, в ней не используется многофакторная аутентификация, а данные хранятся в датацентре, принадлежащем компании. После чего эксперты выполнят оценку для следующей комбинации условий и т. д. Очевидно, что из-за количества возможных комбинаций условий даже в скромной по размерам таблице оценка каждой вероятности в типичной вероятностной таблице узлов становится для экспертов нецелесообразной.

К счастью, существует два отличных способа, с помощью которых эксперты могут заполнить вероятностную таблицу узлов (какого угодно размера), оценив лишь ограниченный набор комбинаций условий: метод логарифма отношения шансов и метод линзы.

Метод логарифма отношения шансов (ЛОШ) позволяет эксперту оценить влияние каждого условия в отдельности, а затем сложить их, чтобы получить вероятность на основе всех условий. Это разновидность так называемой логистической регрессии в статистике, которую мы будем применять в довольно простой форме.

ЛОШ вероятности P(x) представляет собой выражение log(P(x)/(1 – P(x) (при этом часто под логарифмом подразумевается натуральный логарифм ln, но метод работает и с другими логарифмами). В результате получается отрицательное значение при P(x) < 0,5, положительное значение при P(x) > 0,5 и ноль, когда P(x) = 0,5. Вычисление ЛОШ полезно, так как он позволяет «суммировать» эффекты различных независимых условий для определения вероятности. Ниже подробно расписана данная процедура, а чтобы лучше разобраться в деталях, можно, как всегда, найти электронную таблицу со всеми расчетами на сайте www.howtomeasureanything.com/cybersecurity.

1. Выберите экспертов и откалибруйте их.

2. Определите базовую вероятность того, что конкретный актив может пострадать от заданного события в указанный период времени. При этом исходите из предположения, что единственная имеющаяся информация об активе (или приложении, или системе, или угрозе, и т. д. в зависимости от структуры разложения) – его принадлежность вашей организации. Это и будет P(Событие).

Пример: P(Событие) в год при отсутствии другой информации об активе равна 0,02.

3. Оцените условную вероятность того, что с активом произойдет указанное событие при конкретном значении некоторого условия. Можно записать это: P(E | X); т. е. вероятность события E с учетом условия X.

Пример: P(Событие | Конфиденциальные данные) = 0,04.

4. Оцените условную вероятность того, что с активом произойдет указанное событие при другом значении данного условия. Повторите этот шаг для всех возможных значений условия.

Пример: P(Событие | Отсутствие конфиденциальных данных) = 0,01.

5. Преобразуйте базовую вероятность и каждую из условных вероятностей в ЛОШ. Запишем это как L(Вероятность).

Пример: ЛОШ(P(Событие)) = ln(P(Событие)) / (1 – P(Событие)) = ln(0,02 / 0,98) = –3,89182; ЛОШ(P(Событие | Конфиденциальные данные)) = ln(0,04 / 0,96) = 3,17805

и т. д. для каждого условия.

6. Вычислите «дельту ЛОШ» для каждого условия, т. е. разницу между ЛОШ с заданным условием и базовым ЛОШ.

Пример: дельта ЛОШ(Конфиденциальные данные) = L(P(Событие | Конфиденциальные данные)) – ЛОШ(P(Событие)) = —(–3,18) – (–3,89) = +0,71.

7. Повторите шаги с 3 по 6 для каждого условия.

8. Когда дельта ЛОШ будет вычислена для всех возможных значений всех условий, создайте электронную таблицу, которая будет искать нужную дельту ЛОШ для каждого условия для каждого значения для этого условия. При заданном наборе значений условий все дельта ЛОШ для каждого условия добавляются к базовому ЛОШ для получения скорректированного ЛОШ.

Пример: Скорректированный ЛОШ = –3,89 + 0,71 + 0,19 – 0,45 + 1,02 = –2,42.

9. Преобразуйте скорректированный показатель ЛОШ обратно в вероятность, чтобы получить скорректированный показатель вероятности.

Пример: Скорректированная вероятность = 1 / (1 + 1 / exp(–2,42)) = 0,08167.

10. Если вследствие какого-либо из условий наступление события становится бесспорным или невозможным (т. е. P(Событие | Условие) = 0 или 1), то опустите вычисление ЛОШ для такого условия и дельты ЛОШ (расчет в любом случае выдаст ошибку). Вместо этого просто рассуждайте логически, чтобы обойти эти условия.

Пример: Если условие применимо, то скорректированная вероятность = 0.

Если условие не выполняется, то вычислите скорректированную вероятность, как показано в предыдущих шагах.

И в очередной раз повторим: если вам будут говорить, что этот или другие обсуждаемые нами методы непрактичны, помните, что они многократно применялись нами, в том числе и в кибербезопасности. Называя что-либо непрактичным, люди часто имеют в виду, что просто не знают, как это применить. В качестве иллюстрации приведем еще один диалог аналитика с экспертом по кибербезопасности. Аналитик проверит согласованность оценок эксперта с помощью указанных выше расчетов. Естественно, для этого он использует электронную таблицу (доступна на сайте).

Аналитик рисков: Как вы помните, мы распределили риски для каждого актива. Если я произвольно выберу актив, какова вероятность, что нарушение кибербезопасности произойдет в следующем году?

Эксперт по кибербезопасности: Зависит от того, что вы считаете нарушением, – может быть и сто процентов. К тому же на мое суждение повлияет множество факторов.

Аналитик рисков: Да, но, допустим, вам известно лишь, что речь об одном из ваших активов. Я просто выберу наугад и даже не скажу вам, какой именно. И давайте еще проясним, что имеется в виду не просто незначительное событие, единственной затратой при котором будут ответные меры кибербезопасности. Оно должно навредить работе компании, стать причиной штрафа или более серьезных проблем, вплоть до крупной утечки данных, которые недавно освещались в новостях. Допустим, это событие обойдется компании не менее чем в пятьдесят тысяч долларов, а возможно, и в несколько миллионов.

Эксперт по кибербезопасности: Откуда мне знать вероятность наступления события, если об активе ничего не известно?

Аналитик рисков: То есть, по-вашему, всем активам компании в следующем году грозят серьезные нарушения кибербезопасности?

Эксперт по кибербезопасности: Нет, пожалуй, из всего портфеля активов значимыми событиями, которые принесут более пятидесяти тысяч долларов убытков, станут только перебои в работе систем нескольких структурных подразделений. Может быть, более крупные нарушения кибербезопасности раз в пару лет.

Аналитик рисков: Понятно. Итак, у нас в списке двести активов, на ваш взгляд, произойдет ли нарушение кибербезопасности такого уровня в половине из них в следующем году?

Эксперт по кибербезопасности: Нет. «Нарушение кибербезопасности», как я его понимаю, возможно, случится с тремя – десятью активами.

Аналитик рисков: Хорошо. То есть, если я наугад выберу актив из списка, вероятность того, что в нем произойдет нарушение кибербезопасности, будет менее десяти процентов. Возможно, ближе к одному или двум процентам.

Эксперт по кибербезопасности: Понимаю, о чем вы. Для выбранного актива, о котором я больше ничего не знаю, думаю, можно было бы взять двухпроцентную вероятность нарушения кибербезопасности, предполагающего значительные убытки.

Аналитик рисков: Отлично. Теперь, предположим, я сообщу вам только один факт об этом активе. Допустим, он содержит данные платежных карт. Это как-то отразится на риске нарушения кибербезопасности?

Эксперт по кибербезопасности: Да. Наши средства контроля в этой области лучше, но и активы привлекательнее для злоумышленников. Возможно, я увеличу вероятность до четырех процентов.

Аналитик рисков: А если я скажу, что актив не содержит данных платежных карт. Насколько тогда изменится вероятность?

Эксперт по кибербезопасности: Не думаю, что это повлияет на мою оценку.

Аналитик рисков: А должно бы. Ваша «базовая» вероятность составляет два процента. Вы описали одно условие, которое увеличит ее до четырех процентов. Чтобы убедиться, что вероятность сбалансирована, противоположное условие должно уменьшать ее так, чтобы среднее значение по-прежнему оставалось два процента. Чуть позже я покажу расчеты, и вы поймете, о чем речь.

Эксперт по кибербезопасности: Ладно, думаю, я понимаю. Пусть будет один процент.

Аналитик рисков: Отлично. Итак, какой процент от всех активов на самом деле содержит данные платежных карт?

Эксперт по кибербезопасности: Мы только что завершили аудит, поэтому тут все довольно ясно. Это двадцать активов из двухсот.

Аналитик рисков: То есть десять процентов от всех перечисленных активов. Чтобы проверить, все ли сходится, мне нужно вычислить базовую вероятность на основе этих условных вероятностей и посмотреть, согласуется ли она с той, что вы дали мне изначально.

Аналитик рисков рассчитывает базовую вероятность следующим образом: P(Событие | Данные платежных карт) × P(Данные платежных карт) + P(Событие | Нет данных платежных карт) × P(Нет данных платежных карт) = 0,04 × 0,1 + 0,01 × 0,9 = 0,013. (Расчеты и другие этапы диалога, включая вычисление дельты ЛОШ, представлены в электронной таблице на сайте www.howtomeasureanything.com/cybersecurity.)

Аналитик рисков: Итак, вычисленная базовая вероятность чуть ниже вашей изначальной. Имеющиеся на данный момент вероятности не совсем согласованы. Если это исправить, эффективность нашей модели станет выше. Можно сказать, что неверна первоначальная вероятность и надо заменить ее на одну целую три десятых процента. Или что условные вероятности могут быть чуть выше, или доля активов с данными платежных карт слишком мала. Как считаете, что логичнее поменять?

Эксперт по кибербезопасности: Ну, доля активов с данными платежных карт известна довольно точно. Если подумать, то стоило бы сделать немного выше вероятность для активов без данных платежных карт. А если поднять ее до полутора процентов?

Аналитик рисков, вычисляя: Так, если задать одну целую восемь десятых процента, то получится почти ровно два процента, как ваша первоначальная оценка базовой вероятности.

Эксперт по кибербезопасности: Похоже, все верно. Но спроси вы меня в другое время, возможно, мой ответ был бы другим.

Аналитик рисков: Верно подмечено. Вот почему я спрашиваю не только вас. Плюс, закончив со всеми условиями, мы посмотрим, как вычисляется скорректированная вероятность, и тогда вам, может быть, захочется пересмотреть некоторые оценки. Теперь перейдем к следующему условию. Что, если актив, о котором идет речь, находится в собственном центре обработки данных компании…

И так далее.

Несколько пояснений по поводу использования ЛОШ. Это очень эффективная оценка вероятности с учетом всех условий, если условия не зависят друг от друга, то есть они не коррелируют и не имеют сложных схем взаимодействия друг другом. Зачастую все наоборот. Например, какие-то условия могут оказывать гораздо большее или гораздо меньшее влияние в зависимости от состояния других условий. Самое простое практическое решение в случае, если вы считаете, что условия A и B сильно коррелируют, – отбросить одно из них. Или же можно уменьшить ожидаемые эффекты каждого условия (т. е. задать условную вероятность ближе к базовой вероятности). Следите, чтобы совокупный эффект нескольких условий не давал более экстремальные результаты в сравнении с ожидаемыми (слишком высокие или слишком низкие вероятности).

Следующий очень удобный способ заполнения большой вероятностной таблицы узлов заключается в оценке экспертами нескольких специально отобранных комбинаций условий. Этот подход подразумевает построение статистической модели, основанной исключительно на подражании суждениям экспертов, а не на использовании данных за прошлые периоды. Любопытно, что такая модель, похоже, лучше справляется с задачами прогнозирования и оценки, чем сами эксперты.

Здесь предполагается применение методов регрессии, в частности логистической регрессии. Детальное обсуждение методов регрессии, после которого с ними можно было бы работать, не входит в задачу данной книги, поэтому нами предлагается следующее: если вам не знакомы методы регрессии, то придерживайтесь метода ЛОШ, описанного выше. Если же вы разбираетесь в методах регрессии, полагаем, наш разбор метода линзы будет достаточно подробным, чтобы вы могли понять его, не требуя от нас углубляться в описание механизма работы.

С учетом этого пояснения вот вам небольшая предыстория. Этот метод берет свое начало в 1950-х годах, когда Эгон Брунсвик, исследователь в области психологии принятия решений, попробовал статистически измерить решения экспертов. В то время как большинство его коллег занимал незримый процесс принятия решений, через который проходили эксперты, Брунсвика интересовало описание самих принимаемых решений. О себе и других специалистах в этой области он говорил: «Нам стоит меньше походить на геологов и больше на картографов». Другими словами, следует просто отображать то, что можно наблюдать, а не изучать скрытые внутренние процессы.

Такой подход стал известен под названием «модель линзы». Модели, созданные Брунсвиком и его последователями, превосходили экспертов-людей в решении самых разных вопросов, таких как вероятность погашения банковских кредитов, движение цен на акции, медицинские прогнозы, успеваемость студентов магистратуры и многие другие. Хаббарду тоже доводилось применять данный метод, в частности для прогнозирования кассовых сборов новых фильмов, логистики в зоне боевых действий и, да, в сфере кибербезопасности. Каждый раз модель по меньшей мере не уступала оценкам экспертов, а почти во всех случаях еще и оказывалась значительно лучше.

В главе 4 уже упоминалось, что эксперты могут находиться под влиянием множества не относящихся к делу факторов, сохраняя при этом иллюзию обучения и компетентности. Линейная модель оценки эксперта, однако, дает совершенно последовательные результаты. Как и в методе ЛОШ, в модели линзы это достигается путем удаления из оценки ошибок, связанных с несогласованностью экспертов. В отличие от ЛОШ, здесь не требуется четко выяснять у экспертов правила оценки для каждой переменной. Вместо этого мы просто наблюдаем за суждениями экспертов, учитывая все переменные, и пытаемся вывести правила на основе статистики.

Предлагаемый процесс построения модели, состоящий из семи шагов, достаточно прост. Мы несколько изменили изначальную процедуру, чтобы учесть и другие методы, появившиеся с момента разработки Брунсвиком своего подхода (например, калибровку вероятностей). Напомним, что здесь предоставляется ровно столько информации, чтобы читатель, уже знакомый с различными методами регрессии, смог понять, как работает метод линзы.

1. Отберите экспертов и откалибруйте их.

2. Попросите экспертов определить список факторов, относящихся к конкретному объекту, который они будут оценивать (вроде тех, что указаны в приведенной нами ранее таблице узлов). Но список должен содержать не более 10 пунктов.

3. Создайте набор сценариев, используя комбинации значений для каждого из указанных факторов. Сценарии могут основываться на реальных примерах или быть чисто гипотетическими, для каждого опрашиваемого эксперта их потребуется от 30 до 50 штук. Каждый сценарий будет выборкой в вашей регрессионной модели.

4. Попросите экспертов дать соответствующую оценку каждому описанному сценарию.

5. Усредните оценки экспертов.

6. Проведите логистический регрессионный анализ, используя среднее значение экспертных оценок в качестве зависимой переменной, а вводные данные, предоставленные экспертам, – в качестве независимой переменной. В зависимости от используемых вводных переменных вам может потребоваться закодировать вводные данные или применить полиномиальные методы регрессии. Поскольку в данном случае вы оцениваете вероятность, можно применить методы логистической регрессии. Здесь сплошная специальная лексика, но если вы знакомы с методами регрессии, то поймете, о чем идет речь.

7. Наилучшим образом подходящая для логистической регрессии формула и станет моделью линзы.

По завершении описанной процедуры вы сможете построить график как на рис. 9.5. Он показывает оценку усредненного суждения экспертов в модели регрессии в сравнении со средним значением экспертных суждений для каждого из сценариев. Видно, что модель, конечно же, не полностью совпадает с суждениями экспертов, но близка к ним. На самом деле, если сравнивать эти данные с показателями несогласованности экспертов, то, как правило, выясняется, что большая часть отклонений модели от экспертных оценок связана с несогласованностью экспертов. Таким образом, модель линзы могла бы быть еще более эффективной, если бы эксперты были более согласованны в своих оценках. Эта несогласованность устраняется с помощью метода линзы.

Если вы решите применять метод линзы, то построенная выше модель действительно будет лучше единичного эксперта по нескольким параметрам. Она, по сути, является имитацией усредненных суждений ваших лучших калиброванных экспертов, если бы они были идеально согласованны.

Для оценки несогласованности можно применить метод «дублирующейся пары» из главы 4: в нескольких случаях, вместо того чтобы спрашивать экспертов о влиянии отдельных условий, можно дать в списке идентичные друг другу сценарии, скажем 7-й и 29-й. После просмотра пары десятков сценариев эксперты забывают, что они уже рассматривали такую же ситуацию, и часто дают немного отличающийся ответ. Вдумчивые же эксперты более согласованны в оценке сценариев. В любом случае, как было показано в главе 4, доля несогласованности составляет около 21 % от общего разброса в экспертных оценках (остальные 79 % обусловлены данными, предоставленными экспертам для вынесения суждения). И эта ошибка полностью устраняется с помощью метода линзы.

Рис. 9.5. Пример регрессионной модели, предсказывающей оценки экспертов

У каждого из рассмотренных двух методов есть свои плюсы и минусы.

1. ЛОШ занимает (ненамного) меньше времени. В методе линзы экспертам необходимо рассмотреть множество выборок, чтобы можно было построить модель регрессии.

2. Метод линзы способен выявлять более сложные взаимодействия между переменными. Ответы экспертов могут указывать на то, что некоторые переменные важны только при определенном значении других переменных.

3. ЛОШ немного проще. Метод линзы зависит от построения модели регрессии, которая эффективно предсказывает суждения экспертов. И хотя в Excel имеются инструменты, позволяющие упростить задачу, на самом деле для построения качественной регрессии часто требуется несколько подходов. Возможно, где-то придется перейти на нелинейную модель при наличии двух переменных, дающих кумулятивный эффект. А в других случаях понадобится объединить несколько дискретных значений переменной (например, действительно ли при указании расположения сервера необходимо деление на внутренние, управляемые компанией, внутренние, управляемые сторонней организацией, и внешние вместо «управляемых нами» и «управляемых кем-то другим»?). Технически это не так сложно, особенно для тех, кто уже имеет подобный опыт, но все равно отнимает время. При этом все математические вычисления, необходимые для метода ЛОШ, находятся всего в одной электронной таблице, доступной на сайте www.howtomeasureanything.com/cybersecurity.

4. ЛОШ, как правило, дает гораздо больший разброс в оценках, чем метод линзы. То, как легко эффекты от нескольких условий могут дать в итоге очень высокую или низкую оценочную вероятность, иногда становится для экспертов полной неожиданностью. Когда те же эксперты оценивают вероятности с помощью метода линзы, их ответы имеют гораздо меньший разброс. Возможно, эксперты недооценивают совокупный эффект независимых переменных в методе ЛОШ или слишком осторожны при изменении своих оценок на основе информации, предоставляемой для метода линзы. Вам решать, какой вариант реалистичнее.

5. Оба метода помогают снизить несогласованность, но метод линзы обеспечивает более удобный способ ее измерения. Как уже говорилось, измерять несогласованность полезно, поскольку мы знаем, что эта ошибка устраняется при помощи количественной модели, и, устранив ее, можно будет оценить, насколько уменьшилась погрешность. Поскольку для метода линзы требуется множество оценок (как минимум десятки), то несоответствие можно легко выявить с помощью метода дублирующихся пар.

Итак, если вам нужно быстрое решение, применяйте метод ЛОШ для разложения вероятностей при наличии нескольких условий. Только проверьте, насколько сильно меняются ответы между двумя крайними вариантами условий (одним, когда для всех условий заданы значения, повышающие вероятность, а вторым, когда для всех условий заданы значения, уменьшающие вероятность). Если крайние значения кажутся совершенно нереальными, можно снизить оценку эффектов отдельных переменных, как упоминалось выше.

Доказано, что люди склонны преувеличивать влияние множественных сигналов, особенно если они сильно коррелируют между собой. В одном исследовании это называют «пренебрежением корреляцией» при рассмотрении условных вероятностей¹. Если два сигнала A и B идеально коррелируют (т. е. если вам сказать значение одного, вы точно назовете значение другого), то не нужно знать и A, и B для оценки вероятности X: P(X | A,B) = P(X | A) = P(X | B). Однако люди, даже если им говорят, что А и В высоко коррелированы, склонны рассматривать их как независимые (и, следовательно, усиливающие) сигналы и преувеличивать их влияние при оценке новой условной вероятности X. Как уже отмечалось при рассмотрении ЛОШ, в случае если вам кажется, что два условия сильно коррелируют, самое простое решение – не использовать одно из них.

Даже если вы решаете применять метод линзы, рекомендуется все равно начинать с ЛОШ, чтобы эксперты по кибербезопасности поняли, как знание отдельных условий может изменить их вероятности. Это также помогает избавиться от условий, которые изначально могли показаться экспертам информативными. Представим, например, что мы находимся на семинаре и команда экспертов по кибербезопасности перечисляет условия, которые, по их мнению, могут быть информативными для оценки в модели линзы. По мнению одного из участников семинара, тип операционной системы, используемой активом, может влиять на вероятность утечки данных с этого актива. Чтобы проверить утверждение, применим процесс ЛОШ, описанный ранее, и спросим, насколько сильно эксперты изменили бы базовую вероятность (вероятность возникновения события из области кибербезопасности, указанную, когда было известно только, что речь об одном из активов), если бы им сказали, что операционная система – Linux, а затем, что они изменили бы, узнав, что операционная система – Microsoft. Возможно, эксперты поймут, что с этой информацией не станут менять базовую вероятность. В таком случае условие можно исключить из модели линзы.

Оба метода – линзы и ЛОШ – ставят перед экспертами примечательные концептуальные препятствия. В процессе оценки экспертам может не хватать уверенности, потому что они неправильно понимают сам принцип работы метода. Большинство экспертов, с которыми нам довелось работать, принимали методы без возражений вроде тех, что приводятся ниже, но у некоторых они все же возникали. Если знать, как развеять подобные заблуждения, можно помочь экспертам лучше понять, почему их вводные данные необходимы.

Рассмотрим следующую реакцию: «Когда я применяю метод линзы, кажется, будто я выбираю ответы наугад». Если бы большинство людей, применяющих метод линзы для оценки вероятностей, действительно выбирали значения наугад, то у нас имелась бы совершенно иная картина. Например, не выявлялись бы такие же сильные корреляции, какие обычно бывают в этих моделях. И оставалось бы загадкой, почему эксперты при всех своих разногласиях на самом деле так часто соглашаются в оценках. Ведь очевидно, что, если бы разные эксперты, работающие независимо друг от друга, выбирали оценки наугад, они не демонстрировали бы схожие суждения о том, насколько сильно то или иное условие меняет вероятность события. Однако же налицо определенный уровень совпадения, и он намного выше того, который можно было бы списать на случайность.

Возможно, эксперты, высказывающие такую озабоченность, имеют в виду, что при разных обстоятельствах одна и та же вероятность могла бы быть оценена в 5, в 2 или 8 %. И это, несомненно, так. При индивидуальном выборе создается впечатление, что можно дать слегка другую оценку, и все равно она останется удовлетворительной. Но метод линзы, естественно, не зависит от одной оценки или даже от одного эксперта. А при объединении большого количества точек данных неизбежно возникают закономерности, даже когда эксперты считают, что в своих оценках отдельных случаев действовали наугад.

Можно столкнуться и с другим заблуждением: «Эти переменные сами по себе ничего мне не говорят. Мне нужно гораздо больше информации для оценки». Отвечая на вопрос, как одно условие может изменить вероятность в методе ЛОШ или как поменяются оценки на основе множественных условий (которых было всего лишь несколько), некоторые эксперты возразят, что, не зная больше (а кто-то скажет, что не зная всего), они не могут дать оценку.

Иными словами: «Сведения о том, как часто вносятся исправления, сообщат мне кое-что о вероятности, если я также буду знать и ряд других [обычно неустановленных и бесчисленных] данных». Подобные заявления неверны, и их можно опровергнуть математически. Формальную версию доказательства можно найти в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», а пока просто знайте, что такая точка зрения математически нелогична.

Другая проблема этого возражения заключается в том, что, как мы знаем, относительно простые модели вполне достойно будут предсказывать суждения экспертов. И часто в итоге из модели даже исключаются одна или несколько переменных как бесполезные для прогнозирования суждений экспертов. То есть переменная, которую эксперты, как им казалось, в какой-то момент учитывали в своих суждениях, вообще не оказывала никакого влияния на их выводы. Они просто занимались тем, что в предыдущих главах мы называли неинформативным разложением.

Мы все склонны верить, что наши субъективные суждения являются результатом достаточно тщательного и продуманного анализа вариантов. Если давать более реалистичное описание, то наше суждение является скорее весьма скромным набором переменных с очень простыми правилами и большим количеством шума и ошибок.

Дальнейшее снижение неопределенности и когда к нему следует прибегать

Не обязательно полагаться только на калиброванные оценки и субъективные разложения. В конечном итоге оценки нужно обосновать эмпирическими данными. Например, условные вероятности могут быть вычислены на основе сведений за прошлые периоды. Бета-распределение и другие методы вычисления условных вероятностей можно комбинировать необычным образом. Можно даже принимать рациональные решения о необходимости более глубокого анализа, исходя из экономической ценности информации.

В первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» гораздо подробнее описан процесс определения стоимости информации. Здесь же в основном будут рассмотрены простые правила и процедуры, которые актуальны для сферы кибербезопасности.

Информация обладает ценностью, поскольку решения, влекущие за собой экономические последствия, нам приходится принимать в условиях неопределенности. Иначе говоря, есть цена ошибки и шанс допустить ошибку. Произведение шанса допустить ошибку и ее цены называется ожидаемыми потерями от упущенных возможностей (Expected Opportunity Loss, EOL). В анализе решений под стоимостью информации понимается снижение EOL. Если устранить неопределенность, то EOL станут равны нулю, и тогда разницей в EOL будет их полная стоимость. Эту стоимость также называют ожидаемой стоимостью полной информации (Expected Value of Perfect Information, EVPI). Неопределенность, как правило, устранить невозможно, но EVPI дает понимание верхней границы ценности дополнительной информации. Если EVPI всего 100 долл., то, вероятно, не стоит тратить время на снижение неопределенности. А вот когда EVPI составляет 1 млн долл., снижение неопределенности выгодно, даже если удастся уменьшить ее только наполовину, потратив при этом 20 000 долл. (или и вовсе лишь силы на анализ).

В кибербезопасности стоимость информации всегда связана с решениями, которые можно принять для снижения риска. Вы будете принимать решения о том, внедрять ли определенные средства контроля, а они стоят денег. Если вы решите применить средство контроля, то ценой ошибки будут деньги, которые, как выяснится, не нужно было тратить на это средство контроля. В обратном случае ценой ошибки станет наступление события, которого можно было бы избежать, имея средства контроля, от внедрения которых вы отказались.

На сайте www.howtomeasureanything.com/cybersecurity нами предоставлена электронная таблица для расчета стоимости информации. В табл. 9.2 показано, как структурированы значения в электронной таблице последствий. Обратите внимание, что здесь приводится очень простой пример, где предполагается, что предложенное средство контроля исключает возможность наступления события. При желании таблицу можно усложнить и рассмотреть возможность того, что, несмотря на внедрение средства контроля, событие все же произойдет (скорее всего, с меньшей вероятностью и/или воздействием).

В электронной таблице также фиксируются условные вероятности, подобные тем, что мы вычисляли ранее: P(КУД), P(КУД | ПТП) и P(КУД | ~ПТП) (напомним, что КУД означает «крупная утечка данных», а ПТП – «положительный тест на проникновение»). Расчет несложный: на основе P(КУД), стоимости средства контроля и стоимости события без средства контроля вычисляются EOL для каждой стратегии – внедрения средства контроля или невнедрения. То есть, опираясь на выбранную стратегию, мы просто вычисляем цену ошибки и шанс допустить ошибку для каждой стратегии.

В таблицу можно вводить различные комбинации условных вероятностей, стоимости событий и затрат на средства контроля. Однако все в итоге сводится вот к чему: если не внедрять средство контроля, то стоимость информации может равняться произведению вероятности наступления события и стоимости события. А если внедрить средство контроля, цена ошибки составит произведение вероятности, что событие не произойдет, и стоимости средства контроля. Таким образом, чем выше стоимость средства контроля, тем более значительное событие оно должно смягчить, и чем больше неопределенность в отношении события, тем выше стоимость дополнительной информации.

Предположим, что вы построили модель, вычислили стоимость информации и определили, какие дополнительные измерения необходимо провести. В частности, было установлено, что желательно уменьшить степень неопределенности в отношении влияния отдельных факторов в области кибербезопасности на вероятность наступления какого-либо события, затрагивающего безопасность. Сформировав выборку – из данных или своей компании, или отрасли в целом, – вы организовали ее так, как показано в табл. 9.3. Присвоив наступлению события значение Y, а рассматриваемому условию – значение X, можно вычислить условную вероятность P(Y | X): разделить количество строк, в которых Y = Да и X = Нет, на общее количество строк, где X = Нет. То есть P(Y | X) = количество Y и X / количество X (как показано в правиле 4 для ситуации «это зависит от» в главе 8).

Это может быть список серверов по годам, показывающий, происходило ли интересующее вас событие на данном сервере и, скажем, был ли он расположен за границей, или какой тип операционной системы на нем установлен. Или, возможно, требуется оценить вероятность заражения сервера ботами на основе какой-то непрерывной величины, например количества трафика, получаемого сервером (наш приглашенный автор Сэм Сэвидж разбирает такой случай в приложении Б).

Если вы умеете работать со сводными таблицами в Excel, то сможете провести подобный анализ без особых проблем. Мы же предлагаем еще более простой аналитический способ – применить функцию Excel =СЧЁТЕСЛИМН, подсчитывающую строки таблицы, в которых выполняется ряд условий. Посчитав строки, в которых оба столбца равны «1», получим количество раз, когда присутствовали и событие, и условие. В отличие от функции СЧЁТЕСЛИ (без «МН»), которая подсчитывает только число в заданном диапазоне, удовлетворяющее одному критерию, СЧЁТЕСЛИМН может иметь несколько диапазонов и несколько критериев. Они обе понадобятся для расчета условной вероятности по данным за прошлый период.

Подсчитав количество единиц только во втором столбце, мы получим все ситуации применения условия, независимо от того, происходило ли событие нарушения безопасности. Тогда, чтобы вычислить условную вероятность события с учетом условия, P(Событие|Условие) по табл. 9.3, проведем следующие вычисления:

Обратите внимание, что под обозначениями «столбец A» и «столбец B» понимаются соответствующие диапазоны, в которых находятся ваши данные в Excel.

Теперь вы эмпирически оцениваете условную вероятность. На сайте размещена электронная таблица, демонстрирующая, как это сделать. В ней представлен довольно интересный анализ, который можно провести с помощью этого подхода, как только вы его освоите.

В книге уже подробно разобрано несколько статистических методов, и, на наш взгляд, большинству экспертов по кибербезопасности их будет вполне достаточно, но при желании читатели всегда могут глубже изучить вопрос. Поэтому мы не будем нагружать вас сейчас дополнительными методами, а лишь опишем, что делать, если вы уже освоили все рассмотренные выше способы.

Прежде всего можно объединять изученные методы в более сложные и информативные подходы. Например, в методе ЛОШ использовать как вводные данные не калиброванные оценки, а условные вероятности, вычисленные из данных. Как и в случае с ЛОШ ранее, до тех пор пока условия независимы, можно определять условную вероятность при большом количестве условий.

Кроме того, применяя данные из табл. 9.3, можно построить бета-распределение с эмпирически полученной условной вероятностью, взяв простые бинарные исходы (Y) и условия (X) в качестве «попаданий» и «промахов». Допустим, есть центр обработки данных, в котором установлено множество средств защиты на пути данных из сети в компьютер: сетевой файрвол, файрвол компьютера, сетевая система предотвращения вторжений, хостовая система предотвращения вторжений и т. д. В любом случае это немалые финансовые вложения. Переменная исхода Y пусть будет определена как «инцидент нарушения безопасности». Формулировка очень общая, но это может быть вредоносное ПО, атака хакеров, отказ в обслуживании и т. д. А X, разумеется, представляет собой «условия», которые были только что сформулированы, как меры обеспечения безопасности. Предположим, в результате подсчета получился 31 случай, когда Y и X встречаются вместе (событие нарушения безопасности и действующие средства контроля) и 52 случая Х всего. Тогда мы сможем оценить условную вероятность при помощи бета-распределения, используя 31 совпадение и 21 промах, которые добавятся к априорной информации. Опять же, стоит воспринимать полученные данные лишь как возможный вариант, а не отражение точной пропорции. Если продолжить наш пример, то далее можно было бы спрогнозировать вероятность возникновения инцидентов нарушения безопасности при конкретных средствах контроля. Вместо того чтобы добавлять ЛОШ для фиксированных условных вероятностей, мы случайным образом берем данные из бета-распределения и вычисляем ЛОШ получившегося результата (это повлияет и на кривую вероятности превышения потерь, которая повернется так, что вероятность экстремальных потерь увеличится).

Подумайте, как это может быть удобно, если вы имеете дело с несколькими крупными центрами обработки данных, разбросанными по всему миру. Вам нужно иметь представление о вероятности инцидентов с позиции обеспечения мер безопасности. Тогда указанным способом будет легко определить EVPI по отношению к потенциальным стратегическим изменениям в системе защиты, исходя из данных простой выборки. Не забывайте, у вас больше данных, чем кажется!

Электронные таблицы с подробными примерами, как обычно, размещены на сайте www.howtomeasureanything.com/cybersecurity.

Использование имеющихся ресурсов для снижения неопределенности

Вспомните максимы измерения: подобные измерения уже проводились раньше; у вас больше данных, чем кажется; вам нужно меньше данных, чем кажется. В этой главе до сих пор мы уделяли основное внимание последней максиме. Теперь потратим немного времени на две другие.

Если вы хотя бы частично осознаёте, какие ресурсы вам доступны, то поймете, что данных довольно много и что очень умные люди уже проанализировали их для вас. Часть информации даже находится в открытом доступе. Все приведенные ниже примеры были предоставлены для этой книги нашими приглашенными авторами.

• Компания VivoSecurity Inc. собирает в основном общедоступные сведения об утечках информации и других инцидентах, связанных с кибербезопасностью. Используя данные портала министерства здравоохранения с сообщениями об утечках информации (также известного как «Стена позора минздрава»), специалисты VivoSecurity обнаружили интересную взаимосвязь между количеством сотрудников в организации и вероятностью утечки информации. На портале² минздрава представлены утечки записей личной медицинской информации, затронувшие не менее 500 человек, и эти данные можно загрузить в электронную таблицу. Частота утечек данных по состоянию на 2015 год составляла около 14 % на 10 000 сотрудников в год (выше, чем по информации о крупных взломах, так как тут учитываются даже утечки всего в 500 записей). Показатель немного вырос по сравнению с 2012 годом, когда он составлял примерно 10 %. Подробный анализ компании VivoSecurity представлен в приложении Б.

• Антон Мобли, специалист по анализу данных из компании GE Healthcare (и коллега Ричарда Сирсена, одного из авторов книги), провел любопытный анализ влияния политики надежности паролей на вероятность их взлома. Анализ частично основан на эмпирических исследованиях паролей (например, паролей вроде «password» или «qwerty»), а также рассматривает правила, по которым они создаются, и относительную сложность подбора паролей при помощи широко доступных алгоритмов. В частности, Мобли приводит эмпирические данные о том, какие типы подсказок к паролям, используемых людьми, значительно упрощают процесс подбора пароля (например, «моя фамилия» или «улица моей компании»). Согласно его исследованию, в организации с 2000 сотрудников практически наверняка случится взлом паролей, если в ней не следят за соблюдением стандартов составления паролей. Вероятность взлома паролей в этой же организации снизилась бы примерно до всего лишь 5 % при наличии обязательного требования выбирать пароль из 15 символов разных типов (например, «AnNtx5#undR70!z»). Подробный анализ представлен Мобли в приложении Б.

• Маршалл Кюперс (мы упоминали его в главе 6, он специализируется на статистическом анализе данных в сфере кибербезопасности и на момент написания книги готовился получать степень доктора философии в Стэнфорде) вместе с доктором Пейт-Корнелл из Стэнфорда представили на конференции SIRACon 2015 статистический анализ, демонстрирующий несколько интересных тенденций (часть из них показана на рис. 9.6). На их основе можно сделать ряд полезных выводов для анализа рисков кибербезопасности.

– Частота взлома данных вследствие потери или кражи устройств остается неизменной на протяжении последних нескольких лет и пропорциональна количеству сотрудников. Эти результаты согласуются с выводами на основе анализа данных министерства здравоохранения.

– Снижается частота заражения вредоносным ПО, но не его воздействие, распределение которого имеет толстый хвост.

– Время расследования инцидентов в точности соответствует «степенному закону» (степенной закон – распределение, в котором логарифм частоты события и логарифм воздействия создают прямую линию, идущую под углом вниз. Это распределение описано в приложении А).

Рис. 9.6. Распределение времени расследования инцидентов, связанных с кибербезопасностью

Завершая разговор о байесовском методе

Две последние главы знакомили вас сначала с простыми, а затем с более продвинутыми эмпирическими подходами, применяющими байесовский метод. Обращаясь к уже разработанным электронным таблицам за более подробными объяснениями, мы рассмотрели довольно большой объем информации.

Было показано, как байесовские и производные от них методы позволяют обновлять первоначальные калиброванные оценки с учетом новой информации. Продемонстрировано не только использование байесовских методов для решения простой проблемы обновления информации, но и то, как можно применять на практике гораздо более сложные методы вроде бета-распределения, пользуясь возможностями редактора Excel. А также как можно объединить несколько условий с помощью метода ЛОШ и метода линзы и как сочетать ЛОШ с бета-распределением.

Не обязательно пытаться разобраться во всем сразу. Делайте все постепенно и добавляйте новые методы по мере их освоения. Есть множество вариантов моделирования и использования новой информации – и любой из них определенно лучше, чем догадки или применение методов без математического обоснования. Далее в третьей части мы рассмотрим еще несколько концепций и обсудим практические соображения по внедрению изученных методов в организации.

1. Benjamin Enke and Florian Zimmermann, “Correlation Neglect in Belief Formation,” Discussion Paper No. 7372 (Bonn, Germany: Institute for the Study of Labor, 2013), http://ftp.iza.org/dp7372.pdf.

2. U.S. Department of Health and Human Services, Office for Civil Rights, Breach Portal, “Breaches Affecting 500 or More Individuals,” accessed March 21, 2016, https://ocrportal.hhs.gov/ocr/breach/breach_report.jsf.