Искусство неопределенности: как управлять шансом, невежеством, риском и удачей

Подобные неудачи в прошлом привели к появлению рекомендаций относительно общего принципа предосторожности в отношении рисков для общества. Он имеет множество различных версий; одна из них, особенно сильная, гласит, что не следует предпринимать никаких действий, пока они не будут доказано "безопасными", что кажется скорее параноидальным , чем предупредительным, хотя именно такой подход был использован в судебном деле 2018 года в Калифорнии против продавцов кофе - они должны были доказать, что их продукт безопасен, и поэтому были виновны, пока не доказана невиновность.

Более слабый принцип предосторожности, широко пропагандируемый Европейским союзом, гласит, что мы не должны ждать убедительных научных доказательств, прежде чем защищаться от возможного риска. На первый взгляд это может показаться очень разумным перед лицом растущих угроз для окружающей среды - мы должны быть как последний поросенок и строить свой дом из кирпичей, даже если мы не знаем наверняка, не придет ли большой плохой волк и не зарычит ли он.

Но почему все ограничилось кирпичами? Почему этот поросенок не построил убежище, способное пережить ядерную зиму? Против чрезмерного энтузиазма в отношении мер предосторожности, основанных на наихудших сценариях, отреагировал Филип Тетлок: "Мы не можем на полном ходу упреждать каждую угрозу, которая появляется на экране чьего-то радара. Мы должны определить приоритеты" 26.

Предосторожность может иметь непредвиденные последствия. Германия давно испытывает отвращение к атомной энергетике, укрепившееся после Чернобыльской катастрофы, и окончательно отказалась от нее после Фукусимы. Это означает, что они все больше полагаются на угольные электростанции, которые еще больше способствуют изменению климата. И это не единственный способ, которым событие на Фукусиме нанесло косвенный вред из-за избытка предосторожности. Мы уже видели (глава 13), как эта атомная электростанция в Японии была построена в известной зоне цунами и, тем не менее, не была должным образом защищена от экстремальных волн. Затем в 2011 году произошло цунами , системы охлаждения вышли из строя, и произошел выброс радиоактивных загрязняющих веществ. Это вызвало огромный международный интерес, а комиссар Европейского союза по энергетике Гюнтер Эттингер заявил: "Говорят об апокалипсисе, и я думаю, что это слово выбрано особенно удачно". Более 150 000 местных жителей были эвакуированы, а инцидент получил 7-й уровень по Международной шкале ядерных и радиологических событий (INES) - это самый высокий балл по шкале, достигнутый ранее только Чернобылем. 27 fn6 Но был ли это адекватный ответ на риски?

В то время как цунами унесло жизни по меньшей мере 18 000 человек, ни один работник АЭС "Фукусима" не погиб (хотя один смертельный случай рака легких был позже отнесен на счет радиации). Однако эвакуация нанесла огромный ущерб социальному, экономическому и психическому здоровью, включая более пятидесяти случаев немедленной смерти стационарных больных и пожилых людей во время эвакуации, а почти 1800 последующих смертей были классифицированы как "связанные с катастрофой". 28 Чрезмерная предосторожность, подстегиваемая страхами перед радиацией, привела к мерам, которые принесли гораздо больше вреда, чем пользы.

Так что же нам делать, принимая решения в условиях неопределенности? Мой личный вывод заключается в том, что лучше всего работать по списку , описанному ранее, пытаясь количественно оценить неопределенность, но признавая, что это неадекватно. И по мере того как мы все больше признаем более глубокую, онтологическую неопределенность, когда мы даже не можем уверенно перечислить, что может произойти, мы отходим от попыток формального анализа и переходим к стратегии, которая должна достаточно хорошо работать как в ситуациях, которые мы себе представляли, так и тех, которые мы не представляли.

Сводный список соображений для принятия решений в условиях более глубокой неопределенности может включать в себя:

Сложность: Противостоять взаимосвязанным, системным рискам; отдаленное событие может нарушить хрупкую цепочку поставок.

Избыточность: Не пытайтесь оптимизировать - потери будут всегда.

Смирение: Не думайте, что вы все предусмотрели - не существует "типичных" экстремальных событий.

Надежность: Нацельтесь на то, что будет достаточно хорошо работать в тех ситуациях, которые вы продумали.

Устойчивость: Старайтесь уметь быстро восстанавливаться, что бы ни случилось.

Обратимость: При потенциально катастрофических потерях старайтесь не идти по пути невозврата.

Адаптивность: Наличие систем раннего предупреждения о новых проблемах и способность менять направление деятельности при изменении условий.

Открытость: Сосредоточьтесь на общении и сотрудничестве, приглашая на сайт широкий спектр точек зрения, активно участвуйте в обсуждении и избегайте принятия единственной точки зрения.

Сбалансированность: Не концентрируйтесь только на отрицательных сторонах, а подумайте о потенциальной пользе и вреде любого вмешательства, включая возможные побочные эффекты предосторожности.

Лично я считаю, что такие стратегии работы с более глубокими неопределенностями могут естественным образом привести к (возможно, временному) подходу, основанному на принципе предосторожности - нам не нужен отдельный принцип.

И хотя этот список был предназначен для организаций и правительств, многое из него относится и к тому, что нам приходится решать каждый день. Мы не можем деконструировать каждое решение и пройти через формальный процесс оценки результатов, вероятностей и ценностей. Вместо этого нам нужно защитить себя от худшего, что может случиться, и в то же время воспользоваться открывающимися возможностями. Отправляться в отпуск с приключениями, но с планированием, надежной поддержкой и страховкой. Рисковать, но не быть безрассудным.

Резюме

Теоретическая основа рационального принятия решений в условиях неопределенности требует полного описания вариантов, исходов, значений и вероятностей.

Принцип максимизации ожидаемой стоимости неадекватно описывает поведение человека.

Недостаток уверенности в вероятности обычно приводит к неприятию риска.

Стратегии принятия решений становятся менее количественными по мере роста неопределенности.

Хотя мы можем использовать воображаемые нарративы в наших личных решениях, это кажется неадекватной основой для общественных решений.

Система "Допустимость риска" устанавливает четкие границы между недопустимыми и широко допустимыми рисками.

Коэффициенты неопределенности используются для определения приемлемых уровней воздействия, когда соответствующие риски не поддаются количественной оценке, но они могут быть чрезмерно осторожными.

Принцип (слабой) предосторожности предполагает превентивные действия, не дожидаясь доказательств вреда, но является естественным следствием устойчивой стратегии работы в условиях глубокой неопределенности.

ГЛАВА 16

. Будущее неопределенности

До сих пор мы рассматривали некоторые совершенно тривиальные вопросы, такие как вероятность вытащить из ящика носки с одинаковым рисунком или получить коробку яиц с двойным желтком, а также серьезные вопросы о риске заболевания раком и гибели на работе. Но, приближаясь к концу книги, пришло время перейти к большим, экзистенциальным вопросам.

Какова вероятность того, что вы родились? Или существования человеческой жизни? И имеет ли смысл вообще задавать эти вопросы?

Во Введении мы говорили о том, что каждого из нас не было бы на свете, если бы не цепь случайностей. И теперь считается, что это относится не только к отдельным людям, но и ко всему человечеству. Последовательность событий, приведших к развитию разумной жизни на Земле , можно считать чрезвычайно удачной, будь то точное расстояние Земли от Солнца, позволившее существовать воде, химический состав Земли, поддерживающий жизнь, массовое вымирание динозавров после столкновения с астероидом, послужившее толчком к развитию млекопитающих, и так далее.

Еще более фундаментально то, что физические константы, лежащие в основе всей Вселенной, по-видимому, точно настроены для поддержания существования: от точных детерминант, определяющих расширение Вселенной, до гравитационного окна, позволяющего звездам формироваться, и соотношения материи и антиматерии, позволяющего Вселенной сгуститься после Большого взрыва. Без этих "космических совпадений" ничто из существующего не развивалось бы так, как оно развивается. То, что мы вообще здесь, кажется необычным.

Но эти вопросы касаются вещей, которые произошли, и если бы они не произошли, то нас бы здесь не было, чтобы задавать этот вопрос. Антропный принцип гласит, что поэтому бессмысленно даже обсуждать вероятность нашего существования. Это крайний пример "предубеждения выживания" - книги в аэропортах полны советов о том, что сделало бизнес успешным, но невозможно определить факторы, повышающие ваши шансы, только рассматривая успехи - нам нужно сравнить их с неудачами. Точно так же, чтобы ответить на подобные экзистенциальные вопросы, нам нужно рассмотреть ситуации, в которых нас не существует. А это нам недоступно, если только не представить себе мультивселенную, в которой только одна из возможностей была бы той самой зоной Златовласки, которая позволила нам оказаться здесь и стать свидетелями нашей удачи.

Проблемы с попыткой ответить на эти вопросы становятся еще более очевидными, когда мы признаем, что все вероятности - это суждения, выражающие личную неуверенность. Кто может быть человеком (или чем-то), оценивающим эти числа? В некоторых обстоятельствах имеет смысл оценивать вероятности произошедших событий, например, когда кто-то выиграл в лотерею или у него родились трое детей с одинаковыми днями рождения, поскольку можно представить себе , что мы могли бы сделать это до события. Но никто не мог предположить, что я существовал до того, как я появился, и для оценки вероятности существования человечества или Вселенной нам нужно думать либо об инопланетянах, либо о чем-то за пределами нашей Вселенной.

Это не имеет большого практического смысла, поэтому я и не пытаюсь отвечать на эти вопросы. Но, к сожалению, более разумным кажется задать следующий вопрос.

Какова разумная вероятность того, что человечество прекратит свое существование в ближайшем будущем?

Мы знаем, что мир обречен, когда Солнце расширится, хотя гарантированный срок нашего существования истекает не ранее чем через несколько миллиардов лет. В более обозримые сроки растет интерес к глобальным катастрофическим рискам, которые могут угрожать всему человечеству, таким как ядерная война, неавторизованный ИИ, патогены , столкновение с астероидами и так далее. Хотя мы можем представить себе возможные варианты будущего, в которых эти экзистенциальные угрозы возникнут, оценить вероятность их возникновения довольно сложно.

Но это не останавливает людей. Методы оценки вероятности вымирания варьируются от чисто субъективных суждений, таких как высказывание королевского астронома Мартина Риса "Я думаю, что шансы не лучше, чем пятьдесят на пятьдесят, что наша нынешняя цивилизация на Земле доживет до конца нынешнего века", до опроса экспертов по ИИ, оценивающих довольно точную вероятность 30.5 % вероятности того, что ИИ-катастрофа убьет подавляющее большинство человечества к 2200 году, 1 до основанной на модели оценки шансов 1 к 2 триллионам (миллионам миллионов) на уничтожающий человечество удар астероида в течение ста лет. 2 Участники Глобальной конференции по катастрофическим рискам в 2008 году, которые проявили определенный интерес к этому вопросу, дали среднюю оценку риска вымирания к 2100 году в 19 %. 3 Можно заподозрить, что у этой избранной группы преувеличенное чувство угрозы, но они оценили только 60 % вероятность того, что более 1 миллиона человек погибнут в результате природной пандемии к 2100 году, что кажется довольно консервативным, особенно , поскольку это впоследствии произошло в течение пятнадцати лет.

Хотя кажется разумным серьезно задуматься о потенциальных угрозах человечеству, я не уверен, что эти вероятности - нечто большее, чем выражение беспокойства. Я бы предпочел воспользоваться суждениями опытных суперпрогнозистов, хотя меня не будет рядом, чтобы оценить их оценки.

Искусственный интеллект

На сайте много неопределенности относительно развития и влияния ИИ. Безусловно, он будет играть все большую роль в нашей жизни - при написании этой книги я использовал большие языковые модели (LLM), которые помогали мне и в кодировании, и в исследованиях (хотя я проверял и переписывал все их утверждения). Но есть и другой важный вопрос - как ИИ справится с собственной неопределенностью?

Важность способности ИИ справляться с неопределенностью признается уже много лет - фактически я участвовал в проведении первых конференций "Неопределенность в ИИ" еще в 1980-х годах. 4 Тогда основные споры велись о том, можно ли адаптировать вероятностные рассуждения к сложным сетевым структурам, воплощенным в так называемых экспертных системах, и я был частью группы, которая показала, что теорема Байеса может использоваться для строгого распространения неопределенности через цепочки рассуждений.

К сожалению, вся эта работа, похоже, сошла на нет, когда дело дошло до массивных сетей глубокого обучения, лежащих в основе крупноязычных моделей, которые, как мы знаем, могут прийти к явно неправдивым выводам, выдаваемым с абсолютной уверенностью. В этой книге мы подчеркивали, что люди, намеренно занижающие или завышающие степень неопределенности, распространяют дезинформацию, но, по крайней мере, они заинтересованы в том, что является правдой, даже если они хотят скрыть это. В отличие от этого, крупноязычные модели в настоящее время не имеют никакого представления о том, правдиво то, что они говорят, или нет: все подается с одинаковой уверенностью. Они могут быть, если воспользоваться техническим термином, обманщиками. 5 fn1

Внесение неопределенности в глубокое обучение является активной областью исследований, а количественная оценка неопределенности - неотъемлемой частью машинного обучения в целом, поэтому, возможно, ситуация улучшится, и будущий ИИ сможет предоставлять надежную оценку своей (личной) неопределенности. Если бы можно было доказать, что эти оценки калибруются, это бы очень помогло в установлении надежности ИИ. Я бы хотел, чтобы мой бот знал, что он знает и чего не знает.

Манифест неопределенности

В этой книге мы рассмотрели много материала, и я поздравляю вас с тем, что вы добрались до конца (если только вы не перескочили на эту страницу). Надеюсь, изложение получилось связным, и теперь самое время подвести итоги и извлечь из всех примеров и историй некоторые общие уроки для улучшения работы с неопределенностью в будущем, как для отдельных людей, так и для всего общества.

Первый урок, с которым мы познакомились, заключается в том, что неопределенность - это личные отношения с миром, имеющие объект внимания, источник, выражение и другие характеристики. Хотя в некоторых обстоятельствах мы все можем согласиться с тем, что происходит, в целом нам приходится выносить собственные суждения - мы должны владеть своей неопределенностью и не только признавать ее, но и позитивно приветствовать ее как возможность для обучения и изменений. Это требует честности и смирения, как в самоанализе, так и в общении с другими.

Во-вторых, мы должны стараться по возможности выражать нашу неопределенность в цифрах. Теория вероятности - это замечательная система, обладающая многими необычными свойствами, помогающая нам понять, почему так часто происходят совпадения и какова роль удачи в нашей жизни. В принципе, мы можем утверждать любые вероятности , но если мы хотим, чтобы они были полезны, они должны соответствовать реальному миру, быть выверенными и дискриминационными. Однако следует помнить, что, за исключением субатомного уровня, вероятности не являются свойством внешнего мира - они фактически не существуют. Хотя иногда бывает полезно вести себя так, как будто существуют объективные "вероятности", определяющие происходящее.

Как только мы принимаем , что вероятности - это, по сути, суждения, естественно принять байесовский подход к обучению на опыте, при котором наши вероятности обновляются по мере накопления доказательств, а теорема Байеса показывает, как вероятность может быть использована для противодействия утверждениям, что события должны быть "больше, чем просто совпадением". Наш мозг, по-видимому, работает по байесовскому принципу, когда сильные предварительные ожидания обновляются в свете наблюдений, но Оливер Кромвель научил нас, что мы должны сохранять небольшую долю сомнения в нашем понимании мира, чтобы мы могли принимать и адаптироваться к неожиданным событиям.

В науке существуют устоявшиеся способы признания неопределенности, и формальные статистические модели полезны, но мы не должны заблуждаться, думая, что они отражают реальность. Расчетные показатели, такие как P-значения и доверительные интервалы , зависят от того, верны ли все предположения модели, а мы знаем, что это не так, поэтому к результатам, полученным с помощью статистических пакетов, всегда следует относиться с осторожностью и как к приблизительным ориентирам. Утверждения, основанные на моделях, требуют анализа чувствительности, признания их ограничений и резюме о качестве базовых доказательств, а также, желательно, оценок доверия ко всему анализу. Модели могут быть ценны тем, что дают представление о том, кто или что виновато в произошедших неприятных событиях.

Предсказания, как краткосрочные, так и на перспективу, также могут быть основаны на моделях функционирования мира, и мы можем оценить качество полученных вероятностей с помощью правил подсчета баллов. Все это, конечно, предполагает, что мы можем перечислить возможные варианты будущего , но в более сложных обстоятельствах мы можем столкнуться с глубокой неопределенностью, когда мы признаем, что наше понимание неполно. Тем не менее мы все равно можем попытаться выразить нашу неопределенность в цифрах, хотя это может означать, что определенная вероятность будет отнесена к "чему-то другому".

Экстремальные и потенциально катастрофические события представляют собой особую проблему, хотя гибкое моделирование с использованием "толстых хвостов" должно позволить нам меньше удивляться тому, что происходит, хотя, опять же, очень важно иметь множество и очень образных представлений о том, что может нас ожидать, возможно, включая некоторые намеренно вызывающие "красные команды". Хотя в Руководстве по "красным командам" Министерства обороны Великобритании утверждается, что, возможно, нет необходимости создавать настоящую команду, а важно иметь образ мышления "красной команды" , которая осознает все когнитивные и поведенческие предубеждения, которые могут возникнуть, когда организации пытаются планировать будущее. 6

Мы должны быть начеку и против тех, кто делает чрезмерно самоуверенные заявления, и, с другой стороны, намеренно пытается посеять недопонимание, неоправданно преувеличивая неопределенность. Мы должны ожидать доверительного общения, в котором выводы делаются со смирением и неопределенностью и провозглашаются с уверенностью и сочувствием. Но жить в условиях неопределенности не значит быть чрезмерно осторожным - мы можем рисковать, не будучи безрассудными, и при этом быть адаптируемыми и устойчивыми.

Это мои личные уроки, которые я вынес из почти пятидесяти лет работы над проблемами вероятности, случайности, риска, невежества и удачи. Надеюсь, они найдут отклик у вас.

Мы не можем избежать неопределенности. Поэтому мы должны принять ее, смириться с ней и даже попытаться насладиться ею.

Примечания

INTRODUCTION

1. J. Toner, Risk in the Roman World (Cambridge University Press, 2023).

2. Ipsos MORI, What Worries the World (2022), https://www.ipsos.com/en-uk/what-worries-world-december2022. Based on a ‘Representative sample of 19,504 adults aged 16–74 in 29 participating countries, 25 Nov.–9 Dec. 2022’

3. Gallup Inc, Millennials: The Job-Hopping Generation (2016), https://www.gallup.com/workplace/231587/millennials-job-hopping-generation.aspx

4. D. Kahneman, Thinking, Fast and Slow (Farrar, Straus and Giroux, 2011).

5. S. Žižek, ‘Rumsfeld and the Bees’, Guardian, 28 June 2008.

CHAPTER 1: UNCERTAINTY IS PERSONAL

1. Interview with Esther Eidinow in BBC Radio 4 Risk Makers, https://www.bbc.co.uk/programmes/m0002rq8

2. This is adapted from M. Smithson, Ignorance and Uncertainty: Emerging Paradigms (Springer, 1989), who uses ‘the conscious, metacognitive awareness of ignorance’, but the term ‘metacognitive’ seems redundant.

3. The UK Supreme Court judgement is at Ivey v Genting Casinos (UK) Ltd (t/a Crockfords) UKSC 67 (2017), http://www.bailii.org/uk/cases/UKSC/2017/67.html

4. A.-R. Blais and E. U. Weber, ‘A Domain-Specific Risk-Taking (DOSPERT) scale for adult populations’, Judgment and Decision Making 1 (2006), 33–47.

5. M. A. Hillen et al., ‘Tolerance of uncertainty: conceptual analysis, integrative model, and implications for healthcare’, Social Science & Medicine 180 (2017), 62–75.

6. R. N. Carleton et al., ‘Increasingly certain about uncertainty: intolerance of uncertainty across anxiety and depression’, Journal of Anxiety Disorders 26 (2012), 468–79.

7. G. Gigerenzer and R. Garcia-Retamero, ‘Cassandra’s regret: the psychology of not wanting to know’, Psychological Review 124 (2017), 179–96.

8. Richard Feynman’s comments are part of a BBC interview, YouTube, https://www.youtube.com/watch?v=E1RqTP5Unr4

9. The BSE inquiry is at https://webarchive.nationalarchives.gov.uk/ukgwa/20060802142310/http://www.bseinquiry.gov.uk/

10. P. Slovic, ‘Perception of risk’, Science 236 (1987), 280–85.

11. H. P. Lovecraft, Supernatural Horror in Literature, https://gutenberg.net.au/ebooks06/0601181h.html

CHAPTER 2: PUTTING UNCERTAINTY INTO NUMBERS

1. P. Wyden, Bay of Pigs: The Untold Story (Jonathan Cape, 1979).

2. P. Knapp et al., ‘Comparison of two methods of presenting risk information to patients about the side effects of medicines’, Quality and Safety in Health Care 13 (2004), 176–80.

3. ‘Summary of product characteristics. Section 4.8: Undesirable effects’, European Medicines Agency (2016), https://www.ema.europa.eu/en/documents/presentation/presentation-section-48-undesirableeffects_en.pdf

4. ‘MI5 terrorism threat level’, MI5 (2010), https://www.mi5.gov.uk/threats-and-advice/terrorism-threat-levels

5. ‘The UK National Threat Level has been raised from substantial to SEVERE – meaning an attack is highly likely’, Gov.uk, https://www.gov.uk/government/news/uk-terrorism-threat-level-raised-to-severe

6. D. V. Budescu et al., ‘The interpretation of IPCC probabilistic statements around the world’, Nature Climate Change 4 (2014), 508–12.

7. Ibid.

8. Fifth Assessment Report, Summary for Policymakers, Intergovernmental Panel on Climate Change (IPCC) (2014), https://ar5-syr.ipcc.ch/topic_summary.php

9. D. Irwin and D. Mandel, ‘Variants of vague verbiage: intelligence community methods for communicating probability’, https://papers.ssrn.com/abstract=3441269

10. D. R. Mandel and D. Irwin, ‘Facilitating sender–receiver agreement in communicated probabilities: is it best to use words, numbers or both?’, Judgment and Decision Making 16 (2021), 363–93.

11. Budescu et al., ‘The interpretation of IPCC probabilistic statements around the world’.

12. Obama’s interview is in the Channel 4 programme Bin Laden: Shoot to Kill (2011).

13. J. A. Friedman and R. Zeckhauser, ‘Handling and mishandling estimative probability: likelihood, confidence, and the search for Bin Laden’, Intelligence and National Security 30 (2015), 77–99.

14. ‘The death of Osama bin Laden: how the US finally got its man’, Guardian, 12 Oct. 2012.

15. T. Gneiting et al., ‘Probabilistic forecasts, calibration and sharpness’, Journal of the Royal Statistical Society: Series B 69 (2007), 243–68.

16. Nate Silver’s Trump forecast of 28.6% is at https://projects.fivethirtyeight.com/2016-election-forecast/

17. ‘Nate Silver’s model gives Trump an unusually high chance of winning. Could he be right?’, Vox, 3 Nov. 2016.

18. R. M. Cooke, ‘The aggregation of expert judgment: do good things come to those who weight?’, Risk Analysis 35 (2015), 12–15.

19. P. E. Tetlock and D. Gardner, Superforecasting: The Art and Science of Prediction (McClelland & Stewart, 2015).

20. D. Gardner, Future Babble (Penguin, 2012).

21. D. J. Spiegelhalter et al., ‘Bayesian approaches to randomized trials’, Journal of the Royal Statistical Society: Series A 157 (1994), 357–87.

22. N. Dallow et al., ‘Better decision making in drug development through adoption of formal prior elicitation’, Pharmaceutical Statistics 17 (2018), 301–16.

23. Cooke, ‘The aggregation of expert judgment’.

24. ‘Nulty & Ors v Milton Keynes Borough Council [2013] 1 WLR 1183’, para 37, England and Wales Court of Appeal (2013), https://www.casemine.com/judgement/uk/5a8ff70260d03e7f57ea5959

25. Lord Leggatt, ‘Some questions of proof and probability’, UK Supreme Court, https://www.supremecourt.uk/news/speeches.html#2023

26. M. K. B. Parmar et al., ‘The chart trials: Bayesian design and monitoring in practice’, Statistics in Medicine 13 (1994), 1297–312.

27. M. K. B. Parmar et al., ‘Monitoring of large randomised clinical trials: a new approach with Bayesian methods’, Lancet 358 (2001), 375–81.

CHAPTER 3: TAMING CHANCE WITH PROBABILITY

1. F. N. David, Games, Gods, and Gambling: A History of Probability and Statistical Ideas (Dover Publications, 1998).

2. Ibid.

3. G. Cardano, Liber de ludo aleae (FrancoAngeli, 2006).

4. ‘GCSE Maths Past Papers – Revision Maths’, Edexcel, at https://revisionmaths.com/gcse-maths/gcse-maths-past-papers/edexcel-gcse-maths-past-papers

5. ‘Student protest against “unfair” GCSE maths question goes viral’, Guardian, 5 June 2015.

6. ‘Number of Atoms in the Universe’, Oxford Education Blog, https://educationblog.oup.com/secondary/maths/numbers-of-atoms-in-the-universe

7. ‘Card Shuffling – 52 Factorial’, QI, at https://www.youtube.com/watch?v=SLIvwtIuC3Y

8. ‘Stigler’s law of eponymy’, Wikipedia.

9. S. M. Stigler, Casanova’s Lottery: The History of a Revolutionary Game of Chance (University of Chicago Press, 2022).

10. Ibid.

11. ‘National Lottery (United Kingdom)’, Wikipedia.

12. F. P. Ramsey, ‘Truth and probability’, McMaster University Archive for the History of Economic Thought; (1926), 156–98, at https://econpapers.repec.org/bookchap/hayhetcha/ramsey1926.htm

13. R. Feynman, ‘Probability’, The Feynman Lectures on Physics Vol 1, Ch. 6, at https://www.feynmanlectures.caltech.edu/I_06.html

14. A. M. Turing, ‘The applications of probability to cryptography’, www.nationalarchives.gov.uk HW 25/37 (1941–2). A typeset version is at https://arxiv.org/abs/1505.04714

15. B. de Finetti, Theory of Probability (Wiley, 1974).

16. ‘De Finetti’s theorem’, Wikipedia.

CHAPTER 4: SURPRISES AND COINCIDENCES

1. ‘Cambridge coincidences collection’, Understanding Uncertainty, https://understandinguncertainty.org/coincidences/

2. ‘Ron Biederman’s trousers’, Understanding Uncertainty, https://understandinguncertainty.org/user-submitted-coincidences/ron-biedermans-trousers

3. P. Diaconis and F. Mosteller, ‘Methods for studying coincidences’, Journal of the American Statistical Association 84 (1989), 853–61.

4. ‘Army coat hanger’, Understanding Uncertainty, http://understandinguncertainty.org/user-submitted-coincidences/army-coat-hanger

5. ‘Born in the same bed’, Understanding Uncertainty, http://understandinguncertainty.org/user-submitted-coincidences/born-same-bed

6. ‘What are the Odds?’, BBC Sounds, https://www.bbc.co.uk/sounds/play/b09v2x58

7. ‘Happy birthday to you: couple have 3 children all born on same date’, Daily Mail Online, 13 Oct. 2010.

8. ‘Archive on 4 – Good luck, Professor Spiegelhalter’, BBC Sounds, https://www.bbc.co.uk/sounds/play/b09kpmys

9. T. S. Nunnikhoven, ‘A birthday problem solution for nonuniform birth frequencies’, American Statistician 46 (1992), 270–74.

10. ‘September 19th is Huntrodds day!’, Understanding Uncertainty, https://understandinguncertainty.org/september-19th-huntrodds-day

11. O. Flanagan, ‘Huntrodds’ Day: celebrating coincidence, chance and randomness’, Significance, 15 Sept. 2014.

12. ‘Population estimates by marital status and living arrangements, England and Wales’, Office for National Statistics, https://www.ons.gov.uk/peoplepopulationandcommunity/populationandmigration/populationestimates/datasets/populationestimatesbymaritalstatusandlivingarrangements

13. ‘It’s lucky eight for Pagham couple’, Sussex World, 7 Aug. 2008.

14. R. Sheldrake, ‘Morphic resonance and morphic fields: an introduction’, https://www.sheldrake.org/research/morphic-resonance/introduction

15. P. Diaconis and F. Mosteller, ‘Methods for studying coincidences’.

16. ‘To Infinity and beyond’, BBC Horizon 2009–2010, https://www.bbc.co.uk/programmes/b00qszch

17. A. B. Russell, ‘What is the monkey simulator?’ (2014), https://github.com/arussell/infinite-monkey-simulator

18. ‘Understanding uncertainty: infinite monkey business’, Plus Maths, https://plus.maths.org/content/infinite-monkey-businesst

19. K. Yates, ‘The unexpected maths problem at work during the Women’s World Cup’, BBC Future, https://www.bbc.com/future/article/20230830-the-unexpected-maths-problem-at-work-during-the-womens-world-cup

20. L. Takács, ‘The problem of coincidences’, Archive for History of Exact Sciences 21 (1980), 229–44.

21. Diaconis and Mosteller, ‘Methods for studying coincidences’.

22. D. Spiegelhalter, The Art of Statistics: Learning from Data (Penguin, 2019).

23. Every detail of plane crashes can be obtained from https://www.planecrashinfo.com/.

24. D. Spiegelhalter ‘Another tragic cluster – but how surprised should we be?’, Understanding Uncertainty, https://understandinguncertainty.org/another-tragic-cluster-how-surprised-should-we-be

25. ‘Statistics and the law’, Royal Statistical Society, https://rss.org.uk/membership/rss-groups-and-committees/sections/statistics-law/

26. D. J. Spiegelhalter and H. Riesch, ‘Don’t know, can’t know: embracing deeper uncertainties when analysing risks’, Philosophical Transactions of the Royal Society, A 369 (2011), 4730–50.

CHAPTER 5: LUCK

1. R. Doll, ‘Commentary: the age distribution of cancer and a multistage theory of carcinogenesis’, International Journal of Epidemiology 33 (2004), 1183–4.

2. ‘1949 Manchester BEA Douglas DC-3 Accident’, Wikipedia.

3. ‘Five survivors of spectacular falls’, BBC News, 17 June 2013.

4. D. Flusfelder, Luck: A Personal Account of Fortune, Chance and Risk in Thirteen Investigations (4th Estate, 2022).

5. ‘Archive on 4 – Good luck, Professor Spiegelhalter’, BBC Sounds, https://www.bbc.co.uk/sounds/play/b09kpmys

6. ‘Edward F. Cantasano’, Wikipedia.

7. D. Hadert, ‘Lord Howard de Walden’, Guardian, 12 July 1999.

8. D. K. Nelkin, ‘Moral luck’, The Stanford Encyclopedia of Philosophy, ed. E. N. Zalta and U. Nodelman, https://plato.stanford.edu/archives/spr2023/entries/moral-luck/

9. T. Nagel, Mortal Questions (Cambridge University Press, 1979).

10. ‘Richard P. Feynman Quote’, A–Z Quotes, https://www.azquotes.com/quote/1285990

11. ‘Early Space Shuttle flights riskier than estimated’, National Public Radio, 4 March 2011.

12. Unfortunately, the original 2011 report is no longer available on the website for the NASA Space Shuttle Safety and Mission Assurance Office, but the main graphic has been reproduced in D. Spiegelhalter et al., ‘Visualizing uncertainty about the future’, Science 333 (2011), 1393–400 (Supplementary material).

13. ‘England’s result against India in the third test could hinge on the toss of a coin: I should know … I lost 14 in a row!’, Daily Mail Online, 24 Nov. 2016.

14. ‘Derren Brown – 10 Heads in a Row’ (2012), YouTube, https://www.youtube.com/watch?v=XzYLHOX50Bc

15. ‘Flipping 10 heads in a row: full video’ (2011), YouTube, https://www.youtube.com/watch?v=rwvIGNXY21Y

16. ‘Builders picking Lotto ball 39 had best chance of winning UK national lottery in 2022’, Guardian, 27 Dec. 2022.

17. M. J. Mauboussin, The Success Equation (Harvard Business Review Press, 2012).

18. ‘Football results, statistics & soccer betting odds data’, https://www.football-data.co.uk/data.php

19. ‘TrueSkill^TM ranking system’, Microsoft Research, https://www.microsoft.com/enus/research/project/trueskill-ranking-system/

20. E. C. Marshall and D. J. Spiegelhalter, ‘Reliability of league tables of in vitro fertilisation clinics: retrospective analysis of live birth rates’, British Medical Journal, 316 (1998), 1701–4.

21. H. Goldstein and D. J. Spiegelhalter, ‘League tables and their limitations: statistical issues in comparisons of institutional performance’, Journal of the Royal Statistical Society: Series A (Statistics in Society) 159 (1996), 385–409.

22. E. Smith, Luck, What It Means and Why It Matters (Bloomsbury, 2012).

23. R. Wiseman, The Luck Factor (Arrow, 2004).

24. Detailed outcomes of surgery on children with congenital heart disease are available at https://www.childrensheartsurgery.info/

CHAPTER 6: IT’S ALL A BIT RANDOM

1. A. Lee et al., ‘BOADICEA: a comprehensive breast cancer risk prediction model incorporating genetic and nongenetic risk factors’, Genetics in Medicine 21 (2019), 1708–18.

2. The Cystic Fibrosis Foundation; https://www.cff.org/intro-cf/cf-genetics-basics

3. M. Blastland, The Hidden Half: How the World Conceals its Secrets (Atlantic Books, 2019).

4. P. S. Laplace, A Philosophical Essay on Probabilities (1814), https://www.gutenberg.org/ebooks/58881

5. D. Garisto, ‘The universe is not locally real, and the physics Nobel Prize winners proved it’, Scientific American (2023).

6. A. Albrecht and D. Phillips, ‘Origin of probabilities and their application to the multiverse’, Physical Review D 90 (2014), 123514.

7. B. B. Brown, ‘Some tests on the randomness of a million digits’, RAND Corporation (1948), https://www.rand.org/pubs/papers/P44.html

8. Rand Corporation, A Million Random Digits with 100,000 Normal Deviates (Rand Corporation, 2001).

9. G. W. Brown, ‘History of RAND’s random digits: summary’, RAND Corporation (1949), https://www.rand.org/pubs/papers/P113.html

10. ‘Tails you win: the science of chance’, BBC Four, https://www.bbc.co.uk/programmes/p00yh2rc

11. P. Diaconis et al., ‘Dynamical bias in the coin toss’, SIAM Review 49 (2007), 211–35.

12. E. Paparistodemou et al., ‘The interplay between fairness and randomness in a spatial computer game’, International Journal of Computing and Machine Learning 13 (2008), 89–110.

13. ‘U.S. makes mistake on Visa lottery, must redraw’, Reuters, 13 May 2011.

14. ‘Lottery draft – 1969, CBS News’, YouTube, http://www.youtube.com/watch?v=-p5X1FjyD_g

15. ‘UK national lotto winning numbers’, http://lottery.merseyworld.com/Winning_index.html

16. John Haigh showed the chi-squared statistic must be increased by a factor 48/43, before being compared to a null distribution with 48 degrees of freedom. The resulting P-values for the four distributions are 0.97, 0.34, 0.12 and 0.21, showing good compatibility with a uniform distribution. J. Haigh, ‘The statistics of the National Lottery’, Journal of the Royal Statistical Society: Series A 160 (1997), 187–206.

17. ‘How to win lotto: Beat Lottery’, BeatLottery.co.uk, https://www.beatlottery.co.uk/lotto/how-to-win

18. ‘Stephanie Shirley career story: the importance of being ERNIE’, Significance 3 (2006), 33–6.

19. A. L. Mishara, ‘Klaus Conrad (1905–1961): delusional mood, psychosis, and beginning schizophrenia’, Schizophrenia Bulletin 36 (2010), 9–13.

20. B. Cohen, ‘Spotify made its shuffle feature less random so that it would actually feel more random to listeners – here’s why’, Business Insider (2020), https://www.businessinsider.com/spotify-made-shuffle-feature-less-random-to-actually-feel-random-2020-3

21. I. Palacios-Huerta, ‘Professionals play Minimax’, Review of Economic Studies 70 (2003), 395–415.

22. N. M. Laird, ‘A conversation with F. N. David’, Statistical Science 4 (1989), 235–46.

CHAPTER 7: BEING BAYESIAN

1. T. Bayes, ‘An essay towards solving a problem in the doctrine of chances’, Philosophical Transactions 53 (1763), 370–418.

2. E. O’Dwyer, ‘Facial recognition cameras set to scan crowds at King’s coronation as 11,500 police deployed’, inews.co.uk, 3 May 2023.

3. ‘Live facial recognition’, College of Policing (2022), https://www.college.police.uk/app/live-facial-recognition/live-facial-recognition

4. ‘Met police to deploy facial recognition cameras’, BBC News, 24 Jan. 2020.

5. S. Coble, ‘London police adopt facial recognition technology as Europe considers five-year ban’, Infosecurity Magazine (2020), https://www.infosecurity-magazine.com/news/the-met-adopt-facial-recognition/

6. ‘Alan Turing papers on code breaking released by GCHQ’, BBC News, 19 April 2012.

7. D. Spiegelhalter, The Art of Statistics: Learning from Data (Penguin, 2019).

8. ‘The influence of ULTRA in the Second World War’, https://www.cix.co.uk/~klockstone/hinsley.htm

9. T. Carlyle, Oliver Cromwell’s Letters and Speeches: with elucidations (Scribner, Welford and Co., 1871). Available from: http://www.gasl.org/refbib/Carlyle__Cromwell.pdf

10. R. Bain, ‘Are our brains Bayesian?’, Significance 13 (2016), 14–19.

CHAPTER 8: SCIENCE AND UNCERTAINTY

1. ‘GUM: guide to the expression of uncertainty in measurement’, BIPM (2008), https://www.bipm.org/en/committees/jc/jcgm/publications

2. B. N. Taylor, ‘Guidelines for evaluating and expressing the uncertainty of NIST measurement results’, United States: Commerce Department: National Institute of Standards and Technology (NIST), National Bureau of Standards (U.S.) (1993), http://dx.doi.org/10.6028/NIST.TN.1297

3. M. Henrion and B. Fischhoff, ‘Assessing uncertainty in physical constants’, American Journal of Physics 54 (1986), 791–8.

4. Ibid.

5. A. D. Franklin, ‘Millikan’s published and unpublished data on oil drops’, Historical Studies in the Physical Sciences 11 (1981), 185–201.

6. The RECOVERY Collaborative Group, ‘Dexamethasone in hospitalized patients with Covid-19’, New England Journal of Medicine 384 (2021), 693–704.

7. E. Thompson, Escape from Model Land (Basic Books, 2022).

8. G. E. P. Box, ‘Science and statistics’, Journal of the American Statistical Association 71 (1976), 791–9.

9. R. L. Wasserstein and N. A Lazar, ‘The ASA statement on p-values: context, process, and purpose’, American Statistician 70 (2016), 129–33.

10. Ibid.

11. S. Greenland et al., ‘To curb research misreporting, replace significance and confidence by compatibility’, Preventive Medicine 164 (2022), 107127.

12. ‘COVID treatment developed in the NHS saves a million lives’, NHS England (2021).

13. R. M. Turner et al., ‘Routine antenatal anti-D prophylaxis in women who are Rh(D) negative: meta-analyses adjusted for differences in study design and quality, PLOS ONE (2012), e30711.

14. J. Park et al., ‘Combining models to generate a consensus effective reproduction number R for the COVID-19 epidemic status in England’, medRxiv (2023), https://www.medrxiv.org/content/10.1101/2023.02.27.23286501v1

15. ‘SPI-M-O: consensus statement on COVID-19’, Gov.uk, 15 Oct. 2020.

16. T. Maishman et al., ‘Statistical methods used to combine the effective reproduction number, R(t), and other related measures of COVID-19 in the UK’, Statistical Methods in Medical Research 31 (2022).

17. A. Oza, ‘Reproducibility trial: 246 biologists get different results from same data sets’, Nature, 12 Oct. 2023.

18. D. A. van Dyk, ‘The role of statistics in the discovery of a Higgs boson’, Annual Review of Statistics and Its Applications 1 (2014), 41–59.

19. ‘New results indicate that new particle is a Higgs boson’, CERN, 14 March 2013.

20. S. Stepanyan et al., ‘Observation of an exotic S = +1 baryon in exclusive photoproduction from the deuteron’, Physical Review Letters 91 (2003), 252001.

21. van Dyk, ‘The role of statistics in the discovery of a Higgs Boson’.

22. ‘Faster than light particles found, claim scientists’, Guardian, 22 Sept. 2011.

23. https://statmodeling.stat.columbia.edu/2024/03/27/bayesian-inference-with-informative-priors-is-not-inherently-subjective/

CHAPTER 9: HOW MUCH CONFIDENCE DO WE HAVE IN OUR ANALYSIS?

1. Ministry of Defence, ‘Joint doctrine publication 2-00, intelligence, counter-intelligence and security support to joint operations’ (2023), https://assets.publishing.service.gov.uk/media/653a4b0780884d0013f71bb0/JDP_2_00_Ed_4_web.pdf

2. ‘Assessing Russian activities and intentions in recent U.S. elections’, Intelligence Committee, 6 Jan. 2019, https://www.intelligence.senate.gov/publications/assessing-russian-activities-and-intentions-recent-us-elections

3. J. A. Friedman and R. Zeckhauser, ‘Handling and mishandling estimative probability: likelihood, confidence, and the search for Bin Laden’, Intelligence and National Security 30 (2015), 77–99.

4. D. Irwin and D. R. Mandel, ‘Communicating uncertainty in national security intelligence: expert and nonexpert interpretations of and preferences for verbal and numeric formats’, Risk Analysis 43 (2023), 943– 57.

5. ‘Assessing Russian activities and intentions in recent U.S. elections’.

6. ‘Contaminated blood’, UK Parliament, 11 July 2017, https://hansard.parliament.uk/commons/2017-0711/debates/E647265A-4A8A-4D87-95A2-66A91E3A37D6/ContaminatedBlood

7. J. M. Micallef et al., ‘Spontaneous viral clearance following acute hepatitis C infection: a systematic review of longitudinal studies’, Journal of Viral Hepatitis 13 (2006), 34–41.

8. ‘Inquiry publishes report by the Statistics Expert Group’, Infected Blood Inquiry, 15 Sept. 2022.

9. IPCC Cross-Working Group Meeting on Consistent Treatment of Uncertainties, ‘Guidance note for lead authors of the IPCC Fifth Assessment Report on consistent treatment of uncertainties’, IPCC, 2010, http://www.ipcc-wg2.gov/meetings/CGCs/Uncertainties-GN_IPCCbrochure_lo.pdf

10. IPCC AR6 Working Group 1, ‘Summary for policymakers’, IPCC, 2022, https://www.ipcc.ch/report/ar6/wg1/chapter/summary-for-policymakers/

11. A. Kause et al., ‘Confidence levels and likelihood terms in IPCC reports: a survey of experts from different scientific disciplines’, Climatic Change 173 (2022).

12. ‘What is GRADE?’, BMJ Best Practice, https://bestpractice.bmj.com/info/toolkit/learn-ebm/what-is-grade/

13. H. Balshem et al., ‘GRADE guidelines: 3. Rating the quality of evidence’, Journal Clinical Epidemiology 64 (2011), 401–6.

14. Ibid.

15. ‘Non-pharmaceutical interventions (NPIs) table’, Gov.uk, 21 Sept. 2020, https://www.gov.uk/government/publications/npis-table-17-september-2020/non-pharmaceutical-interventions-npis-table-21-september-2020

16. ‘Teaching & learning toolkit’, Education Endowment Foundation, 12 May 2016, https://educationendowmentfoundation.org.uk/evidence/teaching-learning-toolkit

17. ‘Official statistics in development’, Office for Statistics Regulation, https://osr.statisticsauthority.gov.uk/policies/official-statistics-policies/official-statistics-in-development/

CHAPTER 10: WHAT, OR WHO, IS TO BLAME? CAUSALITY, CLIMATE AND CRIME

1. C. J. Ferguson, ‘The good, the bad and the ugly: a meta-analytic review of positive and negative effects of violent video games’, Psychiatric Quarterly 78 (2007), 309–16.

2. ‘Can the cat give you cancer? Parasite in their bellies linked with brain tumours’, Daily Mail Online, 27 July 2011.

3. D. Grady et al., ‘Hormone therapy to prevent disease and prolong life in postmenopausal women’ Annals of Internal Medicine 117 (1992), 1016–37.

4. J. E. Manson et al., ‘The Women’s Health Initiative hormone therapy trials: update and overview of health outcomes during the intervention and post-stopping phases’, Journal of the American Medical Association 310 (2013), 1353–68.

5. H. N. Hodis and W. J. Mack, ‘Menopausal hormone replacement therapy and reduction of all-cause mortality and cardiovascular disease: it’s about time and timing’, Cancer Journal, 28 (2022), 208–23.

6. H. S. Hansen et al., ‘The fraction of lung cancer attributable to smoking in the Norwegian Women and Cancer (NOWAC) Study’, British Journal of Cancer 124 (2021), 658–62.

7. ‘Bacon, ham and sausages have the same cancer risk as cigarettes, warn experts’, Daily Record, 23 Oct. 2015.

8. J. M. Samet et al., ‘The IARC Monographs: updated procedures for modern and transparent evidence synthesis in cancer hazard identification’, Journal of the National Cancer Institute 112 (2019), 30–37.

9. ‘Aspartame sweetener to be declared possible cancer risk by WHO, say reports’, Guardian, 29 June 2023.

10. ‘Quantifying uncertainty in causal analysis’, US Environmental Protection Agency (2016), https://www.epa.gov/caddis-vol1/quantifying-uncertainty-causal-analysis

11. ‘IPCC AR6 Working Group 1: Summary for policymakers’, IPCC, https://www.ipcc.ch/report/ar6/wg1/chapter/summary-for-policymakers/

12. Ibid.

13. ‘Attributing extreme weather to climate change’, Met Office, https://www.metoffice.gov.uk/research/climate/understanding-climate/attributing-extreme-weather-to-climate-change

14. G. Schmidt, ‘Climate models can’t explain 2023’s huge heat anomaly – we could be in uncharted territory’, Nature, 19 March 2024.

15. F. Guterl et al., ‘How global warming is turbocharging monster storms’, Newsweek, 5 Sept. 2018.

16. K. A. Reed et al., ‘Forecasted attribution of the human influence on Hurricane Florence’, Science Advances 6 (2020).

17. S.-K. Min et al., ‘Anthropogenic contribution to the 2017 earliest summer onset in South Korea’, Bulletin of the American Meteorological Society 100 (2019), S73–7.

18. A. Hannart and P. Naveau, ‘Probabilities of causation of climate changes’, Journal of Climate 31 (2018), 5507–24.

19. ‘Adverse drug reaction probability scale (Naranjo) in drug-induced liver injury’, LiverTox: Clinical and Research Information on Drug-Induced Liver Injury, National Institute of Diabetes and Digestive and Kidney Diseases (2012), http://www.ncbi.nlm.nih.gov/books/NBK548069/

20. ‘Novartis Grimsby Ltd v Cookson’, England and Wales Court of Appeal, EWCA Civ 1261 (2007).

21. ‘FAQs: probability of causation’, Centers for Disease Control and Prevention, https://www.cdc.gov/niosh/ocas/faqspoc.html

22. A. Broadbent, ‘Epidemiological evidence in proof of specific causation’, Legal Theory 17 (2011), 237–78.

23. Reference Manual on Scientific Evidence: Third Edition (National Academies Press, 2011), http://www.nap.edu/catalog/13163

24. ‘DNA-17 Profiling’, Crown Prosecution Service, https://www.cps.gov.uk/legal-guidance/dna-17-profiling

25. ‘Guideline for evaluative reporting in forensic science’, ENFSI (2016), https://enfsi.eu/docfile/enfsiguideline-for-evaluative-reporting-in-forensic-science/

26. ‘Science and the law’, Royal Society, https://royalsociety.org/about-us/programmes/science-and-law/

27. ‘R v Sally Clark’, England and Wales Court of Appeal, EWCA Crim 1020 (2003).

28. P. Dawid, ‘Statistics on trial’, Significance 2 (2005), 6–8

29. Ibid.

30. ‘R v Sally Clark’, England and Wales Court of Appeal, EWCA Crim 1020 (2003).

31. ‘R v Adams’, Wikipedia.

32. L. H. Tribe, ‘Trial by mathematics: precision and ritual in the legal process’, Harvard Law Review 84 (1971), 1329–93.

33. Lord Leggatt, ‘Some questions of proof and probability’, UK Supreme Court, https://www.supremecourt.uk/news/speeches.html#2023

34. J. M. Keynes, Treatise on Probability (Macmillan, 1921).

35. Lord Leggatt, ‘Some questions of proof and probability’.

36. N. Nic Daéid et al., ‘The use of statistics in legal proceedings: a primer for the courts’, Royal Society (2020).

CHAPTER 11: PREDICTING THE FUTURE

1. J. K. Rowling, Harry Potter and the Prisoner of Azkaban (Bloomsbury, 1999).

2. https://improbability-principle.com/

3. S. D. Snobelen, ‘Statement on the date 2060’, https://isaac-newton.org/statement-on-the-date-2060/

4. ‘More or Less – 22/05/2009’, BBC Sounds, https://www.bbc.co.uk/sounds/play/b00kfsgg

5. D. J. Spiegelhalter, ‘The professor’s premiership probabilities’, 22 May 2009, http://news.bbc.co.uk/1/hi/programmes/more_or_less/8062277.stm

6. ‘Lawro’s predictions’, BBC, 24 May 2009, http://news.bbc.co.uk/sport1/hi/football/8048360.stm

7. D. J. Spiegelhalter and Y-L. Ng, ‘One match to go!’, Significance 6 (2009), 151–3.

8. T. Palmer, The Primacy of Doubt: From Climate Change to Quantum Physics, How the Science of Uncertainty Can Help Predict and Understand our Chaotic World (Oxford University Press, 2022).

9. Skill scores of forecasts of weather parameters by TIGGE centres, ECMWF, https://charts.ecmwf.int/products/plwww_3m_ens_tigge_wp_mean?area=Europe¶meter=24h%20precipitation&score=Brier%20skill%20score

10. ‘GraphCast: AI model for faster and more accurate global weather forecasting’, Google DeepMind, 14 Nov. 2023.

11. ‘Inflation report – May 2018’, Bank of England, https://www.bankofengland.co.uk/inflation-report/2018/may-2018

12. J. Mitchell and M. Weale, ‘Forecasting with unknown unknowns: censoring and fat tails on the Bank of England’s Monetary Policy Committee’, EMF Research Papers (2019), https://ideas.repec.org//p/wrk/wrkemf/27.html

13. K. Wijndaele et al., ‘Television viewing time independently predicts all-cause and cardiovascular mortality: the EPIC Norfolk Study’, International Journal of Epidemiology 40 (2011), 150–59.

14. A. Sud et al., ‘Realistic expectations are key to realising the benefits of polygenic scores’, British Medical Journal 380 (2023), e073149.

15. ‘Hancock criticised over DNA test “over-reaction”’, BBC News, 21 March 2019.

16. ‘Predict prostate’, https://prostate.predict.nhs.uk/

17. ‘Life expectancy for local areas in England, Northern Ireland and Wales: between 2001 to 2003 and 2020 to 2018’, Office for National Statistics, 23 Sept. 2021, https://www.ons.gov.uk/peoplepopulationandcommunity/healthandsocialcare/healthandlifeexpectancies/bulletins/lifeexpectancyforlocalareasoftheuk/between2001to2003and2018to2020

18. ‘Past and projected period and cohort life tables: 2020-based, UK 1981 to 2070’, Office for National Statistics, 12 Jan. 2022, https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/lifeexpectancies/bulletins/pastandprojecteddatafromtheperiodandcohortlifetables/2020baseduk1981to2070

19. ‘Mortality improvements and CMI_2021: frequently asked questions (FAQs)’, Institute and Faculty of Actuaries, https://www.actuaries.org.uk/mortality-improvements-and-cmi-2021-frequently-asked-questions-faqs

20. ‘Climate change 2021: the physical science basis. Working Group I Contribution to the IPCC Sixth Assessment Report, Chapter 4’, IPCC (2021), https://www.ipcc.ch/report/ar6/wg1/chapter/chapter-4/

21. D. Stainforth, ‘The big idea: can we predict the climate of the future?’, Guardian, 22 Oct. 2023.

22. See for example ‘Can policymakers trust forecasters? Experts, modelers, and forecasters try to predict events, but which of them are most reliable?’, Institute for Progress (IFP), https://ifp.org/can-policymakers-trust-forecasters/

CHAPTER 12: RISK, FAILURE AND DISASTER

1. J. E. Heffernan and J. A. Tawn, ‘An extreme value analysis for the investigation into the sinking of the M. V. Derbyshire’, Journal of the Royal Statistical Society Series C: Applied Statistics 52 (2003), 337–54.

2. F. Liljeros et al., ‘The web of human sexual contacts’, Nature 411 (2001), 907–8.

3. A. Clauset and R. Woodard, ‘Estimating the historical and future probabilities of large terrorist events’, Annals of Applied Statistics 7 (2013), 1838–65.

4. E. Frederick, ‘Predicting Three Mile Island’, MIT Technology Review, 24 April 2019.

5. T. R. Wellock, ‘A figure of merit: quantifying the probability of a nuclear reactor accident’, Technological Culture 58 (2017), 678–721.

6. E. Marsden, ‘Farmer’s diagram, or F-N curve: representing society’s degree of catastrophe aversion’, Risk Engineering, 22 July 2022, https://risk-engineering.org/concept/Farmer-diagram

7. ‘Reactor safety study: an assessment of accident risks in U.S. commercial nuclear power plants. Report NoWASH-1400-MR’, Nuclear Regulatory Commission (Washington, DC, 1975), https://www.osti.gov/biblio/7134131

8. ‘Flood risk ten times higher in many places over the world within 30 years’, Deltares, 23 March 2023, https://www.deltares.nl/en/news/flood-risk-ten-times-higher-in-many-places-over-the-world-within-30-years

9. T. H. J. Hermans et al., ‘The timing of decreasing coastal flood protection due to sea-level rise’, Nature Climate Change 13 (2023), 359–66.

10. ‘Your long term flood risk assessment’, Gov.uk, https://check-long-term-flood-risk.service.gov.uk/risk

11. ‘National risk register 2023’, Gov.uk, https://www.gov.uk/government/publications/national-risk-register2023

12. H. Sutherland et al., ‘How people understand risk matrices, and how matrix design can improve their use: findings from randomized controlled studies’, Risk Analysis 42 (2021), 1023–41.

13. The House of Lords Science and Technology Select Committee report, https://publications.parliament.uk/pa/cm201011/cmselect/cmsctech/498/49808.htm

14. World Economic Forum, Global Risks Report 2023. Available from: https://www.weforum.org/publications/global-risks-report-2023/

15. H. W. J. Rittel and M. M. Webber, ‘Dilemmas in a general theory of planning’, Policy Science 4 (1973), 155– 69.

16. J. Wolff, ‘Risk, fear, blame, shame and the regulation of public safety’, Economics and Philosophy 22 (2006), 409–27.

CHAPTER 13: DEEP UNCERTAINTY

1. N. Taleb, The Black Swan: The Impact of the Highly Improbable (Random House, 2007).

2. J. Derbyshire, ‘Answers to questions on uncertainty in geography: old lessons and new scenario tools’, Environment Planning A: Economy and Space 52 (2020), 710–27.

3. A. Stirling, ‘Keep it complex’, Nature 468 (2010), 1029–31.

4. J. M. Keynes, ‘The General Theory of Employment’, Quarterly Journal of Economics 51 (1937), 209–23, at 213–14.

5. F. Knight, Risk, Uncertainty and Profit (1921), http://www.econlib.org/library/Knight/knRUP.html

6. R. M. Cooke, ‘Deep and shallow uncertainty in messaging climate change’, Safety, Reliability and Risk Analysis (CRC Press, 2013), https://papers.ssrn.com/abstract=2432227

7. D. Benford et al., ‘The principles and methods behind EFSA’s guidance on uncertainty analysis in scientific assessment’, EFSA Journal 16 (2018), e05122.

8. R. Flage and T. Aven, ‘Expressing and communicating uncertainty in relation to quantitative risk analysis (QRA)’, Reliability and Risk Analysis Theory Applications 2 (2009), 9–18.

9. J. Kay and M. King, Radical Uncertainty (Bridge Street Press, 2020).

10. O. A. Lindaas and K. A. Pettersen, ‘Risk analysis and black swans: two strategies for de-blackening’, Journal of Risk Research 19 (2016), 1231–45.

11. Derbyshire, ‘Answers to questions on uncertainty in geography’, 710–27.

12. ‘Emissions scenarios’, IPCC, https://archive.ipcc.ch/ipccreports/sres/emission/index.php?idp=3

13. ‘Stories from tomorrow: exploring new technology through useful fiction’, Gov.uk, https://www.gov.uk/government/publications/stories-from-the-future-exploring-new-technology-through-useful-fiction/stories-from-tomorrow-exploring-new-technology-through-useful-fiction

CHAPTER 14: COMMUNICATING UNCERTAINTY AND RISK

1. ‘Full text of Dick Cheney’s Speech’, Guardian, 27 Aug. 2002.

2. ‘September Dossier’, Wikipedia (2023).

3. Review of Intelligence on Weapons of Mass Destruction, http://www.butlerreview.org.uk/

4. Report of the Select Committee on Intelligence on prewar intelligence assessments about postwar Iraq together with additional and minority views. Library of Congress, https://www.loc.gov/item/2008354011/

5. Merchants of Doubt, https://www.merchantsofdoubt.org/

6. Agnotology: The Making and Unmaking of Ignorance (Stanford University Press, 2008).

7. O. O’Neill, ‘Linking trust to trustworthiness’, International Journal of Philosophical Studies 26(2) (2018), 293–300.

8. B. Fischhoff and A. L. Davis, ‘Communicating scientific uncertainty’, Proceedings of the National Academy Sciences 111 (Supplement 4), 16 Sep. 2014, 13664–71.

9. J. Champkin, ‘Lord Krebs’, Significance 10 (2013), 23–9.

10. B. C. Young et al., ‘Daily testing for contacts of individuals with SARS-CoV-2 infection and attendance and SARS-CoV-2 transmission in English secondary schools and colleges: an open-label, cluster-randomised trial’, Lancet 398 (2021), 1217–29.

11. J. W. Tukey, ‘The future of data analysis’, Annals of Mathematical Statistics 33 (1962), 1–67, at 13–14.

12. S. Teal and A. Edelman, ‘Contraception selection, effectiveness, and adverse effects: a review’, Journal of the American Medical Association 326 (2021), 2507–18.

13. ‘What does probability of precipitation mean?’, NOAA’s National Weather Service, https://www.weather.gov/lmk/pops

14. M. Galesic and R. Garcia-Retamero, ‘Statistical numeracy for health: a cross-cultural comparison with probabilistic national samples’, Archives of Internal Medicine, 170 (2010), 462–8.

15. D. Bourdin and R. Vetschera, ‘Factors influencing the ratio bias’, EURO Journal on Decision Processes 6 (2018), 321–42.

16. ‘Binge watching can actually kill you, says new study’, Independent, 25 July 2016.

17. T. Shirakawa et al., ‘Watching television and risk of mortality from pulmonary embolism among Japanese men and women’, Circulation 134 (2016), 355–7.

18. S. S. Hall, ‘Scientists on trial: at fault?’, Nature News 477 (2011), 264–9.

19. F. P. Polack et al., ‘Safety and efficacy of the BNT162b2 mRNA Covid-19 vaccine’, New England Journal of Medicine 383 (2021), 2603–15.

20. ‘Micromort’, Wikipedia.

21. L. Padilla et al., ‘Uncertainty visualization’, in W. Piegorsch et al. (eds.), Computational Statistics in Data Science (Wiley, 2022), 405–21.

22. P. K. J. Han et al., ‘Communication of uncertainty regarding individualized cancer risk estimates’, Medical Decision Making 31 (2011), 354–66.

23. C. R. Schneider et al., ‘The effects of quality of evidence communication on perception of public health information about COVID-19: two randomised controlled trials’, PLoS One 16 (2021), e0259048.

24. A. M. van der Bles et al., ‘The effects of communicating uncertainty on public trust in facts and numbers’, Proceedings of the National Academy Sciences 117 (2020), 7672–83.

25. M. Blastland et al., ‘Five rules for evidence communication’, Nature 587 (2020), 362–4.

26. E. Humpherson, ‘Uncertainty about official statistics’, Journal of Risk Research (2024), DOI: 10.1080/13669877.2024.2360920.

27. ‘RESIST 2 counter disinformation toolkit’, Government Communication Service, https://gcs.civilservice.gov.uk/publications/resist-2-counter-disinformation-toolkit/

28. J. R. Kerr et al., ‘Transparent communication of evidence does not undermine public trust in evidence, PNAS Nexus 1 (2022), pgac280.

CHAPTER 15: MAKING DECISIONS AND MANAGING RISKS

1. L. J. Savage, The Foundations of Statistics (Dover, 1972).

2. A. Tversky and D. Kahneman, ‘Advances in prospect theory: cumulative representation of uncertainty’, Journal of Risk and Uncertainty 5 (1992), 297–323.

3. K. Ruggeri et al., ‘Replicating patterns of prospect theory for decision under risk’, Nature Human Behaviour 4 (2020), 622–33.

4. ‘Daniel Kahneman – dyads, and other mysteries’, https://josephnoelwalker.com/143-daniel-kahneman/

5. D. Ellsberg, ‘Risk, ambiguity and the savage axioms’, Quarterly Journal of Economics 75 (1961), 643–69.

6. ‘Decision support tools’, NHS England, https://www.england.nhs.uk/personalisedcare/shared-decision-making/decision-support-tools/

7. G. Gigerenzer and D. G. Goldstein, ‘Reasoning the fast and frugal way: models of bounded rationality’, Psychological Review 103 (1996), 650–69.

8. See for example https://gobraithwaite.com/thinking/how-daniel-kahneman-learned-the-value-of-stories-for-thinking-fast-and-slow/

9. S. G. B. Johnson et al., ‘Conviction narrative theory: a theory of choice under radical uncertainty’, Behavioural and Brain Sciences 30 (2022), e82.

10. ‘The Green Book’, Gov.uk (2022), https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government/the-green-book-2020.

11. ‘TPWS – the once and future safety system’, Modern Railways 25 Sept. 2019.

12. ‘Woodland natural capital accounts’, Office for National Statistics, https://www.ons.gov.uk/economy/environmentalaccounts/bulletins/woodlandnaturalcapitalaccountsuk/2022

13. B. Flyvbjerg, ‘Top ten behavioral biases in project management: an overview’, Project Management Journal 52 (2021).

14. ‘Valuation – EQ-5D’, EuroQol, https://euroqol.org/eq-5d-instruments/eq-5d-5l-about/valuation-standard-value-sets/

15. Health and Safety Executive, Reducing Risks, Protecting People. HSE’s Decision-making Process (2011), http://www.hse.gov.uk/risk/theory/r2p2.htm

16. ‘Flixborough (Nypro UK) Explosion 1st June 1974’, Health and Safety Executive, https://www.hse.gov.uk/comah/sragtech/caseflixboroug74.htm

17. ‘Union Carbide India Ltd, Bhopal, India. 3rd December 1984’, Health and Safety Executive, https://www.hse.gov.uk/comah/sragtech/caseuncarbide84.htm

18. ‘Browned toast and crispy roast potatoes “a potential cancer risk”’, Telegraph, 22 Jan. 2017.

19. D. J. Spiegelhalter, ‘How dangerous is burnt toast?’ (2017), https://medium.com/wintoncentre/how-dangerous-is-burnt-toast-c5e237873097

20. D. J. Spiegelhalter, ‘Coffee and cancer: what Starbucks might have argued’ (2018), https://medium.com/wintoncentre/coffee-and-cancer-what-starbucks-might-have-argued-2f20aa4a9fed

21. ‘Proposed OEHHA regulation clarifies that cancer warnings are not required for coffee under proposition 65’, OEHHA, 15 June 2018.

22. R. Poole et al., ‘Coffee consumption and health: umbrella review of meta-analyses of multiple health outcomes’, British Medical Journal 359 (2017), j5024.

23. O. V Martin et al., ‘Dispelling urban myths about default uncertainty factors in chemical risk assessment – sufficient protection against mixture effects?’, Environmental Health 12 (2013), 53.

24. D. A. Dankovic et al., ‘The scientific basis of uncertainty factors used in setting occupational exposure limits’, Journal of Occupational and Environmental Hygiene 12 (2015), S55–68.

25. J. Peto et al., ‘The European mesothelioma epidemic’, British Journal of Cancer 79 (1999), 666–72.

26. P. E. Tetlock et al., ‘False dichotomy alert: improving subjective-probability estimates vs. raising awareness of systemic risk’, International Journal of Forecasting 39 (2023), 1021–5.

27. D. Spiegelhalter, ‘Fear and numbers in Fukushima’, Significance 8 (2011), 100–103.

28. A. Hasegawa et al., ‘Health effects of radiation and other health problems in the aftermath of nuclear accidents, with an emphasis on Fukushima’, Lancet 386 (2015), 479–88.

CHAPTER 16: THE FUTURE OF UNCERTAINTY

1. ‘Treaty on artificial intelligence safety and cooperation’, TAISC.org, https://taisc.org

2. J.-M. Salotti, ‘Humanity extinction by asteroid impact’, Futures 138 (2022), 102933.

3. A. Sandberg and N. Bostrom, ‘Global catastrophic risks survey’, Technical report 2008-1, Future Humanity Institute, University of Oxford, 2008.

4. D. J. Spiegelhalter, ‘Probabilistic reasoning in predictive expert systems’, in L. N. Kanal and J. Lemmer (eds.), Uncertainty in Artificial Intelligence (North-Holland, 1986), pp. 47–68.

5. H. G. Frankfurt, On Bullshit (Princeton University Press, 2005).

6. Ministry of Defence, Red Teaming Handbook, Gov.uk, https://www.gov.uk/government/publications/a-guide-to-red-teaming