На краю пропасти. Экзистенциальный риск и будущее человечества

Приложение A Дисконтирование долгосрочного будущего

Экзистенциальная катастрофа значительно снизила бы ценность всего нашего будущего. Возможно, это главная причина защищать человечество от экзистенциальных рисков. Но насколько важно наше долгосрочное будущее? В частности, снижается ли его ценность в силу того, что значительная его часть произойдет еще не скоро?

Экономистам часто приходится сравнивать выгоды, которые появляются в разное время. Они нашли несколько причин, по которым значимость выгод конкретного типа может снижаться, если они появляются позже.

Например, недавно я нашел долларовую монетку, которую спрятал в детстве, чтобы найти когда-нибудь в будущем. Я обрадовался открытию, но почти сразу меня поразило, что, отправив этот доллар в будущее, я лишил его почти всей ценности. Деньги, конечно, за это время обесценились, но куда важнее было то, что теперь у меня достаточно средств и один лишний доллар практически не меняет качества моей жизни[619].

Поскольку в будущем люди в среднем богатеют (в силу экономического роста), то из-за этого эффекта денежные выгоды, получаемые в будущем, как правило, оказываются менее ценными, чем если бы они приобретались в настоящем (даже с поправкой на инфляцию)[620]. Экономисты учитывают это, проводя “дисконтирование” будущих денежных выгод на коэффициент, который зависит от темпов экономического роста и психологического эффекта, состоящего в том, что дополнительные расходы для индивида имеют убывающую предельную полезность[621].

Вторая причина, по которой будущие выгоды могут иметь меньшую ценность, чем текущие, состоит в том, что мы в них меньше уверены. Вполне возможно, что в будущем процесс, дающий конкретную выгоду, остановится, а человека, который ее получает, уже не будет, и тогда выгода не появится вовсе. Иногда это называют “налогом на катастрофу”. Несомненно, нужно делать поправку на это, снижая ценность будущих выгод сообразно вероятности того, что выгоды вообще появятся.

В стандартном экономическом подходе к дисконтированию (модели Рамсея) учитываются обе названные причины[622]. В соответствии с ним обоснованная ставка дисконтирования для общества (ρ) рассчитывается как сумма двух слагаемых:

ρ = ηg + δ.

Первое слагаемое (ηg) отражает тот факт, что люди будущего получают тем меньше отдачи от денег, чем богаче становятся. Это произведение фактора, показывающего, как предельная полезность дополнительного потребления снижается по мере роста потребления (η), и темпа роста потребления (g). Второе слагаемое (δ) учитывает вероятность, что выгода так и не появится (налог на катастрофу).

Как же применять эту формулу для дисконтирования экзистенциального риска? Прежде всего надо отметить, что слагаемое ηg здесь неприменимо[623]. Это связано с тем, что будущая выгода, которую мы рассматриваем (процветающая цивилизация вместо разоренной или вместо отсутствия цивилизации вообще), имеет неденежный характер. Величина ηg нужна для того, чтобы сделать поправку на предельные выгоды, которые ценятся тем меньше, чем вы богаче (например, деньги или то, что легко на них купить), но здесь это неприменимо – если уж на то пошло, возможно, чем богаче будут люди, тем больше выгод они получат, если не допустят разорения и забвения. Иными словами, величина ηg учитывается лишь при дисконтировании денежных выгод, но в нашем случае дисконтированию подвергается само благосостояние (или сама полезность). Следовательно, величину ηg необходимо приравнять к нулю, а значит, социальная ставка дисконтирования оказывается равной δ.

Я ввел δ как компонент для учета налога на катастрофу, но иногда считается, что в него входит и другой элемент: чисто временное предпочтение. Это предпочтение одной выгоды другой лишь на основании того, что первая появляется раньше, и это третья причина для дисконтирования будущих выгод.

Она, однако, отличается от других причин, поскольку ведутся серьезные споры о том, стоит ли учитывать ее при расчете социальной ставки дисконтирования. Философы почти единодушно отвергают ее[624]. Главным образом они ссылаются на то, что чисто временное предпочтение практически немотивированно. В мире, где люди очень давно списывают со счетов опыт других групп (ср.: расширение морального круга), мы хотели бы услышать веский довод в пользу того, чтобы придавать каким-то людям гораздо меньшую значимость, чем себе самим, но такого довода нет.

Даже интуитивно это вызывает отторжение. Можно ли считать, что 80-летняя жизнь, начавшаяся в 1970 году, в силу своей природы ценнее жизни, начавшейся в 1980-м? Неужели жизнь вашего старшего брата точно важнее жизни вашего младшего брата? При рассмотрении более длинных периодов все еще хуже. При ставке чистого временного предпочтения в 1 % одна смерть через 6000 лет оказывается гораздо важнее миллиарда смертей через 9000 лет. А фараону Тутанхамону приходилось бы считать, что один день страданий в жизни одного из его современников гораздо более значим, чем целая жизнь страданий для всех 7,7 млрд человек, живущих сегодня.

Многие экономисты согласны с этим и утверждают, что чисто временное предпочтение иррационально, безосновательно или аморально[625]. Так, сам Рамсей сказал, что “в этическом отношении [оно] несостоятельно и проистекает исключительно из слабости воображения”, а Рой Харрод отметил, что этот термин – “изящное название хищничества и победы страсти над благоразумием”[626]. Даже те, кто признает его в качестве основания, сильно сомневаются в его применимости к долгосрочному будущему.

Как правило, экономисты, которые поддерживают учет чисто временного предпочтения, приводят аргумент, что у людей точно есть такие предпочтения, а работа экономистов не в том, чтобы судить предпочтения других, а в том, чтобы показывать, как лучше их удовлетворять. С нашей точки зрения, здесь три основные проблемы.

Во-первых, даже если работа экономистов заключается именно в этом[627], передо мной стоит другая задача. Я пишу эту книгу, чтобы изучить, как человечеству следует реагировать на риски, с которыми оно сталкивается. Такой подход допускает, что недостаточно глубокие размышления о будущем могут приводить к ошибкам: порой мы действуем вразрез с собственными долгосрочными интересами или ставим свои интересы выше интересов будущих поколений. Если определять социальную политику по наитию, возникнет риск, что нетерпение и предвзятость станут неотъемлемой частью нашего золотого стандарта.

Во-вторых, чисто временное предпочтение, заключенное в δ, – неудачный компромисс между признанием истинных предпочтений людей и предпочтений, которые им следует иметь. Чисто временное предпочтение, наблюдаемое у людей, меняется не экспоненциально. Люди проводят дисконтирование по высоким ставкам в краткосрочный период и по низким ставкам – в долгосрочный. Экономисты, как правило, считают неэкспоненциальное дисконтирование иррациональным, поскольку из-за него люди часто начинают метаться между двумя вариантами, что предсказуемо им вредит.

По этой причине экономисты преобразуют неэкспоненциальное временное предпочтение людей в экспоненциальную форму при средней ставке дисконтирования во всех временных промежутках. Это искажает истинные предпочтения людей: ставка дисконтирования в краткосрочные периоды занижается, а в долгосрочные (как те, что мы рассматриваем в этой книге) – завышается. Кроме того, им сложно утверждать, что личные предпочтения незыблемы, и одновременно искажать их подобным образом, особенно если поводом к корректировке служит иррациональность предпочтений. Если предпочтения действительно иррациональны, то зачем их корректировать, вместо того чтобы просто отказаться от них?

В-третьих, чисто временное предпочтение демонстрируют индивиды, которые принимают решения относительно выгод для себя самих. Когда индивиды принимают решения о благополучии других, они проявляют минимум чисто временного предпочтения (или не проявляют его вовсе). Например, хотя мы можем предпочесть меньшую выгоду сейчас большей выгоде позже – просто потому, что первая появляется раньше, – мы редко делаем такой выбор, действуя от лица других. Это позволяет предположить, что, отдавая предпочтение немедленному вознаграждению, мы проявляем слабость воли, а не руководствуемся трезвой мыслью о том, что жизнь становится лучше, когда мы получаем меньшие выгоды раньше. И действительно, когда экономисты вносят изменения в свои эксперименты и спрашивают испытуемых о выгодах, приобретаемых незнакомцами, чисто временное предпочтение выражено слабо или исчезает вовсе[628].

В связи с этим я прихожу к выводу, что ценность, которая стоит на кону, когда мы рассуждаем об экзистенциальных рисках, – преимущество процветающего будущего перед будущим, разоренным катастрофой, – должна дисконтироваться только с учетом налога на катастрофу. Иными словами, нам следует дисконтировать будущие годы процветания на вероятность, что мы так долго не протянем[629]. Николас Стерн применил подобный метод в знаменитом отчете об экономике изменения климата. Он приравнял чисто временное предпочтение нулю, а δ – налогу на катастрофу в 0,1 % в год (примерно 10 % в столетие)[630]. Таким образом, будущее человечества оказалось примерно в 1000 раз более ценным, чем следующий год (и еще более ценным, если каждый следующий год лучше предыдущего). Этого достаточно, чтобы экзистенциальный риск приобрел чрезвычайную важность, но все равно меньше, чем можно было бы предположить.

В стандартной формуле ставка дисконтирования неизменна во времени, и потому будущее дисконтируется по экспоненциальной кривой. Но при проведении более точной экономической оценки ставка может со временем меняться[631]. Это принципиально для налога на катастрофу. Хотя фоновый природный риск, возможно, остается примерно одинаковым, антропогенные риски резко растут. Если человечество вступит в борьбу с ними, как, полагаю, нам и нужно поступить, риски начнут снижаться и, возможно, снова выйдут на фоновый уровень или станут даже ниже. Если годовые риски в долгосрочной перспективе станут низкими, то ожидаемая ценность будущего действительно чрезвычайно высока. Вот упрощенный пример: если, стоя на краю Пропасти, мы навлечем на себя общий риск в 50 %, прежде чем вернуть риски на фоновый уровень, то наше будущее окажется как минимум в 100 тысяч раз ценнее следующего года[632].

Разумеется, мы никак не можем узнать, каков сейчас налог на катастрофу, не говоря уже о том, чтобы выяснить, как он будет меняться со временем. Это сильно сказывается на анализе. Можно подумать, что в ситуации, когда налог на катастрофу неизвестен, нам стоит просто проводить дисконтирование по среднему значению налогов на катастрофу, которые кажутся нам правдоподобными. Например, если мы считаем, что налог с одинаковой вероятностью может равняться как 0,1 %, так и 1 %, нам, казалось бы, следует проводить дисконтирование по ставке 0,55 %. Но это неправильно. При более внимательном анализе становится понятно, что дисконтирование следует проводить по меняющейся ставке, которая со временем сдвигается от этого среднего значения к минимальному правдоподобному[633]. В таком случае мы дисконтируем долгосрочное будущее так, как если бы жили в самом безопасном из миров, которые кажутся нам реалистичными. Следовательно, вероятность того, что долгосрочные налоги на катастрофу опустятся на фоновый уровень или ниже, играет огромную роль при определении дисконтированной ценности будущего человечества.

Наконец, в контексте оценки экзистенциального риска необходимо учитывать, что налог на катастрофу не устанавливается извне. Мы можем снизить его собственными действиями. Таким образом, когда мы решаем работать над уменьшением одного экзистенциального риска, мы, возможно, снижаем ставку дисконтирования, которую применяем для оценки последующих действий[634]. Это может привести к повышению отдачи от работы по защите нашего будущего.

Итак, экономическое дисконтирование не снижает ценность будущего до крошечной – такое случается, только если дисконтирование производится некорректно. Дисконтирование на базе убывающей предельной полезности денег неприменимо, а чисто временное предпочтение несостоятельно. В результате у нас остается изменчивый и непредсказуемый налог на катастрофу. Дисконтировать с его учетом – все равно что утверждать, что нужно оценивать будущее по ожидаемой ценности: если у нас есть эмпирические основания полагать, что будущее будет очень долгим, процесс дисконтирования не будет снижать его ценность в дальнейшем[635].

Приложение B Популяционная этика и экзистенциальный риск

Теории этики указывают на многие аспекты наших действий, которые в совокупности определяют, правильны они или неправильны. Например, действуем ли мы из дурных побуждений, нарушаем чужие права или проявляем несправедливость по отношению к другим людям. Важный аспект, который почти все считают особенно значимым, – это влияние наших действий на благосостояние людей: повышать чье-то благосостояние хорошо, а снижать – плохо. Но некоторые из наших действий не просто меняют благосостояние людей, а определяют, кто вообще будет жить на земле. Взять хотя бы молодую пару, которая решает, заводить ли ребенка. Кроме того, существуют разные мнения по вопросу о том, как сравнивать исходы, затрагивающие разных людей и особенно разное число людей. Подобласть этики, которая занимается этими вопросами, называется популяционной этикой.

Популяционная этика выходит на первый план, когда поднимается вопрос о том, насколько плохо будет, если человечество вымрет. Один ряд причин не допустить вымирания связан с будущим. Я отметил, что впереди у нас большое будущее, в котором могут жить тысячи, миллионы и миллиарды будущих поколений. Вымирание поставит крест и на этих жизнях, и на связанном с ними благосостоянии. Насколько плохо было бы лишиться будущего благосостояния?

Простой ответ дает теория общего взгляда: моральная ценность будущего благосостояния – это сумма благосостояния, которое ждет человечество в будущем. И неважно, кто станет адресатом этого благосостояния: люди, живущие сегодня, или люди, которые появятся позже. При прочих равных это позволяет сделать вывод, что ценность тысячи дополнительных поколений в тысячу раз выше ценности нашего поколения. С этой точки зрения, лишаясь будущего, мы несем колоссальные потери.

Для проверки теорий морали философы проводят мысленные эксперименты, в которых испытуемым приходится делать неприятный выбор. Часто этот выбор оторван от действительности, но предполагается, что теория морали применима в любых ситуациях, поэтому можно попытаться найти ситуацию, в которой теория приводит к интуитивно неверному решению, и использовать ее в качестве аргумента против теории.

Теорию общего взгляда критикуют главным образом потому, что из нее вытекает так называемый противный вывод (repugnant conclusion): для любого исхода, в котором благосостояние каждого высоко, есть еще более хороший исход, в котором благосостояние каждого минимально, но людей так много, что количество переходит в качество. Некоторые компромиссы между количеством и качеством понятны на интуитивном уровне (например, что современный мир, где живет 7,7 млрд человек, лучше, чем такой, где жил бы всего один человек, но его благосостояние было бы чуть выше среднего), но большинство полагает, что теория общего взгляда заходит в этой сфере слишком далеко.

Как мы увидим, у конкурирующих теорий есть собственные неочевидные следствия, и к тому же в этой области найдены известные доказательства невозможности, демонстрирующие, что у любой теории есть хотя бы одно моральное следствие, которое большинство людей считают немыслимым[636]. В связи с этим нам не стоит надеяться найти ответ, соответствующий всем нашим интуитивным предположениям, и нужно учитывать, насколько пагубно каждое из этих неочевидных следствий.

Есть и другой известный подход к популяционной этике: в соответствии с ним ценность благосостояния во Вселенной задается не суммой, а средним значением. У этого метода два основных варианта. В первом берется среднее благосостояние каждого поколения и затем значения суммируются. Во втором берется среднее благосостояние всех людей, которые когда-либо жили, где бы они ни находились во времени и пространстве.

К обоим вариантам усреднения предъявляются весьма серьезные претензии. В первом предпочтение может быть отдано альтернативе, в которой существуют ровно те же люди, но благосостояние каждого из них ниже[637]. Во втором проблемы возникают, когда мы рассматриваем отрицательное благосостояние, то есть жизни, не имеющие ценности. Если бы мы выбирали лишь между гибелью человечества и созданием такого будущего, в котором благосостояние людей крайне отрицательно, то в соответствии с этой теорией мы могли бы предпочесть второе (если прошлое было столь ужасным, что даже такое кошмарное будущее повысило бы среднее благосостояние). Возможно, нам пришлось бы даже сделать выбор в пользу жизней с отрицательным благосостоянием, а не в пользу большего количества жизней с положительным благосостоянием (если прошлое было таким прекрасным, что большее количество положительных жизней еще сильнее размыло бы среднее). Эти выводы обычно считаются еще менее очевидными, чем противный вывод, и очень сложно найти сторонников любого из вариантов определения среднего среди тех, кто изучает популяционную этику.

Любопытно, что, даже если закрыть глаза на эти тревожные следствия, оба варианта определения среднего, вероятно, подтверждают мысль, что вымирание в реальном мире будет чрезвычайно плохим исходом. Это понятно при расчете суммы поколенческих средних – как и теория “общего взгляда”, этот метод показывает, что при прочих равных ценность 1000 будущих поколений в 1000 раз больше ценности нашего поколения. Что насчет среднего среди всех жизней во все времена? Поскольку качество жизни со временем повышается (и может стать еще гораздо выше), наше поколение на самом деле повышает абсолютное среднее. Повышать его продолжат и будущие поколения (даже при таком же качестве жизни, как сейчас)[638]. Следовательно, каким бы вариантом определения среднего мы ни пользовались, у нас будут веские причины не допустить вымирания во имя благосостояния будущих поколений.

Но есть и альтернативный подход к популяционной этике, в соответствии с которым вымирание человечества может не считаться негативным исходом. Самый известный его сторонник – философ Ян Нарвесон, который облек его основную идею в форму слогана: “Мы хотим делать людей счастливыми, но нам все равно, появятся ли счастливые люди”[639]. В попытке передать суть этой точки зрения было разработано множество теорий популяционной этики, которые называются подходами, затрагивающими личность (person-affecting views). Согласно некоторым из них, появление впоследствии тысяч будущих поколений с высоким благосостоянием не дает никаких плюсов, а значит, вымирание человечества не приносит никаких минусов (во всяком случае, с точки зрения благосостояния будущих поколений). Возможно ли такое? Могут ли эти теории ослабить поводы об экзистенциальном риске?

Создать теоретическую основу слогану Нарвесона пытались двумя путями. В первом задействуется простая мысль, называемая ограничением, затрагивающим личность (person-affecting restriction): один исход не может быть лучше другого (по крайней мере, с точки зрения благосостояния), если он ни для кого не будет лучшим[640]. Этот принцип повсеместно применяется в тех случаях, где существуют одни и те же люди в обоих исходах. Если в разных исходах существуют разные люди, этот принцип обычно трактуется немного иначе и сводится к тому, что один исход можно считать лучше другого, только если в них обоих существует один и тот же человек, который и определяет качество исхода. В результате принцип становится и действенным, и неоднозначным. Например, с его помощью можно избежать противного вывода: нет никого, кому было бы лучше в исходе с большим количеством людей с низким благосостоянием, поэтому такой исход не может быть лучше других[641].

Другой теоретической базой для слогана Нарвесона служит мысль о том, что мы в ответе перед людьми, живущими сегодня, а не перед теми, кто еще только может появиться на свет[642]. Согласно этой точке зрения, нам не пришлось бы никак ущемлять жизни людей настоящего во имя спасения людей будущих поколений, которые еще не существуют.

Какое бы из этих обоснований мы ни выбрали, у нас возникнут серьезные проблемы, когда мы вспомним о возможности отрицательного благосостояния. Можно провести мысленный эксперимент, по условиям которого в будущем появятся люди, которым придется жить в жутких условиях, если только нынешнее поколение не пойдет на небольшие жертвы, чтобы этого не допустить. Почти все разделяют интуитивное понимание того, что появление жизней с отрицательным благосостоянием не пойдет никому на пользу, а следовательно, мы должны быть готовы заплатить небольшую цену, чтобы это предотвратить. Но в таком случае нам придется пойти на реальные жертвы ради несуществующих людей, и тогда мы выберем исход, в котором никому не станет лучше (а живущим сегодня людям станет хуже).

Следовательно, эти гипотетические обоснования слогана Нарвесона противоречат нашей глубокой убежденности в том, что нельзя допустить появления новых жизней с отрицательным благосостоянием. В связи с этим я полагаю, что описанные попытки теоретически обосновать этот слоган бесперспективны, по крайней мере сами по себе. Любая убедительная теория популяционной этики будет рекомендовать варианты, при которых никто из людей, существующих в обоих исходах, не выиграет, и будет предлагать пойти на жертвы ради еще не появившихся на свет людей.

Учитывая сложности при обосновании слогана Нарвесона с точки зрения более базовой теории морали, философы, которым слоган импонирует, все чаще утверждают, что достаточно и того, что он передает наши интуитивные соображения в ряде случаев лучше, чем альтернативные теории. Сам по себе этот слоган не объясняет, как оценивать жизни с отрицательным благосостоянием, поэтому сторонники такого подхода добавляют к нему принцип асимметрии, который гласит, что увеличение числа жизней с положительным благосостоянием не делает исход лучше, но увеличение числа жизней с отрицательным благосостоянием делает его хуже.

Философы разработали множество теорий на основе двух этих принципов. Поскольку они весьма разнообразны и продолжают развиваться, а единого подхода к вопросу нет, мы не рассчитываем провести их обстоятельный разбор на этих страницах. Можно, однако, посмотреть на общие закономерности. Как правило, эти теории сталкиваются с рядом проблем: противоречат интуитивным представлениям о мысленных экспериментах, противоречат важным моральным принципам и идут вразрез с общепринятыми принципами рациональности[643]. Когда теории корректируются с целью избежать некоторых из этих проблем, как правило, усугубляются другие проблемы или возникают новые.

Но важнее всего, пожалуй, то, что и слоган, и принцип асимметрии обычно оправдывают только отсылкой к нашей интуиции в отдельных случаях[644]. Но если в одних ситуациях теории, затрагивающие личность, хорошо согласуются с нашими интуитивными представлениями, то в других – плохо. В нашем случае – при ответе на вопрос, плохо ли было бы, если бы люди вымерли, – эти теории приводят нас к выводам, которые большинство людей считают весьма неочевидными[645]. Вообще говоря, не стоит ожидать, что спорная теория станет нашим проводником в той области, где она хуже всего соответствует нашим убеждениям[646].

Кроме того, в некоторых вариантах теорий, затрагивающих личность, ключевые идеи передаются без отрицания того, что вымирание – плохо. Так, существуют менее строгие теории, согласно которым у нас есть некоторая причина создавать жизни с высоким благосостоянием, но есть и еще более весомая причина помогать существующим людям или не допускать появления жизней с низким благосостоянием. Поскольку в будущем может появиться очень много новых жизней с высоким благосостоянием, его значимость остается очень высокой.

Итак, согласно некоторым подходам к оценке благосостояния людей будущего, нам не так уж важно не допустить вымирания. Многие из этих взглядов признаны несостоятельными, но некоторые не сдают позиций, и исследования в этой сфере продолжаются. Стороннику такого подхода довод, основанный на потере будущего благосостояния, может показаться неубедительным.

Обратите, однако, внимание, что это лишь одна попытка объяснить, почему защита человечества имеет чрезвычайную важность. Есть и другие объяснения, в которых акцент делается на великих достижениях, возможных в будущем (предположительно, величайшие завоевания человечества в науке и искусстве еще впереди), и сферах помимо нашего будущего: нашем прошлом, нашем характере, нашей космической значимости и потерях нынешнего поколения. Люди, которые при рассмотрении благосостояния будущих поколений придерживаются теорий, затрагивающих личность, вполне могут услышать и другие доводы, по которым вымирание не пойдет нам на пользу. Остается и аргумент, основанный на моральной неопределенности: если вы полагаете, что есть немалая вероятность того, что подходы, затрагивающие личность, ошибочны, было бы крайне неразумно рисковать всем нашим будущим, когда в соответствии со множеством других теорий морали оно имеет необычайную важность.

Наконец, мы главным образом рассматривали моральную важность того, чтобы не допустить вымирания. Даже те теории популяционной этики, в которых не придают значения вымиранию, признают огромное значение других экзистенциальных катастроф, например необратимого коллапса цивилизации или неизбежной дистопии. Следовательно, даже тех, кого не заботит вымирание человечества, должны глубоко волновать другие экзистенциальные риски. А поскольку опасности, грозящие вымиранием, обычно грозят и необратимым коллапсом цивилизации, набор рисков, вызывающих беспокойство у этих людей, оказывается примерно таким же.

Приложение C Чрезвычайные происшествия с ядерным оружием

Можно представить, что в связи с огромной важностью и очевидной опасностью ядерного оружия люди обращаются с ним чрезвычайно осторожно и выстраивают процессы таким образом, чтобы не допустить нашего случайного уничтожения. Именно поэтому поражает, что чрезвычайных происшествий с ядерным оружием было так много: в отчете Министерства обороны США перечислены 32 известных случая[647]. Ни в одном из них не произошло непредвиденного ядерного взрыва, что положительно характеризует системы безопасности, которые помогают не допустить ядерного взрыва, даже если детонирует обычная взрывчатка в снарядах приведенного в боевую готовность оружия. И все же они показывают, какими сложными были системы ядерной войны и как много возникало ситуаций, в которых они отказывали. Кроме того, происходило и такое, что невозможно было бы представить при соблюдении всех мер предосторожности: например, несколько раз атомные бомбы случайно выпадали из самолетов, а большое число потерянных ядерных снарядов так и не было найдено.

1957 Атомная бомба случайно выпала из бомболюка бомбардировщика B-36 над Нью-Мексико. Взрывчатые вещества детонировали, но ядерного взрыва не последовало[648].

1958 Бомбардировщик B-47 столкнулся с истребителем в воздухе у побережья в районе Саванны (штат Джорджия). B-47 сбросил свою атомную бомбу в океан. Сведения о том, была ли в ней ядерная боеголовка, противоречивы, но помощник министра обороны США на слушании в Конгрессе заявил, что боеголовка была на месте[649].

1958 Бомбардировщик B-47 случайно сбросил атомную бомбу в Южной Каролине. Бомба упала в частном саду и разрушила дом. К счастью, ее ядерная боеголовка осталась в самолете[650].

1960 Загорелся и расплавился зенитный ракетный комплекс “Бомарк”. Его 10-килотонная боеголовка не спровоцировала ядерный взрыв[651].

1961 Бомбардировщик B-52 с двумя 4-мегатонными атомными бомбами на борту разрушился в небе над Северной Каролиной. Бомбы упали на землю. Одна из них при столкновении разрушилась, и фрагмент с ураном затонул на затопленном поле. Были проведены раскопки на глубину 15 метров, но обнаружить осколок не удалось. Ядерного взрыва не последовало, но несколько источников, включая министра обороны Роберта Макнамару, утверждают, что взрыв предотвратил один-единственный переключатель[652].

1961 Бомбардировщик B-52 с двумя атомными бомбами на борту разбился в Калифорнии. Ни одна из бомб не детонировала[653].

1965 Реактивный истребитель с 1-мегатонной бомбой на борту упал с американского авианосца в районе Японии. Бомбу так и не нашли[654].

1966 Бомбардировщик B-52 с четырьмя атомными бомбами на борту столкнулся с самолетом-заправщиком в небе над Испанией. Все четыре бомбы выпали, и при столкновении с землей в двух из них детонировала обычная взрывчатка. Произошло серьезное радиационное заражение, и 1400 тонн зараженной почвы и растительности пришлось отправить на захоронение в США[655].

1968 Бомбардировщик B-52 загорелся в небе над Гренландией и упал на лед. Детонировала обычная взрывчатка, окружающая ядерные сердечники четырех находившихся у него на борту водородных бомб. К счастью, это не спровоцировало ядерную реакцию[656]. В ином случае все системы решили бы, что СССР нанес ядерный удар, который требует ответа, поскольку именно там находилась одна часть американской системы раннего обнаружения для выявления советских ракет над Северным полюсом[657].

1980 Ракета “Титан-2” взорвалась на базе ВВС в Дамаскасе (штат Арканзас). Взрыв спровоцировал упавший гаечный ключ, пробивший топливный бак. Через несколько часов случился взрыв, и 9-мегатонная боеголовка отлетела примерно на 100 метров, но осталась невредимой благодаря системе предохранения[658].

Это лишь несколько происшествий из полного списка, и нам совсем мало известно о том, насколько плохо дела обстояли на российской стороне.

Об одном из самых поразительных происшествий стало известно совсем недавно, хотя в тот момент мы, вероятно, оказались на волоске от ядерной войны. Но ведутся споры, произошел ли инцидент, который я намереваюсь описать, на самом деле, поэтому мы пока не можем быть уверенными в правдивости этой истории.

Двадцать восьмого октября 1962 года – в разгар Карибского кризиса – американская ракетная база, расположенная на оккупированном американцами японском острове Окинава, получила переданный по радио приказ на пуск. На острове было восемь пусковых центров, каждый из которых контролировал по четыре термоядерных снаряда. Все три части зашифрованного приказа соответствовали шифрам базы, поэтому сомнений в подлинности приказа осуществить пуск ядерных снарядов не возникло.

Командование принял старший офицер, капитан Уильям Бассетт. Его смутило, что приказ на пуск был отдан на втором уровне боеготовности (DEFCON 2), поскольку такое невозможно. Его подчиненные предположили, что приказ перейти на DEFCON 1 не дошел к ним из-за помех, а офицер, управляющий пуском на другой точке, допустил, что началась упреждающая атака СССР и времени перейти на DEFCON 1 не осталось.

Но группа Бассетта быстро рассчитала, что превентивный удар уже достиг бы цели. Бассетт приказал проверить готовность снарядов к пуску и обратил внимание, что три их цели находились не в России, а это казалось маловероятным в разгар кризиса. Он связался по радио с центром управления пуском ракет, чтобы подтвердить зашифрованный приказ, но в ответ ему прислали тот же шифр.

Бассетта по-прежнему одолевали сомнения, но лейтенант, управлявший пуском на другой точке, где среди целей были только объекты, расположенные в СССР, заявил, что Бассетт не имеет права препятствовать пуску, учитывая, что приказ был повторен. Этот офицер приказал запустить ракеты из своего центра.

В ответ Бассетт приказал двум рядовым из соседнего пускового центра добежать по подземному тоннелю до того центра, где ракеты готовились к пуску, и застрелить лейтенанта, если тот решит все же исполнить полученный приказ, не дожидаясь ни одобрения Бассетта, ни перехода на DEFCON 1.

Технику Джону Бордну (который и рассказал эту историю) показалось странным, что приказ к пуску был дан по окончании плановой погодной сводки и повторен совершенно спокойно. Согласившись с ним, Бассетт позвонил в центр управления пуском ракет и попросил человека, передавшего приказ, либо отдать приказ о переходе на DEFCON 1, либо дать отбой. Быстро дали отбой, и опасность миновала.

Эта история была обнародована в 2015 году в статье в “Бюллетене ученых-атомщиков”, а также в речи Бордна в ООН. Она ставится под сомнение людьми, которые, по собственному утверждению, в то время находились на окинавских ракетных базах[659]. Существуют некоторые косвенные доказательства правдивости рассказа: воспоминания Бордна одобрили к публикации ВВС США; майор, отдавший ложный приказ о пуске, впоследствии предстал перед военным трибуналом; а сам Бордн приложил немало сил, чтобы разыскать людей, которые присутствовали на базе во время инцидента и могли бы подтвердить его слова.

Я не знаю, кто прав, но стоит изучить этот случай подробнее. В Архив национальной безопасности уже подали запрос по закону о свободном доступе к информации, но ответ на него может занять много лет. На мой взгляд, это предполагаемое происшествие стоит воспринимать всерьез, но, пока не появится подтверждения, не следует включать его в размышления об опасных ситуациях.

Приложение D Неожиданные эффекты сочетания рисков

Мы увидели целый ряд неочевидных эффектов, которые возникают, когда мы объединяем отдельные экзистенциальные риски, чтобы оценить общий экзистенциальный риск. Эти эффекты становятся тем сильнее и тем причудливее, чем выше общий риск. Поскольку общий риск – это совокупный экзистенциальный риск для всего нашего будущего, он вполне может быть достаточно высок для возникновения значимых эффектов.

Во-первых, общий риск все меньше представляет собой простую сумму рисков. Не вдаваясь в арифметические тонкости, допустим, что мы сталкиваемся с четырьмя 50 %-ными рисками. Поскольку общий риск не может превышать 100 %, логика подсказывает, что риски должны в значительной мере накладываться друг на друга и при сочетании давать меньший процент, чем их сумма. Например, если бы они были независимыми, общий риск составил бы не 200 %, а 93,75 % (= 15/16).

Во-вторых, при устранении все большего числа рисков может существенно возрастать предельная отдача. Например, если мы устраним один из четырех независимых 50 %-ных рисков, общий риск снизится всего до 87,5 %. Но при устранении каждого следующего риска общий риск будет снижаться все быстрее: до 75 %, затем до 50 %, затем до 0 % – абсолютный эффект с каждым разом будет все сильнее. Можно смотреть на это и иначе: при устранении каждого из рисков наши шансы на выживание удваиваются, и абсолютный эффект от этого становится тем сильнее, тем выше наши шансы на выживание. Аналогичным образом, если работать над всеми четырьмя рисками параллельно и снизить каждый риск наполовину (с 50 до 25 %), общий риск снизится всего с 93,75 примерно до 68 %. Но если снизить их наполовину еще раз, в абсолютном выражении общий риск снизится сильнее, примерно до 41 %. Эти примеры показывают, что риски так сильно накладываются друг на друга, что катастрофа приобретает предопределенный характер, причем общий риск остается высоким, когда мы пытаемся его предотвратить. Но наша работа также помогает сократить наложение, благодаря чему дальнейшие действия становятся более полезными.

В-третьих, может оказаться, что работать надо в первую очередь с крупнейшими рисками. Мы увидели, что в случае, когда мы сталкиваемся с независимыми 10 %-ным и 20 %-ным рисками, устранение 10 %-ного риска снижает общий риск на 8 %, а устранение 20 %-ного риска – на 18 % (см. с. 208–209). Следовательно, снижение большего риска важнее не в 2 раза, а в 2,25 раза.

Для точного расчета относительной важности независимых рисков наивное соотношение вероятностей необходимо умножить на дополнительный фактор: отношение вероятности того, что первая катастрофа не произойдет, к вероятности того, что не произойдет вторая катастрофа[660]. Когда риски невелики, вероятность того, что каждая из катастроф не произойдет, близки к единице, поэтому и отношение тоже должно быть близким к единице, что почти не меняет дело. Но когда риск высок, отношение тоже вырастает, и это принципиальная разница[661].

Допустим, мы сталкивались бы с 10 %-ным риском и 90 %-ным риском. В таком случае наивное отношение составляло бы 9:1 и корректировка – тоже 9:1, поэтому устранение 90 %-ного риска было бы в 81 раз важнее, чем устранение 10 %-ного риска (см. Рис. Г.1). Пожалуй, легче всего понять это, если учесть, что 90 %-ный риск в 9 раз вероятнее, а мир, где он устранен, имеет в 9 раз больше шансов устоять перед остальными рисками.

Такую корректировку можно также проводить в других похожих случаях. Снижение 90 %-ного риска наполовину в 81 раз важнее снижения наполовину 10 %-ного риска, и это же справедливо при их снижении в любое другое количество раз. Даже снижение риска на фиксированную абсолютную величину, например на один процентный пункт, важнее для более крупного риска. Снижение 90 %-ного риска до 89 % в 9 раз важнее, чем снижение 10 %-ного риска до 9 %[662].

Рисунок d.1. Независимые 10 %-ный и 90 %-ный риски дают общий риск в 91 %. Устранение 10 %-ного риска снизит общий риск (вся залитая область на рисунке) всего на один процентный пункт до 90 %, в то время как устранение 90 %-ного риска снизит его на 81 процентный пункт до 10 %.

Все три описанных эффекта наблюдаются вне зависимости от того, наступают риски в одно или в разное время[663]. Следовательно, если в нашем будущем много риска, устранение рисков может становиться все более важным с каждым последующим столетием. Многие силы в общем случае приводят к убыванию отдачи от работы (например, тот факт, что мы можем начать с рисков, работать с которыми проще). Но если нам не повезет и риска будет много, то общая предельная отдача от борьбы с экзистенциальным риском, возможно, будет возрастать. И, вероятно, особенно важно будет работать с крупнейшими рисками.

Приложение Е Ценность защиты человечества

Насколько ценно защищать человечество? Хотя дать точный ответ на этот вопрос не получится, один подход к нему представляется мне весьма полезным.

Начнем с намеренно примитивной модели экзистенциального риска. В этой модели делаются три допущения: о распределении риска во времени, о способах снизить этот риск и о ценности будущего. Для начала допустим, что уровень экзистенциального риска не меняется от века к веку, но остается неизвестным, и обозначим его r (постоянный уровень риска). Следовательно, когда мы вступаем в новый век, сохраняется вероятность r, что до следующего века мы не доживем. Далее допустим, что своими действиями мы можем снизить вероятность экзистенциальной катастрофы в текущем веке с r до некоторого меньшего числа. И наконец допустим, что каждый век до катастрофы обладает одинаковой ценностью v, то есть ценность будущего пропорциональна его продолжительности до катастрофы. (Это значит, что ценность будущего не дисконтируется, не считая вероятности того, сколько мы проживем до катастрофы, и не учитывая, что мы делаем предположения о популяционной этике^[664].) При таких допущениях ожидаемая ценность (ОЦ) будущего рассчитывается по формуле:

Это просто ценность одного века, деленная на вековой риск. Так, если вековой риск составляет 1 к 10, то ожидаемая ценность будет в десять раз больше ценности одного века.

Отсюда вытекает неожиданное следствие: что ценность устранения всего экзистенциального риска в текущем веке не зависит от того, насколько высок этот риск. Чтобы увидеть это, представьте, что вековой экзистенциальный риск составляет всего одну часть на миллион. Хотя вероятность того, что мы станем жертвами риска нашего века, ничтожна, будущее, которое мы потеряем, если это все-таки случится, сообразно огромно (в среднем миллион веков). В примитивной модели эти эффекты всегда уравновешивают друг друга. Ожидаемая ценность экзистенциального нериска в текущем веке рассчитывается по формуле:

Следовательно, ожидаемая ценность устранения всего риска в столетии просто равна ценности столетия жизни для человечества[665].

Поскольку невозможно полностью устранить весь риск в текущем столетии, полезнее отметить, что в примитивной модели снижение векового риска вдвое ценится как половина столетия существования человечества (и это так же справедливо для любой другой доли и любого другого промежутка времени). Этого достаточно, чтобы сделать защиту нашего будущего ключевым приоритетом во всем мире.

Однако ценность примитивной модели не в точности, а в гибкости. Она служит точкой отсчета, когда мы изучаем, что случится при изменении любого из учитываемых в ней допущений. На мой взгляд, все три этих допущения слишком пессимистичны.

Во-первых, с веками ценность человечества по многим параметрам существенно возросла. Этот прогресс шел весьма неровно в краткосрочные периоды, но удивительно стабильно в долгосрочной перспективе. Мы живем долго, и наша жизнь полна культурных и материальных богатств, которые наши предки тысячи лет назад просто сочли бы выдумкой. Возможно, учитывать стоит и размах нашей цивилизации: тот факт, что такой полной жизнью живет в тысячи раз больше человек, по всей видимости, повышает ее ценность. Если собственная ценность каждого века растет с коэффициентом больше r, это может существенно повысить ценность защиты человечества (даже если такой темп роста не сохраняется навсегда)[666].

Во-вторых, согласно примитивной модели, наши действия в текущем веке могут защитить нас лишь от рисков в этом же веке. Но сделать можно и больше. Своими действиями мы можем оказывать продолжительное воздействие на риски. Так, эта книга – моя попытка расширить представления человечества о природе экзистенциального риска и помочь людям понять, как с ним работать. Многие уроки, которые я привел, не устаревают со временем: в той степени, в которой они вообще способны нам помочь, они помогут нам и с будущими рисками[667]. Работа, которая снижает риск на многие века, гораздо важнее, чем следует из примитивной модели.

Если работа снижает весь будущий экзистенциальный риск, ее ценность зависит от уровня риска r. Например, ценность снижения будущего риска вдвое такова:

Как ни удивительно, ценность снижения риска на всех отрезках времени тем выше, чем меньше риск[668]. Это противоречит нашим интуитивным представлениям, поскольку люди, которые оценивают риск невысоко, как правило, используют это в качестве аргумента против приоритизации работы над экзистенциальным риском. Но чтобы интуитивно понять, почему низкий уровень риска делает его снижение более важным, нужно вспомнить, что сокращение экзистенциального риска вдвое на всех отрезках времени вдвое увеличивает ожидаемую продолжительность времени до катастрофы. Следовательно, ситуации, когда риск уже низок, дают нам более долгое будущее, которое можно увеличить вдвое, и потому эта работа становится еще важнее. Кроме того, обратите внимание, что каждое последующее сокращение всего будущего риска вдвое дает все большую предельную отдачу.

В-третьих (и это, вероятно, важнее всего), вековой риск со временем меняется. Он вырос в прошлом веке и, возможно, продолжит расти в текущем. Но я полагаю, что в долгосрочной перспективе он снизится, и тому есть несколько независимых причин. В последующие несколько веков мы, вероятно, сможем основать постоянные колонии за пределами Земли. Космос не панацея (см. с. 232), но если мы разложим свои яйца по нескольким корзинам, это поможет нам защититься от части риска. Кроме того, существенная доля риска сопряжена с появлением новых революционных технологий. Но если мы проживем достаточно долго, то вполне можем достичь технологической зрелости – времени, когда в нашем распоряжении окажутся все важнейшие технологии, которые можно разработать, и впереди не будет никаких технологических переходов[669]. Наконец, нам нужно учитывать работу, которую будущие поколения станут проводить для защиты человечества в свои века. Если необходимость защиты человечества настолько очевидна и важна, как кажется мне, нам стоит ожидать, что со временем она будет получать все более широкое признание, а значит, работа по защите человечества активизируется.

Если уровень риска опустится ниже текущего, будущее, возможно, станет существенно более ценным, чем можно предположить в соответствии с примитивной моделью[670]. Повышение ценности в общем зависит от отношения риска в следующем столетии к долгосрочному вековому риску. Например, если вероятность экзистенциальной катастрофы в текущем столетии составляет 1 к 10, но стремительно снижается до уровня фонового природного риска, то есть менее 1 к 200 000 в столетие, то ценность устранения риска в текущем столетии в сравнении с примитивной моделью возрастает в 20 000 раз.

Также возможно, что снижение риска будет менее ценно, чем можно ожидать в соответствии с примитивной моделью, хотя это и кажется менее вероятным. Такое может произойти, например, если большая часть риска окажется совершенно непредотвратимой. Это не слишком вероятно, поскольку главным образом риск вызывает человеческая деятельность, а человечество может ее контролировать. То же самое может случиться, если ценность будущих веков будет стремительно снижаться. Но я не вижу причин этого ожидать: исторические данные за долгий период говорят об обратном, и мы видели, что не стоит дисконтировать собственную ценность нашего будущего. Третий путь к такому исходу откроется в том случае, если суммирование ценностей будущего окажется этически необоснованным: например, если придется вычислять средние ценности веков или не принимать в расчет все будущие поколения. Однако, как говорится в Приложении В, такие альтернативные подходы и сами не лишены серьезных проблем. Наконец, истинная ценность может оказаться ниже, чем можно предположить в соответствии с примитивной моделью, если риск сейчас низок, но повысится в будущем и если у нас сейчас нет возможности повлиять на этот будущий риск. На мой взгляд, это самая правдоподобная из причин, по которым ценность снижения риска может оказаться завышенной.

В целом, как я полагаю, примитивный подход с гораздо большей вероятностью занижает, а не завышает важность защиты нашего будущего. Но даже если вы считали, что вероятности этого примерно равны, заметьте, что их эффекты несимметричны. Это объясняется тем, что они выступают в качестве множителей. Допустим, вы полагали, что ценность снижения риска может быть как в десять раз выше, чем в соответствии с примитивной моделью, так и в десять раз ниже. Вычислив среднее этих значений, мы получим, что ценность будет выше не в один, а в 5,05 раза. Следовательно, если только мы в высокой степени не уверены в том, что примитивная модель дает завышенную оценку, нам следует действовать так, словно оценка в соответствии с ней занижена[671].

Приложение F Рекомендации по разработке стратегии и проведению исследований

Для удобства поиска я собрал вместе все свои рекомендации по разработке стратегии и проведению исследований в сфере экзистенциального риска.

• Исследовать возможности для отражения астероидов и комет диаметром более 1 км, возможно ограничившись методами, которые невозможно использовать в военных целях, например теми, что не приводят к точным изменениям траектории.

• Вписать короткопериодические кометы в ту же схему рисков, что и околоземные астероиды.

• Углубить наши знания о рисках, сопряженных с долгопериодическими кометами.

• Усовершенствовать модели сценариев развития “импактной зимы”, особенно для астероидов диаметром 1–10 км. Работать со специалистами по климатическому моделированию и моделированию ядерной зимы, чтобы видеть, что показывают современные модели.

• Найти все места, где в прошлом случались мегаизвержения.

• Уточнить весьма приблизительные оценки частоты таких извержений, особенно для крупнейших из них.

• Усовершенствовать наши модели “вулканической зимы”, чтобы выяснить, какие масштабы извержений могут представлять реальную угрозу для человечества.

• Установить контакт с ведущими исследователями астероидов, чтобы перенять у них опыт моделирования и управления.

• Построить более качественную модель угрозы с учетом заданных распределений параметров, вместо того чтобы полагаться на характерные примеры. Далее провести анализ чувствительности этой модели – есть ли какие-либо вероятные параметры, которые могли бы сделать эту угрозу настолько же серьезной, как угроза столкновения с астероидом?

• Творчески подходить к поиску причин, по которым текущие оценки могут занижать риск в сто и более раз.

• Возобновить действие договора о ликвидации ракет средней и меньшей дальности (договора о РСМД).

• Продлить договор СНВ-III, действие которого истекает в феврале 2021 года[672].

• Вывести американские МБР из состояния повышенной боевой готовности (официально оно называется “Запуск по предупреждению”).

• Расширить полномочия Международного агентства по атомной энергии (МАГАТЭ) по контролю за тем, как страны выполняют соглашения о безопасности.

• Работать над разрешением ключевых неопределенностей в моделировании ядерной зимы.

• Охарактеризовать сохраняющиеся неопределенности, а затем применить методы Монте-Карло, чтобы продемонстрировать распределение вероятных исходов, сделав особый акцент на наихудших вариантах в соответствии с нашими текущими представлениями.

• Изучить, какие регионы мира наиболее устойчивы к эффектам ядерной зимы и какова вероятность того, что цивилизация там сохранится.

• Финансировать исследования и разработку инновационных подходов к чистой энергетике.

• Финансировать исследования безопасных геоинженерных технологий и регулирование геоинженерии.

• США следует вернуться в Парижское соглашение.

• Продолжать исследования возможности возникновения бесконтрольного или влажного парниковых эффектов. Могут ли они оказаться более вероятными, чем считается в настоящее время? Есть ли способы гарантированно их предотвратить?

• Углубить наши знания об обратных связях, сопряженных с вечной мерзлотой и гидратами метана.

• Углубить наши знания об обратных связях, сопряженных с формированием облаков.

• Лучше охарактеризовать неопределенность, связанную с чувствительностью климата: что мы можем и не можем сказать о правом хвосте распределения.

• Углубить наши знания об экстремальном потеплении (например, на 5–20 °C), в том числе занявшись поиском конкретных механизмов, посредством которых оно может реально грозить человечеству вымиранием или глобальным коллапсом цивилизации.

• Углубить наши знания о том, сопряжено ли сегодня истощение какого-либо ресурса с экзистенциальным риском.

• Углубить наши знания о текущей потере биоразнообразия (как региональной, так и глобальной) и провести сравнение сложившейся ситуации с вымираниями прошлого.

• Создать базу данных существующего биологического разнообразия, чтобы сохранить генетический материал тех видов, которые находятся под угрозой исчезновения.

• Привести Конвенцию о биологическом оружии в соответствие с Конвенцией о химическом оружии: увеличить ее бюджет с 1,4 млн до 80 млн долларов, соответственно расширить штат обслуживающих ее сотрудников и наделить их правом расследовать вероятные нарушения ее условий.

• Укрепить способность ВОЗ реагировать на зарождающиеся пандемии путем эффективного эпидемиологического надзора, быстрой диагностики болезней и контроля заболеваемости. Для этого необходимо увеличить финансирование и расширить полномочия ВОЗ, а также активизировать исследования и разработки нужных технологий.

• Убедиться в том, что все продукты синтеза ДНК проходят скрининг на наличие опасных патогенов. Если компании по синтезу не смогут сами довести этот показатель до 100 %, потребуется международное регулирование.

• Повысить открытость данных о чрезвычайных происшествиях в лабораториях уровней BSL-3 и BSL-4.

• Разработать стандарты работы с информационными опасностями и внедрить их в существующие механизмы контроля.

• Проводить упражнения по анализу сценариев развития пандемий искусственного происхождения.

• Стимулировать международное сотрудничество в сфере безопасности и управления рисками.

• Исследовать способы регулирования продвинутого ИИ.

• Проводить технологический анализ приведения продвинутого искусственного интеллекта в соответствие с человеческими ценностями.

• Проводить технологическое исследование других аспектов безопасности ОИИ, таких как стратегия безопасного сдерживания и возможные ловушки.

• Изучить варианты создания новых международных институтов для разработки как поступательных, так и революционных мер по снижению экзистенциального риска.

• Исследовать возможности признать намеренные или неосторожные действия, вызывающие риск вымирания, международным преступлением.

• Изучить возможности представлять будущие поколения в национальных и международных демократических институтах.

• Каждая крупная мировая держава должна учредить высокую правительственную должность для регистрации экзистенциальных рисков, возникновение которых реально спрогнозировать на ближайшие 20 лет, и работы с ними.

• Выявить основные факторы экзистенциального риска и факторы безопасности, ориентируясь как на абсолютный размер, так и на затратную эффективность незначительных изменений.

• Направить силы на снижение вероятности военных конфликтов между США, Россией и Китаем.

• Научиться лучше выявлять непредвиденные и зарождающиеся риски.

• Изучить заместители продуктов питания на случай чрезвычайного и длительного снижения способности мира производить продовольствие.

• Разработать более эффективные теоретические и практические инструменты для оценки рисков с чрезвычайно высокими ставками, которые либо беспрецедентны, либо считаются крайне маловероятными.

• Углубить наши знания о том, с какой вероятностью цивилизация может восстановиться после глобального коллапса, что может этому помешать и как повысить наши шансы на это.

• Развивать исследования по вопросу об общей стратегии человечества.

• Углубить наше понимание этики экзистенциального риска и ценности долгосрочного будущего.

Приложение G Расширение шкалы Кардашёва

В 1964 году советский астроном Николай Кардашёв разработал метод классификации потенциальных продвинутых цивилизаций по физическому масштабу и количеству энергии (на единицу времени), которую они могут потреблять. Он рассмотрел три уровня: планета, Солнечная система и Галактика. На каждом делении шкалы количество энергии в распоряжении у цивилизации возрастает более чем в миллиард раз.

Мы можем естественным образом расширить эту шкалу в обоих направлениях[673]. Мы можем добавить более низкий уровень для очень маленьких цивилизаций (таких, например, как цивилизация в Месопотамии в момент зарождения письменности)[674]. Мы также можем добавить высочайший уровень в масштабах нашей влияемой Вселенной: все, чего мы вообще можем надеяться достичь. Как ни удивительно, размеры этих шагов весьма близки к тем, которые выделил Кардашёв, и продолжают в целом логарифмическую шкалу оценки могущества цивилизаций.

Наша глобальная цивилизация в настоящий момент контролирует около 12 трлн Вт энергии. Это примерно в 100 тысяч раз больше, чем в распоряжении у минимальной цивилизации, но в 10 тысяч раз меньше, чем полная емкость нашей планеты. Следовательно, мы находимся на уровне K₀[675], – более чем на половине пути к K₁ и на одной восьмой пути к K₄.