Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг

Проверяя непроверяемое: методологические вызовы в оценке рисков снизкой вероятностью и высокими ставками.Probing the Improbable: Methodological Challenges for Risks with Low Probabilities and High StakesToby Ord, Rafaela Hillerbrand, Anders Sandberg** Future of Humanity Institute, University of Oxford.http://arxiv.org/ftp/arxiv/papers/0810/0810.5515.pdf

Некоторые риски имеют исключительно высокие ставки. Например, всемирнаяпандемия или столкновение с астероидом могу убить более миллиарда людей. К счастью,научные вычисления часто дают очень низкие оценки вероятности таких катастроф. Вэтой статье мы хотим отметить, что есть важные новые методологические проблемы,которые возникают при оценке рисков глобальных катастроф, и мы сосредотачиваемся напроблеме оценки вероятностей. Когда эксперт даёт калькуляцию вероятности некоторогоисхода, в действительности он даёт вероятность этого исхода при условии, что егодоказательство является безупречным. Однако его доказательство может быть ложным по ряду причин, таких как ошибки в используемой теории или ошибки в вычислениях. Еслиоценка вероятности, даваемая неким доказательством, уменьшается за счёт того шанса,что само доказательство содержит ошибки, то тогда эта оценка находится подподозрением. Мы рассмотрим эту идею формально, объясняя попутно, чем она отличаетсяот подобных неопределённостей модели и неопределённости параметров. Используяоценки рисков Большого Адронного Коллайдера в качестве тестового примера, мыпокажем, насколько серьёзна может быть эта проблема, когда речь идёт о рискахглобальной катастрофы и как наилучшим образом ее решать.

1.Введение

Падения больших астероидов являются крайне маловероятнымисобытиями

. Однако правительство тратит значительные суммы на проблемысвязанных с этим рисков. Именно большой возможный ущерб, то естьбольшие ставки в игре, являются тем, что делает эти проблемы стоящимиисследования. Исследование рисков включает в себя как рассмотрение размеров ставок, так и вероятностей этих событий. Если риск угрожаетжизням огромного числа людей, то является не только рациональным, но иморально обязательным исследовать этот риск в деталях и постаратьсяопределить, что мы можем сделать, чтобы уменьшить его. В этой статьеисследуются риски с низкой вероятностью, но большими ставками. Вовтором разделе мы покажем, что оценки вероятности в научном анализе немогут быть приравнены самой вероятности того, что эти события случатся.Вместо вероятности того, что событие случится, научный анализ даётвероятность события при условии, что данное доказательство верно. Хотя это

Эксперты дают оценку вероятности в 1 к миллиарду

(Near-Earth ObjectScience Definition Team 2003)

касается всех вероятностных оценок, мы покажем, как это становитсяособенно важно после некого порогового уровня. Чтобы продолжать, намследует кое-что узнать о надёжности доказательства. Обычно при анализе рисков это делается через анализ различий между неопределённостьюмодели и неопределённостью параметров. Мы постараемся доказать, что этадихотомия не очень хорошо подходит для оценки надёжности теорий,которые входят в оценку рисков. Более того, эта дихотомия не учитываетнеосознанно сделанные ошибки. Вместо этого в третьем разделе мыпредлагаем трёхуровневую классификацию различий между теориейдоказательства, моделью и вычислениями.Объясняя это разделение более детально, мы проиллюстрируем егоисторическими примерами ошибок во всех трёх областях. Мы покажем, какпри конкретной оценке рисков можно использовать предложенное разделениетеория-модель-калькуляция, чтобы вычислить надёжность данногодоказательства и, таким образом, увеличить надёжность вероятностнойоценки редких событий. Недавно возникли опасения, чтовысокоэнергетичные эксперименты в области физики элементарных частицна таких установках как RHIC (Коллайдер тяжёлых релятивистских ионов) ина Большом адронном коллайдере в ЦЕРН, в Женеве, могут угрожатьчеловечеству. Если эти риски реальны, эти эксперименты представляютугрозу человечеству, которую можно избежать, просто не проводя этиэксперименты. В 4 разделе мы применим методы, разработанные в этойстатье, к нынешним дебатам о безопасности экспериментов в области физикивысоких энергий. Мы рассмотрим опубликованные отчёты по безопасности всвете наших находок и дадим рекомендации по безопасности для будущихисследований. В последнем разделе мы вернёмся к главной проблеме оценкинизковероятных рисков. Мы хотим подчеркнуть, что результаты этой статьине должны интерпретироваться как антиинтеллектуализм, но как аргументы впользу того, чтобы сделать заполненную шумом и ошибками природунаучных и технических исследований предметом интеллектуального размышления, особенно в тех случаях, когда вероятности очень малы иставки очень велики.

2.Оценка вероятностей

Предположим, что вы прочитали некий отчёт, который исследуетнекий возможный риск глобальной катастрофы и в котором делается вывод,что вероятность глобальной катастрофы составляет один к миллиарду. Какуювероятность вы должны приписать тому, что эта катастрофа случится? Мыутверждаем, что прямое использование оценки, даваемое этим отчётом,является наивным. Это связано с тем, что авторы отчёта подверженыошибкам и их доказательство может содержать скрытые неточности. То, чтонам говорится в этом отчёте – это не вероятность катастрофы, а вероятность

катастрофы, при условии, что доказательство является верным. Даже еслиаргумент выглядит непробиваемым, шансы на то, что он содержиткритическую ошибку могут быть гораздо выше, чем один на миллиард. Вконечном счёте в выборке из миллиарда выглядящих неуязвимымидоказательств наверняка найдутся те, которые содержат скрытые ошибки. В результате наша наилучшая оценка вероятности катастрофы может бытьзначительно выше, чем даваемая в отчёте

.Давайте использовать следующие обозначения:

= катастрофа происходит,

= доказательство истинно.В то время как мы в действительности интересуемся P(

), отчёт даётнам только оценку P(

), поскольку в нём не может приниматься вовнимание вероятность его же собственной ошибки

. Из аксиом теориивероятностей мы знаем, что P(

) связано с P(

) следующей формулой:

(1)

)=P(

)P(

)+P(

|-

)P(-

) .Дл использования этой формулы для получения P(

) нам потребуютсяоценки вероятности того, что доказательство верно P(

), и оценкавероятности того, что катастрофа случится, если доказательство неверноP(

).Очень вряд ли нам удастся получить точные оценки этих вероятностейна практике, но мы увидим, что даже грубых оценок вероятности достаточно,чтобы изменить наш взгляд на определённые калькуляции рисков. Особыйвесьма распространённый случай касается отчётов, которые утверждают, чтоХ абсолютно невозможно. Однако, это говорит нам только о том, что Xневозможно при условии, что все наши нынешние убеждения верны, то естьчто P(

)=0. Но из уравнения (1) мы видим, что это полностью согласуется стем, что P(

)>0, поскольку доказательство может содержать ошибки. Рисунок1 является простой графической репрезентацией этой основной идеи.

Научные аргументы также иногда являются ошибочными по причинам сознательногомошенничества, однако мы не будем рассматривать это конкретный риск в даннойстатье.

Доказательство может принимать в расчет возможность, что некое суб-доказательство является ложным. Например, оно может предложить дваальтернативных суб-доказательства, чтобы доказать одну и ту же точкузрения. Мы одобрительно относимся к такой практике и подробнеерассматриваем ее в разделе 4. Однако ни одно доказательство не можетпринимать в расчёт вероятность того, что оно является ложным – этопотребует ещё одного более высокоуровневого доказательства.