[§§§§§§§§§§§§§§§§§§§§] Это верно по отношению к человеческому виду. Вымирание других видов — обычное дело. Оценивается, что 99% всех видов, живших на Земле, вымерло. Мы можем также получить некоторое образное знакомство с глобальными смертельными катастрофами из фантастики. Хотя в ней, кажется, есть наклонность к хэппи-энду, существует ряд исключений, таких как фильм «Доктор Стрэйнжлав» (Dr. Strangelove) (Kubrick 1964) и горький роман Нейвила Шута (Nevil Shute) «На берегу» (On the beach) (русский перевод — http://www.lib.ru/INPROZ/SHUT/on_beach.txt). Более того, в отношении некоторых рисков существованию (например, истребление всего вида Homo sapiens ударом метеорита), у нас уже есть опыт более мягких вариантов (то есть ударов меньших метеоритов), что помогает нам вычислить вероятность более крупного события. Но для большинства серьезных рисков существованию прецедентов нет.
[*********************] Эта терминология вдохновлена знаменитыми строками Томаса Элиота:
Вот как кончится мир –
Не взрыв, но всхлип.
Т.С. Элиот «Полые люди» (Перевод А. Сергеева)
а также названием книги философа Джона Ирмана по общей теории относительности (Earman 1995). По вопросам общей классификации рисков см. Morgan 2000: 49—58.
[†††††††††††††††††††††] Слова «Постчеловечество» и «постчеловеческая цивилизация» используются для определения общества технологически весьма усовершенствованных существ (с гораздо большими интеллектуальными и физическими способностями, гораздо большей продолжительностью жизни и т. д.), которым мы однажды можем стать (Bostrom et al. 1999).
[‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡] Некоторые из них обсуждаются более детально в первых двух главах прекрасной книги Джона Лесли (Leslie 1996: 26); некоторые обсуждены кратко в (Powell 2000). Недавняя полемика о статье Билла Джоя (Bill Joy) в журнале Wired (Joy 2000) также привлекла внимание к некоторым из этих проблем.
[§§§§§§§§§§§§§§§§§§§§§] Нанотехнологии, конечно, также обладают огромным полезным потенциалом в медицине, защите окружающей среды, и в экономике в целом, но здесь мы не рассматриваем эту сторону медали.
[**********************] Другое название наноробота (Прим. пер.)
[††††††††††††††††††††††] Для сравнения, тунгусское событие в 1908 году было вызвано телом примерно 60 метров в диаметре с силой взрыва в 2 мегатонны ТНТ (Бомба в Хиросиме имела выход в 2 килотонны — (так у автора — прим. пер.)) и повалила деревья в радиусе 40 км.
[‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡] Остается под вопросом, следует ли считать «всхлипом» плохо запрограммированный суперинтеллект, который решит сдерживать развитие человечества неопределенно долго. Этот сверхинтеллект должен быть такой ограниченной природы, чтобы он сам по себе не считался формой постчеловечества; в противном случае это будет «скрип».
[§§§§§§§§§§§§§§§§§§§§§§] Я считаю чрезвычайно маловероятной гипотезу (распространенную в масс-медиа и защищаемую, например, в статье Уорвика (Warwick 1997); см. также статью Уитби (Whitby 2000)) о том, что мы будем истреблены в обычной войне между человеческим видом и популяцией человекоподобных, сделанных людьми роботов.
[***********************] Это — наиболее убедительные кандидаты на роль критических моментов (возможно, требующих одновременных мутаций сразу в нескольких местах или других редких совпадений), в первую очередь потому, что они потребовали очень много времени (в сравнении, например, с эволюцией Homo Sapiens из наших гуманоидных предков). Но длительность некоего шага не всегда хорошее основание для того чтобы считать, будто этот шаг невозможен. Например, дыхание кислородом стало адаптивно выигрышно только после того, как в атмосфере появилось значительное количество кислорода, и анаэробным организмам потребовались сотни миллионов лет, чтобы создать достаточно кислорода, чтобы насытить различные виды процессов, поглощающих кислород из земной атмосферы и поднять уровень атмосферного кислорода до требуемого. Этот процесс был очень медленным, но почти наверняка должен был рано или поздно завершиться, так что было бы ошибкой считать, что эволюция кислородного дыхания и сопутствующий ему кембрийский взрыв представляют собой чрезвычайно трудный шаг в человеческой эволюции.
[†††††††††††††††††††††††] Краткий обзор Рассуждения о конце света см. в (Bostrom 2000: 19—20).
[‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡] Это утверждение верно, если суммарное количество землеподобных планет в космосе достаточно велико, чтобы сделать высоко вероятным то, что, по крайней мере, на части из них разовьются интеллектуальные наблюдатели (Bostrom 2001).
[§§§§§§§§§§§§§§§§§§§§§§§] Или, во всяком случае, так делают мужчины. Одно исследование (Frieze et al. 1978) предполагает, что женщины недооценивают свои перспективы, хотя и не в той степени, как мужчины переоценивают свои. За дополнительной библиографией см. (Waldeman 1994: 489), стр . 489, (Cowen, Hanson 2001; Kruger, Dunning 1999: 1121—1134) [83,84].
[************************] Для обзора см. главу 12 в (Evans 1991). Некоторые из этих исследований пренебрегают тем, что может быть вполне реальным, что 75% водителей лучше, чем среднестатистический водитель; некоторые из исследований стремятся избежать этой проблемы, например (Svenson 1981: 143—148).
[††††††††††††††††††††††††] Может ли быть причиной этого то, что недавние исследования описывают как более точную степень рациональности оценки рисков публикой, — то, что более ранние результаты способствовали обучению публики и рекалибровке ее оценок? Исследователи, пытающиеся определить систематические предубеждения в восприятии рисков, могут быть подобны охотникам, стреляющим по движущейся мишени, и во многом подобны тем, кто пытается найти регулярности в движении рыночных индексов.
[‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡] Сценарий сужения «технологическая остановка» не может правомерно считаться вызванным нашей активностью.
[§§§§§§§§§§§§§§§§§§§§§§§§] Сложности стратегического планирования наилучшего пути к нанотехнологиям становятся даже больше, если мы учтем возможные меметические (memetic — связанные с саморепликацией идей-мемов в информационном поле) последствия агитации за различные позиции в различные моменты времени. О некоторых других идеях по управлению рисками в сфере нанотехнологий см. (Drexler 1985, 1988; Freitas 2000; Gubrud 2000; Foresight Institute 1997—1991; McCarthy 2000; Forrest 1989; Jeremiah 1995) [23,25,26,41,96-99].
[*************************] Разумеется, усиление интеллекта может сделать отрицательных персонажей более способными продвигать свои злостные амбиции, и системы контроля могут быть использованы диктаторским режимами (и молотки можно использовать для разбивания черепов). Чистая благодать редко заходит в гости.. Но в сумме кажется, что эти технологии стоит продвигать. В случае систем контроля, кажется важным стремиться к двухсторонней прозрачности, за которую агитировал Дэвид Брин (David Brin ) (Brin 1998), По этой системе все мы сможем наблюдать агентства, которые наблюдают нас.
[†††††††††††††††††††††††††] При ограниченных ресурсах критическое значение имеет мудрый выбор приоритетов. Миллион долларов сейчас могут значительно увеличить количество исследований по рискам существованию; то же количество денег, потраченное на дело мира во всем мире, будет только каплей в море.
[‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡] Это было написано до трагедии 11 сентября. С тех пор приоритеты американской обороны сдвинулись в направлении, за которое мы агитируем здесь. Я думаю, что желательно дальнейшее движение в этом направлении.
[§§§§§§§§§§§§§§§§§§§§§§§§§] См., например, (Hanson 2000) и приведенные там ссылки.
[**************************] Исключение из этого будет в том случае, если мы полагаем, что значительной частью возможного и желательного постчеловеческого будущего является то, что оно будет содержать в себе значительную долю людей, которые сейчас живы. Если принять эту точку зрения, нынешний мировой уровень смертности в 150 000 человек в день является частью происходящей сейчас, потенциально глобальной катастрофы (скрип), которая вызывает огромные человеческие страдания.
[††††††††††††††††††††††††††] Согласно Джону Роулсу (Rawls 1999), термин «максмин» также используется в другом смысле в экономике благосостояния, для определения принципа (с учетом ряда важных ограничений), что мы должны выбирать состояние, которое оптимально с точки зрения ожиданий наименее состоятельных классов. Эта версия принципа не затрагивается в последующих рассуждениях.