Березкин Ю. Е. 2006. Происхождение смерти — древнейший миф. Этнографическое обозрение 6.
Березкин Ю. Е. 2007. Ареальное распределение фольклорно-мифологических мотивов: глобальная база данных и ее статистических анализ как метод глубокой реконструкции человеческой мифологии. История и математика. Анализ и моделирование социальных процессов. М.: УРСС, С. 205–231.
Гринин Л. Е., Коротаев, А. В. 2007. Политическое развитие Мир-Системы: формальный и количественный анализ. История и математика: макроисторическая динамика общества и государства / Ред. С. Ю. Малков, Л. Е. Гринин, А. В. Коротаев, с. 49–101. М.: КомКнига.
Гринин Л. Е., Коротаев, А. В. 2008. Социальная макроэволюция. Генезис и трансформации Мир-Системы. М.: Издательство ЛКИ/УРСС (в печати).
Князева Е. Н. и Курдюмов С. П. 2005. Основания синергетики. М.: УРСС.
Коротаев А. В., Комарова Н. Л., Халтурина Д. А. 2007. Законы истории: Вековые циклы и тысячелетние тренды. Демография, экономика, войны. М.: КомКнига/УРСС.
Коротаев А. В., Малков А. С., Халтурина Д. А. 2007. Законы истории: Математическое моделирование развития Мир-Системы. Демография, экономика, культура. М.: КомКнига/УРСС.
Курдюмов, С. П. 1999 (Ред.). Режимы с обострением. Эволюция идеи: Законы коэволюции сложных структур. М.: Наука.
Назаретян А. П. 1991. Интеллект во Вселенной: истоки, становление, перспективы. М.: Недра.
Назаретян А. П. 2001. Цивилизационные кризисы в контексте Универсальной истории. М.: Мир.
Тоффлер Э. 2001 [1970] Шок будущего. М.: ООО «Издательство АСТ».
Brief History of Intellectual Discussion of Accelerating Change. Acceleration Watch. http://www.accelerationwatch.com/history_brief.html
Broderick D. 2001. The Spike: How Our Lives are Being Transformed by Rapidly Advancing Technologies. New York: Tor Books.
Broers A. 2005. Technology will Determine the Future of the Human Race (Lecture 1). The Triumph of Technology. BBC Reith Lectures. BBC.CO.UK. http://www.bbc.co.uk/radio4/reith2005/lecture1.shtml
Foster J. 1998. The Scale of Our Ecological Crisis. Monthly Review April. http://www.monthlyreview.org/498jbf.htm
Good I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Advances in Computers 6: 31–88. Academic Press.
Heylighen F. 2007. Accelerating Socio-Technological Evolution: from ephemeralization and stigmergy to the global brain. Globalization as an Evolutionary Process: Modeling Global Change / Ed. by George Modelski, Tessaleno Devezas, and William Thompson, pp. 286–335. London: Routledge.
Huebner J. 2005. A Possible Declining Trend for Worldwide Innovation. Technological Forecasting & Social Change 73(8): 980–986.
Johansen A., and D. Sornette. 2001. Finite-time Singularity in the Dynamics of the World Population and Economic Indices. Physica A 294(3–4): 465–502.
Kurzweil R. 2001. The Law of Accelerating Returns. KurzweilAI.net. http://www.kurzweilai.net/meme/frame.html?main=/articles/art0134.html
Kurzweil R. 2005. The Singularity is Near: When Humans Transcend Biology. Viking Press.
Modis T. 2006. The Singularity Myth. Technological Forecasting & Social Change 74(3): 104–112.
Moravec H. 1988. Mind Children: The Future of Robot and Human Intelligence. Harvard University Press.
Mulhall D. 2002. Our Molecular Future: How Nanotechnology, Robotics, Genetics and Artificial Intelligence will Transform Our World. Prometheus Books.
Pesti P. 2006. Detailed Roadmap of the 21st Century Peter Pesti. http://www-static.cc.gatech.edu/~pesti/roadmap/
Stock G. 2002. Redesigning Humans: Our Inevitable Genetic Future. Houghton Mifflin.
UN = United Nations. 2004. World Population to 2300. New York, NY: United Nations.
Vinge V. 1993. The Coming Technological Singularity. Whole Earth Revie. Winter issue.
Yudkowsky E. 2002. Levels of Organization in General Intelligence. The Singularity Institute for Artificial Intelligence. http://www.singinst.org/upload/LOGI/
Е. Юдковски
(yudkowsky@singinst.org)
Singularity Institute for Artificial Intelligence
Пало-Альто, Калифорния, США
Eliezer Yudkowsky, Cognitive biases potentially affecting judgment of global risks
(Forthcoming in Global Catastrophic Risks, Oxford,University Press, 2007)
Перевод на русский язык: А. В. Турчин (avturchin@mail.ru)
Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои. [§§§§§§§§§§§§§§§§§§]
При всех прочих равных, не многие люди предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие агенты погибели нуждаются в мире, чтобы достигать в нем своих целей наживы, власти или других мерзостей. Если наше вымирание будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.
Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что именно эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования принесли открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98%-й уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99% уверен, что критический порог больше 500 тераватт, и на 99% уверен, что он меньше 80.000 тераватт». «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.
Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов (Rasmussen 1975), ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не логически слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.
Исследования эвристики и предубеждений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже применялись, и результаты от этого не становились другими.
Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R (“rope”) или что его третья буква R (“park”)?
Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления, называемые эвристикой, которые дают хорошие средние ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых погрешностями (biases). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. R появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. (Tversky and Kahneman 1973).
Погрешности, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна (Lichtenstein 1978) описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие — меньшее. Однако когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица (Combs and Slovic 1979) был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).
Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер (Kunreuther,1993) предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений бóльших, чем пережитые во время последних наводнений. Бертон (Burton 1978) сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения, все-таки происходящего, настолько возрастает, что среднегодовой ущерб увеличивается.