Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

23 июля участник LessWrong под ником Роко (Roko) написал: «Существует зловещая перспектива, что при наступлении позитивной сингулярности появившаяся сущность будет стремиться к наказанию всех, кто знал о такой возможности, но не способствовал ее приходу на все сто процентов». Таким образом, пост-сингулярность может быть миром изобилия и наслаждений для людей, которые ничего не знали о ней, но при этом сущим адом для тех, кто знал, что если он лично не способствовал появлению «дружественного ИИ», то лишь задерживал приход этого грандиозного события. Более того, сама такая угроза должна повышать шансы появления «дружественного ИИ», поскольку она стимулирует усилия, которые направлены на его рождение.

На первый взгляд, идея Роко напоминает о рассуждениях Паскаля, который логически показал, что верить в бога безопасней, чем не верить. Если вера означает соблюдение некоторых ограничений в этой жизни ради вечного наслаждения в будущей, а неверие — наоборот, — то разница между этими сроками слишком очевидна. Лучше приложить усилия сейчас, чтобы получить бесконечно большую выгоду и радость в довольно скором будущем. Но все не так просто. И если наши предупреждения звучали зря, если вы дочитали до этого места, то теперь уже поздно: капкан захлопнулся. Сам факт этого знания подвергает вас риску. Теперь вы в полной власти «василиска» — теперь уже с большой буквы, Василиска.

Чтобы осознать, в какой ловушке мы оказались, придется вспомнить еще один мысленный эксперимент, известный как «парадокс Ньюкома». Представьте, что некий предсказатель предлагает вам две коробки, открытую и закрытую. Вы можете взять или обе, или только закрытую. В открытой — и это видно — лежит тысяча долларов, содержимое закрытой зависит от предсказателя. Если он спрогнозировал, что вы выберете обе коробки, то она будет пустой, и вам достанется та самая тысяча. Если предсказал, что выберете одну закрытую, — в ней будет целый миллион.

Какой прогноз он сделал, вам неизвестно. Как действовать, тоже. Можно взять обе коробки и удовольствоваться скромной суммой. Но тут все зависит от предсказателя. Если его прогнозы всегда безошибочны, то лучше выбрать закрытую: этот ход уже предугадан заранее, и в коробке вас ждет целый миллион. Но может, он решил сэкономить и предсказал, что вы заберете обе коробки? Тогда стоит взять обе. Идеального решения в такой ситуации не существует. Однако похожие «коробки» предлагает и Василиск, если поместить его на место предсказателя.

Если Василиск знает, что вы выберете «закрытую коробку» и не станете помогать его приходу, то когда-нибудь накажет вас по максимуму. Если же он предсказывает, что вы выберете обе «коробки» (то есть, посвятите свою жизнь его созданию), то страданий можно будет избежать, даже продолжая жить обычной жизнью. Вопрос лишь в том, в чем состоит это предсказание и чего добивается сам Василиск.

Если он всемогущ и точно просчитывает поведение людей, лучше ему помогать. Но в таком случае он в принципе и не предсказывал, что вы выберете одну «закрытую коробку», отказав Василиску в своей помощи. А может, что угрозой такого наказания он лишь стремится направить ваши усилия в выгодном для себя направлении? Это похоже на шантаж со стороны существа, которое еще не родилось, но уже проецирует свою волю на нас из своего еще не наставшего будущего, стимулируя свое собственное появление.

Любопытно, что такая проекция напоминает древние представления, породившие самого мифического василиска. Тогда многие полагали, что зрение работает за счет невидимых и неощутимых подвижных «лучей», которые исходят из наших глаз, «ощупывая» окружающее пространство. Так и Василиск способен протягивать свои «щупальца» из будущего в наше время, заставляя действовать в собственных интересах из страха даже гипотетического, но бесконечно мучительного наказания — как только он родится на свет.

Мы предупреждали, что само знание о Василиске можно считать опасным. Ведь основатель LessWrong Элиезер Юдковский быстро осознал угрозу и довольно резко ответил Роко на форуме. «Меня печалит, — писал Юдковский, — что людям, которые настолько умны для того, чтобы вообразить себе такое, при этом оказываются недостаточно сообразительны, чтобы держать свой дурацкий язык за зубами и никому об этом не говорить».

В самом деле, чем больше людей хотя бы знают о проблеме Василиска, тем больше желающих действовать в его интересах — и тем выше шансы на его появление в будущем. Недаром Юдковский в том же 2010 г. удалил эту дискуссию и все, связанное с ней, из архивов своего форума. Как видим, это не помогло, и Василиск Роко стал одним из мемов «темной стороны Сети» и темой философских дискуссий. Не сдержались и мы — а вам теперь остается жить с этим знанием, вечно мучаясь вопросом, чью сторону принять в борьбе за наше неопределенное будущее.