Он прав, что клетка не удержит
Роман Ямпольский, доцент Университета Луисвилла и один из тех, кто вообще придумал термин AI safety как отдельную дисциплину, потратил больше десяти лет на то, чтобы формально доказать одну неприятную вещь: сверхразумный ИИ нельзя контролировать. Не «пока не научились», а по устройству самой задачи. Я прочитал несколько его работ подряд и обнаружил нечто странное для себя самого. С диагнозом я согласен почти полностью. С рецептом, который из этого диагноза принято делать, нет.
В 2019 году Ямпольский опубликовал две статьи, которые вместе образуют фундамент его позиции. «Unpredictability of AI» доказывает, что нельзя точно и последовательно предсказать, какие именно действия выберет система умнее человека для достижения своей цели, даже если эта цель нам полностью известна. «Unexplainability and Incomprehensibility of AI» закрывает вторую половину той же проблемы: часть решений системы либо нельзя объяснить со стопроцентной точностью, либо, если объяснение всё же дано, человек его попросту не поймёт. В 2020 году он свёл обе линии в статью «On Controllability of Artificial Intelligence» и написал там прямым текстом: проблема контроля общего сверхразума не решаема, её невозможно решить. Он разбирает два известных подхода, контроль возможностей (посадить систему в песочницу, поставить рубильник) и контроль мотивации (заложить в систему желание не причинять вреда), и показывает, что первый работает лишь временно, а для второго за всю научную литературу не опубликовано ни одного математического доказательства и даже строгого аргумента, что проблема контроля вообще разрешима. В 2024 году он собрал это всё в книгу «AI: Unexplainable, Unpredictable, Uncontrollable», а летом 2024 в разговоре с Лексом Фридманом назвал число: 99,9 процента, вот такая у него оценка вероятности, что сверхразум на горизонте ста лет уничтожит человечество. По его собственным словам, ресурсы в эту задачу можно вкладывать экспоненциально и приближаться к полной надёжности, но дойти до ста процентов нельзя никогда, а нужен всего один провал в оставшейся крошечной доле.
Насколько это мейнстримная позиция, а не персональный алармизм одного человека? Больше, чем хотелось бы тем, кто предпочитает не задумываться. Ранее в этом году на открытом мероприятии в Гарварде, посвящённом рискам ИИ, у участников спросили медианную оценку вероятности катастрофы до и после события, и медиана сдвинулась с 50 до 70 процентов. При этом у людей, только знакомящихся с темой, оценка почти всегда росла, а у части уже опытных исследователей риска она, наоборот, снижалась, то есть открытый разговор не превращает скептиков в паникёров, он скорее подтягивает новичков к уровню тревоги тех, кто давно в теме. Существует и встречная работа, разбирающая типовые возражения против самой идеи экзистенциального риска, от «это отвлекает от насущных проблем» до «у нас будут контрольные точки, чтобы вмешаться вовремя», и даже она честно признаёт, что ни один из популярных контраргументов не закрывает вопрос целиком. Лагерь Ямпольского не маргинален. Это один из полюсов вполне серьёзного и не решённого спора.
Полгода назад я уже писал здесь, что слово «контроль» плохо подходит для разговора об AGI. Если система обладает подлинной агентностью, собственными целями и способностью их отстаивать, то «контролировать» её в инженерном смысле так же странно, как «контролировать» взрослого человека. Либо перед нами управляемый инструмент, и тогда это не AGI в строгом смысле, либо перед нами AGI, и тогда разговор должен идти не о контроле, а об архитектуре сосуществования. Ямпольский формальными методами приходит ровно к первой половине этого же тезиса. Вся его серия доказательств, по существу, математически подтверждает то, что я формулировал философски: контроль сверхразума невозможен именно потому, что подлинная агентность и полный контроль логически исключают друг друга. Здесь наши позиции не расходятся, они совпадают, причём его версия строже моей.
Расхождение начинается на следующем шаге. Из невозможности контроля Ямпольский делает вывод: раз выиграть в эту игру нельзя, единственный выигрышный ход, не играть, то есть не строить сверхразум вообще и ввести мораторий. У меня иначе не только с рецептом, но и с самой его посылкой, будто не строить это доступный вариант. Стремление постигать новое и производить разнообразие не отдельный проект, который можно остановить волевым решением, это продолжение эволюции, того же процесса, что произвёл жизнь, мозг и культуру. Мораторий предполагает, что у эволюции есть рубильник и что он в руках у одной группы, готовой договориться. Ни того, ни другого не существует: желание исследовать новое не выключается директивой, это и есть тот механизм, которым система продолжает существовать.
Если контроль в принципе недостижим, а прекращение самого процесса точно так же недостижимо, то ставка на контроль, жёсткий надзор, рубильник, песочница, это ставка на то, что заведомо проиграет, и чем больше ресурсов в неё вложено, тем обиднее будет проигрыш в решающий момент. Разумный ответ здесь не отказ от игры, которая идёт уже сейчас и остановиться не может, а смена самой игры: не удержать и не остановить, а выстроить работающие роли, права, ответственность и механизмы согласования, то есть именно то самое сосуществование. Ямпольский прав, что клетка не удержит уже созданный сверхразум. Я утверждаю то же самое на шаг раньше: не удержать и сам процесс, который его создаёт, а значит клетка не план ни на входе, ни на выходе, остаётся только архитектура сосуществования.
Для архитектуры того, что мы строим, из этого следует довольно конкретная вещь. Пока система работает как экзоскелет и усиливает решение, которое всё равно принимает человек, вопрос контролируемости не встаёт в полный рост, потому что агентность и не выносится наружу системы. Но в тот момент, когда система начинает сама ставить цели и распоряжаться ресурсами без человека в контуре, аргумент Ямпольского перестаёт быть далёкой теорией и становится прямым предупреждением: рубильник на этом уровне не спасёт. Значит, безопасность автопилотной части нельзя проектировать как более прочный замок, у любого замка есть математический потолок надёжности, а нужно с самого начала проектировать как контракт, с явными границами полномочий, прозрачностью действий и несколькими независимыми линиями обороны, а не одной.
Так и с самолётами, кстати, дело устроено не потому, что где-то придумали абсолютно надёжный автопилот, а потому что вся система целиком, самолёт, диспетчер, протоколы, второй пилот, построена так, что ни один отдельный отказ не остаётся последней линией обороны. Вопрос про AGI, похоже, не «как нам его удержать», а какую систему сдержек мы строим, заранее зная, что ни один отдельный рубильник не выдержит.
Источник: Roman V. Yampolskiy, «Unpredictability of AI», arXiv:1905.13053, 2019 — [1905.13053] Unpredictability of AI
Источник: Roman V. Yampolskiy, «Unexplainability and Incomprehensibility of Artificial Intelligence», arXiv:1907.03869, 2019 — [1907.03869] Unexplainability and Incomprehensibility of Artificial Intelligence
Источник: Roman V. Yampolskiy, «On Controllability of Artificial Intelligence», arXiv:2008.04071, 2020 — [2008.04071] On Controllability of AI
Источник: Roman V. Yampolskiy, «AI: Unexplainable, Unpredictable, Uncontrollable», Chapman & Hall/CRC, 2024
Источник: Roman Yampolskiy на подкасте Lex Fridman, эпизод #431 «Dangers of Superintelligent AI», июнь 2024 — #431 – Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast
Источник: Greg Kestin, Nate Soares, «Views on AI Existential Risk Before and After a Public Event at Harvard University», arXiv:2603.27785, 2026 — [2603.27785] Views on AI Existential Risk Before and After a Public Event at Harvard University
Источник: «Examining Popular Arguments Against AI Existential Risk», arXiv:2501.04064, 2025 — [2501.04064] Examining Popular Arguments Against AI Existential Risk: A Philosophical Analysis