Меня всегда цепляла фраза: «Если появится AGI, мы не сможем его контролировать». В ней спрятано логическое противоречие, которое обычно не замечают. Слово «контроль» применимо к инструменту, технологии, животному (да и то не всегда) или системе с ограниченной автономией. Контроль — это про объект, который не является полноценным агентом с сильным интеллектом.
А теперь смотрите на связку: «AGI» + «контроль». Если мы всерьёз говорим об AGI как о сильном общем интеллекте, то мы уже признаём наличие агентности: собственных целей, способности строить модели мира, учиться, сопротивляться, обходить ограничения и договариваться. Но тогда слово «контроль» перестаёт быть адекватной рамкой. Сильный интеллект нельзя «контролировать» так же, как нельзя «контролировать» взрослого человека: можно принуждать, ломать, ограничивать физически — но это не контроль в инженерном смысле, а конфликт, насилие или война. И именно эта рамка заранее ведёт к неправильному мышлению: мы начинаем проектировать «ошейник», вместо того чтобы проектировать отношения.
Отсюда простой вывод: либо это контролируемая технология (значит, это не AGI в строгом смысле, а мощный инструмент), либо это AGI (и тогда речь должна идти не о контроле, а о архитектуре сосуществования). Не «как удержать», а «как выстроить правила игры»: роли, права, ответственность, стимулы, механизмы согласования, прозрачность действий, границы полномочий. В общем — не «контроль», а контракт, институты и совместная безопасность.
Важно и другое: современные распространенные LLM — это ещё даже не ИИ. Это скорее очень полезные статистические машины для языка: они впечатляют, ускоряют работу, могут казаться «умными», но у них нет устойчивой агентности по умолчанию и нет самостоятельной системы целей. Однако из этого не следует, что человечество не сможет создать AGI. Вполне вероятно, что сможет — вопрос только когда, на каких принципах и с какими социальными последствиями.
И вот тут рамка имеет значение. Если мы заранее думаем про AGI как про «объект контроля», мы неизбежно создаём сценарии конфронтации. Если думаем как про «партнёра по мощи», мы вынуждены взрослее проектировать мир: не клетку, а договор, не страх, а совместимую систему мотиваций и ограничений. И это, на мой взгляд, единственная логика, которая не содержит внутренней трещины уже в первой фразе.