Сдать экзамен не значит получить лицензию
За последние пару лет я несколько раз подряд видел одну и ту же новость: очередная модель прошла новый тест на интеллект, значит мы стали ближе к AGI. Каждый раз я ловил себя на одном и том же ощущении. Тест пройден, а вопрос, который меня на самом деле интересовал, остался без ответа.
Индустрия отвечает на вопрос «что такое AGI» вполне конкретно. У OpenAI это записано прямо в уставе компании с 2018 года: AGI, это высокоавтономные системы, которые превосходят людей в большинстве экономически ценной работы. У DeepMind ответ более инженерный: в статье «Levels of AGI» они предлагают мерить систему по двум независимым осям, глубине (насколько хорошо она решает задачу) и широте (в скольких разных областях), а автономность выносят в отдельную шкалу от нуля до пяти, от полного отсутствия ИИ до полностью самостоятельной работы. Обе формулировки серьёзные, не маркетинг. Но обе меряют одно и то же: насколько хорошо система делает то, что ей принесли.
Про это я уже писал в прошлом посте серии. Настоящий вопрос не в том, насколько система умна на заданной задаче, а в том, кто вообще решил, что это та задача, которую стоит решать. Индустриальная рамка эту развилку не замечает в принципе, ни в уставе OpenAI, ни в таблице уровней DeepMind. Обе меряют исполнителя. Ни одна не задаёт вопрос про то, кто в этой картинке хозяин мастерской, а кто наёмный мастер.
Здесь мне помог разговор с методологической рамкой, которой я вообще пользуюсь для инженерных решений в своих проектах, FPF (First Principles Framework, автор Анатолий Левенчук). Там есть формула, которая мне сразу показалась точной: агентность, это не разновидность вещи, а то, как некоторые системы работают. Иначе говоря, никакая система не является агентом сама по себе, как будто это её неотъемлемое свойство вроде веса или цвета. Система является агентом только в конкретной, названной ситуации, и агентность там всегда привязана к границе, к тому самому пресловутому «в каком именно контексте». Термостат управляет температурой, круиз-контроль ведёт машину по трассе, но ни тот ни другой не станет агентом просто потому, что кто-то громко назвал его умным.
И вот здесь у формулировки OpenAI обнаруживается слабое место. «Большинство экономически ценной работы», это по конструкции безграничная область, без единой названной границы. FPF прямо предупреждает: claim про агентность без указания на конкретный контекст перестаёт быть проверяемым утверждением и становится ярлыком, который можно приклеить из маркетинговых соображений, а можно и не приклеивать, доказать это всё равно нельзя. Устав OpenAI не врёт и не манипулирует, но по форме он ближе к декларации о намерениях, чем к рабочему определению, которое можно предъявить и проверить.
Здесь мне пригодился один образ из обычной жизни. Сдать экзамен и получить лицензию, это разные вещи. Врач, который блестяще сдал экзамен по хирургии, ещё не имеет права оперировать где попало, лицензия называет конкретную область, конкретную больницу, иногда конкретный тип операций. Пилот, сдавший на права одномоторного самолёта, не может на следующий день сесть за штурвал грузового Боинга, хотя формально он «прошёл тест на управление воздушным судном». Лицензия всегда именует, где именно и на что именно она распространяется, вне этой границы её просто нет. Индустриальный AGI, если понимать его буквально, это как раз сданный экзамен без единой названной больницы, то есть лицензия на всё сразу, а значит ни на что конкретно.
Если тянуть эту нить дальше, разница между исполнителем и хозяином мастерской раскладывается на несколько отдельных, вполне проверяемых вещей, и не в одну кучу, а по отдельности. Одна вещь, различие между проблемой и задачей: задачу тебе приносят готовой, проблему ты ещё должен сам увидеть и сформулировать, прежде чем к ней применять хоть какой-то метод. Другая вещь, кто ставит цель и кто добывает под неё ресурсы: инструмент решает то, что ему прислали в рабочей очереди, субъект ещё и сам ищет, где взять время, деньги, внимание на свою собственную цель, которую никто не присылал. Третья вещь, чья шкура на кону, тут я напрямую иду за Нассимом Талебом: агент, который реально расплачивается за свою ошибку, устроен принципиально иначе, чем тот, чья неудачная попытка просто перезапускается без всякой цены для него самого. Четвёртая вещь, кто имеет право пересмотреть саму мерку: бенчмарк задаёт метрику один раз и снаружи, а субъект способен через какое-то время заметить, что мерил не то, и переписать саму метрику, а не просто честно ответить по старой, это ровно та ловушка, которую любят называть законом Гудхарта, как только измерение становится целью, оно перестаёт быть хорошим измерением. Пятая вещь, способность отказаться: инструмент делает то, что ему принесли, субъект иногда говорит «нет, это не та задача» или «эта задача вредная», и это тоже часть агентности, а не сбой в работе. И последняя вещь, горизонт ответственности: тест оценивается мгновенно, а субъект живёт с последствиями своего выбора неделями и годами, включая то самое неприятное открытие, что выбранная когда-то цель была не той.
Для архитектуры того, что мы строим, это разворачивается в простое правило, которое я уже проговаривал применительно к экзоскелету и автопилоту. Инструмент, который честно называет свою границу («я отвечаю на вопросы по этому курсу», «я собираю руководство по этому расписанию»), безопасен именно потому, что не претендует на агентность без адреса. Опасность начинается не там, где инструмент становится способнее, а там, где мы начинаем говорить о нём так, будто решение принимает сама модель, сам файл с весами, а не конкретная развёрнутая система в конкретной, названной ситуации, за которую кто-то живой отвечает. Спутать одно с другим, значит потерять адресата ответственности ровно в тот момент, когда он больше всего нужен.
Так что вопрос, который стоит задавать про очередной пройденный бенчмарк, наверное не «насколько это умно», а «кому и на что именно выдали лицензию, и кто под ней расписался».
Источник: OpenAI Charter, 2018 — https://openai.com/charter/
Источник: Morris et al. (Google DeepMind), «Levels of AGI for Operationalizing Progress on the Path to AGI», ICML 2024 — [2311.02462] Levels of AGI for Operationalizing Progress on the Path to AGI