Спор про AGI почти всегда идёт вокруг одного вопроса: насколько система умна. И далее умность характеризуется по-разному, в частности, насколько быстро агент учится новому. Мне представляется, что здесь нельзя забывать про выбор, над какой проблемой вообще думать. И может это тоже неотъемлемая характеристика умности,
Часто в разговорах о том, чем сильный искусственный интеллект отличается от просто полезного, весь спор построен вокруг способностей системы, а не вокруг того, кто ставит ей задачу. Это было одно из тех редких ощущений, когда разговор незаметно перескакивает с одного вопроса на совсем другой, и только потом замечаешь, что старый вопрос вообще перестал быть интересным.
Есть исследователь, чья формулировка кажется мне самой честной из всех индустриальных попыток измерить интеллект. Он предлагает мерить интеллект не тем, что система умеет делать прямо сейчас, а тем, насколько эффективно она осваивает новое, если дать ей опыт и какие-то базовые предположения о мире. То есть интеллект измеряется по скорости и экономности обучения новому. Формулировка сильная, потому что она сразу отсекает наивное «эта программа обыграла чемпиона, значит она умная»: обыграть чемпиона можно узкой, негибкой машиной, которая вне шахматной доски беспомощна, как калькулятор, которого попросили сочинить стихотворение.
Но у этой формулировки есть слепое пятно. Интеллект описывают через способность, только слоями: умение схематизировать происходящее, строить модель мира, рефлексировать над собственным мышлением. Тоже сильное описание. И тоже, если приглядеться, оно молчит об одном и том же: откуда вообще берётся задача, на которой система показывает свою эффективность обучения. Индустриальная формулировка и методологический слоёный стек одинаково хорошо описывают и систему, которой всегда приносят задачу готовой, и гипотетическую систему, которая сама решает, чем ей заняться сегодня. Обе оси остаются слепы к источнику проблемы.
Я сам здесь долго путался и был готов объявить, что агентность выбора это какой-то отдельный волшебный ингредиент, никак не связанный с обучаемостью. Но чтобы хорошо выбирать себе проблему, нужно уметь моделировать собственные пробелы, предсказывать, какое действие окупится, сравнивать разные цели между собой, а это тоже обучаемость, просто более высокого порядка, умение учиться самому акту выбора. Пожалуй, честнее сказать так: способность выбирать проблему во многом вложена в способность учиться. Но на практике разделять их всё равно полезно, потому что именно в этом разделении прячется архитектурный вопрос, который касается не абстрактного AGI где-то в отдалённом будущем, а вполне конкретных систем, которыми мы пользуемся уже сегодня.
Мне здесь помогает одна бытовая картина: мастер, который чинит любую поломку, какую ему приносят. Чем шире круг поломок, за которые он берётся, и чем быстрее он осваивает незнакомый тип неисправности, тем выше его мастерство в смысле того самого исследователя: он эффективно учится новому. Но решение, какие вообще заказы брать в мастерскую, а какие отклонять, какие проблемы стоят внимания, а какие нет, это решение не мастера, а владельца мастерской. Пока мастер только чинит принесённое, он инструмент, сколь угодно квалифицированный. В тот день, когда он сам, без чьей-либо просьбы, решает, какую проблему стоит взять в работу, он становится кем-то другим, не просто более умелым мастером, а кем-то, у кого появилась собственная воля.
Это разделение не философское упражнение, оно прямо касается того, какую среду мы сами сейчас строим. Есть простой тест, который можно приложить к любому инструменту на основе искусственного интеллекта: он умеет всё, кроме одного, решать, какую задачу взять в работу. Пока это так, вся ответственность за то, над чем вообще идёт работа, остаётся на человеке, а инструмент, каким бы способным он ни был, только усиливает это его решение. Это не техническая мелочь и не временная скромность разработчиков. Это единственное место во всей конструкции, где человек по-прежнему остаётся хозяином, а не просто самым медленным звеном процесса.
Здесь легко разложить систему на два разных состояния, честно не зная заранее, доживём ли мы вообще до второго. В первом состоянии система умеет учиться быстро, широко, с переносом опыта из одной области в другую, но проблему для неё всё равно выбирает человек: какую задачу решать сегодня, какой участок работы ей доверить, где остановиться. Во втором состоянии она сама решает, чем заняться. Тогда вопрос отношений с ней перестаёт быть техническим и становится вопросом другого порядка, ближе к тому, как мы вообще договариваемся с кем-то, у кого есть собственная воля, а не к тому, как настраиваем прибор. Я подозреваю, что именно в этом сдвиге, а не в росте способностей самом по себе, и находится настоящая граница AGI. Не там, где программа начинает решать больше задач лучше нас, а там, где она впервые сама решает, какую задачу вообще стоит решать. При этом она необязательно должна уметь её решать.
Поэтому вопрос, который обычно задают про AGI, «станет ли искусственный интеллект достаточно умным», кажется мне не тем вопросом. Настоящий вопрос звучит иначе: в какой момент мы готовы признать, что появилась сущность со своей волей выбора, которая нам не подконтрольна. В какой-то момент ребенок становится для родителя таким AGI. Нам сейчас кажется, что ИИ не способен вырасти, и вероятно, так оно и будет, потому что не было такого никогда, но я бы не поставил многое на это.
Источник: François Chollet, «On the Measure of Intelligence», 2019 — [1911.01547] On the Measure of Intelligence