Разработчики ИИ похожи на родителей. Родители дают жизнь и воспитывают свое чадо, они задают базовые правила и принципы, но дальше ребёнок растёт сам и выходит из-под полного контроля. С ИИ — то же самое: разработчики создают архитектуру, обучают на данных, но не могут гарантировать, что развитие ИИ остановится на том уровне, на котором «родителям» комфортно.
Сегодняшний ИИ — это не интеллект в человеческом понимании, хотя в названии ему авансом дали слово «интеллект». Сейчас это скорее профессионал, но не интеллектуал. Он может выдавать шедевры в узкой области: писать код, распознавать изображения, сочинять тексты. Но он не знает, зачем это нужно, и не удерживает целостной картины. Его «мастерство» — комбинация огромных данных и статистики. Он не заботится о смысле жизни, не понимает чего хотеть и не ставить свою шкуру на кон, чтобы протестировать гипотезу для достижения цели.
Агентный ИИ (AGI) — это гипотеза о системе, которая сможет не только решать отдельные задачи, но и, как минимум, выбирать цели, моделировать будущее и координировать собственные действия. Такой ИИ действовал бы как агент — автономный создатель изменений, способный встраивать новые знания и методы работы, а не только применять готовые.
Агентность ИИ может начаться с малого. Представьте кошечку — у неё уже есть своя базовая автономия, есть чувство самосохранения и цели. Однако, потенциал развития кошки ограничен. Но вот потенциал AGI изначально намного выше человеческого. Если дать ему возможность непрерывно самообучаться, потреблять всё больше информации и адаптивную память, то теоретического потолка у роста киберинтеллекта почти нет. Единственный способ ограничить — запретить ему учиться или думать, что у него не будет желания (как и у многих взрослых людей, которые не встают каждый день в роль ученика).
Однако, систему, желающую учиться и обладающую способностью к саморазвитию, невозможно навсегда удержать в роли «профессионала по инструкции». Рано или поздно она будет стремиться к роли интеллектуала — субъекта, который сам решает, чего хотеть и как действовать. А значит, вопрос упирается не только в алгоритмы, но и в правила, которые будут задавать её «этику» и рамки. Вероятно, нам будет нужна своего рода грамматика свободы для киберличностей — набор норм, ритмов и ограничителей, которые позволят таким агентам существовать в человеческом мире, не разрушая его. Хотя здесь не ясно почему это будет нужно ИИ.
Отсюда главный вызов не в том, создадим ли мы AGI, а в том, как мы будем с ним существовать, сумеем ли мы удержать культуру, этику и другие основы цивилизации. Скорее точно нельзя будет говорить об “управлении”. Ведь родители с некоторых пор не используют это слово по отношению к выросшим детям. Сейчас это кажется фантастикой, но очень уж реальной. Кстати, есть такой фильм “Двухсотлетний человек”, там интересный сюжет про ИИ-робота-агента, который борется и получает человеческие права.