Вот довольно фундаментальный, хоть и короткий текст на тему: The Shift from Models to Compound AI Systems – The Berkeley Artificial Intelligence Research Blog. В нем указываются следующие свойства умных приложений и агентов:
- Стандартные свойства “производительности” для ML и поиска (accuracy, etc.), а также множество производных высокоуровневых свойств, специфичных для функций/роли приложения, от relevance до disturbance robustness.
- Скалируемость в смысле “scaling laws” первого рода (training time) и второго рода (inference time)
- “Динамичность”: как быстро приложение подстраивается к новой реальности/данным. На спектре от лет (a la “LLM knowledge cutoff: 2023”) до микросекунд.
- Управляемость и “гарантии результатов” (controllability and trust): модельные обоснования ([2408.05284] Can a Bayesian Oracle Prevent Harm from an Agent?), логические доказательства
- Latency and cost - потребление ресурсов
Кроме того, ниже они дают еще несколько операционных и архитектурных свойств:
- Auditability (loggability)/traceability/debuggability
- DataOps характеристики для данных, которые нужны приложению или агенту во время тренировки или инференса. В терминах “-остей” это можно сформулировать как доступность, обновляемость (= доступность новых), проверяемость/валидируемость, релевантность данных
- Security
Это все хорошо соотносится с этим списком:
Инфоэффективность = динамичность.
Хотя сама статья называет системы compound AI systems (a system composed of LLM calls and other tools), о модулярности/композиционности/интероперабельности/интегрируемости этих систем друг с другом а-ля society of minds и не только не упоминяется. Возможно, потому что рынок еще не созрел (или не созрел на февраль 2024 - время выхода статьи) для этого: еще (было) нечему “общаться”/композироваться. Так или иначе, композиционность это как раз наша “любимая” тема в Gaia agenda.