Проприетарные фреймворки: Agent.ai, MultiOn.ai, etc.
Опен-сорсные фреймворки: LangGraph, LangStream, AutoGen, Promptflow, etc.
Warning: эти фреймворки часто пишутся академиками ещё до реальных применений и количество звёзд плохо коррелирует с качеством
Пример идеи/рекомендации, которая мне кажется важной, но которая пока не достигла масс
Приложения до текущего момента в основном создавались для людей. Доминирует следующая архитектура: база данных с состоянием “на сейчас”, бизнес-логика, фронтенд. Идея Мартина Клеппманна “Turning the database inside out” не особо взлетела.
Приложения “для агентов” или “сросшиеся с агентами” требуют симуляций для RL, аудита и дебага прошлых действий, поэтому желательно иметь полный “paper trail” всех состояний в любой момент времени чтобы можно было при необходимости восстановить прошлое “состояние мозгов” модели/агента и форкнуть его. Поэтому, я думаю что идея stream/“immutable database” processing/turning the database inside-out получит второе дыхание и должна применяться в агентских архитектурах.
Если кто-то хочет поучаствовать в этом, давайте сделаем рабочую группу.
Стандартные свойства “производительности” для ML и поиска (accuracy, etc.), а также множество производных высокоуровневых свойств, специфичных для функций/роли приложения, от relevance до disturbance robustness.
Скалируемость в смысле “scaling laws” первого рода (training time) и второго рода (inference time)
“Динамичность”: как быстро приложение подстраивается к новой реальности/данным. На спектре от лет (a la “LLM knowledge cutoff: 2023”) до микросекунд.
DataOps характеристики для данных, которые нужны приложению или агенту во время тренировки или инференса. В терминах “-остей” это можно сформулировать как доступность, обновляемость (= доступность новых), проверяемость/валидируемость, релевантность данных
Security
Это все хорошо соотносится с этим списком:
Инфоэффективность = динамичность.
Хотя сама статья называет системы compound AI systems (a system composed of LLM calls and other tools), о модулярности/композиционности/интероперабельности/интегрируемости этих систем друг с другом а-ля society of minds и не только не упоминяется. Возможно, потому что рынок еще не созрел (или не созрел на февраль 2024 - время выхода статьи) для этого: еще (было) нечему “общаться”/композироваться. Так или иначе, композиционность это как раз наша “любимая” тема в Gaia agenda.