TL;DR
Я беру следующий абзац из раздела “Что обосновывают в инженерии” учебника “Системная инженерия”:
Обоснование тем самым представляется порождающей моделью, в которой мы можем посмотреть на вероятное/возможное будущее. То есть мы строим объяснительную порождающую излагаемую контрфактуально теорию, которая должна дать оценку сюрприза (surprise, термин из байесовской вероятности) неприятных событий при эксплуатации целевой системы в её окружении.
И уточняю и раскрываю его с точки зрения онтологии Active Inference. Затем я предлагаю переход от концепции “водопадных” обоснований к непрерывной оптимизации "метрик “успешности”.
Онтологическая работа Rafael Kaufmann и моя, развиваем идеи отсюда: Гибридный интеллект для контрфактуального анализа, оценки кумулятивного риска, и коллективного обучения в критичных к безопасности сложных системах. Сейчас программируется симуляция представленной онтики для относительно реалистичных ситуаций: оптимизация квот и политик вылова рыбы.
System Free Energy
По всему остальному учебнику используются фразы “обоснование успешности системы”, и “успешность” раскрывается как “система приносит пользу в эксплуатации”.
Чтобы посадить “оценку успешности” на онтологию Active Inference, можно рассмотреть ряд/сумму будущих Expected Free Energy (EFE) across usage episodes. Например, для системы “команда создания” usage episodes будут рабочие проекты, а для системы системы “продукт” - это эпизоды владения экземплярами продукта, например, водители владеющие электромобилями, а также другие интересные нам методологические эпизоды с экземплярами продукта: производство и доставка, сервисное сопровождение, утилизация. Будущие EFE виртуально считаются относительно будущих (ожидаемых) reward/preference model (RM/PM), а также с учетом наших убеждений (beliefs) насчет будущей “компетентности” нашей embodied/enacted generative world model (GM/WM), то есть, ее способности удерживать систему в предпочтительных состояниях. Обратите внимание на “двойное будущее” - EFE это сама по себе некоторая интегральная оценка будущего. А тут мы суммируем будущие ожидаемые эти оценки по каждому эпизоду использования, которые произойдут (и оценки будут даны) только в будущем.
Выше сказано, что EFE в ряду считаются “виртуально”, потому что из-за “двойного будущего” посчитать явно их нельзя. Будущее может развиваться по бесконечному количеству траекторий, включая и траектории RM/PM, и GM/WM. Наш ряд можно только оценить с помощью симуляций (типа Monte Carlo Markov Chain, MCMC) или специальных алгоритмов для оценки intractable sums, таких как GFlowNets.
С точки зрения все той же Active Inference, выше мы определили дискретную иерархичную порождающую/генеративную (мета)модель, которая включает в себя обе модели (RM и GM) более низкого уровня, и предложили для нее некоторую free energy/энергетическую метрику. Rafael Kaufmann предлагал называть ее System Free Energy (SFE). Мы также обсуждаем названия Cumulative Risk Exposure (CRE) или просто Cumulative Risk (CR). Хотя мне не очень нравится ни одно из этих названий с точки зрения понятности и потенциала для путаницы, а с русскими переводами еще сложнее.
SFE сама не является EFE для нашей иерархичной метамодели - хотя бы потому, что для нее вообще не задано собственной (мета)модели предпочтений. Но даже если бы метапредпочтения были (в принципе, их можно добавить, и наверное это даже может быть полезно на практике, хотя не нужно для минимального описания нашей онтики), SFE все равно не факт, что была бы эквивалентна EFE. Чтобы это проверить, надо посмотреть, что может выступать “наблюдениями” в нашей мета-модели и аналогом Variational Free Energy. Также возможно что SFE была бы эквивалентна Free Energy of the Expected Future (FEEF, см. [2004.08128] Whence the Expected Free Energy?), а не EFE. Но это все в принципе не важно: эквивалентность метрики какой-то более общей метрике из литературы может дать только переносимость каких-то теоретических результатов. Нас же скорее интересуют практические характеристики метрики, такие как amenability to accurate and robust estimation with specific learning algorithms, и импликации на обучение этих алгоритмов.
Кроме того, лучше сразу думать о семействе метрик, а не об одной. Например, ряды поэпизодных EFE ограниченные по времени в будущее: EFE для экземпляров модели электромобиля, которые будут выпущены в течение 5, 10, 20 лет от текущего момента. EFE эпизодов могут быть также дисконтированы по времени с разными коэффициентами.
Для условно бесконечно живущих систем: переходим от оценки SFE к оценке ее градиента
Для условно бесконечно живущих систем c бесконечным количеством будущих эпизодов использования, SFE будет предсказуемо бесконечной как сумма бесконечного ряда конечных, но ненулевых EFE оценок. Интересно, что в случае сложных инженерных систем, их создатели обычно приходят к явному планированию всего жизненного периода продукта: например, производители самолетов могут рассчитывать, что определенная разработка даже с модификациями будет в производстве и эксплуатации 50 лет, но не 100 лет. Чем проще система/продукт, тем дольше он может жить: некотоые пабы и рестораны существуют столетиями, создают “эпизоды посещения”, и не собираются когда-либо закрываться. Также, города и страны создают бесконечные ряды “эпизодов проживания и/или гражданства”.
Для таких систем, можно перейти от оценке самой SFE к оценке (и оптимизации) градиента/первой производной от SFE. GFlowNet можно натренировать оценивать градиенты SFE: для этого пригодится [2312.15246] A Theory of Non-Acyclic Generative Flow Networks, где GFlowNet буквально реализует генеративную метамодель, ее состояния это пары состояний GM/WM и RM/PM.
Допущение о “сходимости” модели предпочтений
Для условно бесконечно живущих систем, мы также делаем важное допущение, что модель предпочтений (RM/PM) находится в некоторый attractor basin, и за конечное время придет к некоторой стабильной точке. Мы точно знаем, что это допущение неаккуратно: рано или поздно мы решим перепрыгнуть с одной attractor basin на другую – жизнь поменялась, предпочтения поменялись, надо выживать в новом окружении/реальности. Но рассматривать такие прыжки в процессе оптимизации SFE заранее бессмысленно – мы принципиально ничего про них не знаем (см. стратегирование, туман будущего, stepping stones). А в тех случаях, когда мы думаем, что что-то знаем про эти будущие прыжки, например, выбрали какую-то стратегию (стратегия = мета-предпочтения, которые были описаны выше) вроде “выбирать проекты которые максимизируют наш собственный learning rate в ходе деятельности”, пространство состояний (в данном случае, состояний RM/PM, которые сами по себе являются многомерными вероятностными распределениями на пространстве состояний мира) можно декомпозировать на движение к какому-то аттрактору в одном подпространстве и непредсказуемые прыжки в другом подпространстве.
Мы не знаем точку аттрактора заранее: epistemic humility/эпистемологическая скромность, а лишь предполагаем, что мы находимся в какой-то basin. Пример: мы решили делать систему/продукт с какой-то концепцией использования. Эта концепция/ConOps сама по себе может измениться в процессе разработки продукта, не говоря уже о конкретных фичах. То есть, даже концепция не очерчивает attractor basin заранее, но она обозначает нашу веру в то, что эта basin существует и мы в ней находимся, то есть, мы верим, что со временем найдем хорошую концепцию. Даже если мы допускаем риск, что не найдем, мы действуем “исходя из успеха” - см. optimism bias в Active Inference, https://www.frontiersin.org/articles/10.3389/fnhum.2013.00598/full
Более конкретный класс систем, которые мы симулируем и рассматриваем в первую очередь - те, где существование оптимальных “режимов пользования” очевидно и измеримо в конкретных единицах: оптимальный режим вылова рыбы для долгосрочной стабильности популяций, оптимальный профиль использования транспортной или энергетической инфраструктуры. Эти режимы выступают как RM/PM, кодируются либо ценами, либо регулированием/штафами, а GM/WM, которые под них подстраиваются, embodied в агентах: рыболовных судах, автомобилях, потребителях энергии, и т. д.
Более “грандиозное” потенциальное приложение SFE мета-модели – это, конечно, модель пресловутых “человеческих ценностей” как RM/PM, и AGI - как GM/WM.
Учет субъективных знаний и предпочтений нескольких агентов в совместной деятельности
В описанной выше мета-модели есть какая-то одна GM/WM (модель мира) и одна RM/PM (модель предпочтений).
Ситуации с несколькими агентами, играющими проектные роли (как внешние, так и внутренние: например, партнеры играют оба типа этих ролей в браке), то есть, почти все реальные ситуации требуют добавления в мета-модель дополнительных объектов.
Во-первых, надо отметить, что промоделировать “настоящую” семантическую дистанцию/разницу между агентами невозможно, поэтому агентам остаётся только работать над ее уменьшением и надеяться, что эта разница не сделает оптимизацию суммы (или ее градиента) бессмысленной или контрпродуктивной.
Далее, аналогом допущения/убеждения/belief/веры о RM/PM в attractor basin будет допущение, что агенты придут к какому-то стабильному равновесию взаимных предпочтений (cf. stable matching problem). В “одноагентной” мета-модели, среда воспринималась как инертная/неактивная, что позволяло сделать предположение о basin. Как будто только один агент пытается нащупать свои предпочтения, а среда выступает инертным фоном (хотя, как было замечено выше, это на самом деле не так - среда всегда активна). Но в ситуации с несколькими агентами в фокусе рассмотрения, надо явнее указывать, что взаимодействие их моделей предпочтений (и соответсвенно enacted GMs/WMs, которые будут учиться эти предпочтения удовлетворять, и будут влиять на окружение, включая другого агента, исходя из этого), будет сходиться именно к какой-то стабильной ситуации, а не “бесконечной погоне друг за другом”.
Дизайн среды/“правил игры” может/должен помогать агентам в достижении stable matching. “Допущения делай, но сам не плошай.” Например, в рамках все той же метафоры, общество стабилизирует браки высокой социальной и экономической ценой разводов.
Также, к убеждениям о будущей компетентности собственных GM/WM для удовлетворения собственных RM/PM, надо добавлять взаимные theory of mind/ToMs для моделирования RM/PM и GM/WM другого агента и убеждения о будущей достоверности/fidelity этих ToM.
Это расширение позволяет не только явно моделировать “утряхивание интересов” разных проектных ролей и агентов в надсистеме, но и подсказывает, что вообще обо всех формальных и нефомальных договорах (делового сотрудничества, брачных, кооперативных, инвесторских, и т. д.) надо думать как об “обоснованиях успешного сотрудничества”.
От “обоснований успешности” к непрерывному всему, теории игр, и дизайну механизмов
Раздел про инженерные обоснования и изложенная в нем онтика, за исключением единственного параграфа, процитированного в начале этого поста, кажется мне реликтом из системной инженерии 2.0. “Успех” и “успешная” [система] - отглагольные от “успеть”. “Успеть” - видимо, “успеть спастись”. Глаголы “обосновать/assure”, “успеть/succeed”, и “спастись” - все совершенного вида. Сложно абстрагироваться от семантического багажа глагола “обосновать/assure”, который означает какой-то (водопадный) “гейт” или “аппрув”. Сложно абстрагироваться от багажа слов “успех” и “успешный”, которые обычно понимаются в или на какой-то конкетный момент времени (если и зря).
Представленная выше мета-модель скорее про оценку динамики/градиента/первой производной от SFE/кумулятивного риска/кумулятивного неприятного сюрприза.
Учет “непрерывных” (меняющихся) моделей предпочтений сразу нескольких агентов позволяет “познакомить” мета-модель с теорией игр и дизайном механизмов/mechanism design. Также, это дает выход на многоуровневость предпочтений. В “рыбном” примере, предпочтения о профиле вылова формирует не только регулятор, но и, конечно, сами суда - с учетом знаний/убеждений о предпочтениях регулятора и друг друга, не только в текущем сезоне, но и в будущем - они будут до некоторой степени просчитываемо меняться - в этом и состоит главная инновация нашей мета-модели. Предпочтения (RM) судна - это сколько оно само хочет выловить рыбы в сезоне, а выловит оно это количество или нет зависит от компетентности GM судна.
Скорее всего, нельзя сделать каких-то общих теоретико-игровых выводов про любые приложения нашей мета-модели (вылов рыбы, использование инфраструктуры, ценности ИИ). Специфика каждого приложения: агентная конфигурация, свойства конкретных RMs и GMs может полностью менять расклады. Но конкретные модели, по крайней мере, можно изучать эмпирически, симулировать.
Есть также гипотеза, что обязательное раскрытие субъективных “SFE cases/дел” агентами может само по себе быть мощным механизмом, который приведет в движение (позитивную) динамику а-ля rational expectations theory: представьте, что все суда обязаны раскрывать, что они ожидают в сумме за все сезоны выловить X_i тонн рыбы (i - индекс судна) пока судно на плаву. Если они все просуммируют эти оценки, и сравнят их с оценками текущего размера популяции, и учтут ее индекс воспроизводства – они поймут, что их собственные оценки неосуществимы, и, как рациональные агенты, будут “обязаны” скорректировать свои оценки в меньшую сторону, а следовательно будут меньше вкладываться в обновление и оснащение судна, и т. д.
Тут главный вопрос, конечно, в доверии к их опубликованным SFE cases - проблема free-riding/cheating. Но для борьбы с этим, в свою очередь, есть ряд приемов - от банального мониторинга и сравнения SFE cases и их “ранними индикаторами”, такими как те же вложения в капремонт, до каких-нибудь сложных мультифакторных штафов за, например, превышение собственных предыдущих оценок при условии не-ослаблений предпочтений регулятора.