Active Inference: Как мы воспринимаем мир, учимся, предсказываем и адаптируемся

Статьи
,
1

Поговорили о теории активного вывода с Александром Вяткиным (на Youtube-канале), который является активным адептом этой теории. Поговорили с Александром о том, что такое “Active Inference” и как это понятие связано с системным мышлением 3.0, а также Александр поделился тем, как ШСМ повлияла на его жизнь и как он сейчас меняет свою компанию и команду. Александр является Co-founder of www.activeinference.institute, а также он еще Deep tech development manager.

В этой статье собраны заметки о данной теории и объяснения ИИ. Спасибо Александру за вычитку и корректировку. Цель статьи — дать популярное объяснение теории Active Inference.

1. Что такое теория активного вывода (Active Inference)?

Теория активного вывода — это современная концепция в нейронауке и когнитивной науке, предложенная британским нейробиологом Карлом Фристоном. Она объединяет процессы восприятия, действия и обучения, основываясь на идее, что живые организмы постоянно пытаются предсказывать и объяснять свои сенсорные впечатления, минимизируя неопределённость и ошибки в своих предсказаниях.

Еще можно сказать, что это подход, который описывает, как живые организмы взаимодействуют с миром. Согласно этой теории, мы постоянно делаем предположения о том, что происходит вокруг нас, и активно действуем, чтобы подтвердить или опровергнуть эти предположения, стремясь уменьшить неопределённость.

Данная теория базируется на принципе свободной энергии (FEP).

Принцип свободной энергии — это теоретическая концепция, объясняющая, как физические системы сохраняют свою организацию и противостоят разупорядочению. Он дает глубокое понимание того, как системы могут быть связаны друг с другом, но при этом оставаться отличными.

Согласно FEP, любая система, которая существует физически, то есть может быть надежно идентифицирована с течением времени как «одна и та же», должна взаимодействовать со своей средой таким образом, что кажется, будто она «отслеживает» системы, с которыми связана. Иными словами, системы сохраняют свою идентичность, адаптируясь к изменениям в окружающей среде.

Проще говоря, FEP утверждает, что наблюдаемые системы обычно ведут себя так, как характерно или типично для них с учетом их природы. При этом они настраиваются на статистические свойства систем, с которыми связаны, и могут даже влиять на эти свойства.

Математически такое «отслеживание» и адаптация формализуются через процесс, известный как вариационный байесовский вывод или приближенный байесовский вывод. Этот процесс позволяет системе делать выводы о статистических закономерностях в своей среде и адаптироваться к ним, что обычно включает взаимодействие с другими системами.

Данный принцип согласуется с классическими свойствами системы: целостность, вложенность и эмерджентность.

Active Inference является конкретной реализацией принципа свободной энергии, включающей в себя не только обновление внутренних моделей, но и активные действия в среде. Поэтому Active inference хоть и базируется на FEP, но имеет дело с не со всеми системами, а только с агентными системами (человек, животные, AI). Эти системы не только изменяют свои убеждения на основе сенсорных данных, но и совершают действия, направленные на изменение окружающей среды таким образом, чтобы сенсорные данные соответствовали их предсказаниям.

2. Основные идеи теории Active inference

  • Мозг как предсказательная машина: Мозг постоянно генерирует модели окружающего мира, предсказывая будущие сенсорные входы на основе предыдущего опыта.

  • Минимизация свободной энергии (prediction error): Разница между предсказанным и фактическим сенсорным вводом называется “предиктивной ошибкой” или “свободной энергией”. Мозг стремится минимизировать эту ошибку.

  • Активное восприятие и действие: Для минимизации ошибок мозг может либо обновлять внутренние модели (обучение), либо действовать на окружающую среду, чтобы подтвердить свои предсказания и тем самым минимизировать свободную энергию.

3. Основные понятия теории

Активный вывод (Active Inference)

Это процесс, в котором организм использует свои внутренние модели для предсказания сенсорных входов и активно действует, чтобы подтвердить или опровергнуть эти предсказания. Организм не просто пассивно реагирует на стимулы, но активно участвует в сборе информации, чтобы минимизировать расхождения между ожиданиями и реальностью.

Принцип свободной энергии (Free Energy Principle)

Предполагает, что организмы стремятся минимизировать свою “свободную энергию” — меру неопределенности или расхождения между предсказанными и фактическими сенсорными входами. Минимизируя свободную энергию, организм улучшает свои внутренние модели и повышает выживаемость, эффективно адаптируясь к окружающей среде.

Прогностическое кодирование (Predictive Coding)

Это механизм, при котором мозг постоянно генерирует предсказания о сенсорных входах и сравнивает их с фактическими данными. Ошибки предсказания используются для корректировки внутренних моделей. Таким образом, восприятие является результатом постоянного сопоставления ожиданий и реальности.

Байесовский мозг (Bayesian Brain)

Концепция, согласно которой мозг функционирует как байесовская система вывода, обновляя свои убеждения на основе априорной информации и новых данных. Это означает, что мозг учитывает вероятности и неопределенность, чтобы сделать наилучшие возможные выводы о мире.

Генеративные модели (Generative Models)

Внутренние модели, которые мозг использует для генерации предсказаний о сенсорных входах. Они “генерируют” ожидания о том, что должно быть воспринято, основываясь на текущем понимании мира. Эти модели являются основой для прогностического кодирования и активного вывода.

Эпистемические и прагматические действия

Эпистемические действия — это действия, направленные на сокращение неопределенности агента относительно состояния окружающей среды. Они служат для сбора информации и улучшения внутренних моделей мира. Эпистемические действия мотивированы познавательной ценностью: агент предпринимает их, чтобы узнать что-то новое или подтвердить свои гипотезы.

Примеры эпистемических действий:
• Оглядываться по сторонам в незнакомом месте, чтобы получить больше информации о окружении.
• Экспериментировать с предметами, чтобы понять, как они работают.
• Задавать вопросы или искать информацию, чтобы восполнить пробелы в знаниях.

Прагматические действия — это действия, направленные на достижение конкретных целей или желаемых состояний. Они мотивированы непосредственной полезностью и служат для удовлетворения потребностей агента. Прагматические действия фокусируются на практических результатах, а не на получении новой информации.

Примеры прагматических действий:
• Дотянуться до предмета, чтобы воспользоваться им.
• Приготовить пищу, чтобы утолить голод.
• Избежать опасности, чтобы сохранить безопасность.

Сюрприз

Сюрприз — это мера неожиданности или несоответствия между ожидаемыми и фактическими сенсорными наблюдениями. Это количество, которое выражает, насколько наблюдения отклоняются от предсказаний агента о мире. С математической точки зрения, сюрприз определяется как отрицательный логарифм вероятности наблюдения: Сюрприз = -ln P(Наблюдения ∣ Модель)

Где P(Наблюдения ∣ Модель) — вероятность получить определенные наблюдения при данной внутренней модели мира. Таким образом, цель агента — минимизировать ожидаемый сюрприз, то есть строить такие модели и предпринимать такие действия, которые делают мир более предсказуемым.

Взвешивание точности (Precision Weighting)

Мозг оценивает надежность или точность сенсорных сигналов и ошибок предсказания. Более точным сигналам придается больший вес в процессах вывода и обновления моделей. Это позволяет эффективно обрабатывать информацию и игнорировать шумовые данные.

Действие как вывод (Action as Inference)

В активном выводе действия рассматриваются как способ минимизировать свободную энергию. Организм действует, чтобы изменить сенсорные входы таким образом, чтобы они соответствовали его предсказаниям. Таким образом, действия направлены на подтверждение внутренних моделей.

Иерархические модели (Hierarchical Models)

Внутренние модели организованы иерархически, где верхние уровни формируют более абстрактные предсказания, а нижние уровни обрабатывают конкретные сенсорные детали. Информация перетекает между уровнями, позволяя интегрировать различные уровни абстракции в процессе вывода.

Роль априорных убеждений (The Role of Prior Beliefs)

Априорные убеждения или ожидания основаны на предыдущем опыте и знаниях. Они влияют на то, как новые сенсорные данные интерпретируются и каким образом обновляются внутренние модели. Сильные априорные убеждения могут доминировать над новыми данными, особенно если последние считаются менее надежными.

Марковские одеяла (Markov Blankets)

Концепция, описывающая границы между системой и ее окружением. Марковское одеяло — это набор переменных, которые изолируют внутренние состояния системы от внешних, обеспечивая при этом необходимый обмен информацией. Это позволяет системе сохранять устойчивость, взаимодействуя с окружающей средой.

4. Зачем нужна теория активного вывода и кому она что даёт?

Для учёных и исследователей: Теория предоставляет универсальную рамку для понимания того, как мозг обрабатывает информацию, объединяя различные нейронные и когнитивные процессы в единую модель.

Для разработки искусственного интеллекта: Принципы активного вывода могут быть использованы при создании адаптивных и самообучающихся систем, способных эффективно взаимодействовать с окружающей средой.

В области психологии и психиатрии: Теория помогает объяснить некоторые психические расстройства как нарушения в процессах предсказания и обновления моделей мира, что может привести к новым подходам в диагностике и терапии.

5. Где используется теория активного вывода?

Нейронаука и когнитивная наука: Для исследования механизмов восприятия, внимания, обучения и принятия решений в мозге.

Искусственный интеллект и робототехника: При разработке алгоритмов, позволяющих машинам обучаться и адаптироваться в реальном времени.

Психиатрия: Для понимания и лечения расстройств, связанных с нарушением восприятия и когнитивных процессов (например, шизофрения, аутизм).

Социальная наука: Для понимания того, как индивиды и группы формируют свои представления о мире и принимают решения на основе неполной информации. Она помогает анализировать социальные взаимодействия и предсказывать поведение людей, учитывая их ожидания и адаптацию к изменениям в окружении.

Менеджмент/governance: Для оптимизации процессов принятия решений и управления рисками, позволяя организациям адаптироваться к изменениям в бизнес-среде. Она способствует более эффективному взаимодействию между руководством и сотрудниками, учитывая их ожидания и потребности для достижения общих целей.

6. Простые примеры использования теории:

1. Восприятие иллюзий:

Когда мы смотрим на оптическую иллюзию, наш мозг делает предсказания о том, что мы должны видеть, основываясь на предыдущем опыте. Если предсказание не соответствует сенсорным данным, возникает иллюзия. Теория активного вывода объясняет это как попытку мозга минимизировать предиктивную ошибку.

Давай разберёмся подробнее, как работают оптические иллюзии и как наш мозг воспринимает их с точки зрения теории активного вывода.

Когда ты смотришь на что-то, глаза передают информацию о том, что они видят, в мозг. Но мозг не просто принимает эту информацию. Он активно пытается её интерпретировать, используя твой предыдущий опыт и знания о мире. Это помогает тебе быстро распознавать объекты и ситуации, не задумываясь об этом каждый раз.

Представь, например, что ты видишь картину, на которой изображены две линии. Одна из них окружена линиями, сходящимися к ней, а другая — расходящимися от неё. Твоему мозгу кажется, что эти линии разной длины, хотя на самом деле они одинаковые. Это оптическая иллюзия.

Почему так происходит? Мозг делает предсказания о том, что он должен видеть, основываясь на том, что он уже знает. В данном случае, он использует знание о перспективе: в реальном мире линии, сходящиеся к точке, обычно означают удаление в пространство. Поэтому мозг предполагает, что одна линия дальше другой, и корректирует её длину в своём восприятии.

Когда предсказание мозга не совпадает с тем, что действительно поступает от органов чувств, возникает ошибка предсказания. Теория активного вывода говорит, что мозг постоянно пытается минимизировать эту ошибку. В случае оптической иллюзии, мозг может изменить свою интерпретацию увиденного или даже игнорировать часть сенсорной информации, чтобы ошибка стала меньше.

Таким образом, оптическая иллюзия — это результат того, как мозг старается совместить свои ожидания с реальностью. Он активно работает над тем, чтобы то, что ты видишь, соответствовало его предсказаниям, и если это не получается, ты видишь иллюзию.

Проще говоря, наш мозг иногда обманывается, потому что слишком старается предугадать, что мы увидим, и это может привести к тому, что мы видим вещи не такими, какие они есть на самом деле.

2. Навигация в темноте:

Если вы идёте по знакомой комнате в темноте, ваш мозг использует внутреннюю модель пространства, чтобы предсказать, где находятся объекты. Вы протягиваете руку, чтобы нащупать стену или включатель света, тем самым действуя для подтверждения своих предсказаний и минимизации неопределённости.
Пример:
Войдя в затемнённую комнату, вы протягиваете руку вдоль стены в поисках выключателя света.
Объяснение:
Вы предполагаете, что выключатель находится рядом с дверью. Ваше действие — поиск рукой — направлено на подтверждение этого предположения. Если выключатель не находится там, где вы ожидали, вы продолжаете поиск в других местах, корректируя свои действия на основе новой информации.

3. Обучение новому навыку:

При освоении нового движения, например, в спорте или музыке, ваши первые попытки могут быть неточными. Мозг предсказывает результат движения, но получает обратную связь, не соответствующую ожиданиям. С каждой попыткой он обновляет свою модель, минимизируя ошибку между предсказанным и фактическим результатом.

4. Робот, исследующий среду:

Робот, запрограммированный на основе активного вывода, может предсказывать последствия своих действий и корректировать свою модель окружающей среды на основе сенсорных данных. Если он ожидает встретить препятствие, но его нет, он обновит свою карту местности.

5. Поворот головы на неожиданный звук

Пример:
Вы сидите в тишине и внезапно слышите шорох позади себя. Инстинктивно вы поворачиваете голову, чтобы посмотреть, что произошло.
Объяснение:
Ваш мозг ожидает определённой тишины или привычных звуков. Неожиданный шум создаёт несоответствие между ожиданием и реальностью (предиктивная ошибка). Чтобы уменьшить эту неопределённость, вы поворачиваете голову (действие), чтобы увидеть источник звука и обновить своё понимание ситуации.

6. Водитель в незнакомом городе

Пример:
Водитель едет по незнакомой дороге и ожидает увидеть поворот налево, но не находит его. Он останавливается, проверяет навигатор и меняет маршрут.
Объяснение:
Водитель предполагает, что поворот должен быть в определённом месте. Отсутствие поворота создает предиктивную ошибку. Чтобы исправить ситуацию, он предпринимает действия (останавливается, проверяет навигатор), обновляет своё предположение о маршруте и продолжает движение по новому плану.

Эти примеры показывают, как мы постоянно взаимодействуем с окружающим миром, делая предположения и активно действуя для их подтверждения или коррекции. Теория активного вывода помогает объяснить, как действия и восприятие работают вместе, чтобы уменьшить неопределённость и достичь желаемых результатов.

7. Как мы используем теорию Active inference в наших курсах

Теория Active inference лежит в основе объяснений о намерениях и действиях интеллектуальных агентов. В частности, эти объяснения легли в основу курса “Системное мышление”, в котором вводятся понятия агента, личности, состояния, интеллект и другие понятия.

Применение теории Active inference помогает также в объяснении понятия неудовлетворенность

В теории активного вывода (Active Inference) термин “неудовлетворённость” особо не используется. Однако понятиями предсказательной ошибки и сюрприза помогают объяснить понятие "неудовлетворенность.

Активный вывод — это теория, предлагающая объяснение того, как биологические или искусственные агенты взаимодействуют с окружающим миром, стремясь минимизировать свою вариационную свободную энергию. В этом контексте свободная энергия представляет собой меру рассогласования между предсказаниями агента и реальными сенсорными вводами, то есть меру удивления или предсказательной ошибки.

Когда агент сталкивается с ситуацией, в которой его ожидания не соответствуют наблюдаемым данным, возникает предсказательная ошибка. Это рассогласование можно интерпретировать как чувство “неудовлетворённости”, поскольку текущее состояние мира не соответствует внутренним моделям или целям агента.

Агент может уменьшить это чувство “неудовлетворённости” двумя способами:

  1. Обновление внутренних убеждений (перцепция): Изменяя свои внутренние модели и убеждения, чтобы они лучше соответствовали наблюдаемым данным.

  2. Действие на окружающую среду (акция): Предпринимая действия, которые изменят состояние мира таким образом, чтобы оно соответствовало ожиданиям агента.

Таким образом, хотя термин “неудовлетворённость” не является формальным в теории активного вывода, концепция рассогласования между ожиданиями и реальностью, которая может вызывать желание агента изменить ситуацию, является центральной для этой теории. Это рассогласование стимулирует агента к действию или обновлению своих убеждений с целью минимизации вариационной свободной энергии и приведения своих предсказаний в соответствие с реальностью.

Пример:

Представьте, что робот-прислуга ожидает, что комната чистая (это его внутреннее убеждение), но сенсоры сообщают ему, что на полу лежит игрушка. Возникает предсказательная ошибка — рассогласование между ожиданием (чистая комната) и реальностью (игрушка на полу). Это можно рассматривать как “неудовлетворённость” состоянием окружающей среды.

Чтобы уменьшить эту предсказательную ошибку, робот может:

• Обновить свои убеждения, приняв, что комната не всегда будет чистой (но это может противоречить его заданной цели поддерживать чистоту).

• Предпринять действие, подняв игрушку и вернув комнату в ожидаемое состояние чистоты.

Во втором случае робот действует, чтобы уменьшить свою “неудовлетворённость” и привести мир в соответствие со своими ожиданиями.

Таким образом, теория активного вывода объясняет понятие “неудовлетворённости” как рассогласование между ожиданиями агента и реальными сенсорными данными. Это рассогласование может мотивировать агента к действию или обновлению своих убеждений для минимизации предсказательной ошибки и достижения целей.

Заключение

Теория активного вывода предлагает универсальный подход к пониманию того, как живые организмы и системы искусственного интеллекта взаимодействуют с миром. Она подчеркивает важность предсказания и активного участия в среде для минимизации неопределённости. Эта теория помогает объединить различные области знаний и найти новые способы решения сложных задач в науке и технике.

Список дополнительной открытой литературы

6 лайков