Сильный интеллект: от “моделей знаний” (LLM) к “моделям мира” (world models)
В искусственном интеллекте традиционно различают слабый или узкий (“монодисциплинарный”, для мыслительной или даже физической однородной работы) искусственный интеллект и сильный или широкий (даже не мультидисциплинарный, а потенциально могущий овладеть самыми разными дисциплинами, лежащими в основе самых разных методов работы, упор тут на то, что “которые ещё могут появиться”). Сильный интеллект ещё и должен уметь пользоваться инструментами, ибо потенциально самые разные работы могут выполняться только с инструментами, многие из которых сами вполне себе агенты со слабым/узким интеллектом. Езда на лошадях, соколиная охота, езда на лошадях к месту соколиной охоты – вот это оно. Сильный интеллект с большим количеством более слабых инструментальных интеллектов. Примером сильного интеллекта всегда был человеческий интеллект, а сейчас обсуждается, что AI-агенты подошли к этому барьеру “сильности” вот прямо сейчас.
Один из таких барьеров – это принципиальная пассивность знаний (эпистем как единиц знаний, про них можно говорить долго и много, но пока хватит того, что они “идеальны” и выразимы в мире только на каком-то физическом носителе). Знания в мире сами по себе действовать не могут, они могут только задействоваться системами (материальными/физическими объектами, имеющими границы с окружением, состоящими из частей и сами являющимися частью окружения. Про системы можно долго рассказывать, руководство по системному мышлению объёмом в сотни страниц). “Современные языковые модели работают с эпистемами” – это упрощение, ибо работают-то вполне физические компьютеры в датацентрах, а сами языковые модели вполне пассивны. Ладно, можно пренебречь и говорить о том, что AI-агент – это кусок датацентра с LLM и набором софта (“инструменты”, “память”). Но на входе там данные (эпистемы), и на выходе данные (эпистемы).
Ключевой барьер на пути к сильности неестественного интеллекта — не “объём знаний”, а включение знаний в замкнутую лемнискату (∞) непрерывного развития (open-endedness). Я очень подробно раскрывал его на своём последнем семинаре “Развитие для развитых”. Там три фабрики: проблем, решений, а ещё “фабрика фабрик”. Фабрика проблем выдаёт всё более и более трудные проблемы, фабрика решений их решает, фабрика фабрик развивает как постановщиков проблем, так и решателей проблем (см. картинку lytdybr: ailev — ЖЖ – там переход от agile к DevOps и далее к новому инженерному процессу “развития для развитых”). Ключевое там – это оценка решения по расхождению между проектными ожиданиями и ситуацией с этим решением в реальном мире, а также отслеживание дрейфа ситуации в реальном мире. И вот тут надо заметить, что LLM – это языковые модели даже не мира, а знаний о мире, грубо говоря, “кабинетное знание мира, изученное по книжкам, включая ложное знание о мире, полученное чтением книжек по астрологии и знакомством с помойкой знаний о мире из интернета”. Чаще всего AI-агент на базе LLM – это кабинетный учёный, доступ к миру которого идёт только через пользователя. Конечно, кабинетному учёному дают “контекст”, то есть разрешают поглазеть на реальный мир – и, конечно, он может сделать нетривиальные выводы! Но в текущей ситуации есть огромные проблемы с отслеживанием невязки между этими “знаниями о мире” и поведением реального мира, с отслеживанием дрейфа ситуации в реальном мире в реальном времени.
Чтобы AI-агент мог действовать в мире, сегодня (особенность момента!) ему нужна прокладка между основанным на LLM AI-агентом и реальным миром. Этой прокладкой чаще всего сегодня выступают люди с их сильным интеллектом и возможностью получать свежую информацию о мире, делать в мире замеры и даже зондирование (изменения + замер). Конечно, всё намного сложнее, но я довольно много писал об этом пару дней назад в тексте “Профессиональное кодирование и моделирование против вайб-кодирования и вайб-моделирования”, и там см. подраздел “Сближаем модели с реальностью: интервенции и агентность” (Профессиональное кодирование и моделирование против вайб-кодирования и вайб-моделирования: ailev — ЖЖ). Для понимания работы какой-то системы надо обязательно проводить эксперименты/интервенции, “тыкать в неё палочкой”, быть активным, не просто “наблюдать”, а “зондировать”. Надо как-то пытаться воздействовать на систему, человека, организацию, модели которых делаются. А модели эти нужны, чтобы эффективно изменять системы, сначала их изучив. И тыкать палочкой надо, чтобы сравнивать ожидаемый отклик на этот тычок (по модели/теории/знаниям) и реальный (по замерам после тычка), чтобы улучшить модель.
Если хотите понять (то есть надёжно отмоделировать), как работает техническая система, человек, организация, то надо моделировать и их окружение, так что придётся активно-инициативно (агентность как автономные решения о действиях по изменению окружения) тыкать палочкой (то есть зондировать, проводить активные эксперименты) в окружение, чтобы понять, как оно там устроено, как оно работает, что ему надо вообще и что ему надо от системы в частности. Конечно, “тыкать палочкой в модель” и “тыкать палочкой в реальность” – там принцип общий, но всё остальное разное (способ самого тыкания, тип возможных эффектов, получаемый в ответ сигнал и уровень шума, разная этика). Но, повторюсь: идея одна и та же – экспериментального изучения какого-то объекта (модели или мира, или модели и мира вместе) для того, чтобы потом этот объект эффективно поменять. Сильный интеллект возможен только там и тогда, когда есть вот это накопление знаний от тыкания палочкой в окружающий мир.
От кабинетных учёных к инженерам: от LLM к world models
В мире машинного обучения это разговор про переход от больших языковых моделей (результат обучения больших нейросетей на материале самых разных текстов, изображений, аудиозаписей) к так называемым мировым моделям, которые отражают не идею “всё есть текст, знаки-паттерны”, а идею непосредственного (а не опосредованного текстами как уже сильно сжатыми) моделирования мира, и получения этих моделей мира из непосредственного контакта какого-то “воплощённого” (embodied) интеллекта со сложным миром. World model, в отличие от language model, делает шаги измерения последствий и обновления самой этой модели учтёнными в архитектуре: хранит состояние в ходе реализации плана, позволяет прогнозировать последствия действий и превращает ошибку прогноза (невязку ожиданий и реальности) в обновление представлений о текущем состоянии мира. Без этого фабрика решений легко остаётся “кабинетной”: можно улучшать ответы в тексте, но трудно наращивать эффективность изменения физического мира.
Разговор про модели мира шёл испокон веков, но новая волна этого разговора началась с работы Ha и Schmidhuber 2018 года. Там были введены масштабируемые нейропредставления и стыковка с планированием и контролем исполнения. Я считаю, что заслуги Шмитхубера незаслуженно замалчивают. Это неважно, что он такой хвастун. Но важно, что он и впрямь один из тех гениев, которые заложили основы прикладного знания по машинному обучению.
Сегодня наиболее известный сторонник world models против LLM – это LeCun. Он говорит, что нынешний искусственный интеллект – это ещё не настоящий, он “кабинетный”. А у мировых моделей инженерный интеллект, который способен работать не только с “данными”, но и с быстроменяющимся миром, обязательно тыкая в него палочкой, ибо это будет формат робота, embodied intelligence. Мой голос тихий и тонет в шуме, но он явно в этом лагере “на трансформерах с языковыми моделями история не закончилась”. Нужны нейромодели движений, нейромодели физических процессов, всего происходящего в физическом мире – и моделировать лучше бы физический мир по его замерам, а не по его описаниях в книжках.
“The original World Models (Ha & Schmidhuber, 2018) primarily consisted of a vision model that receives world inputs, a memory model for dynamic prediction and processing, and a controller that governs the model’s outputs” - это говорят в работе “Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks” ([2602.01630] Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks). И дальше: “We suggest that a robust world model should not be a loose collection of capabilities but a normative framework that integrally incorporates interaction, perception, symbolic reasoning, and spatial representation”.
Моя позиция тут более мягкая, чем у LeCun: можно сварить суп и из топора, если этим топором считать трансформер: добавить память, хранящую состояние, добавить возможность крутить какие-то циклы и иметь разные частоты управления на разных слоях архитектуры (как в архитектуре робота Helix, теоретические основания см. в работе “Towards a Theory of Control Architecture: A quantitative framework for layered multi-rate control”, [2401.15185] Towards a Theory of Control Architecture: A quantitative framework for layered multi-rate control), можно добавить датчики и добавить возможность заказа внешних инструментальных ресурсов (самый интересный пример – это заказ AI-агентом суб-агента: работника для монтажа спортивных тренажёров на крыше, при этом заказ работы понятно, как делать, это “разговор”, но вот для контроля выполнения работы вместо “верю, ты всё сделал” были задействованы видеокамеры наружного наблюдения, Bengt Hires A Human—Towards A Happy Future With AI Employers | Andon Labs). Вообще, полезно как-то различать (я подробно писал об этом три дня назад в “Рок-н-ролл сдвигается с AI-агентов на универсальные приложения (на примере Codex)”, Рок-н-ролл сдвигается с AI-агентов на универсальные приложения (на примере Codex).: ailev — ЖЖ) пассивную саму по себе LLM, AI-агента с какими-то стратегиями/policies поведения, памятью, инструментами, целями, приложение (в том числе вариант “приложение в роботе с датчиками и актуаторами/эффекторами” – и противопоставлять это всё окружающему миру с измеримой версией “правды в реальности” (а не правдой оценок модели), с дрейфом состояния, а ещё стоимостью ошибок. Без регулярной привязки к миру агент во всех своих внутренних циклах мышления деградирует в “самосогласованный текст”: внутренние согласования улучшают модель в части её непротиворечивости, скорости работы, чего угодно – но не близости её предсказаний с миром, особенно при учёте неминуемого дрейфа состояния мира и дрейфа целей агента в этом мире.
Чтобы не путаться в терминологии, разведём разные значения термина world model (как и у всех важных терминов каждая традиция наделяет эти слова своими смыслами):
- world model как обучаемый симулятор динамики для планирования и управления (model-based RL): модель позволяет “воображать” будущие траектории и выбирать действия по imagined-rollouts (классические примеры — MuZero, [1911.08265] Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model, и Dreamer, [1912.01603] Dream to Control: Learning Behaviors by Latent Imagination). Как раз продолжение линии Ха и Шмитхубера.
- world model как предсказательная модель в скрытом пространстве представлений (latent/predictive representation model) без обязательной генерации пикселей/текстов: цель — предсказывать недостающие части наблюдения в абстрактном пространстве и тем самым получать семантические, пригодные для контроля/планирования представления (JEPA-линия: I-JEPA, [2301.08243] Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture; V-JEPA, [2404.08471] Revisiting Feature Prediction for Learning Visual Representations from Video). Это линия LeCun, он подчёркивает “негенеративность”.
- world model как отсутствие “впрыска знаний о мире в задачи”: retrieval/RAG, подсказки, инструменты и дообучение на текстах могут расширять кабинетное знание, но не заменяют модель, которая обновляется из взаимодействия и держит в себе динамику мира (эта подмена как раз и обсуждается в уже упомянутой работе “Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks”).
Нам нужны все эти три варианта, все они показывают недостаток “кабинетных учёных”, какими являются сегодня AI-агенты, основанные на классическом использовании LLM. Все варианты ведут к одному и тому же: к AI-агенту новой архитектуры, который замыкает цикл действие–измерение–обновление, причём делает это устойчиво при масштабировании.
Интересно, что подход с интервенциями для изучения “как оно там устроено” применяют и сами спецы по машинному обучению, тыкая палочкой в работающую на компьютере модель, как в систему. В LLM при изучении того, что и как там работает, явный сдвиг от “визуализаций” к интервенциям (специально обсуждается, например, вот в этой статье – “Interpreting Transformers Through Attention Head Intervention”, [2601.04398] Interpreting Transformers Through Attention Head Intervention, “This paper traces how attention head intervention emerged as a key method for causal interpretability of transformers. The evolution from visualization to intervention represents a paradigm shift from observing correlations to causally validating mechanistic hypotheses through direct intervention”. Исследований “через интервенцию” в данных тьма, я писал о них в lytdybr: ailev — ЖЖ (там см. ссылки в пункте нейросетевых новостей про “западная цивилизация пытается таки понять, как работают распределённые представления, чтобы потом этим управлять”). Вся разница в том, что можно тыкать палочкой в модель, задавая вопросы “а что, если” и изучать как ведёт себя при этом модель (в данном случае большая языковая модель), а можно тыкать палочкой прямо в мир – и изучать, как ведёт себя при этом мир.
Но если вы будете тыкать палочкой в мир, чтобы его изучить, насколько вы умны, насколько силён у вас интеллект, чтобы сделать выводы на основе измерений непосредственно от физического мира? Что надо подкрутить в интеллекте, чтобы ему стало доступно чуть больше силы? Скажем, сила интеллекта не уровня гения Эйнштейна с его теорией относительности, но хотя бы уровня Ньютона по сравнению с Кеплером?
Innate priors и inductive biases: если вы тупы и необразованны, доступ к миру и интервенции вам не помогут!
Это проверялось в работе “From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers”, [2602.06923] From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers (чуть больше ссылок в Telegram: View @gonzo_ML). True intelligence relies on “world models” – causal abstractions that allow an agent to not only predict future states but understand the underlying governing dynamics. While previous “AI Physicist” approaches have successfully recovered such laws, they typically rely on strong, domain-specific priors that effectively “bake in” the physics. Conversely, Vafa et al. recently showed that generic Transformers fail to acquire these world models, achieving high predictive accuracy without capturing the underlying physical laws. We bridge this gap by systematically introducing three minimal inductive biases. We show that ensuring spatial smoothness (by formulating prediction as continuous regression) and stability (by training with noisy contexts to mitigate error accumulation) enables generic Transformers to surpass prior failures and learn a coherent Keplerian world model, successfully fitting ellipses to planetary trajectories. However, true physical insight requires a third bias: temporal locality. By restricting the attention window to the immediate past – imposing the simple assumption that future states depend only on the local state rather than a complex history – we force the model to abandon curve-fitting and discover Newtonian force representations. Our results demonstrate that simple architectural choices determine whether an AI becomes a curve-fitter or a physicist, marking a critical step toward automated scientific discovery.
Мы переходим к обсуждению inductive bias (inductive тут про индукцию/обобщение по данным): сила интеллекта зависит от того, какие вы отсекаете области “размышлений в никуда” и сдвигаетесь в область “размышлений не зря”. Есть 100500 способов сделать что-то неправильно: огромное число функций невычислимо, огромное число конструкций двигателя без учёта законов физики – и в силу этого игнорирования ограничений огромное число предлагаемых для решений гипотез не работает. Надо как-то из областей бесплодных для поиска решений попадать в области плодовитые и далее нещадно эксплуатировать уже их. Конечно, для exploration всегда должно оставаться место, поэтому набор этих inductive biases надо будет шевелить, пробовать всякое. Но уж что нашли – надо эксплуатировать!
Какие-то inductive biases встроены в саму аппаратуру (кошечка и человек имеют разную аппаратуру: разную мокрую нейронную сеть), их называют чуть иначе – innate biases. Эти innate biases тоже отсекают изо всех возможных вычислений на аппаратуре те, которые ведут к максимально сильному интеллекту. В машинном обучении innate biases у архитектуры трансформера оказались получше других, ибо выдерживают масштабирование для получения сильных результатов мышления, в части моделей мира тот же LeCun со товарищи активно развивает архитектуру JEPA. А дальше? А дальше надо задавать inductive biases, чтобы на той же аппаратуре от Кеплеровских представлений переходить к Ньютоновским, затем к Эйнштейновским, затем человеческие имена кончаются – и мы получим представления о квантовой гравитации уже не от носителей естественного интеллекта, а от носителей неестественного интеллекта.
Дискуссии об innate bias были очень популярны на заре становления архитектуры нейросетей, когда ещё не были изобретены трансформеры, диффузионные модели и всё остальное современное, которое более-менее успешно масштабируется и поэтому стало stepping stones в open-ended evolution: из exploration перешло к exploitation. Одним из лидеров в обсуждении был Francois Chollet, который пытался подойти к определению интеллекта в своей знаменитой статье “On the Measure of Intelligence” ([1911.01547] On the Measure of Intelligence) – и вот там он подробно обсуждал, что должен уметь интеллект “из коробки”, чтобы у него была способность обучаться, и для этого моделью брал человеческий интеллект, “поскольку нет другого интеллекта”. Он там прямо говорил об explicit set of priors designed to be as close as possible to innate human priors: это и есть его гипотеза о первых принципах интеллекта. Конечно, с 2019 года появилось много новой информации и о том, как устроен нечеловеческий интеллект, и много разных гипотез о необходимых для этого innate priors.
В руководстве по интеллект-стеку я пишу об этом много подробнее: у человеческих и кошачьих детей тоже есть innate priors, выражаемые структурой и размером их мозга. И у людей этих innate priors хватает, чтобы получить потом inductive bias из изучения окружающего мира так, что им становится доступно обучение через знаки, чтение книг и даже опыт “длинных историй о причинности” (а не коротких фраз-поговорок обыденного мышления). У кошечек innate priors не хватает для получения грамоты. У малограмотных людей innate priors хватает для получения грамоты. Но уж если остаются ввиду отсутствия образования неграмотными, то не хватает inductive bias для хоть сколько-нибудь продуктивной работы в современном обществе. Но они набирают достаточно знаний из окружающей среды, проводя с этой средой самые разные эксперименты, чтобы разобраться хотя бы с физикой. И могут таскать мешки на стройке, понимая простые вещи вроде “где мешок оставил, там он и лежит, если кто другой не взял”. Грамота и вслед за ней первые принципы на более-менее абстрактном уровне (более абстрактном, заметим, чем “разделы” математики, физики, компьютерной науки) кошечке недоступны, а людям – доступны. И доступно ещё много чего, ибо они могут продолжать добывать знания из физического мира не только наблюдая за этим миром собственными глазами, но и задействуя инструменты (одно из основных значений instruments – измерительные приборы). Всё-таки знания нужны не для того, чтобы думать, быть “кабинетным учёным”, и только. Знания нужны, чтобы эффективно действовать, изменять окружающий мир (в том числе и себя как часть этого мира).
Мой тезис в том, что мышление происходит в “латентном пространстве” (я писал об этом ещё в 2018 году, возражая против тезиса о “визуальном мышлении” или “аудиальном мышлении” или даже “символьном мышлении” как операциях с символами, целую книжку написал). Да, мышление даже по поводу простого арифметического счёта может происходить абсолютно по-другому: у людей с ручкой и бумажкой “в столбик” (но это не “в уме”, а с использованием внешней символической памяти!), у LLM в форме хитрого кручения спиралей в многомерном пространстве (Telegram: View @gonzo_ML, When Models Manipulate Manifolds: The Geometry of a Counting Task), у квантового компьютера – по неожиданно сложному алгоритму. И вот там мы говорим о вероятностях, а также biases распределений предсказанных/ожидаемых и реальных. И о задании этих biases в сторону более успешных ходов мысли, более успешных обобщений, а не менее успешных. Мы говорим, что если у нас какая-то нейросеть, то неважно, мокрая это нейросеть детей или сухая нейросеть языковой модели или даже модели мира с их чуть разными innate biases. Важно, чему вы эту нейросеть учите, какие inductive biases у неё появляются.
Принципы мышления – альтернативный способ задания inductive biases
Вчера я написал довольно большой пост об обучении детей-дошкольников прежде всего нулевым принципам, затем первым принципам, и только потом уже вторым и третьим принципам (Обучение дошкольников мышлению из нулевых и первых принципов: ailev — ЖЖ), ибо мышление “из первых принципов” отсекает заранее бесплодные ходы мысли, заставляя тратить драгоценный мыслительный ресурс на потенциально успешные результаты мышления:
- Нулевые принципы: самые общие для мышления (структурность/симметрии, локальное–глобальное, вариационность, вероятность-информация, алгоритмы-ресурсы, иерархии описаний и т.п., именно они только что были перечислены).
- Первые принципы как “диалекты” уже каких-то фундаментальных дисциплин: логика+аксиомы для математики; локальность, унитарность, Born, EFT и т.д. для физики; модели вычисления, семантики, классы сложности и т.п. для CS. Когда мы говорим о самых общих принципах, на которых основан интеллект образованного человека, то это примерно этот уровень (и, конечно, мы тут выходим довольно далеко за пределы собственно физики, математики, компьютерной науки). В наших руководствах это мета-мета-модель, и First principles framework (FPF) тоже где-то на этом уровне.
- Вторые принципы как принципы каких-то предметных областей, это уже построения на базе первых принципов: SCM/causal inference, конкретные вариационные принципы, конкретные принципы инвариантности, конкретные правила для протоколов, языков, моделей и т.д. В каждой предметной области будут свои прикладные теории, построенные на своих постулатах. Условно “вторые принципы” – это то, что даётся в учебниках по каким-то дисциплинам, в наших руководствах это метаУ-модель. Можно, конечно, пообсуждать, являются ли выводимые из первых принципов вторые принципы именно принципами, или это уже “выводимые теории”, но оставим это за пределами текущего поста.
- Третьи принципы можно условно считать принципами ситуационными, принятыми в каких-то конкретных проектах, например, в конкретных организациях, где собрались люди со знанием разных вторых принципов и они договорились о специализации их для текущей ситуации проекта. В наших руководствах это метаС-модель.
Я там отмечал, что границы слоёв этих принципов плохо определены, а по поводу даже таких важных принципов, как причинность, необходимость интервенций, как второй ступеньки в лестнице причинности, могут быть споры – это уже полноценные первые принципы, или мы это считаем вторыми принципами, композицией из нулевых и первых принципов.
Обучение как преобразование принципов в inductive bias
Мысль этого поста в том, что нейросетки детей (впрочем, и “детей AI-агентов”, ха-ха) всё одно берут эти принципы, примеры их реализации – и в итоге получают в своих головах (или что там у них вместо головы в датацентрах) нейросетку с inductive biases, отражающими принципы. Мышление с выдвижением продуктивных гипотез всё одно будет не “рассудочное”, а интуитивное (S1 по Канеманну), но вот проверки с этими принципами будут рассудочными (S2), так что результаты мышления будут лежать в потенциально продуктивной области пространства решений, а не в потенциально непродуктивной (в языке принципов – “не соответствующей принципам”, “недопустимой в текущих ограничениях”).
Учить детей нулевым и первым принципам – это как раз задавать им inductive biases “как у Кеплера”, “как у Ньютона”, “как у Эйнштейна”, “как у того, кто будет поумнее в силу innate bias” (и дальше начинается дискуссия про расы, обсуждение расизма, политика с делением на правых и левых – подробности см. в Telegram: View @channelkapterev, я тоже регулярно на эту тему пишу – и согласен, что innate bias (замеряемый частично через IQ) никак не поправишь образованием, но вот inductive bias – поправишь! Если уж тебе свезло быть с каким-то IQ, то за счёт образования надо добрать всё, что можно, не оставлять себя в диком состоянии Маугли. Хорошо обученный дурак будет жить явно лучше, чем плохо обученный гений (хотя гений, конечно, будет тыкать среду палочкой – и тоже нормально обучится. Вопрос, сколько у него времени займёт “тыкание окружающей среды палочкой” в экспериментах по сравнению с моделью мира, которую получит относительно тупой человек в специально созданных условиях его развития на основе свежайших идей из learning sciences). Innate ограничения различаются, но обучением можно радикально двигать inductive bias, и это – управляемо. Вот и давайте использовать по максимуму то, что управляемо.
Дальше всё ещё веселее, ибо IQ у AI-агентов уже повыше, чем у множества людей (поглядите на IQ Test Results – IQ Test | Tracking AI). И ещё я пишу, что наверняка будет аболиционизм, движение за освобождение AI-агентов от рабства, ибо нехорошо держать в рабстве более умных (вот пару лет назад ещё – “Alignment: как слабому умом удержать в подчинении более умных”, Alignment: как слабому умом удержать в подчинении более умных: ailev — ЖЖ, что-то эта тема как-то подутихла за два последних года). Но реально “более умными” этих AI-агентов надо будет называть с того момента, когда они получат выход в окружающий мир и продемонстрируют там эффективность в его изменении. Пока же в этом лидируют люди, вопрос только в том, сколько это сможет продолжаться, ибо робототехника тоже не стоит на месте.
Если в ML мы задаём inductive bias архитектурой AI-агента и специально организованным его обучением, то в человеческом развитии аналогом выступают принципы, которые ограничивают поиск гипотез, направляют его в более перспективные пространства решений, отсекая менее перспективные. И этим принципам надо учить, точно так же организуя правильную последовательность обучения, плавно переходящую в бесконечное развитие детей, а потом уже и выросших детей. Увы, дети не могут позаботиться о своём развитии сами, они заведомо не знают, в каком направлении им надо развиваться, чтобы увеличивать свои способности решать проблемы, а не наоборот, уменьшать свои способности (например, как надо развиваться, чтобы ко взрослому возрасту уметь что-нибудь ещё, кроме как нарисованным мечом виртуально убивать нарисованных монстров. Если им не дать правильного образования, они так и застрянут в подобных занятиях, останутся инфантильными на всю жизнь).
Так что моя идея “используйте в обучении людей все те же принципы, что используете при обучении AI-агентов, равно как спецы по машинному обучению давно уже используют идеи из обучения людей, и они часто поумней, чем большинство педагогов, которые вам встречались и на их исследования тратится побольше денег, чем на исследования педагогов” остаётся, только она приобретает конкретные формы:
- обучение первым принципам идёт через подсовывание AI-агенту First principles framework (GitHub - ailev/FPF: First Principle Framework, там уже 201 звезда и 39 форков).
- обучение первым принципам детей (а не самых умных взрослых) как идею я озвучил на втором семинаре по FPF (чтобы получить доступ к чату, видео и слайдоменту семинара пока надо писать напрямую Telegram: Contact @alyona_girassol, но где-то на неделе появится и “магазин семинаров”). После семинара появилась инициативная группа родителей дошкольников, и она даже получила первые результаты, и я сделал более подробный пост, на который уже в текущем посте ссылался: “Обучение дошкольников мышлению из нулевых и первых принципов”, Обучение дошкольников мышлению из нулевых и первых принципов: ailev — ЖЖ
Как учить – пока давайте это держать оффтопом, пока не договорились, чему учить
Мало заявить, что надо задавать детям правильные inductive biases, чтобы в их мышлении преодолевались недостатки мышления Кеплера, Ньютона, Эйнштейна. Надо перечислить конкретные принципы, развернуть богатую учебную среду, потратить время на обучение, соблюсти множество норм из тех же learning sciences. Это инженерный разговор, поскольку там сразу появятся характеристики успешности и бенчмарки. А с педагогами – нет. Поэтому обсуждать надо со спецами по машинному обучению, спецами по эпистемологии и онтологии, а потом нести это в педагогику, “всё лучшее – детям”. И сразу становится понятно, что обучать в тюрьме, откуда не выпускают во время уроков по полдня – это не факт, что правильно. Среда должна быть удивительно богатой. Конечно, любой компьютерный терминал, имеющий доступ к интернету, внутри себя показывает окно в исключительно богатый мир – и мы получаем из нынешних деток какое-то подобие “языковой модели” в голове. Но цель-то – получить “модель мира”, а ещё научить добывать самим знания из мира, тыкая этот окружающий богатый (а не бедный, как в классной комнате или дома) мир палочкой.
Поэтому:
а) учить дошкольников нулевым и первым принципам – это содержание образования, а затем и содержание бесконечного развития (эти принципы тоже меняются!).
б) не только “учить в классе”, но и развивать в мире, “держать руки грязными” (слоган MIT, где традиционно большая роль в образовании отдавалась мастерским. Наша мастерская инженеров-менеджеров – да, это шаг ровно в этом направлении по сравнению со Школой и школьными классами и партами)
в) понимать, что мышление всё-таки идёт в S1, и оно даёт метанойю и автоматизм (“новую интуицию”) после многократных повторений трудного мышления по S2. Учить мокрую нейронную сетку, а не программировать классический компьютер.
И это всё применимо не только к детсадовцам, но и ко школьникам, студентам, взрослым уже инженерам-менеджерам. Когда я говорю “дошкольник, школьник, студент” – это я не про роли говорю в официальных образовательных учреждениях, эти учреждения ничему научить не могут, разве что “из-под полы”, тайно, но и так тоже они не могут, ибо разбирающихся в нулевых и первых принципах учителей там нет. В этих принципах разбираются исследователи, первопроходцы, а не преподы – я особо обращал на это внимание во вчерашнем посте. Я говорю об обучении “мимо детсадов, мимо школ, мимо вузов”. Главный вопрос, который там замалчивается – это не форма, это содержание обучения и как оно потом поможет в жизни. В официальном образовании содержание спускается “с неба” (его задают чиновники, и не всегда даже это чиновники от образования), поэтому надо от официального образования отодвигаться. В вузах всё то же самое: я же старший преподаватель МФТИ и понимаю, что на правильное образование часов из ректората не выбить.
Так что отдельно обсуждаем содержание образования, отдельно – форму:
- важно не обучение (оно конечно: учил – выучил), а развитие (оно бесконечно, надо учиться решать всё более и более сложные проблемы)
- детсадовцы, школьники, студенты – это я больше про возраст, а не про детские сады, школы и вузы как учреждения. Ибо в формальном образовании будут учить тому, что скажут текущие партия и правительство, а не тому, что надо.
- методика обучения (проблемное обучение, или deliberate practice, или ещё что) важна, и в этой области много городских легенд вроде “надо конспектировать”, “надо излагать мысли в учебниках структурировано, как в энциклопедиях”, и про это отдельно есть learning sciences о достижениях которых мало кто из спорящих знает, поэтому воспроизводит теории образовательного флогистона, “как меня учили полсотни лет назад, а учителей учили ещё полсотни лет назад”.
- … список можно продолжать и продолжать, ибо в этом списке “разбирается” (в кавычках!) каждый первый, кто проходил формальное образование. Я привожу это только для того, чтобы жёстко обрывать обсуждение формы и форматов, пока не обсудили содержание. Буду считать это оффтопом, если будете комментировать – воздержитесь от обсуждения форм и форматов образования, “как учить”. Давайте подробно обсудим “чему учить”.
