Моё место посреди всполохов сингулярности

ailev · 12.Март.2026 12:58:36

Какую проблему я решаю и какая моя стратегия
Я учитываю в своей стратегии (и заодно в стратегии МИМ) то, что:

AI-агенты сегодня очень умны, но пока они могут главным образом работать над задачами, где есть “долбёжка до безбаговости” за счёт очень дешёвой внешней проверки (типа как “поиск ключей в криптографии” – дорого искать, дёшево проверить, нашли ли): математика или даже программирование.
Поэтому я иду туда, где нет дешёвой внешней проверки, а есть обычная, то есть дорогая и долгая проверка: проверить решение часто не менее (и даже более) трудно и дорого, чем его предложить. Тут ещё и помним про закон Брандолини, который говорит, что чушь предложить легко, а вот опровергнуть – дорого (Людская (и AI тоже) желтизна, неаккуратность, попсовость: ailev — ЖЖ). Удивительно, но в этот класс попадают практически все реальные инженерные проекты (в том числе и проекты software engineering, не сводящиеся только к написанию работающего кода, но и выходящие в работу с реальным миром). Чтобы проверить, работает ли проектное решение для марсохода, надо не просто выпустить проверенный комплект информационных моделей на завод, но ещё и построить ракету, отправить марсоход на Марс и там выполнить программу испытаний – это сильно дороже, чем просто спроектировать марсоход: пересылать атомы много дороже пересылки битов. По факту все наши руководства и текущий FPF как раз про это.
И ещё один класс проектов, где сама постановка проблемы – проблема, то есть не просто отложенная и дорогая проверка, а непонятно, что там делать, а затем проверять. Problem framing ведь вообще непонятно, как проверять, это же эволюция, “проверка жизнью”! Это у меня было в семинаре “Развитие для развитых” и отражено пока в его слайдоменте, но через некоторое время я встрою это и в FPF, и затем в руководства.

Так что я игнорирую вот это “есть тесты, сейчас я буду спать, а AI-агент сочинит такое решение, которое пройдёт тесты”. Это, по большому счёту, solved – AI-агенты для прохождения какого-то предзаданного набора тестов быстро коммодитизируются, проблемы больше с планированием того, что они там должны проходить (problem framing) и повышением эффективности самого прохождения с разомкнутым контуром проверки работоспособности в реальном мире. Опять же, для кого-то (для меня) это уже solved, не фронтир, а для кого-то – спор о терминах будет вечным, совершенствование бесконечно (это уже проходили для AI, некоторые до сих пор не признают никаких достоинств в сегодняшних AI-агентах, продолжая утверждать, что “всё это не при нашей жизни” и поднимая очередную планку раз в пару месяцев).

Я (и сам по себе, и как научный руководитель МИМ) нацеливаюсь сейчас на те проекты, где агентов с world models и замыканием цикла исследований или инженерии ещё нет, и это надо делать людям и LLM-агентам совместно в коллективных проектах. Узкое место сейчас не в том, чтобы сделать ещё одного умного AI-агента и ещё одного не такого уж умного по сравнению с агентом человека, а в том, чтобы дать людям и агентам общий режим работы со смыслами, представлениями в совместной памяти (экзокортексы по отношению и к кортексу, и к “сухому кортексу”) и координацией в открытых задачах. Творим и проверяем (инженерия), координируемся и пытаемся прихватить внешние ресурсы (менеджмент).

То есть мне надо:

дать процессный фреймворк (“новый SCRUM, eSAFE” для людей+агентов, разъяснение нового инженерного процесса в явном виде, чтобы можно было его понимать, обсуждать, адаптировать), и в нём особое внимание уделить “творчеству с проверками” в рамках “развития для развитых”.
научить и агентов, и людей говорить на одном языке, чтобы снизить ошибки коммуникации. С AI-агентами тут легко – “дать прочесть мануал из предыдущего пункта”, а с людьми – не очень, надо “заставить поучиться”. Для AI-агентов у нас есть FPF, а вот для людей – резидентуры с освоением мышления и работы по нашим руководствам (синхронизация руководств и FPF у меня в плане на апрель, но уже сейчас там 80% пересечения, так что новых руководств можно особо и не ждать).

Отражаем проблему и стратегию в ReadMe для FPF на GitHub, с ReadMe для людей проблем больше
Я уже чуток подправил ReadMe.md в GitHub - ailev/FPF: First Principle Framework · GitHub, чтобы это отразить. И планирую написать большой текст на эту тему (заделы по этому тексту уже есть! В этом ReadMe из GitHub как раз результат использования этих заделов). Вот строчки из этих заделов, которые появились в ReadMe:

FPF tends to pay off when several of these are true:

work is split across specialised people, teams, copilots, or AI agents;
the real-world oracle is delayed, noisy, expensive, or risky;
different audiences need lawful views of the same underlying work;
trade-offs between speed, quality, risk, novelty, and compliance must be made explicitly rather than hidden in one opaque score;
existing categories are breaking down and you need to grow new concepts from first principles instead of reusing local folklore.

Why FPF when AI-agents keep getting stronger?

Because coordination, not raw generation, becomes the bottleneck. Stronger LLMs reduce local reasoning scarcity, but they do not remove the need for selection, auditability, safe delegation, and shared understanding across people, agents, time, and viewpoints.
Because bounded context is the unit of specialisation and hand-off. It lets a very capable but specialised human or agent participate in a larger engineering or research process without pretending everyone shares one universal vocabulary.
Because many real projects cannot just “loop until tests pass.” In product, field engineering, strategy, marketing, safety, or open-ended research, the real-world oracle is delayed, noisy, expensive, or risky. FPF aims to catch anti-patterns before contact with the world.
Because the same stack can serve both humans and AI. AI agents can read the specification directly; humans can learn the same working model through didactic layers and the pedagogical companion.
Because FPF pays off past a complexity frontier. It matters most when the problem becomes simultaneously compositional, collaborative, temporal, assurance-heavy, and generative.

Эх, с людьми тут, конечно, засада, им ReadMe не напишешь, чтобы они уж точно прочли. AI-агенты могут себя по факту бесконечно усиливать, работая в исследовательско-производственном цикле, а люди – могут до какого-то предела (хотя с пределом можно обсуждать, есть ли он? Я ж трансгуманист, мне биологические пределы не указ), но чаще всего – даже не хотят двигаться к этому пределу. Ну вот мышечная работа на пределе демонстрируется после многих лет тренировок на каких-нибудь олимпийских играх, а вот в быту – садимся в автомобиль и едем, а не бежим, как на стадионе. То же самое с мозгами: нобелевские лауреаты и крутые предприниматели вроде Маска и Безоса демонстрируют, что головой можно много чего придумать, но в быту – сдвигаем мышление на AI-агентов, массово. Люди не слишком склонны развиваться, осваивать что-то новое – особенно когда можно применить какой-то инструментарий и автоматизировать это новое, чтобы вообще его не делать (помним мой текст 2015 года про “никто не хочет учиться играть на XYZ”, Никто не хочет учиться играть на XYZ.: ailev — ЖЖ). Но некоторые люди – они всё-таки хотят развиваться и общаться со своими AI-агентами в довольно сложных проектах. Вот на этих людей и их AI-агентов-компаньонов я и ориентируюсь.

Поэтому я продолжаю выполнять план развития FPF от 1 февраля 2026 (Начинаем февраль 2026: громадьё планов по FPF: ailev — ЖЖ), но только каждый его пункт я трактую сильно расширительно (и при этом надеюсь как-то быстро двигаться). Вот прямо сейчас я от language governance перешёл к работе над семиотико-репрезентационным пакетом, где язык – лишь маленькая часть происходящего. Из девяти проектных волн по составленному под моим чутким руководством плану моя бригада AI-агентов прошла уже шесть с половиной, и это содержательно примерно соответствует темпу, с которым я хотел идти в предыдущей моей более скромной постановке задачи. Это означает, что к концу недели у меня есть шанс закончить этот проход. Про вот эту semantic governance архитектуру в FPF, она же representation-meaning layer, она же “семиотико-репрезентационный оверлей” буду делать даже не столько посты, сколько сразу семинар, ибо это важнейшая штука: человечество отличается от мира животных именно тем, что кроме внезнаковой работы со смыслами может ещё работать и со знаками/символами. То же относится и к AI-агентам – хоть с LLM (где одна из L как раз language), хоть с world model в основе.

Хотя, конечно, про точные сроки говорить нельзя, тут много привходящих. Так, вчера проектный чат в Codex подвис безвозвратно, и я потратил несколько часов на просто перетаскивание кусков контекста и прежних договорённостей в новый чат. Но вроде как всё выжило, ибо у меня там “проектное мышление письмом/моделированием” – на Codex я вполне развернул экзокортекс AI-агента с внешней памятью и даже инструментарием в виде написанных специально под этот проект skills и просто скриптов (например, для сборки curated review bundle, или даже простого патча, ибо штатные средства “для кода” плохо патчат markdown). Или вдруг новый паттерн оказался написан не для читателя FPF, а для архитектора FPF – ибо AI-агент посчитал, что если мы отправляем на review архитектору, то и сам текст надо писать для архитектора. И “архитектор” (GPT-5.4 Pro) такое съел! Или выясняется, что A.6.P надо применять к каждому предложению, а не “к паттерну”, то есть “кое-где”, и такого много, каждую минуту – агент в Codex явно поглупей Pro, но вот удержание большого проекта в целом и длинные ходы по плану ему явно удаются лучше, ибо в ChatGPT внешней памятью из чата не поуправляешь, всё только на чтение, записи только “руками”).

Хроники наступления мира из научной фантастики
А пока этот план выполняется, буду смотреть на всполохи сингулярности – ощущение, что попал в science fiction из книжек моего детства.

Одна из очевидных горячих тем в текущем AI-агентном ажиотаже – это мультиагентность, которая была давным-давно, но теперь вдруг стала дешёвой и тут же попала в эпицентр народного внимания. Только-только были “просто LLM”, затем их обернули в AI-агентов и вложили в приложения (писал об этом в Рок-н-ролл сдвигается с AI-агентов на универсальные приложения (на примере Codex).: ailev — ЖЖ, разъяснял разницу между Codex-LLM, Codex-agent и Codex-app), но всё быстро – сейчас уже эпицентр не на AI-агентах, а на их командах. Архитектурные страдания с мультиагентами по сути ещё не начались, при этом я использую главным образом паттерн с двумя агентами (разработчик в Codex и reviewer в ChatGPT, причём reviewer у меня исключительно Pro модель). Вот только парочка примеров:

в Anthropic вдруг вспомнили про Amdahl Law (хотя в статье он даже не назван!) и давно известный менеджерам человеков факт, что добавление агентов в систему работает до определённого предела, ибо коммуникация и синхронизация съедают с какого-то момента всё счастье от распараллеливания (разделения работ) и специализации (разделения труда), When to use multi-agent systems (and when not to) | Claude. Больше агентов – в два-три раза больше расход токенов, но результат отнюдь не всегда будет лучше, чем с одним агентом поумнее. Начинать надо с single-agent, а multi-agent имеет смысл в трёх случаях — когда нужно защищать контекст от неминуемого загрязнения, когда есть алгоритмическая выгода от параллелизации и когда специализация явно улучшает tool selection или фокус. Вне этих случаев coordination cost обычно перевешивает выгоду – это ещё создатели мейнфреймов поняли. Если наплодить много-много ролей, то в текущих многоагентных архитектурах типичный рост расхода токенов в 3–10 раз и идут провалы при handoff между рольными агентами (с чем я уже столкнулся в своём проекте: curated reviewer bundle надо собирать чуть ли не столько же времени, сколько делать содержательные шаги в проекте – и ещё налаживать очень долго саму процедуру его сбора). И этот Amdahl Law будут переоткрывать десятки раз, вот очередная типовая работа на эту тему: [2602.01011] Multi-Agent Teams Hold Experts Back, “Multi-Agent Teams Hold Experts Back” (и таких работ ещё много, “никогда этого не было, и вот опять!”).
ход на “более универсальных, чем люди” агентов (bitter lesson preference, см. у меня в FPF подробности – GitHub - ailev/FPF: First Principle Framework · GitHub), “AI Must Embrace Specialization via Superhuman Adaptable Intelligence”, [2602.23643] AI Must Embrace Specialization via Superhuman Adaptable Intelligence (обзор по ссылкам в Telegram: View @gonzo_ML). В авторах там в том числе и LeCun – и тезис про пространство возможных решаемых задач, в котором “задачи, решаемые людьми по-человечески” в одной области, решаемые и людьми, и AI – в другой области (ARC соревнования как раз про это, “научить AI решать то же, что человек”), а “только AI” – в третьей области, и вот туда-то и надо тянуть AI сейчас, для чего надо этот AI делать с evolvability (“адаптируемостью”) как одной из главных характеристик (что пересекается опять же с идеями Francois Chollet про “интеллект – это универсальность” и bitter lesson), и дальше акцент, что “мало иметь универсальность, важно ей воспользоваться – и проползти в те задачи, что людям недоступны, и решить их, а помогут в этом world models”. Так что двигать надо не к AGI (“повторять человека в его интеллекте”) и даже не к ASI (“превзойти человека в его интеллекте, на тех же задачах”), а к Superhuman Adaptable Intelligence (SAI), то есть к системам, которые могут быстро осваивать новые важные классы задач, в том числе там, где человеческого нет ни в части проблем, ни в части решений.

Пост Andrej Karpathy про его репо autoresearch от 7 марта 2026, https://x.com/karpathy/status/2030371219518931079, получил уже 9.4М просмотров, а его пост с результатами работы этого autoresearch от 10 марта 2026, https://x.com/karpathy/status/2031135152349524125, уже 2.4M. (и тут вспоминаешь, что он не только термин vibe-coding придумал, но ещё и автор поста про unreasonable effectiveness of recurrent neural networks, 2015, The Unreasonable Effectiveness of Recurrent Neural Networks, так что это не “случайно угадал” – он “угадывает” более часто, чем можно предположить, и делает это уже больше десятка лет). Autoresearch сделан как учебный минимальный воспроизводимый контур типового ML-research на одной GPU, но этим ML-research (подбором самых разных оптимизаций) занимается AI-агент, тоже не бог весть какой, “учебный”. Агент правит train.py, гоняет фиксированные 5-минутные эксперименты и сохраняет улучшения. Примерно два дня система нашла около 20 улучшений, уменьшающих validation loss – и среди них много таких, которые Karpathy сам не заметил или забыл использовать (хотя вроде бы достаточно времени этим занимался). По факту теперь можно говорить не просто о «хайпе», а о резком удешевлении за счёт автоматизации исследовательского цикла гипотеза → запуск → проверка → удержание улучшения в области AI, а ведь это классический цикл “усиления интеллекта силами самого интеллекта”. Понятно, что это всё “развлечения на кухне” – но после того как вы разберётесь в таком масштабе, можно будет довольно легко отмасштабироваться. Вы спите, агенты исследуют, как сделать себя умнее – и это всё уже давно происходит в крутейших компаниях, а Karpathy показал, что весь этот take-off, о котором рассуждали фантасты, вполне можно запускать у себя на кухне, это не так уж дорого (напомним, что GPT-2, над которой идут эксперименты, сама OpenAI вдруг неожиданно отказалась публиковать ввиду возможной опасности технологий AI, переданных широкой публике. Теперь эта “опасность” делается на 8 GPU H100 менее чем за пару часов, на одном это будет меньше 16 часов). Кто критикует по линии “ну, AutoML уже давно был” – тот критикует мимо, у постов по AutoML почему-то не было миллионов просмотров. И эту линию обороны “ничего не происходит” можно держать и дальше, например, “эти миллионы постов ничего не значат: миллионы мух не могут ошибаться”.

Кстати, про мух. Первый upload живого организма как раз случился на днях, и это была муха-дрозофила. Вот реально (https://eon.systems/): взяли мозг мухи, сделали его connectome (карту того, как там связаны 125 тысяч нейронов через 50 миллионов синапсов – вот прямо-таки полученную из результатов сканирования тонких срезов мозга и восстановления пространственной структуры), посадили в виртуальную модель тела (https://x.com/alexwg/status/2030217301929132323) – и дальше тело посадили в виртуальный богатый мир, чтобы муха была счастлива (этические соображения: “не проснуться в закрытом пустом ящике”, “мы серьёзно относимся к сознанию даже у насекомого, поэтому сразу даём ему полноценный мир”), подробности в ленте у Michael Andregg, CEO этого eon.systems – https://x.com/michaelandregg/status/2030764512488677736 (9 марта, 1.6M просмотров) и посте в блоге компании, How the Eon Team Produced a Virtual Embodied Fly | EON Systems. Вообще-то это заход на классический uploading, прямо из science fiction и трудов трансгуманистов. Следующий шаг – мозг мышки, следующий шаг – мозг человека, и это уже объявлено. Конечно, там не всё так радужно, как “uploading уже решён” (то есть функциональность мозга повторена на другом субстрате, без этой вашей мокрой химии), ибо сейчас покрыта только часть сенсорных входов и всего несколько поведений, интерфейс descending-neuron control разрежен, а brain-body mappings местами заданы инженерно через машинное обучение (аппроксимированы), а не выведены как полная биологическая причинная реконструкция. Поэтому самая сильная формулировка здесь не «полный upload живого организма» в сильном трансгуманистическом смысле, а: первая публично показанная embodied connectome-based emulation мозга мухи, управляющая виртуальным телом в physics simulation. Как всегда в подобных случаях, речь идёт о выходе на новый уровень сложности: объединение ранее выполненных сверхсложных работ (adult fly connectome, connectome-constrained brain models и neuromechanical body simulation), но кто это всё объединил – того и тапки. Все призы изготовителям автомобилей и ракет, а не изготовителям крайне дорогих и сложных компьютеров для автомобилей и ракет. Так и тут: все лавры тому, кто первым собрал из самых разных моделей муху, про которую (с тысячей оговорок!) можно сказать “вот вам пример upload” (и вам тут же прилетит про “нельзя так говорить”, в прорывных проектах всегда отсутствует конечный шаг, ибо даже при явном upload пойдёт “спор о терминах”). А авторы исходных интегрируемых моделей? Хорошо известны в узком кругу, но их посты пару миллионов просмотров не наберут.

И вот подобные события – каждый день, в количестве. Скажем, пару дней назад во всех лентах было про 200 тыс. клеток мозга человека, которых научили играть в Doom, хотя играют эти сотни тысяч нейронов более чем слабо. С другой стороны, там не сильно больше нейронов, чем в мозге у мухи, а научить муху играть в Doom, думаю, всё-таки проблематично. Это всё тот же CL1 биокомпьютер от https://corticallabs.com/. Я уже писал много раз про игру в Pong на этих “органоидах”, но тут – уже игра Doom, задача посложнее, https://www.youtube.com/watch?v=yRV8fSw6HaE). Ох, тут можно писать и писать, не остановиться. Читайте опять Accelerando, мы таки в процессе взлёта.

Ну, или читайте ленту в X у Alex Wissner-Gross. У него лента с хрониками сегодняшних прорывов, https://x.com/alexwg – вот уж действительно “хроники сингулярности”, удивительные ежедневные посты с обзорами новостей в одну строчку. Такие новости года три назад трудно было даже вообразить, что они будут реальны сегодня. И даже сегодня – тоже трудно осознать, что да, “вот прямо сейчас”.

Но в киберпанке не всё радужно: кому AI коммодити, а кому даже интернета не дают
Ну, и на каждую сингулярность найдутся свои политики, которые её выключают на раз-два – на всякий take-off всегда найдётся ломик в колёса. Для кого-то AI становится привычной онлайн-инфраструктурой, а кого-то откатывают на уровень доинтернетной цивилизации, “для их же счастья”, принудительно. Мобильный интернет с доступом к AI-агентам – это уже не элитарная роскошь, а быт, среда существования человека, AI-агентов и их экзокортексов. Да, это всё пока довольно хрупкое, но уже как-то живёт, наносит непоправимую пользу – это среда, которая позволяет резко увеличить цивилизационный ресурс мышления. Но, конечно, всегда найдутся не слишком грамотные политики, которые предпочитают какие-то другие ресурсы, а не мышление и не процветание цивилизации с её дарами. И вся эта сингулярность может влёгкую быть картинками из далёкого капиталистического мира, когда в СССР с изумлением смотрели на цветные телевизоры в домах бастовавших шахтёров Англии (поэтому только эти дома и показывали! Но смотрели не на шахтёров, а на уровень жизни этого пролетариата), а отечественная промышленность не могла сделать слишком мелкий манипулятор типа “мышь”, поэтому велась разработка более простого манипулятора типа “крыс”, хотя вывести в серию его не удавалось из-за проблем с качеством при серийном производстве.

Скажем, я воспринимаю отключение мобильного интернета для нескольких миллионов человек как крупную техногенную катастрофу, опасность довольно высокого класса, против которой я явно бы предпринимал какие-то меры безопасности. Всё-таки в 2026 году нельзя так легко оставлять без связи миллионы людей. Только в Москве примерно такие масштабы (“миллионы людей”, город-то крупный!), и я как раз в Москве и регулярно ловлю это не то что “отключение от AI”, но и “отключение от кошелька, друзей, новостей, мира”, если выхожу из дома – словно выхожу в джунгли без современной инфраструктуры, хотя нахожусь в центре огромного мегаполиса. Это сразу заметно: вы не можете вызвать такси (по телефону заказы принимают! Но вы не знаете этот номер телефона, а подсмотреть негде), вы не можете заплатить за килограмм яблок в магазине (можете налом! Но при этом к кассиру очередь на полчаса, как в СССР), не можете получить товар в каком-нибудь ПВЗ. Проводной интернет? Ага, сидите дома и не высовывайтесь – комендантский час или “онинасизоляция” (самоизоляция – это кто ж придумал такое слово? кто добровольно самоизолировался?!) вот прямо сейчас. На мой взгляд, это очень серьёзная опасность, серьёзное нарушение жизни мегаполиса, серьёзное снижение жизненных стандартов. И тут тебе говорят, что есть какая-то опасность побольше – и вырубают мобильный интернет “в целях безопасности”. И ты из развитой страны перемещаешься даже не в страны третьего мира, а куда подальше. Вот в Москве сейчас ровно такое, в областных центрах – то же самое, и очень хочется посоветовать как-то измерять опасность, сравнивать с опасностью от мер борьбы с опасностью (скажем, можно ли лечить головную боль усекновением головы – точно ведь лечит!), сделать политиков какими-то чуть более грамотными на эту тему. В FPF секвенционализм будет, раздел для этого предусмотрен. Мы до многоуровневой этики точно дойдём. Другое дело, что это будет теория – но от хорошей теории до жизни часто ближе, чем кажется сугубым практикам.

Что я делаю в это время? Следую той же художественной литературе: занимаюсь интересным, на маленьком кусочке своего фронта работы посреди всех этих низковисящих плодов сингулярности и ужасов киберпанка, где эти плоды достаются не всегда тебе.