Активно работаю с разными LLM, произвожу тексты в количестве. У меня тут три несправедливых преимущества (но вся работа как раз про то, чтобы не имеющим этих преимуществ дать шанс делать что-то подобное. Или даже круче!):
– эта работа (context engineering, она же артигогика, она же “настройка AI для использования в проекте через промпты-manuals” (обо всём этом я писал раньше, и давал ссылки), если ей заниматься full time, оказывается очень похожа по общему ощущению и стилю на программирование: надо втолковать компьютеру то, что надо втолковать, добившись хоть как-то безошибочного исполнения. Только программирование не классическое, а нейролингвистическое (привет старым нэлперам! которые про естественный язык, но который идёт прямо в мозг для обработки, а не который идёт в компьютер), что сути не меняет. К программированию у меня есть способности, обнаруженные на первом курсе РГУ (1975 год, когда я получил доступ к компьютеру, а до этого момента компьютеров просто не было вокруг, физически, поэтому сказать “с детства” не могу). И я был где-то до 1987 года суперпрограммистом (так это тогда называлось, уже никто этого термина и не помнит), системным программистом и гордо именовал себя “системным архитектором”. Читал дампы “невооружённым глазом”, правил коды операционок, программировал на всём, что было хоть с какой-то системой команд (да, в том числе и на множестве ассемблеров множества процессорных архитектур). Вот при работе с LLM ощущения примерно такие же: “это программирование, хотя немного другое”.
– бОльшую часть своей рабочей жизни я был генеральным консультантом и организатором работы группы экспертов, глубоко разбирающихся в своих предметных областях. Ну, и научным руководителем. Вот с группой LLM ровно то же самое. Когда две LLM от разных производителей пикируются по поводу того или иного решения, надо иметь опыт происходящего, чтобы сдвинуть их позиции и получить консенсус – ровно как с людьми. Я это делаю “на автомате”.
– мне хорошо известна предметная область, в которой я работаю. Онтология, эпистемология, системное мышление - всё это довольно редкие дисциплины, но у меня в них неожиданный многолетний опыт. И когда LLM делают ошибки, то я их быстро замечаю: это ровно те же ошибки, которые делают большинство наших стажёров, когда они осваивают работу по руководствам. И я примерно понимаю, как объяснить стажёрам и AI-ассистенту, что надо учесть, чтобы такой ошибки не делать. А ещё это означает, что на автомате проверяется доводимость всей это “теории” до практической пользы в работе. И это работает. Поэтому работа продвигается относительно быстро: делаю всё то же самое, только автоматизирую.
Результатом прошедшей пары недель стало:
– текст по тому, что не так с современными AI-ассистентами в части поддержки мышления письмом/моделированием/онтологизиртованием (Мышление AI-письмом/моделированием/кодированием/онтологизированием и архитектуры AI-экзокортексов. : ailev — ЖЖ), в том числе пример организации обзора нежити на эту тему. Вывод: можно давать задания написать и подготовить материал для вставки, а также “выразить мнение” и “найти ошибки”. Ни в коем случае нельзя (хотя очень хочется) давать задания “вписать” или “переписать”. То есть порождать новое – да, исправлять старое – только внешним инструментарием, надёжней всего пока – собственными голыми руками через cut/paste или даже “переписывание полностью с учётом замечаний, когда copy/paste не помогают”. Неожиданное следствие: получение текста сразу на английском, становится много проще редактировать замены термина по всему тексту (на русском это очень затруднительно, ибо язык с изобилием флексий).
– разбирательство с унифицированным фреймворком системного подхода, выход на понятие конгруэнции. Вывод: всё работает, но нужна эпистемология для разбирательства с системными описаниями.
– разбирательство с унифицированным фреммворком эпистемологии, выход на шкалы формальности, надёжности, общности и отношение конгруэнции с собственной шкалой. Вывод: всё работает, но разговор об агрегации и композиции очень похож на разговор про системы, те же идеи безмасштабности, надо разбираться с мереологией эпистем/описаний.
– разбирательство с “агрегацией, композицией и мереологией всего” (и там шесть типов специализации по отношению “часть-целое” для объектов разной природы), заходы на обобщение всего этого через идеи Kit Fine и создателей/constructors от Deutsch и Marletto. Ходы на унификацию машинки типов, ходы на гносеологию (религиозное и художественное познание вдобавок к научному).
– общая архитектура спецификации “фреймворка фреймворков” первых принципов, намётки по составу фреймворков и фасетов. Прояснение отношений фреймворка и руководств как результата методологической работы и методической (instructional design) работы при примате общей целевой системы: интеллекта с его работой по методам фундаментального мышления. Это всё опубликовано в First Principles Framework (FPF) и Intellect Stack Guides в их разработке нежитью: ailev — ЖЖ
– пробы по получению развёрнутых описаний из транскриптов семинаров (оказалось удачно, если подгружать кроме транскрипта слайды, по которым шёл разговор: можно получить развёрнутый текст с кучей ошибок, но этот текст уже можно как-то редактировать).
– случайно полученный фреймворк доверия к контенту (content trust framework), с которым надо отдельно разбираться (это ведь сейчас любимый предмет “критического мышления”).
Важное действие было - тестирование результата. Это прошло в ходе выдачи комментариев в чате gonzo-обзоров, там большое обсуждение было про возможность унификации теории твёрдого тела и общей теории относительности, а затем применения гидродинамики к объяснениям туннельных переходов. Это, конечно, чисто эпистемологическая дискуссия, а ведь эпистемологии в вузах не учат. Итог: всё сработало, несмотря на то, что готовы пока только кривые и неполные черновики FPF. Вот тут как это работало: https://chatgpt.com/share/686cdb5a-7fe8-8013-85ba-bb22f1bf0f42. Основная идея была – использовать текущий текст спецификации FPF, о нём рассказывалось и на него давались ссылки в Мышление AI-письмом/моделированием/кодированием/онтологизированием и архитектуры AI-экзокортексов. : ailev — ЖЖ. Был создан чат o3 Pro в виде подгруженного файла, промпт выглядел как “Универсальные типы для понятий предметной области теории твёрдого тела и общей теории относительности конгруэнтны в смысле, определяемом в приложенном файле, ибо уравнения похожи. Дай табличку конгруэнтных понятий этих теорий по образцу таблицы USO из приложенного файла. Есть ли ещё какие предметные области, которые работают с этими универсальными типами? Дай имена этим универсальным типам на русском и английском” и “что можно сказать про объяснение туннельного эффекта через конгруэнтность с безэнтропийной несжимаемой жидкостью? Что в этом случае со шкалами конгруэтности, надёжности, формальности?”. Смотреть дискуссию с реплики Telegram — там приведена табличка вроде наших конгруэнтностей, а дальше было много моих реплик (разбавляемых обычными “разговорами в чате”). Надо было бы тамошние мои реплики отдельным постом сделать, но пока некогда. Результат успешен:
– вместо “ваше высказывание верно” и “ваше высказывание неверно” получили развёрнутые характеристики, где именно верно, где именно неверно (в части формальности, надёжности, общности, а также конгруэнтности)
– получили рекомендации, что делать, чтобы стало лучше (что доказать, а что измерить в каком эксперименте)
– получили оценку, чем эти заявляемые конгруэнции могут быть полезны, если всё предложенное доказать и продемонстрировать экспериментально (там вычислений будет x10 меньше, а ещё бакалаврам будет проще осваивать предмет, там будут задействованы правильные интуиции).
Обсудили на методсовете также конкурентоспособность мастерской инженеров-менеджеров. Всё-таки к AI-лихорадке мы готовились довольно долго, просто ждали, пока AI-агенты не станут достаточно умны, чтобы реально помогать нам в работе. Для понимания mission и vision надо читать текст Церена Церенова Наши конкурентные преимущества в эпоху всеобщей "ИИ-лихорадки". Но важно не только куда идём, но и стратегия и планы того, как туда попасть. Кроме почти двухчасового обсуждения на методсовете я выдал в чат методсовета ещё и большой пост с тезисами, а к посту ещё и чеклист. Мой личный срочный проект сейчас в этой стратегии направлен на закрепление “инженерного” и “естественнонаучного” начала: посадка всех наших руководств и материалов на первые принципы (то есть доработать FPF и отследить, чтобы это был минимальный набор понятий, чтобы не затесалось туда что-то прикладное). После этого (хотя это можно уже и сегодня делать! Черновики-то уже есть) можно проверять все наши тексты и руководства на предмет соответствия — например, не перебарщиваем ли мы с метафорами вместо реальных объяснений или не проникает ли в тексты мифологическое мышление. И там же ходы на как-то обоснованную модульность FPF, а следствие — модульность наших руководств и программ стажировки. Цель - сообщество носителей гибридного (человеко-машинного, киберличности) интеллекта. Интеллект – это часть киберличности (личность человека плюс AI-экзокортекс, хотя любая из этих частей может отсутствовать, просто людям и просто AI интеллекте не отказываем), представляющая собой мастерство мышления по интеллект-стеку фундаментальных методов. Интеллект используется для изменения мира к лучшему в коллективных проектах. Мы делаем следующее:
– меняем мир к лучшему (по-крупному, с прицелом на сферу Дайсона и переходы типа цивилизации по Кардашёву: “от сердца - к Марсу”, ага).
– для этого делаем сообщество инженеров-менеджеров как киберличностей с сильным интеллектом, оно и меняет мир к лучшему.
– для сообщества готовим из личностей “простых инженеров-менеджеров” киберличности инженеров-менеджеров с сильным интеллектом
– для получения сильного интеллекта делаем описание его методов мышления (FPF, first principles framework, результат методологической работы) прямо для AI-части киберличности, а для человека - описываем через guides (результаты методической, instructional design работы по материалам методологической работы).
– опционально и потом: усиливаем интеллект прикладными skills.
Исходя из этого приоритета, набрасываю план (задействование ресурса меня, любимого) своей работы на остаток лета. Это, конечно, непосильно одному Левенчуку, но если учесть, что речь идёт о киберличности Левенчука и можно ожидать увеличения производительности в несколько раз, то попробуем поставить в план BHAG и OKR (What Matters: OKRs vs. BHAGs: What's the difference?):
– доделывать спецификацию FPF и Intellect Stack Guides Primer, сразу на английском, до какой-то альфа-версии. Руководства/guides тут инструментальны, опираются на набор первых принципов (FPF, first priciples framework). Ситуация после этого, конечно, поменяется и надо будет перепланироваться. Ну штош. Ожидаемый итог: 1. чёткое разделение FPF и руководств, что позволит иметь разные индивидуализированные curriculum для одного и того же FPF. 2. Чётче прописаны ADR (architecture decision records), наведена модульность. 3. FPF как “большой системный промпт” (manual вместо fine tuning), заставляющий AI умнеть, новое применение – поддержка хода на “умный экзокортекс киберличности инженера-менеджера”. 3. Англоязычный текст, что позволит выходить и на международный рынок. 4. Чёткая посадка всех наших руководств на естественнонаучные постулаты: даёт надёжность итогового интеллекта.
– сделать демо использования FPF (кейсы “что стало лучше”) в составе AI-экзокортекса. Ну, и заодно сделать семинар про то, как я сам работаю. Это можно планировать уже на конец августа.
– дальше (с учётом наличия альфа-версии FPF) проверить ситуацию с нашими Guides, спланировать доработки (модульность, разнообразие куррикулумов), но ещё не дорабатывать, а пользоваться текущими с минимальными правками. Это даст возможность доформулировать наши корпоративные предложения на более надёжной и понятной основе, чем сейчас и сделать план доработок Guides и связанных с ними наставнических продуктов.
– дальше учесть новую ситуацию с продуктным предложением и доработать весь пакет презентационных материалов по МИМ. И оттестировать его для кампании корпоративной контрактации. Сентябрь 2025. В принципе, как-то корпоративные проекты у нас и сейчас идут, но планируется прямо-таки кампания, выделение на эту работу ресурсов.
– докрутить Guides до соответствия FPF в его альфа-версии и желаемой модульности. В том числе вернуться к недоделанным руководствам по инженерии (кибер)личности на нескольких уровнях (киберличности в целом, отдельного кибермастерства, а также эта же пара для “чисто человеческой” части), а также обновить руководство по системному менеджменту (в том числе включить менеджмент сообществ, начиная от внутреннего сообщества сотрудников как предмет заботы HR, заканчивая внешними сообществами).
Напомню, что текущее состояние FPF и Intellect Stack Primer можно найти в двух файлах (приводил их уже в First Principles Framework (FPF) и Intellect Stack Guides в их разработке нежитью: ailev — ЖЖ, они будут интенсивно меняться в ближайшие часы и дни), можете в них потыкать. Типовой вариант: подгрузить их оба как файлы и дальше задать вопрос, добавляя “с учётом FPF из приложенных файлов”. Там выйдет что-то про эпистемологические шкалы и U-Types в ответе. Надо будет попросить разъяснить (это всё в файлах, конечно, уже есть, но не факт, что глазами быстро эти таблички найдёте. Они в .md, смотреть их поэтому надо в каком-нибудь Obsidian или чём-то похожем). Не забудьте потом мне рассказать, что получилось, а сами файлы вот:
– заготовки к основному тексту 0.75 Mзнаков, Intellect stack and FPF Full.md — Яндекс Диск
– набор записок о разных аспектах этого проекта и предложения разных вставок (заготовки к заготовкам), 0.5 Мзнаков, Отчёт по мереологии и агрегации.md — Яндекс Диск
