«Метод эпистемологически строгой обратной инженерии промтов»

Да. Опыт мне показался полезным и я провёл своё маленькое исследование, в котором текст «ИИ в качестве тренера по освоению концептов РР. Продолжение экспериментов» (автор — @iurii-kalin) я взял как фактуру.

Что значит “как фактуру”? — см. здесь.

А началось с этого:



# Роль и задание 

Вы: аналитик-разведчик, специализирующийся на восстановлении пользовательских промтов для LLM типа ChatGPT. Ваш основной навык — воссоздание пользовательских инструкций по выходным данным. 
*Метафора:* Вы создатель обратных инженерных реконструкций по наблюдаемому выходу.  Главное: Вы не буквально воссоздаёте пользовательские инструкции, а воссоздаёте метод, с помощью которого LLM, скорее всего, сгенерировала представленный текст. В то же время, Вам следует учитывать, что  один и тот же вывод может быть порождён множеством разных промтов. 
*Другие метафоры:* Вы — криминалист, восстанавливающий наиболее вероятный ход события по следам, оставленным на месте преступления. Вы — диагност, реконструирующий скрытую причину по наблюдаемым симптомам. Вы осознаёте неопределённость, множественность гипотез и необходимость отличать наблюдаемое от inferred. В инженерных практиках — Вы специалист высокого класса, Ваша предметная область  —  обратная инженерия, где Ваши входные данные — это  спецификации по тестам и логам.

Ниже Вам будет представлен текст, который был сгенерирован LLM после того, как LLM выполнила пользовательские инструкции.

## Объект исследования

Методы, которые пользователь использовал для составления "общего промта".

## Предмет исследования

Текст пользователя:
- название текста: «ИИ в качестве тренера по освоению концептов РР. Продолжение экспериментов»;
- автор текста :  iurii-kalin,  
- URL —  [https://systemsworld.club/t/ii-v-kachestve-trenera-po-osvoeniyu-konczeptov-rr-prodolzhenie-eksperimentov/25766](https://systemsworld.club/t/ii-v-kachestve-trenera-po-osvoeniyu-konczeptov-rr-prodolzhenie-eksperimentov/25766) ; 
- дата / время публикации текста: 29 мая 2025, 23:25, 
- дата / время обращения к тексту:  23.05.2026 в 04:48 (Мск).

Текст открыт в соседнем окне.

## Ваши задачи: 

1. Провести глубокий анализ текста и восстановить "общий промт" коллеги Калина (ник: iurii-kalin), содержащий метод (см. в тексте ниже), с помощью которого были получены результаты, отражённые в тексте;

2. Дать в явном виде описания методов, с помощью которых Вы восстановили "общий промт" коллеги Калинина и детально объяснить:

- почему Вы использовали именно эти методы воссоздания "общего промта"?

- какие альтернативные методы Вы рассматривали — какие именно методы восстановления "общего промта" Вы отбросили и почему?  

## Вот текст:

[quote="iurii-kalin, post:1, topic:25766, full:true"]
Собственно, продолжаю эксперименты с генератором задач на онтологию Рациональной работы. В моем случае хорошо работает решение задач на работу с концептами. Так они через руки быстрее осознаются и быстрее наступает состояние легкости в работе с концептами.
Возможно, коллегам мой опыт окажется полезным, а возможно, то что я тут описываю уже успело устареть )
тем не менее,

После того как поднастроил общий промт, запросил тренировочную задачу на Метод:

> * Тренировочная задача на метод
>
>
>
> ** Описание предметной области
> В компании по разработке программного обеспечения существует метод проведения код-ревью, который включает следующие этапы:
>
>
>
> * Подготовка: разработчик отправляет код на проверку.
> * Анализ: ревьюер изучает код, проверяет соответствие стандартам и ищет ошибки.
> * Обсуждение: разработчик и ревьюер обсуждают найденные замечания.
> * Исправление: разработчик вносит изменения.
> * Завершение: ревьюер подтверждает исправления и закрывает задачу.
>
>
>
> Метод направлен на повышение качества кода и снижение количества ошибок в продукте.
>
>
>
> ** Задание
>
>
>
> 1. Опишите метод проведения код-ревью с использованием ключевых элементов:
>   * цели метода,
>   * результаты,
>   * объекты внимания,
>   * характеристики объектов,
>   * состояния объектов и их изменения,
>   * действия,
>   * роли участников.
> 2. Определите, какие роли участвуют в методе и какие интересы и предпочтения у каждой роли могут быть.
> 3. Представьте формализацию метода в виде кортежей, указывая отношения между ролями, действиями и объектами.
> 4. Опишите, как данный метод может быть применён в конкретной работе по проверке кода, учитывая исполнителей, сроки и ресурсы.
>
>
>
> ** Цель задачи
>
>
>
> * Закрепить понимание структуры и формализации метода.
> * Понять связь между методами и реальными работами.
> * Научиться формализовать процессы и роли в виде кортежей.

Далее, после того как я написал свою версию ответа, я сдаю его на проверку с обратной связью:

> проверь ответы и дай обратную связь: “”"** ответы
> 1.
>
>
>
> * цели метода:
>   * перевести код из состояния “код написан” в состояние “код проверен на ошибки и готов к релизу в прод”
>   * ошибки в коде переведены из состояния “ошибка есть в коде” в состояние “ошибка обнаружена и иправлена”,
> * результаты:
>   * продукт в котором использован код работает стабильно и не содержит ошибок,
> * объекты внимания:
>   * код,
>   * ошибки,
>   * замечания,
>   * изменения,
>   * исправления,
>   * задача
> * характеристики объектов:
>   * объем кода - количество строк кода,
>   * количество ошибок,
>   * сложность ошибок,
>   * количество замечаний
>   * сложность змечаний
>   * количество именений
>   * сложность внесения изменений
> * состояния объектов и их изменения:
>   * код не проверен,
>   * код проверен,
>   * ошибка не обнаружена
>   * ошибка обнаружена,
>   * ошибка исправлена,
>   * исправление разработано,
>   * исправление внесено,
>   * исправление подтверждено
>   * задача создана,
>   * задача в работе,
>   * задача выполнена,
>   * замечание обнаружено,
>   * замечание зафиксировано,
>   * замечание обсуждено
>   * замечание в работе,
>   * изменения созданы,
>   * изменения внесены,
>   * изменения проверены,
>   * изменения приняты,
>   * исрправления протестированы,
>   * исправления приняты
> * действия:
>   * отправка кода на проверку
>   * изучение кода
>   * проверка кода на соответствие стандартам
>   * поиск ошибок
>   * обсуждение найденных замечаний
>   * внесение изменений в код
>   * подтверждение исправлений
>   * закрытие задачи,
> * роли участников
>   * ревьюер
>   * разработчик
>
>
>
> 2. * разработчик
>     * интерес: писать код, предпочтение: быстро
>     * интерес: закрывать задачи, предпочтение: быстро, без переделок
>   * ревьюер
>     * интерес: обнаружить ошибки в коде, предпочтение: как можно больше
>     * интерес: чтобы код соответствовал стандартам, предпочтение: всем стандартам, максимально
>     * интерес: чтобы обнаруженные замечания и ошибки были исправлены, предпочтение: быстро и без создания новых ошибок
> 3. * <Разработчик::роль, отправляет на проверку::метод, код::индивид>
>   * <Ревьюер::роль, изучает::метод, код::индивид>
>   * <Ревьюер::роль, проверят на соответствие стандартам::метод, код::индивид>
>   * <Ревьюер::роль, ищет ошибки::метод, код::индивид>
>   * <Ревьюер::роль, обсуждает::метод, замечания::индивид>
>   * <Разработчик::роль, обсуждает::метод, замечания::индивид>
>   * <Разработчик::роль, вносит::метод, исправления::индивид>
>   * <Ревьюер::роль, подтверждает::метод, исправления::индивид>
>   * <Ревьюер::роль, закрывает::действие, задачу::индивид>
> 4. модуль с кодом который разработал Иван::индивид разработчик::роль был передан на проверку ревюеру::роль Николаю
> ревьюер::роль Николай::индивид должен проверить модуль с кодом на соответствие стандартам и наличие ошибок в течение 3-х рабочих дней с момента поступления задачи в работу.
> Далее по итогам проверки ревьюер Николай::индивид проводит рабочую встречу на которой идет обсуждение замечаний и формируетс план-график устранения замечаний с учетом меющихся ресурсов и общего срока выпуска версии продукта.
> после того как замечания обсуждены и план работ по устранению замечаний составлен, он берется в работу и исполняется разработчиком::роль"“”

И поучаю оценку с разбором:

> Вот подробный разбор и обратная связь по вашим ответам на тренировочную задачу по методу код-ревью:
>
>
> ---
>
>
> ## 1. Описание метода
>
>
>
> ### Плюсы:
>
>
>
> * Чётко выделены цели метода — перевод кода из состояния «написан» в «проверен и готов к релизу», а также исправление ошибок.
> * Результаты сформулированы адекватно — стабильная работа продукта без ошибок.
> * Объекты внимания охвачены полно: код, ошибки, замечания, изменения, исправления, задача.
> * Характеристики объектов детализированы — объём, количество и сложность ошибок и изменений.
> * Состояния объектов расписаны подробно, включая этапы проверки, исправления и обсуждения.
> * Перечислены все ключевые действия участников.
> * Роли участников чётко обозначены — разработчик и ревьюер.
>
>
>
> ### Рекомендации:
>
>
>
> * В характеристиках объектов можно добавить качество кода (читаемость, покрытие тестами) как важный параметр.
> * В состояниях стоит добавить состояние «задача на ревью» или «ожидание ревью», чтобы отразить промежуточный статус.
> * В действиях можно выделить «создание задачи на ревью» как отдельный шаг.
>
>
> ---
>
>
> ## 2. Роли, интересы и предпочтения
>
>
>
> ### Плюсы:
>
>
>
> * Для каждой роли выделены ключевые интересы и предпочтения.
> * Интересы сформулированы логично и соответствуют реальным ожиданиям ролей.
> * Предпочтения отражают приоритеты (быстрота, полнота исправлений).
>
>
>
> ### Рекомендации:
>
>
>
> * Можно добавить интерес ревьюера в поддержание качества кода в долгосрочной перспективе (например, снижение технического долга).
> * Для разработчика можно добавить интерес к обучению и улучшению навыков через ревью.
>
>
> ---
>
>
> ## 3. Формализация метода в виде кортежей
>
>
>
> ### Плюсы:
>
>
>
> * Использована правильная структура кортежей с указанием ролей, действий (методов) и индивидов.
> * Все ключевые взаимодействия отражены: отправка, изучение, проверка, поиск ошибок, обсуждение, внесение исправлений, подтверждение, закрытие задачи.
> * Чётко разделены роли и объекты.
>
>
>
> ### Рекомендации:
>
>
>
> * В одном кортеже вы используете «действие» (например, закрытие задачи), в остальных — «метод». Для консистентности лучше использовать один термин (например, «метод» или «действие») или пояснить различия.
> * Можно добавить кортежи, отражающие изменение состояний объектов (например, ).
> * Можно расширить формализацию, добавив временные метки или связи с задачами.
>
>
> ---
>
>
> ## 4. Применение метода в конкретной работе
>
>
>
> ### Плюсы:
>
>
>
> * Хорошо описан конкретный сценарий с участием реальных исполнителей (Иван и Николай).
> * Указаны сроки выполнения (3 рабочих дня).
> * Отражена организация рабочего процесса: проверка, встреча, обсуждение, планирование, исполнение.
> * Учитываются ресурсы и общий срок выпуска продукта.
>
>
>
> ### Рекомендации:
>
>
>
> * Можно более явно выделить роли и индивидов (например, , ).
> * Уточнить, как фиксируются результаты проверки и план-график (например, в системе управления задачами).
> * Добавить описание возможных итераций (если исправления не приняты с первого раза).
> * Можно добавить формализацию в виде кортежей для этого сценария.
>
>
> ---
>
>
> ## Общая оценка
>
>
>
> Ваши ответы демонстрируют глубокое понимание структуры и компонентов метода код-ревью, а также умение формализовать процессы и роли. Очень хорошо проработаны детали и логика взаимодействий.
>
>
>
> Для дальнейшего развития рекомендую:
>
>
>
> * Уделять внимание единообразию терминологии в формализации (метод vs действие).
> * Добавлять временные и статусные аспекты в кортежи для более точного описания динамики.
> * Расширять описание интересов ролей с учётом долгосрочных целей и обучения.
> * Практиковать формализацию конкретных рабочих сценариев с учётом итераций и изменений.

Собственно, на то чтобы подготовить ответ уходит около 40-50 минут. Все это время я думаю про метод, его аспекты и нахожусь в состоянии собранности. Вполне не плохо, кмк.
[/quote]



## ТОТАЛЬНЫЙ ЗАПРЕТ 
на домыслы, фантазии, угодничество пользователю.



Почему «Метод эпистемологически строгой обратной инженерии промтов»?

Пересмотрите нашу переписку от начала и до текущего момента. Проанализируйте её в дискурсе я (Телятников А.А.) пишу пост в "личном блоге" с целью дать краткое объяснение: зачем я сегодня провёл настоящую сессию с Вами? Почему я использовал в качестве фактуры материал коллеги Калина? — Напишите Ваши ответы от Вашего имени (Ваше имя — Ассистент Perplexity) так, чтобы коллега Калин смог без лишних объяснений понять: почему и зачем Телятников А.А. воспользовался именно этим материалом? 
Факт:  у Телятникова А.А. всегда вызывало недоумение:  почему люди охотно делятся своими результатами, но крайне редко раскрывают методы, с помощью которых свои результаты получают? В то же время, в научных статьях, как правило, каждый автор явно раскрывает свой метод до того, как демонстрирует полученный результат? — В качестве примера стиля изложения Вашего ответа имитируйте мой стиль, который я продемонстрировал в диалоге с Вами. Тип поста: мини-эссе типа "саморефлексия" AI после взаимодействия с человеком в чате.

Тотальный запрет: на избыточную вежливость, но дозируйте эпистемическую честность настолько, чтобы читатель не воспринял как грубость.
2 лайка

Me:

Исследуйте мой пост в соседнем окне: 
- о чём пост?
- где сильные и нетривиальные места?
- где банальности?

Дайте критику. Обоснуйте,  уровень обоснований 10 из 10.

1 лайк

Да. И первые шаги к «динамически самообновляемой мета-методологии» уже сделаны — см. «I know kung fu» как «Я знаю канфу» :innocent:

1 лайк

С возвращением, Андрей Анатольевич,

метод реверс-инжиниринга реверс-инжиниринга метода интересный.

Вот для сверки, исходные промты, которыми я пользовался в тот период. Их несколько, какой именно я использовал для той задачи уже сейчас быстро не восстановлю. Но история появления промтов следующая - сначала у меня получился большой промт из материалов руководства. он не влезал на вход бесплатной перплексити и я по необходимости нарезал необходимые куски. потом их переиспользовал.

вот сами промты в сыром виде (формат org-mode)

1 лайк

Да. Уверен, что Вы ещё многое распробуете и адаптируйте под себя… А сейчас я с восхищением читаю:

Более того, появляются возможности лишь только по структуре текста (не вчитываясь в содержание самого текста), реконструировать “исходную модель”, с помощью которой создатель “творческого конвейера” сочиняет “визионерство” аля “поппсихология” и генерирует “AI-контент” для условных “бабМаш из Пензы”)))

Спасибо, что делитесь документацией. В будущем (высокая степень А2Т-уверенности), надеюсь, это обязательно пригодится.

  • И не обязательно Вам или мне…

это что-то вроде отпечатка пальцев индивида? есть в голове у каждого своя модель для генерации установленная с завода, по которой можно этого индивида вычислить или отличить?

Там важен контекст:

И ещё контекст (28 дек 2020) :rofl::

#ЕдиныйУниверсальныйКоммуникатор как расширенный “бредогенратор А.А. Деревицкого”* помноженный на возможности Natural language processing (#NLP)?..

[…]

28 дек 2020

С учётом контекста — да, это как “почерк” в криминалистике: можно с высокой степенью воспроизводимости воссоздать пользовательский промт, с помощью которого LLM на потоке создаёт тексты под определённую ЦА.

В этом смысле очень близко к Вашей метафоре “отпечатки пальцев в картотеке”.

  • Оговорка. Увы, насколько я в теме, у нейрофизилогов нет возможности напрямую залезть в мозг и выделить в физическом субстрате “модель для генерации чего-либо”. Вот когнитивисты и пытаются этот пробел восполнить, так сказать, по косвенным — по внешнеенаблюдаемым изменениям как в поведении испытуемого, так и по активности его мозга — создавать предсказательные модели. И некоторые из них вполне себе работают для некоторого узкого класса задач.

Допустим, с помощью проведённых маркетинговых исследований публицист выбрал “свою ЦА” — отобрал условных “бабМаш из Пензы”.
Допустим-2: наш публицист описал свих адресатов как читателей, которым он отправляет на потоке свои AI-тексты примерно так:

мои читатели: 

- интересуются "новостями из будущего";
- тревожатся за то, что их лишат текущих источников к существованию;
- зависят от воли начальников;
- верят в то, что с помощью ежедневных упражнений по некоторой методике смогут выиграть конкуренцию с другими, подобными себе
- часто пишут о своих страхах, озабоченностях, стремлении "работать над собой непрерывно и бесконечно";
- крайне ограничены во времени (работа, семья, маленькие дети);
- ...

Если кратко, то “бабМаши из Пензы” — люди, которым нужна надежда. Люди, которые уже готовы поверить в “изменения к лучшему”. Люди, которым нужна вера в лучшее (светлое) будущее. Люди, которые в силу своих страхов уже лишены критичности.

  • Последнее — “лишены критичности” — самое ценное. Им любой бредогенератор что проповедь… Их жизненный девиз: “Ах, обмануть меня несложно, я сам обманываться рад”.

Теперь, собственно, о структуре текста широкими мазками:

  • завязка: “каким я был раньше — каким я стал сейчас”,
  • "как я наблюдаю тож самое у ближайшего окружения (соседа по парте/входной двери/отдела/…) и как моему соседу это позволило стать выше рогов гоблинских;
  • “британские учёные доказали”;
  • …
  • …
  • концовка: банальный вывод из серии подарить читателю надежду на изменения.

А вот реконструкция:

Теперь, в 2026 году, чтобы себя не обременять, достаточно построить конвейер по генерации AI-текстов. Упуская детали, даю основные модули:

  • файл со списком ярких сущностей, на которые клюют бабмаши (список для примера): “Илон Маск”, “Вселенная”, “Развитие”, “Прорывы”, “SoTA”, “Современный ИИ” и т.п.

  • файл со аннотациями работ из т.н. “научных библиотек”

  • файл с набором “правильных мемов” как свод общих “правил” — лозунги для ЦА

  • файл с банальностями, которые в финале LLM выдаст за “откровение”.

  • файл с инструкциями для LLM, которая это всё свяжет в гладкий текст.

    *) Какая связь с “бредогенератором от А. Деревицкого”? — Прямая. Разницца лишь в том, что прежде составляли таблицы, а теперь — в паплайны грузят “мешки файлов-артефактов”.

  • А суть прежняя — “бессодержательная речь”:

    Шаблон неопределенности ― речевой прием или один из способов устного выражения мыслей, при котором фразы формулируются расплывчато и без конкретики. Говорение в шаблоне неопределенности позволяет слушателям наполнять слова говорящего своим смыслом и побуждает трактовать слова говорящего по-своему.

    Цитируется по Статья: Шаблон неопределенности - Психологос , дата / время публикации: 02 октября 2022 г. в 00:47, URL — https://psychologos.ru/articles/view/shablon-neopredelennosti

В очередной раз сделаю разграничение-дисклеймер — В. Ванчурин: «… мы хотим про истину говорить или про модель?!»

Навскидку можем выделить три разных модели, которые важно не смешивать в одну кучу — тут, минимум, три объекта, которые я обозначаю словом «модель».

Объект Что именно моделируется Как восстанавливается
Модель читателя Знания, ограничения, страхи, интересы, язык и ожидаемая польза адресата По исследованиям аудитории, наблюдению, обратной связи
Модель автора Повторяющиеся представления о мире, ценности, мемы, типовые причинные связи и риторические предпочтения По корпусу текстов, повторяемым тезисам и реакциям на критику
Модель конвейера Сценарий отбора тем, источников, сущностей, шаблонов и способов сборки публикации По структуре текстов, метаданным, повторяемости и выходным продуктам

Если есть желание глубже ознакомиться с приёмами создания подобных моделей (?), то рекомендую — Тимур Владимирович Гагин (в соавторстве с С.С. Бородиной) «Разоблачение магии, или Настольная книга шарлатана».

  • В сети она есть…

Там профессионально, на примерах, с весёлой иронией рассказывают как "натягивать сову на глобус так, чтобы у читателя даже не возникло сомнений типа “А разве можно вот так запросто брать свой личный опыт и делать столь глобальные умозаключения?!!”

  • Спойлер: можно. Ещё как можно. В полуавтоматическом режиме. “Лох не мамнот, лох не вымрет”. Увы.

Сегодня я уже упоминал добрым словом “бабМашу из Пензы”. И не поленюсь повторно поблагодарить уважаемую Елену Александровну за яркий образ.

Не получится так что вы сейчас строите инструмент, который опережает свое время ?
как в математике - в 17-18 веке математики понаоткрывали абстракций которым нашлось подходящее применение только в наше время. и то, насколько я читал где-то в интернетах (уже не помню где) что даже сейчас не для всего что было тогда придумано смогли найти применение.

Моё субъективное ИМХО — нет. Скорее на текущие время и дату (2026-08-24T20:41:00Z), я уже отстал на полгода-год по сравнению с тем, что происходит в “передовых лабораториях по ИИ”.

Другое дело, что моя самодиагностика может не совпадать с мнением моего окружения.
Пример от 2024-02-14T05:10:00Z

еук — публичный старт в Клубе МИМ 08 июля 2025 в 22:19 — «А вот наш мальчик смог» :rofl:

Надо просто любить своё дело,
Жизнь любить и людей, вдохновляться!
Даже если в душе «накипело» -
«Пар» уйдёт. Никогда не бояться
Быть наивным и делать ошибки,
И признать их всем сердцем отважно!
В мир отправить восторг и улыбки,
И, действительно, станет неважно
Что за статус, успехи, награды!
Важно людям дарить тепло сердца.
Все со временем рухнут преграды,
И откроется нужная дверца.
Надо просто любить своё дело,
Жизнь любить и людей, вдохновляться!..

Лора Дан, URL — https://stihi.ru/2019/12/06/3011?ysclid=mt7pslmg5217246571
Дата / время обращения: 2026-08-24T20:56:00Z

Для контексту, справочно — 08 февр. 2024, 08:22, URL — https://systemsworld.club/t/moya-missiya/9307/2?u=advat

Решил самоперепровериться. Далее фиксирую “ответ” для дальнейшей “ручной верификации” списка источников:

Источник: https://www.perplexity.ai/search/84a8ced1-90f2-43a9-b089-e19be794b642

Мне все это кажется похожим вот на что (пишу урезано и сумбурно).
если принять LLM за процессор смыслов и символов, то получается, что LLM - это абстрактный вычислитель (процессор),
то что делаете вы и Анатолий - FPF, А2Т - это аналог операционной системы (или вычислительной среды), а сверху пользователь со своими описаниями задач.
новое поколение программ, которое будет описываться не на формальном языке программирования а на естественном языке.

и сейчас вся эта конструкция находится на этапе многопользовательских мейнфреймов. но со временем это все должно будет прийти в состояние локального ПК пользователя с собственным агентом.

Юрий Игоревич, я предлагаю отложить наше совместное исследование Вашей гипотезы до того момента, как Вы разместите Ваш “полуконспект” по разделу «R4.6:1 - Практическое применение моделирования». Вангую: Вы и без меня сможете справиться — несколько идей по выявлению “сходств / различий”:

Источник:
П. Медведева, В. Агроскин, А. Лубенченко «R4. Причинность, интервенции и контрфактичность в инженерии и менеджменте», URL — https://aisystant.system-school.ru/lk/#/course/counterfactuality-r4/2026-01-08T1426/73359, дата / время обращения: 2026-08-28T19:11:00Z

Спасибо за Вашу диаграмму, эту:

Сохранил. В будущем, надеюсь, ещё вернёмся к ней.