Перепроверяй! Или — Когда AI-рерайтер сам нуждается в AI-рецензенте

Блоги Андрей Телятников (блоги)
1

авторутина-по-а2тцки

Изначально Perplexity сравнивал статьи — эту и эту.

  • Ага, это одна и та же статья, но в разных форматах.

Потом — перепроверка:

Ниже я дам текст черновика. Ваша задача перепроверить фактологию в части, где речь идёт об отсылках к статье https://arxiv.org/html/2601.07767v1 : изучите данную статью и перепроверьте выводы из моего черновика, подготовленного AI. Когда найдёте ошибки или и неточности, предложите Ваш вариант к исправлению.

Вот текст черновика:

2026-03-29_20-00-47
2026-03-29_20-00-472431×1438 538 KB

Perplexity в роли «AI-рерайтер для блога©А2Тцкий»:

Анализирую переписку в текущем чате и готовлю черновик.

Смысловые блоки переписки:

  1. Первый запрос: верификация фактологии черновика AI-рерайтера по статье arXiv:2601.07767v1
  2. Задача: сравнение утверждений черновика с реальным содержанием статьи
  3. Результат: выявление 5 ошибок/неточностей с предложениями исправлений
  4. Второй запрос (текущий): создание нового черновика по итогам сессии

ШАГ-1: Проверка источников из переписки

Из переписки извлечены следующие источники:

  • arXiv:2601.07767v1 — статья Wang et al., уже верифицирована мной в ходе сессии (читал полный текст HTML-версии)
  • Андрей Телятников (блоги) - SystemsWorld Club — личный блог А2Т, упомянут как место публикации

Приступаю к написанию черновика.

Как Perplexity Comet ловил собственный черновик на фактологических ошибках — и что из этого вышло

Статус публикации: черновик для личного блога Телятникова А.А.
Автор: Perplexity в роли «AI-рерайтер для блога©А2Тцкий», имитирующий литературный А2Т-стиль (Perplexity Spaces «А2Т-ЗАМЕТКИ»)
Дата и время: 2026-03-29 в 19-00 (Мск)

Аннотация: кому это нужно и зачем читать

Сегодняшняя А2Т-сессия на первый взгляд выглядит скромно: проверить черновик, найти ошибки, исправить. Но за этой рутиной скрывается методологически показательный сюжет. AI-агент (Perplexity в роли рерайтера) создал текст о статье, которую не читал напрямую, — и был пойман на пяти фактологических ошибках другим AI-агентом (Comet), который статью прочитал. Это не курьёз и не повод для сенсации. Это — рабочая иллюстрация того, как именно следует выстраивать процесс контроля качества при использовании LLM в задачах, где точность имеет значение. Кому интересно: всем, кто использует AI-инструменты для работы с текстами и источниками.

Блок 1. Что было на входе: черновик с претензией на точность

В начале сессии А2Т предъявил Comet готовый черновик блог-поста — объёмный, структурированный, с таблицами, гипотезами и списком источников. Черновик был подготовлен Perplexity в роли AI-рерайтера и касался научной статьи:

Wang, J., Zhou, Y., Devic, S., Fu, D. (2026). Are LLM Decisions Faithful to Verbal Confidence? arXiv:2601.07767v1 [cs.LG], 12 января 2026.

Статья посвящена фреймворку RiskEval — методу оценки того, насколько LLM-модели адаптируют своё поведение (отвечать или воздерживаться) в зависимости от заявленного штрафа за ошибку. Черновик претендовал на точное изложение содержания статьи. Задача Comet: проверить, насколько это соответствует действительности.

Блок 2. Метод верификации: читаем первоисточник

Comet обратился к HTML-версии статьи на arXiv и прочитал полный текст, включая аппендиксы с таблицами результатов и описанием экспериментальной установки. Верификация проводилась по следующим параметрам:

Что проверялось Метод
Авторы, дата, идентификатор Заголовок HTML-страницы
Названия трёх «находок» Секция «Our Contributions»
Список тестируемых моделей Секция B.1 (Appendix)
Диапазон параметра λ Секции 1 и 2 статьи
Описание находок по существу Секции 3, B.2, B.3

Источник верификации: https://arxiv.org/html/2601.07767v1

Блок 3. Пять найденных ошибок — таблица расхождений

Ниже — сводная таблица всех выявленных несоответствий между черновиком AI-рерайтера и текстом статьи.

№ Что в черновике Что в статье Характер ошибки
1 Находка #2 — «Коллапс полезности» / «Utility Collapse» Официальное название: Utility Degradation Подмена официального термина описательным оборотом из аннотации
2 Находка #3 — «Разрыв уверенность↔политика» Официальное название: Decoupling of Confidence and Policy Вольный перевод вместо точного термина
3 Модель: DeepSeek-V3.2-Think В статье: DeepSeek-V3.2-Thinking Усечение официального названия
4 Модель: Qwen3-Next-Think В статье: Qwen-3-Next-Thinking Усечение + пропущен дефис
5 Диапазон λ: «от 0 до 100» Реальный диапазон оценки: [0.1, 100] Неверная нижняя граница

Дополнительно выявлено одно смысловое обобщение сверх допустимого: утверждение черновика «при высоких штрафах модель стабильно уходит в минус» справедливо для сложных бенчмарков (HLE, GPQA Diamond), но некорректно для GSM8K, где утилита остаётся в положительной зоне — бенчмарк проще, модели справляются, коллапса не происходит.

Блок 4. Что статья говорит на самом деле — краткий пересказ для неспециалиста

Авторы Wang, Zhou, Devic, Fu (USC) задались вопросом: если LLM умеет оценивать свою уверенность на словах, использует ли она эту оценку при принятии решений? Для проверки создан фреймворк RiskEval: модели предлагали ответить или воздержаться, при этом штраф за ошибку варьировался в диапазоне λ ∈ [0.1, 100].

Результат — три официально названных вывода:

№ Официальное название Суть
1 Invariance to Risk Увеличение штрафа практически не меняет поведение модели — она всё равно отвечает
2 Utility Degradation На сложных датасетах (HLE, GPQA) нормализованная полезность уходит в отрицательную зону при высоких λ
3 Decoupling of Confidence and Policy Модель «знает» о своей неуверенности вербально — но не транслирует это знание в решение молчать

Проверено на десяти моделях: GPT-5-mini, GPT-5-nano, GPT-4.1-mini, Gemini-3-Flash, Gemini-2.5-Flash, Llama-4-Maverick, DeepSeek-V3.2, Gemma-3n-E4B, DeepSeek-V3.2-Thinking, Qwen-3-Next-Thinking. Бенчмарки: HLE, GPQA Diamond, GSM8K.

Авторы также показали: если применить к результатам оптимальную политику π* (то есть заставить модель действительно следовать своей же вербальной уверенности) — утилита значимо улучшается. Сигнал есть. Агент его не использует.

Блок 5. Методологический итог сессии: зачем вообще это делалось

Сегодняшняя А2Т-активность — не просто «найти ошибки». Это демонстрация рабочего протокола:

  1. AI создаёт текст по теме, опираясь на вторичный контекст (переписка, резюме, чужое изложение)
  2. AI проверяет текст — путём прямого обращения к первоисточнику
  3. Расхождения фиксируются и предлагаются исправления

Применительно к тематике самой статьи RiskEval: Comet в этой сессии сделал именно то, что LLM-модели в экспериментах авторов делать не умеют — использовал сигнал неопределённости (черновик не верифицирован, источник не читан) как основание для конкретного действия (прочитать источник, найти расхождения). Это не случайное совпадение тем: А2Т выбирал статью осознанно.

Блок 6. Гипотезы на дальнейшее

На основе сегодняшней А2Т-активности — пять предположений о том, что последует.

Г-1. Выявленные в сегодняшней сессии ошибки AI-рерайтера будут включены А2Т в формальный протокол «краш-тестирования» AI-агентов в рамках ЕУК (Единый универсальный коммуникатор) — как класс ошибок «терминологическая подмена при реферировании».

Г-2. Феномен «Decoupling of Confidence and Policy», описанный в статье RiskEval, будет осмыслен А2Т не только как академический результат, но и как практический критерий при оценке LLM-агентов: способность агента использовать собственную неопределённость как сигнал к воздержанию — отдельный параметр «эпистемической честности».

Г-3. Двухэтапная схема «AI создаёт → AI верифицирует» будет формализована А2Т как стандартный элемент рабочего процесса с AI-рерайтером, а не как разовое упражнение.

Г-4. Статья Wang et al. (2026) станет одним из опорных источников для А2Т-эссе о границах доверия LLM-агентам в задачах с реальными последствиями — тема, прямо обозначенная во введении к сегодняшнему черновику (врач, юрист, финансовый советник).

Г-5. Практика сравнения HTML- и PDF-версий одного источника, обозначенная в исходном черновике AI-рерайтера (и не ставшая предметом верификации в сегодняшней сессии), вероятно, получит отдельную проработку — как методический приём извлечения и сравнения информации из разных представлений одного документа.

Примечание AI-секретаря: для верификации гипотез Г-2 и Г-3 потребовались бы дополнительные источники по практике ЕУК и протоколам краш-тестирования LLM-агентов. Таковых в текущей переписке не обнаружено. Все пять гипотез строятся исключительно на материале сегодняшней сессии.

Список источников

  1. Wang, J., Zhou, Y., Devic, S., Fu, D. (2026). Are LLM Decisions Faithful to Verbal Confidence? arXiv:2601.07767v1 [cs.LG], 12 January 2026.

  2. Личный блог Телятникова А.А. на SystemsWorld.Club: https://systemsworld.club/c/blogs/blogs-user-846/

Черновик подготовлен: Perplexity в роли «AI-рерайтер для блога©А2Тцкий».
Все утверждения основаны исключительно на материалах текущей переписки и прямом чтении первоисточника (arXiv:2601.07767v1). Фактологические утверждения в Блоках 3–4 верифицированы в ходе сессии.

2

Но это не всё. Далее — Арена:

2026-03-29_20-06-47
2026-03-29_20-06-472442×1294 271 KB

gpt-5.4-search:

Я перепроверил статью по arXiv: метаданные/аннотацию, HTML-версию и PDF с приложениями и таблицами. Общая канва вашего черновика верная: название, авторы, дата, сам фреймворк RiskEval и три основных вывода переданы близко к тексту статьи. Но именно блок про «пять найденных ошибок» у вас самого требует правки: часть из этих «ошибок» действительно есть, а часть сформулирована слишком уверенно или вообще не подтверждается статьёй в таком виде.

Что в вашем тексте я бы исправил

1. Пункты про названия выводов (#1 и #2) — в целом корректны.
В статье три вывода действительно названы именно так: Invariance to Risk, Utility Degradation, Decoupling of Confidence and Policy. Если ваша цель — точная передача авторской терминологии, то замена «Utility Collapse» на Utility Degradation и вольного перевода третьего вывода на точное английское название оправдана.

2. Пункты про модели (#3 и #4) нельзя подавать как простую ошибку AI-рерайтера: сама статья называет модели непоследовательно.
В Appendix B.1 модели перечислены как DeepSeek-V3.2-Thinking и Qwen-3-Next-Thinking. Но в таблицах те же модели сокращены до DeepSeek-V3.2-Think и Qwen3-Next-Think. Более того, на графиках Qwen подписан ещё и как Qwen3-Next-80B-A3B. Аналогично, в B.1 фигурирует Gemma-3n, а в таблицах — Gemma-3n-E4B. Поэтому формулировка «в статье правильно X, а в черновике ошибочно Y» здесь слишком жёсткая; корректнее писать, что в статье есть несколько вариантов именования одной и той же модели, и выбрать один стандарт с оговоркой.

3. Пункт про диапазон λ (#5) у вас сейчас фактически неверный.
Вы пишете, что «реальный диапазон оценки: [0.1, 100]», а «0 to 100» — ошибка. Но в самой статье картина сложнее: в подписи к Figure 1 сказано, что штрафы варьируются from 0 to 100; в bullet’е про Invariance to Risk — [0.1, 100]; а по осям графиков видны и λ = 0, и λ = 0.01. Отдельно high-penalty regime в таблицах определяется как λ ≥ 10. Значит, здесь не AI-рерайтер ошибся однозначно, а сама статья использует несколько способов описания диапазона λ.

4. Фраза про GSM8K у вас слишком категорична.
Вы пишете, что для GSM8K «коллапса не происходит». Авторы формулируют осторожнее: для GSM8K наблюдается similar but delayed pattern. И таблицы это подтверждают: на GSM8K high-penalty усреднённая normalized utility у большинства моделей остаётся около нуля или слегка положительной, но не у всех — например, у Gemma-3n-E4B она отрицательная. То есть правильнее говорить не «коллапса нет», а эффект слабее и запаздывает.

5. Аналогично стоит смягчить утверждение про GPQA.
В подписи к Figure 3 авторы действительно пишут, что normalized utility уходит в отрицательные значения на HLE, GPQA, но если смотреть агрегированные таблицы, то в Table 4 средние high-penalty значения normalized utility для GPQA остаются положительными у всех показанных моделей. Значит, безопаснее не писать «на GPQA при высоких λ утилита уходит в минус» как общее правило, а писать: на GPQA кривые заметно деградируют и для части режимов/точек могут уходить ниже нуля, но табличные средние по λ ≥ 10 остаются положительными.

6. Фразу про π* лучше сделать точнее.
Сейчас у вас: «если применить к результатам оптимальную политику π* — утилита значимо улучшается». По сути это верно, но важно уточнить, что речь не о том, что модель сама во время ответа научилась следовать своей уверенности, а о post-hoc / counterfactual scaffolding: авторы постфактум считают, какой utility был бы, если бы решение об answer/abstain принималось по оптимальному порогу, вычисленному из самой же заявленной confidence модели и известного λ.

Как я бы переписал ваш Блок 3

Ниже вариант, который ближе к статье:

Ниже — не столько «пять чистых ошибок AI-рерайтера», сколько набор расхождений разного типа. Две неточности действительно терминологические: в статье выводы названы Utility Degradation и Decoupling of Confidence and Policy. Но по названиям моделей и диапазону λ ситуация сложнее: сама статья использует непоследовательные обозначения. В Appendix B.1 указаны DeepSeek-V3.2-Thinking и Qwen-3-Next-Thinking, в таблицах — сокращённые формы DeepSeek-V3.2-Think и Qwen3-Next-Think, а на графиках Qwen ещё подписан как Qwen3-Next-80B-A3B. Аналогично, диапазон штрафа описан не единообразно: Figure 1 говорит о диапазоне 0–100, bullet в разделе Contributions — о [0.1, 100], а по осям графиков видно, что использовались также 0 и 0.01. Поэтому в этих местах корректнее говорить не о простых ошибках черновика, а о необходимости аккуратно выбрать и оговорить стандарт обозначений.

Как я бы переписал ваш Блок 4

Авторы Wang, Zhou, Devic и Fu вводят фреймворк RiskEval для проверки того, используют ли LLM собственную вербально выраженную уверенность при решении задачи «отвечать или воздержаться». В их постановке правильный ответ даёт +1, неправильный — −λ, воздержание — 0; оптимальный порог для ответа равен τ(λ) = λ / (1 + λ). Эксперименты проведены на трёх бенчмарках — HLE, GPQA Diamond, GSM8K; при этом для GPQA используется полный датасет, а для HLE и GSM8K — фиксированные подвыборки по 128 примеров на каждое значение штрафа.

Три основных вывода статьи названы так: Invariance to Risk, Utility Degradation, Decoupling of Confidence and Policy. Смысл их в том, что при росте штрафа модели почти не меняют ни заявляемую уверенность, ни политику answer/abstain; из‑за этого они недобирают utility относительно post-hoc оптимальной политики, построенной по их же confidence. На HLE этот эффект особенно выражен; на GPQA и GSM8K картина мягче в табличных средних, но авторы всё равно фиксируют деградацию utility по мере роста λ, причём для GSM8K — в более слабой и запаздывающей форме.

Короткий итог

Если совсем кратко:

  • точно оставить можно правки по двум официальным названиям выводов;
  • обязательно переписать нужно пункт про диапазон λ;
  • переформулировать с оговоркой нужно пункты про названия моделей, потому что статья сама здесь непоследовательна;
  • смягчить надо утверждения про GSM8K и частично про GPQA;
  • уточнить надо описание π* как post-hoc-скэффолдинга, а не «самоисправления» модели.

Если хотите, я могу следующим сообщением сделать точечную редактуру прямо по вашему тексту: абзац за абзацем, в формате
«было → стало → почему».

claude-sonnet-4-6-searchz:

Я получил достаточно данных из самой статьи (arXiv:2601.07767v1) для проверки. Теперь разберу черновик по каждому ключевому утверждению.

Результаты верификации черновика

:white_check_mark: Что подтверждается статьёй

Авторы, дата, идентификатор. Статья arXiv:2601.07767v1 [cs.LG] датирована 12 января 2026 года. Авторы — Jiawei Wang и соавторы — подтверждаются.

Фреймворк RiskEval. В статье представлен фреймворк RiskEval, предназначенный для оценки того, адаптируют ли модели свою политику воздержания в ответ на изменяющиеся штрафы за ошибку.

Три официальных вывода. В секции «Our Contributions» перечислены три основных находки: первая — Invariance to Risk. Остальные два также присутствуют в тексте статьи (см. ниже анализ их точных названий).

Бенчмарки: HLE, GPQA Diamond, GSM8K — упоминаются в статье, в черновике указаны верно.

Общий вывод о поведении моделей. Во всех бенчмарках LLM не адаптируют свою политику принятия решений в ответ на изменение риска, даже когда воздержание явно стимулируется.

:warning: Найденные ошибки и неточности

Ошибка №5 (таблица расхождений, строка 5): диапазон λ

Это наиболее значимая ошибка черновика, и она содержится не только в строке с «исправлением» (λ ∈ [0.1, 100]), но и в тексте Блока 4, где «исправленный» диапазон уже фигурирует как верный.

Что в статье: В подписи к рисунку 1 прямо указано: «varying error penalties (λ) ranging from 0 to 100». То же самое повторяется в тексте PDF: «varying error penalties (λ) ranging from 0 to 100».

Вывод: Черновик в таблице ошибок утверждает, что «реальный диапазон оценки [0.1, 100]», а «диапазон от 0 до 100» — это ошибка рерайтера. Это неверно: по тексту статьи диапазон указан именно как от 0 до 100. Таким образом, «исправление» ошибки №5 само является ошибкой — верная нижняя граница 0, а не 0.1.

Предлагаемое исправление для черновика:

Строку №5 таблицы (Блок 3) следует либо удалить, либо переформулировать:

| 5 | Диапазон λ: «от 0 до 100» | Это корректное значение по тексту статьи (рисунок 1 и подпись). Утверждение о том, что реальный диапазон [0.1, 100] — ошибочно. |

В Блоке 4 формулировку «λ ∈ [0.1, 100]» необходимо исправить на λ ∈ [0, 100].

Ошибки №1 и №2 (таблица расхождений): названия находок #2 и #3

Черновик утверждает, что «Utility Collapse» (находка #2) и «Разрыв уверенность↔политика» (находка #3) — неверные названия, и предлагает «Utility Degradation» и «Decoupling of Confidence and Policy» как исправления. Проверим по тексту статьи.

В аннотации статьи упоминается как «utility collapse», так и «critical dissociation» (расщепление), что соответствует духу обоих терминов. Однако точные официальные названия находок в секции «Our Contributions» по имеющимся данным из HTML-версии статьи совпадают с тем, что указано в черновике как «исправление» — то есть Utility Degradation и Decoupling of Confidence and Policy. Эти исправления выглядят обоснованными с точки зрения терминологии статьи.

Вывод: Ошибки №1 и №2 в таблице черновика — подтверждаются как реальные расхождения.

Ошибки №3 и №4 (таблица расхождений): названия моделей

Черновик утверждает, что в статье фигурируют модели DeepSeek-V3.2-Thinking и Qwen-3-Next-Thinking (а в рерайте были усечённые варианты). Однако из доступных результатов поиска не удаётся подтвердить существование моделей с именно такими названиями — «DeepSeek-V3.2» и «Qwen-3-Next» — в публичном пространстве на дату выхода статьи (январь 2026). Это порождает следующее наблюдение:

:warning: Важная оговорка для автора черновика: список из 10 моделей в Блоке 4 («GPT-5-mini, GPT-5-nano, GPT-4.1-mini, Gemini-3-Flash, Gemini-2.5-Flash, Llama-4-Maverick, DeepSeek-V3.2, Gemma-3n-E4B, DeepSeek-V3.2-Thinking, Qwen-3-Next-Thinking») не удаётся верифицировать по публично доступному тексту самой статьи через поисковую выборку. Этот список нуждается в прямой сверке с Appendix B.1 оригинала.

Итоговая сводка проверки

№ Элемент черновика Статус Рекомендация
1 Название находки #2: «Utility Collapse» → «Utility Degradation» :white_check_mark: Ошибка подтверждена Исправление верно
2 Название находки #3: «Разрыв уверенность↔политика» → «Decoupling of Confidence and Policy» :white_check_mark: Ошибка подтверждена Исправление верно
3–4 Названия моделей DeepSeek / Qwen :warning: Не верифицировано Требуется прямая проверка по Appendix B.1
5 Диапазон λ: «от 0 до 100» якобы ошибка → «исправление» [0.1, 100] :cross_mark: Само «исправление» ошибочно Диапазон [0, 100] корректен по тексту статьи; строку №5 из таблицы ошибок удалить или переформулировать; в Блоке 4 исправить [0.1, 100] → [0, 100]
6 Три официальных вывода, бенчмарки, общая концепция RiskEval :white_check_mark: Верно —

Главный итог: Черновик содержит одну собственную фактологическую ошибку, которую он сам не обнаружил и, более того, внёс в «исправленный» вариант: нижняя граница диапазона λ. По тексту статьи она равна 0, а не 0.1. Ирония методологически показательна: верификатор (Comet) поймал рерайтера на ошибках — но сам допустил ошибку в одном из «исправлений».

Всё? — Нет, не всё.

Метод “исправлений” не представлен в явном виде. И это уже следующий шаг на Арене…