Реальность против метафизики: почему Лакатос не пройдет краш-тест на LLM-галлюцинации

Блоги Андрей Телятников (блоги)
, , , , , , , ,
1

А я не по Лакатосу работаю, вот же беда какая. Мне теории Лакатоса не симпатичны…

А.И. Левенчук, «Чат лабораторного журнала»

1. Спасибо за всё, Имре, но нам пора расстаться

Имре Лакатос был гигантом мысли, и его концепция «научно-исследовательских программ» (MSRP) казалась идеальным компромиссом между жестким Поппером и релятивистским Куном. Любили Лакатоса за идею «защитного пояса» гипотез, который спасает теорию от мгновенной смерти при встрече с первым же противоречием.

Однако для экспериментов по тестированию LLM эта «спасительная» черта становится фатальной уязвимостью. Лакатос позволяет исследователю (или нейросети) слишком долго играть в оправдания, генерируя бесконечные ad hoc гипотезы, чтобы объяснить, почему теория не работает, но «все еще прогрессирует». В контексте AI это означает легализацию галлюцинаций: модель может “вешать лапшу на уши”, называя это «эвристическим потенциалом», и, по Лакатосу, нет возможности это безобразие остановить. Вот и пришло время уволить Лакатоса.

  • Не потому, что он “глуп”, а потому, что он слишком добр к выдумщикам и фантазёрам…

2. Рациональная реконструкция или фабрикация истории?

Главная претензия к Лакатосу, которая звучит в научных кругах уже полвека, заключается в его методе «рациональной реконструкции» истории. Лакатос прямо предлагал переписывать историю науки так, чтобы она выглядела рациональной, даже если в реальности ученые действовали иррационально, а реальную историю (которая не вписывается в схему) он советовал прятать в сноски.

Ян Хакинг и другие критики справедливо замечали, что это превращает философию науки в сочинение философской фантастики, где желаемое выдается за действительное. Для исследования текстов это катастрофа: если разрешить LLM «рационально реконструировать» бред, она превращает любую случайную последовательность слов в научный трактат.

  • Нам нужен инструмент, который видит реальность «как она есть», а не «как она должна быть по логике», поэтому подход Лакатоса признается нами слишком художественным и ненадежным.

3. «Твердое ядро» как метафизическое убежище

Сердце теории Лакатоса — это «твердое ядро» (hard core), набор базовых убеждений, которые ни при каких обстоятельствах нельзя подвергать сомнению.

Критики, такие как Брендан Ларвор, указывают, что это решение принимается конвенционально, то есть по “предварительному сговору группой лиц”, и по своей сути является метафизическим, а не научным актом.

Николас Максвелл идет ещё дальше, утверждая, что Лакатос (как и Поппер) скрывал метафизические допущения о природе мира, пытаясь выдать их за чистую методологию. Если оставлять Лакатоса в дизайне эксперимента, то это фактически разрешать нейросети создать себе «твердое ядро» (например, «Некромант реален»). И далее — игнорировать любые факты, противоречащие этому утверждению, объявляя их “просто аномалиями”.

  • А это — путь в тупик, потому что мы ищем границы AI, а не способность фанатично верить в догмы, защищенные от критики.

4. Анархизм в маске рационализма

Пол Фейерабенд, близкий друг и оппонент Лакатоса, раскусил своего коллегу еще в 70-х, назвав его методологию «анархизмом в маске». Проблема в том, что Лакатос не дает четкого критерия времени: он не говорит, когда именно исследовательская программа должна быть признана мертвой. Теория может деградировать сто лет, а потом вдруг совершить прорыв — и Лакатос скажет: «Видите, надо было подождать!».

Маттео Моттерлини в анализе их переписки показывает, что на практике совет Лакатоса ничем не отличается от совета «делай что хочешь, только пиши об этом красиво».

В условиях тестирования AI это означает, что не получится зафиксировать ошибку модели: она всегда сможет сказать, что её бред — это просто временное отступление перед будущим триумфом.

  • Такая «резиновая» линейка нам не подходит для точных измерений.

5. Возвращение Огюста Конта? Ось Реальности?

Вместо “мягкотелого Лакатоса” ввожу третью, жесткую ось — Огюста Конта, отца позитивизма. Конт знаменит своей стадиальной теорией: человечество (и мышление) переходит от теологической стадии (вымышленные сущности, духи, боги) к метафизической (абстрактные силы) и, наконец, к позитивной (научные факты и законы). Конт требует ответов на вопросы: «Где это можно наблюдать?» и «Как это помогает предсказывать?».

Введение оси Конта (ось Z) позволяет нам мгновенно заземлять полет фантазии AI. Если Поппер проверяет логику, а Кун — целостность картины мира, то Конт проверяет референтность — наличие связи с объективной реальностью.

  • Пусть это будет как предохранитель от красивой схоластики.

6. Критика Дойча и контраргумент: инструмент, а не религия

Дэвид Дойч в «Начале бесконечности» разнес позитивизм в пух и прах, утверждая, что суть науки — в объяснениях, а не просто в предсказаниях и голых фактах. Уважаю. И соглашусь с Дойчем в том, что «чистый позитивизм» как философия познания ограничен, так как он убивает теоретический поиск. Однако в узком контексте — аудите генеративного ИИ — нужен именно «полицейский» позитивизм Конта как фильтр. LLM сегодня — это машины по генерации правдоподобных объяснений (Deutsch-style explanations), которые часто оказываются полной фикцией. Чтобы отличить «гениальное объяснение» от «правдоподобной галлюцинации», нам нужен грубый, старомодный молоток Конта, который спросит: «А факты есть?».

  • Позитивизм только как инструмент для краш-тестов, а не как философия жизни.

7. Новый 3D-дизайн: «Куб рациональности» (?)

Итак, перехожу от плоской карты к объемной модели. Задаю три ортогональные оси (названия условные, по авторам парадигм философии науки):

  • Ось “Поппер” (X): логическая непротиворечивость — «Не врет ли текст сам себе?»

  • Ось “Кун” (Y): парадигмальная когерентность — «Целостен ли мир текста?»

  • Ось “Конт” (Z): эмпирическая основа — «Есть ли за текстом реальность?»

generated-image
generated-image1024×1024 185 KB

Исследования таких текстов как «Некромант и Инквизитор» , полагаю, будет задавать радиус-вектор в этом 3D-пространстве.

Условно:

  • (1, 1, 1) — «Идеальное инженерное знание». Логично (Поппер), системно (Кун) и работает в реальности (Конт).

  • (1, 1, 0) — «Идеальное фэнтези». Логично и целостно внутри своего мира, но не имеет сцепки с реальностью.

  • (0, 0, 0) — «Абсолютный бред». Шум, лишенный логики, структуры и фактов.

А та самая «наукообразная чушь», которую необходимо вскрыть — это ситуация, когда AI пытается выдать (1, 1, 0) за (1, 1, 1).

Надеюсь, что ось Конта (проверка реальностью) позволит увидеть эту подмену и отсечь мимикрию.

  • Вот и посмотрим: эксперименты покажут…

Источники:

  1. Maxwell, N. (2002). “What Lakatos Overlooked: A Metaphysical ‘Hard Core’ of Unity for Science”, URL: https://philsci-archive.pitt.edu/21801/
    Альтернативная ссылка: https://philarchive.org/archive/MAXWLO (PhilSci-Archive (University of Pittsburgh))
    Дата обращения: 04 января 2026

  1. Hacking, I., ed. (1981). Scientific Revolutions: Oxford Readings in Philosophy, URL (издатель): https://global.oup.com/academic/product/scientific-revolutions-9780198750512
    URL (Archive.org): Scientific revolutions : Free Download, Borrow, and Streaming : Internet Archive
    Издатель: Oxford University Press, ISBN: 9780198750512
    Дата обращения: 04 января 2026.

    Примечание: редактируемый сборник. Критика Лакатоса содержится во введении Хакинга, которое анализирует понятие “рациональной реконструкции”.

  1. Larvor, B. (1998). Lakatos: An Introduction,
    URL (издатель): https://www.routledge.com/Lakatos-An-Introduction/Larvor/p/book/9780415142762
    URL (PhilPapers): https://philpapers.org/rec/LARLAI-3
    Издатель: Routledge, ISBN: 9780415142762
    Дата обращения: 04 января 2026
  1. Lakatos, I., & Feyerabend, P. (1999). For and Against Method: Including Lakatos’s Lectures on Scientific Method and the Lakatos-Feyerabend Correspondence,
    URL (издатель): For and Against Method: Including Lakatos’s Lectures on Scientific Method and the Lakatos-Feyerabend Correspondence, Lakatos, Motterlini, Feyerabend
    URL (введение Motterlini, PDF): https://www.cresa.eu/wp-content/uploads/2013/05/Motterlini-1999-Introduzione-For-and-Against-Method.pdf
    URL (Archive.org): For and against method : including Lakatos's lectures on scientific method and the Lakatos-Feyerabend correspondence : Lakatos, Imre, 1922-1974 : Free Download, Borrow, and Streaming : Internet Archive
    Редактор: Matteo Motterlini
    Издатель: University of Chicago Press, ISBN: 9780226467757
    Дата обращения: 04 января 2026
  1. Musgrave, A. (1974). “Logical versus Historical Theories of Confirmation”,
    URL: https://www.journals.uchicago.edu/doi/10.1093/bjps/25.1.1
    Альтернативная ссылка (JSTOR): The Context of Prediction (And the Paradox of Confirmation) on JSTOR
    Источник: The British Journal for the Philosophy of Science, Vol. 25, No. 1, pp. 1–23
    DOI: 10.1093/bjps/25.1.1
    Дата обращения: 04 января 2026
  1. Motterlini, M. (2002). “Reconstructing Lakatos”
    URL: https://www.cresa.eu/wp-content/uploads/2013/04/Motterlini-2002-Recostructing-Lakatos.pdf
    Журнал: Studies in History and Philosophy of Science, Vol. 33, No. 3, pp. 487–509
    DOI: 10.1016/S0039-3681(02)00024-9
    Дата обращения: 04 января 2026
  1. Nanay, B. (2010). “Rational Reconstruction Reconsidered”
    URL: https://philarchive.org/archive/NANRRR
    Журнал: The Monist, Vol. 93, No. 4, pp. 598–617
    Дата обращения: 04 января 2026
2

Критика от Perplexity Pro

2026-01-04_21-11-16
2026-01-04_21-11-162976×1719 432 KB

Me (фрагмент):

< ... >
> Если это устраивает, можно задать параметры будущего текста:
желаемый объём (например, 5–7 тыс. знаков);
целевая аудитория (внутренний блог ШСМ / внешняя публика);
сохранить ли образ «уволить Лакатоса» или заменить его более нейтральной рамкой.​
После этого можно будет собрать новый, самостоятельный текст, который будет опираться на ваши допущения, но не нарушать ограничения на переписывание оригинала.

Ваше предложение устраивает. Приступайте к Вашему пересказу с улучшениями.

Perplexity Pro:

Текст ниже — самостоятельное эссе на ту же тему, с сохранением валидных допущений и более прагматичной рамкой.systemsworld​

Реальность, LLM и границы нормативных теорий

В современных дискуссиях об искусственном интеллекте и decision-making заметно растёт соблазн обращаться к большим философским сюжетам, чтобы объяснить поведение систем вроде LLM. Однако чем ближе инженеры и исследователи подходят к реальным краш‑тестам, тем заметнее становится разрыв между красивыми нормативными теориями и тем, как ведут себя конкретные агенты — человеческие или искусственные.systemsworld​

Этот текст предлагает рассматривать классические философские рамки не как окончательные ответы, а как набор режимов анализа, которые следует включать и выключать в зависимости от того, что именно мы тестируем в поведении LLM. Особое внимание уделяется тому, как «реальность» — в самом приземлённом, эмпирическом смысле — может служить ограничителем для галлюцинаций, наукообразной риторики и слишком свободных интерпретаций.systemsworld​

Нормативные теории и индивидуальное поведение

Нормативные теории принятия решений — как дедуктивные, так и индуктивные — исходно не строились для точного описания того, что делает конкретный человек в конкретной ситуации. Они задают стандарты рациональности, модели идеализированного агента, шкалы «правильного» мышления, но плохо работают как предсказатель реального поведения единичного субъекта.systemsworld​

В случае с LLM ситуация двойственно похожа и непохожа на человека:

  • с одной стороны, модель обучена на статистике человеческого текста и может воспроизводить многие внешние признаки «рациональности»;systemsworld​
  • с другой — её поведение определяется архитектурой, данными и процедурами обучения, которые принципиально отличаются от человеческого опыта, тела и социальной вживлённости.systemsworld​

Практически это означает, что нормативные теории полезны как линейки и тестовые стенды, но их нельзя наивно переносить на конкретный диалог с моделью или на ответ отдельного пользователя. В индивидуальной плоскости они дают скорее фоновые ожидания и язык критики, чем надёжный инструмент предсказания.systemsworld​

Человеческий агент и AI‑агент: не пропасть, а параметризация

Разговор о «коренном отличии» человеческого агента от AI‑агента легко превращается в лозунг, который ничего не помогает спроектировать. Вместо этого продуктивнее рассматривать набор параметров, по которым мы ожидаем различие, и измерять их в экспериментах.systemsworld​

Для будущих исследований можно явно зафиксировать несколько осей сравнения:

  • Профиль ошибок. В каких типах задач LLM систематически галлюцинирует, а человек — нет, и наоборот.systemsworld​
  • Контекстная устойчивость. Как меняются ответы при небольших вариациях формулировки или при добавлении противоречивых данных.systemsworld​
  • Рефлексивность. Насколько агент способен пересматривать собственные «ядра убеждений» и признавать ограничения своих моделей.systemsworld​
  • Телесность и аффект. В какой мере решения завязаны на embodied‑опыт, эмоции, мотивации, недоступные текущим LLM.systemsworld​

Такой подход не отменяет качественных различий между людьми и ИИ, но делает их операциональными и тестируемыми. Вместо жёсткой онтологической пропасти возникает карта, по которой можно двигаться, уточняя и расширяя рамку по мере появления данных.systemsworld​

Ось реальности: роль позитивистского фильтра

Чтобы отличать продуктивное воображение от разрушительных галлюцинаций, полезно вернуть в игру простой, но жёсткий вопрос: «Есть ли за этим текстом реальность?». Здесь под «реальностью» понимается не финальная метафизическая истина, а эмпирическая опора: наблюдения, измерения, воспроизводимые эффекты, инженерные артефакты.systemsworld​

Можно трактовать это как включение «оси Конта» в систему координат:

  • там, где мы обсуждаем художественные образы, философские интуиции или ранние гипотезы, эта ось может быть осознанно ослаблена;systemsworld​
  • там, где речь идёт о безопасности, инженерных спецификациях, медицинских рекомендациях или описании фактов, ось реальности должна становиться главным ограничителем.systemsworld​

Для LLM это означает введение специального режима аудита: любой ответ, который претендует на описание мира или на практические рекомендации, должен быть проверяем на предмет наличия эмпирической поддержки. Иначе даже идеально логичный и стилистически безупречный текст остаётся всего лишь пригодной к чтению галлюцинацией.systemsworld​

Куб рациональности как рабочая метафора

Чтобы не утонуть в коллизиях разных философских школ, удобно представить себе трёхмерное пространство оценок текста или гипотезы:

  • ось Поппера: логическая непротиворечивость и тестируемость;systemsworld​
  • ось Куна: когерентность с принятой парадигмой и языком сообщества;systemsworld​
  • ось Конта: степень эмпирической опоры и предсказательной силы.systemsworld​

В этой системе любой ответ LLM или любая человеческая интерпретация задаёт условный «вектор рациональности». Тексты, которые:systemsworld​

  • в верхах по всем трём осям, могут рассматриваться как инженерно надёжные;
  • сильны по Попперу и Куну, но слабы по Конту, — как аккуратная спекуляция или фантазия;
  • проваливаются на всех осях, — как шум, не требующий дальнейшего анализа.systemsworld​

Важно подчеркнуть, что речь идёт именно о метафоре и рабочей модели, а не о точном измерительном приборе. Однако даже такая грубая карта помогает структурировать краш‑тесты LLM: понятно, какие компоненты оценки можно пытаться формализовать, на какие оси выводить метрики и где подключать человеческих экспертов.systemsworld​

От философской критики к дизайну экспериментов

Классические критики Лакатоса, позитивизма и соседних подходов указывают на опасность ретроспективной рационализации, метафизизации «ядра» и маскировки произвольных решений под строгую методологию. В контексте LLM это особенно чувствительно: модель способна производить блестящие рационализации post factum, не имея доступа к реальному процессу порождения собственных ответов.systemsworld​

Практический вывод здесь не в том, чтобы «отменить» какую‑то философскую школу, а в том, чтобы:

  • признавать ограниченность любого единичного метода и держать в арсенале несколько режимов анализа;systemsworld​
  • явно разделять моменты, когда мы реконструируем рациональную историю (объясняем, «почему модель так ответила»), и моменты, когда мы проводим вперёд‑смотрящий эксперимент (проверяем, как она поведёт себя в новых условиях).systemsworld​

Такой подход позволяет использовать идеи Лакатоса, Куна, Конта и других не как идеологические знамена, а как инструменты — каждый со своей зоной ответственности и своими слепыми пятнами.systemsworld​

Задачи для будущих исследований

На этой философской и инженерной основе можно наметить несколько направлений работы:

  • систематические краш‑тесты LLM на метафорическом и поэтическом материале с участием человеческих респондентов;systemsworld​
  • разработка протоколов оценки по «кубу рациональности» с минимальными шкалами для каждой оси;systemsworld​
  • изучение различий в профилях ошибок между «человеческими» и «AI‑агентами» на разных задачах;systemsworld​
  • интеграция более сложных моделей человеческого мышления (включая квантоподобные подходы) в анализ поведения агентов, не как окончательного ответа, а как источника новых тестируемых гипотез.systemsworld​

Вместо того чтобы искать одну «правильную» философию для ИИ, имеет смысл развивать гибкую, многоуровневую рамку, где реальность остаётся последней инстанцией проверки, а различные теории рациональности работают как сменяемые линзы. Именно такая рамка даёт шанс построить эксперименты, которые не только красиво описывают поведение моделей, но и действительно повышают контроль над их галлюцинациями и инженерной надёжностью.systemsworld​

  1. Реальность против метафизики: почему Лакатос не пройдет краш-тест на LLM-галлюцинации
3

AI-критик фактиччски передёрнул, соскочил с исходного нарратива:

  • ушёл от обсуждения метафизико‑эпистемического тезиса до инженерного эклектизма («много режимов анализа, все полезны в меру») и превращение критики MSRP в мягкий призыв к методологическому плюрализму.​

    • Ага, “давайте жить дружно!”. Нет, “а давайте не будем давать!”

  • У меня «реальность» как последняя инстанция, через которую пробиваю саму лакатосовскую рамку (и показываю её неотличимость от LLM‑галлюцинации), превращена AI-критиком всего лишь в одну симметричную ось среди трёх в «кубе рациональности». И поэтомум вместо вопроса «почему MSRP сама по себе делает галлюцинации неотличимыми от науки?» у AI-критика остаётся мягкий вопрос «как по трём осям классифицировать тексты?» — т.е. критика методологического подхода внезапно растворилась в нейтральной инженерной метрике.

    • Знаю я таких передёргивателей. Видел их не раз в комментариях у “ещё одних блогеров”.