Сравнение 2х бесплатных LLM c платной LLM на одном и том же запросе и одной версии FPF

продолжение безумных экспериментов по сравнению бесплатных и доступных (пока) LLM.

дизайн эксперимента следующий:
использован fpf редакции 2026-07-18 (скачано с оф репозитория) upd: не совсем так. обнаружил что в opus fpf был не самый свежий. дополнил ответ, пересчитанный на свежем fpf.
использован одинаковый текст запроса: “*отдел ит сопровождает и развивает информационные системы. *
предложи вариант вычисления границ систем. нам надо определить периметр зоны ответственности ит отдела, чтобы понимать где ит отдел отвечает, а где уже не наша зона ответственности. системы сопровождаемые отделом управляют производственными процессами компании, поддерживают сквозные процессы и обмениваются данными с другими информационными системами.
приведи пример для системы ерп которая управляет закупкой, производством, складами, оплатами, расчетом себестоимости, построением отчетности, бух и налоговый учет
ерп как система представлена 1 контекстом. но области бизнеса/деятельности которые она поддерживает представлены собственными контекстами и все эти отдельные контексты отображаются в 1 контекст ерп через мосты.
какие могут быть ходы для решения задачи вычисления границ систем? предложи порядок действий и шаблон описания границы
рассуждай с опорой на fpf.”

Использованные LLM:

  • anthropic/claude-opus-4.8 (платный)
  • GLM-5-Turbo (бесплатная, с регистрацией)
  • Qwen3.7-Max (бесплатная, с регистрацией)

В LLM создан новый чистый чат и загружен fpf

на выходе получены следующие результаты:

anthropic/claude-opus-4.8, fpf не от 2026-07-18
anthropic/claude-opus-4.8, fpf от 2026-07-18, ответ переписан для инженера менеджера не знакомого с fpf
GLM-5-Turbo
Qwen3.7-Max

Цель поста - дать объективную картину работы разных LLM в одинаковых условиях: один и тот же запрос, одна и та же версия fpf (если вообще такие категории тут уместны).

Какой вывод для себя сделали по итогам сравнения?

пока просто наблюдаю. для выводов надо проделать отдельную работу по сопоставлению.
хотя, вывод технический - действительно удобно когда ИИ работает в текстовом редакторе и сразу пишет в файл, но это пока дороговато если покупать доступ через наши прокладки-агрегаторы.