Схлопывание: когда LLM варится в себе, она тупеет. У человека тоже происходит схлопывание

Разработчики больших языковых моделей часто сетуют, что LLM всё ещё работают не так эффективно, как человеческий мозг. Одной из ключевых проблем здесь становится «схлопывание» — постепенная потеря разнообразия и нюансов.

Схлопывание — это состояние, когда любая сложная система перестаёт различать редкие, тонкие варианты и всё чаще выдаёт предсказуемые и усреднённые реакции. В больших языковых моделях это видно буквально: чтобы уместить огромный мир в конечное число параметров, модель вынуждена сжимать распределение языковых паттернов и чаще выбирать «среднее». Когда модель начинает дообучаться на собственных же текстах без притока свежих данных и независимой проверки, сужение ускоряется: исчезают «хвосты» распределения — необычные, редкие, но полезные формы ответа. Получается копия с копии: гладко, знакомо, однообразно; тексты становятся шаблонными, способность обобщать падает, а ошибки маскируются красивыми формулировками.

У людей похожая динамика проявляется в мышлении и восприятии мира. Ребёнок живёт в режиме исследования: он постоянно создаёт новые связи и почти не боится ошибиться. Взрослый, наоборот, оптимизирует под привычную среду: ментальные фильтры усиливаются, редкие и неожиданные факты отбрасываются как «шум», риск заменяется опытом, и вместе с этим уходит новизна. Мышление «схлопывается» до проверенных тропинок — удобно и безопасно, но тесно и предсказуемо. Опыт побеждает регулярную новизну.

Если говорить простыми словами о механике больших языковых моделей, то это вероятностные предсказатели: они не «понимают» так, как понимает человек, а приближают распределение языка. Сжатие знаний в параметры неминуемо бьёт по редким примерам. Дообучение на собственных ответах, без новых источников и без внешней верификации, ускоряет утерю деталей. Противоядие для таких моделей — регулярная подпитка внешними данными с выборочным поиском по источникам, автоматические и ручные тесты, а также участие человека в контуре принятия решений: он задаёт критерии качества и принимает или отклоняет ответы. Иными словами, систему защищают свежие данные, строгая проверка и осознанные ограничения на «поедание» самой себя.

У человека причины и лекарства похожи, но у нас есть преимущество: мы можем осознанно расширять собственное разнообразие. С возрастом действительно растёт сила шаблонов и падает терпимость к неопределённости; мозг экономит энергию и пропускает мимо редкие сигналы. Новое часто кажется шумом, если его не встроить в действующие схемы. Однако у человека есть волевой рычаг — спроектировать среду, практики и ритм работы так, чтобы не сжиматься до вчерашних решений.

Отсюда практический вывод: со схлопыванием борется не героический «рывок вдохновения», а ритм и систематичность. Нужен регулярный приток сложности и бережная переработка этой сложности в собственные модели мира.

Переводя на повседневный язык, имеет смысл завести ежедневный короткий творческий слот (слот саморазвития) длительностью примерно 25-90 по расписанию, а не «когда придёт муза», и добавить к нему систематическое медленное чтение. Медленное чтение — это не проглатывание страниц, а разбор: вы формулируете свои определения, приводите примеры и контрпримеры, проверяете понимание извлечением из памяти, превращаете конспект в заготовку для дела. Такой дуэт — творческий слот и медленное чтение — становится вашим маленьким «двигателем разнообразия».

В наших программах эта логика зашита в норму: ежедневные слоты саморазвития, публичные недельные шаги вперёд и минимальная «рабочая доза» около десяти часов осмысленной практики в неделю. Это не лозунг, а простая физика против схлопывания: ритм делает развитие воспроизводимым и заметным самим делом, а не отчётом о намерениях.

Есть полезный обмен между человеком и искусственным интеллектом. У моделей стоит перенять дисциплину протокола: любой ответ должен оставлять следы — источники, версии, тесты; в человеческой практике это означает внешнюю память (её удобно называть экзокортексом), критерии готовности результатов и взаимную проверку коллег, когда другой человек читает и оценивает вашу работу. А вот моделям по-хорошему не хватает того, что у нас получается лучше всего: смысловой навигации. Человек умеет задавать связку «зачем — чему — как — когда» и привязывать единицу обучения к месту применения в ближайшие семь–четырнадцать дней. Именно эта сцепка с реальностью удерживает разнообразие идей живым, а не музейным.

Если нужно быстро начать, выберите один недельный цикл без списков и сложных ритуалов. Каждый день выделяйте один короткий творческий слот, где знания становятся заметками, а потом черновиком, деле черновик — заготовкой. Добавьте короткий отрезок медленного чтения, где обязательным завершением будет одно мини-применение «сегодня же». Поддерживайте внешний след: по окончании каждого короткого отрезка работы фиксируйте одну атомарную заметку с тегами, ссылками и пометкой, где именно вы примените идею в ближайшие семь–четырнадцать дней. Уберите шум из слота саморазвития: уведомления проверяйте между блоками, ленты — по расписанию. И отслеживайте порог практики: накапливайте примерно десять часов осмысленных слотов за неделю и фиксируйте хотя бы один перенос изученного в реальную задачу.

Схлопывание — не приговор, а свойство систем, оставленных без свежей сложности и проверяемой работы. Ежедневный микродвигатель из творческого слота и медленного чтения — самый доступный и надёжный антидот. Дайте себе одну неделю ритма: двадцать пять–пятьдесят минут в день и один публичный маленький шаг вперёд к концу недели. Через месяц такие недели складываются в траекторию, а не в копию вчерашнего дня.

3 лайка