Человек и LLM: сравнение по энтропии

В своем недавнем интервью Андрей Карпаты говорит, что LLM работают, опираясь на алгоритмы, паттерны и тренировки, стремясь к некоторой усреднённой оптимальности и предсказуемости.

В отличие от них, люди склонны к большому количеству флуктуаций, сомнений, локальных ошибок, субъективных решений и вариативности в поведении. Это и есть проявление высокой энтропии — множество потенциальных состояний, вариантов реакции и интерпретаций. В LLM энтропия снижена за счёт сжатия информации, привычки к статистически оптимальным решениям и тенденции к упрощению сложных паттернов перцепции.​

Карпаты подчёркивает, что шумность и разнообразие людей дают ряд преимуществ по сравнению с нейросетями:​

  • Люди способны учитывать огромное количество параметров в принятии решений, включая неформальные, моральные, контекстные или неизвестные заранее факторы.​
  • Человеческая вариативность приводит к появлению новых идей, неожиданных решений, инноваций и адаптации к нестандартным ситуациям.​
  • Благодаря высокой энтропии происходит поддержание разнообразия, которое является ключевым для развития общества и для устойчивости систем в сложном, постоянно меняющемся мире.​

Однако та же шумность ведёт к рискам: рост переизбытка альтернативных мнений и низкой согласованности может привести к хаосу, потере эффективности и сложности в организации совместной работы. Если не уметь работать с таким уровнем энтропии, легко столкнуться с фрагментацией, непониманием и затруднениями в коммуникации, хаосом.​

Как работать с высокой энтропией?

Карпаты делает вывод, что для управления высокой человеческой энтропией необходимы специальные методы — способы структурирования информации, организации процессов, алгоритмы выбора и принятия решений:​

  • Важно уметь структурировать поступающие идеи, выстраивать логические модели и системные подходы для навигации в сложном мире.​
  • Необходимо внедрять фильтры, метрики ценности и алгоритмы отбора, чтобы свести хаос к управляемому разнообразию, сохраняя плюсы энтропии и минимизируя риски хаоса.​
  • Эффективно трансформировать шум в ресурсы — использовать разнообразие как источник идей, осторожно интегрируя их в собственную структуру принятия решений.​

Таким образом, мысль Карпаты сводится к следующему: люди — более шумные и разнообразные, чем LLM, и именно это обеспечивает плюсы — гибкость, инновационность и многофакторность. Но далее необходимо добавить: для того, чтобы эффективно пользоваться этими плюсами, нужна системная грамотность и свой сильный биологический интеллект.​