Может кому-то тоже станет интересно.
Общение с llm под fpf привело к возникновению догадки про то как работает внутри llm с fpf. такой инсайт случился в момент когда смотрел как устроен концепт “контракт”.
читая объяснение llm понял, что по своей сути llm это набор больших разреженных матриц весов на (уже) миллиарды параметров. и все слова (на самом деле токены и их последовательности) представлены в llm векторами, что дает возможность применять к этим векторам математические операции из линейной алгебры.
какое-то время назад в интернетах попадалась статья про то что внутри llm создается свой внутренний язык смыслов (внутреннее представление слов и понятий которые эти слова обозначают). этот механизм позволил улучшить автоматические переводчики между языками. но заметка не об этом.
значит, слова обозначают/указывают на какие-то объекты, которые в свою очередь воплощают какие-то идеи. но в рациональной работе была глава про плотность концептуального пространства. оно обозначало то, сколько объектов/понятий может обозначать одно слово.
соответственно Анатолий говорил (не знаю как часто) про “распаковку смыслов” - когда в одном слове/символе может быть заложено множество вариантов того что оно обозначает.
таким образом llm-ка за счет того что оно в первую очередь языковая модель может произвести вычисления всех возможных смыслов отдельного слова, далее она вычисляет то же самое для других слов с тексте. после этого принимая во внимание контекст всего текста как целого, она синхронизирует смыслы слов, сопоставляет эти смыслы с типами из фреймворка и после этого контролирует эти связки.
просто она умеет это делать сильно быстрее на больших объемах текстов (тут большой объем - это понятие относительное, но в любом случае это быстрее и больше чем возможность человека).
тут еще слово “различение” замешано. только llm-ка может очень тонко различать понятия лежащие за отдельными словами за счет просто большого массива данных, заложенных в нее при обучении.
Но это просто мысли по итогам работы с llm.
тут нет выводов.
спасибо, что дочитали до этого места.
они не разобравшись в своем процессе до конца, приходят с запросом на автоматизацию, а когда весь процесс все равно начинает ломаться в тех местах, где они додумали или даже не знали что такое может происходить, то возвращаются с обвинениями в сторону системы на которой этот процесс был автоматизирован. такие дела.