Да, мир медленно, но уверенно дрейфует в сторону локальных LLM:
Google выпустили (On-device small language models with multimodality, RAG, and Function Calling - Google Developers Blog) приложение для запуска локальных ИИ-моделей прямо на смартфоне.
Работает бесплатно и доступно всегда, даже когда нет подключения к сети. Можно общаться с чат-ботами в самолёте или поездках.
Забираем здесь. (GitHub - google-ai-edge/gallery: A gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.) Пока есть только Android-версия, скоро выйдет на iOS.
Источник (ссылку прислал @r-yudichev).
Поэтому, пока коллеги разрабатывают и тестируют ботов на онлайн-платформах, я по-тихонечку продолжу свои исследования в области “возможности локалок”. — Вангую: уже через год только “нуоооооооооочень” неграмотный спец будет обращаться за помощью к “внешнему/стороннему” AI-сервису. Но, скорее всего, свои экзокортексы будет иметь у себя в кармане (уже!), а управлять ими с помощью локальных AI-агентов (через год?)… [ … ]
Таким образом, чтобы успевать за будущим, необходимо уже сейчас разрабатывать компактные решения по переводу курсов, гайдов, нотаций, … и т.д. руководств с “человечьего” на “AI-шный” без привлечения авторов руководств, без привлечения “человеческих экспертов”… [ … ]
И промежуточные результаты моих поисков, пусть неидеальные, уже “чуть больше, чем ноль”…