Продолжаю переписывать “Методологию”, готово 28%. Конечно, надо будет вносить изменения в инженерные курсы. Перерисовал вчера пару диаграмм из других курсов, чтобы лишний раз продумать намётки для роли прикладного методолога в инженерной разработке, вот одна из них:
В двух или трёх каналах по AI встретил замечание, что “что-то ничего не происходит”. Ага, просто наелись темой alignment (все, кому очень неймётся, уволились оттуда, где хотели порулить и пошли туда, куда их пустили – я всё время вспоминал анекдот “партия – наш рулевой! Партия, дай порулить!”), темой выпуска больших опенсорсных моделей, темой “потенциальных конкурентов transformers”, темой программирования-над-LLM, а все остальные темы сводятся к огромному компьюту (все эти architecture search) и поэтому временно недоступны широким массам. Остаётся обсуждать выкатывание новых сервисов по генерации видео, Gen-3 от Runway стало доступно всем сегодня. Мне не кажется, что “ничего не происходит”, полно интересного. Тут мои соображения:
– война цен пока важнее войны фич, ибо низкие цены означают и широкое распространение технологии, и повышение умности за счёт генерирования-критики множества гипотез. Поэтому обсуждения цен не менее важны, чем обсуждения “умности одного ответа”. То есть методы мета-генерации при рассуждении/inference (а не познании/learning) надо оценивать по их ресурсоёмкости и уже дальше смотреть на результаты. Вот, например, обзор методов мета-генерации с попытками обобщения разных подходов [2406.16838] From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models. Это чисто методологическая работа, да ещё и с попытками математического выражения — у меня в курсе методологии прямо говорится о том, что после диаграмм dataflow методы представляются/описываются дальше алгоритмическими языками, а по Curry-Howard это ещё и доказательства, так что математикой тоже можно описывать. Вот там и описывают. Ну, и “алгоритмика – это про эффективность алгоритмов”, так что тут прямо выходим и на цены. Тони Себа чётко указывает: распространение определяется экспонентами в ценах.
– за ценами надо смотреть отнюдь не только в сегменте LLM, тут ведь та самая “конвергенция” в терминах того же Тони Себа. AI тут только одна линия. В роботах это очень хорошо видно, парадокс Моравека быстро-быстро преодолевается, хотя не так быстро, как хотелось бы. Всё-таки в собачку или даже лошадь можно вложить не слишком много компьюта по сегодняшним нормам энергопотребления. Кто-то смотрит за роботами? Вот unitree, вроде все это видели, но поглядите ещё раз: https://www.youtube.com/watch?v=8ClYBtfhkaw.
– AGI как его понимают сейчас “полимат” (умный во всём на свете) – тупик. Будущее всё-таки за разделением труда, общением более специализированных агентов. Даже MoE тут шаг в этом направлении. И все эти ходы на специальные сетки, которые хорошо умеют что-то одно, а не jack of all trades master of none, продолжаются, но мы о них не слышим. Впрочем, все эти музыкальные, видео и картиночные сервисы – как раз про это. От этих сеток требуется разве что видео или картинку описать, но никто не ждёт, что сетка что-то откроет на нобелевку, очевидную прямо вот сразу (нобелевку не зря дают через много-много лет, эволюционный успех ведь подтверждается выживаемостью, так что обычно нельзя сходу понять, насколько крута новая идея – а идей новых публикуется миллион в сутки, с разной степенью детальности и проработки). Более того, “мы хотели космических кораблей, а получили 140 символов в твите” (в принципе, Маск этот анекдот как-то овеществляет, ну да ладно). Вот “мы хотели нобелевку, но после ChatGPT по популярности лидером стал Character.ai (трафик запросов там 20% от трафика запросов к Гуглю), где вы можете завести виртуального друга или даже любовника”. Правда, там секс уже запретили, но это мало кого остановило, и это новый единорог на этой полянке – Telegram: Contact @ai_newz.
– сообщества узких AI-агентов и таких AI-агентов и (не менее узких, замечу) людей – вот фронтир. Я сам собираюсь идеи про инженерию сообществ брать из вот этой сферы, ибо все текущие социальные, политические, культурные и прочие подобные теории что-то никакие.
Обнаружил английские субтитры к моему зимнему вебинару “Реальный сектор: всё новое придёт сбоку”, https://www.youtube.com/watch?v=ilcpsnL1esw. Подумал, что надо начать хотя бы машинную трансляцию своих постов на английском в X и LinkedIn. Вот прямо с текущего поста. И тут же понял:
– надо опять вышивать крестиком картинку в этом посте, на английском. Иначе никакого ведь толку. Но это долго, ну его.
– и все ссылки из моих постов на старые посты, а из этого поста на ai_newz – они ж ведут на русские тексты, и все не переведёшь.
– так что пока всё плохо, затею с трансляцией оставил до лучших времён.