Опубликовал две трети десятого раздела – одна из учебных групп уже получила по нему задание. Это тот самый раздел про описание системы, где говорится про изобретения (модульный синтез) и вводится понятие альфы. Про новый кернел (система, описание системы, метод работы системы и работы системы, я вывел альфу метод в отдельную – выдрав из описания системы, уж если есть альфа работы, ибо там ведь явно предметы метода надо будет назвать и их состояния, и концепция использования получит особую поддержку) в опубликованом куске уже есть, в оставшейся части раздела будет диаграммка, где вместо kernel на три альфы будет задействован kernel на четыре альфы, придётся опять порисовать в yEd. Даю себе ещё пару дней на переписку пары десятков оставшихся страниц – и к выходным опубликую остаток раздела.
На следующей неделе у нас конференция, к которой по традиции ждём докладов об успехах и проблемах – Конференция 2024. Если у вас есть что сказать, дайте знать, мы как раз активно занимаемся программой. Зачем нужно докладываться? Помочь тем, кто идёт по вашим следам – показать им, какие ждут трудности и какие в результате преодоления трудностей будут плюшки. А ещё мы даём квалификации ШСМ по результатам докладов. Если вы разворачиваете на основе материалов наших курсов какую-то движуху больше размеров вашего предприятия – будет “реформатор”, если реформируете предприятие (десятки человек пошли работать по-новому после ваших инициатив), то будет “мастер”, если справились с проектом, то “практик”, если показали знание материалов курсов (выступили как аналитик), то “специалист”.
Больше всего меня на неделе впечатлила вот эта статья про то, как надо бы учить нейросети: [2404.05405] Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws. Там нет никаких особых откровений (всё это было известно и раньше, но зато даны количественные оценки). Я её читал глазами человека, которому надо учить людей, и который понимает, что там внутри человека нейросетка, и “лучшей моделью кошки является другая кошка, желательно та же самая”, и вот текущие нейросети в этом плане похожи на мозг. Разбор текста на русском в Сиолошной Telegram: Contact @seeallochnaya, мои выводы такие:
– чем больше информации показываешь, тем лучше она сжимается (и поэтому с ней всё будет быстрее и проще). Если показать 1000 раз и 100 раз, то просадка будет вдвое. Так что синтетические данные и количество повторений имеет значение, “повторение – мать учения”.
– если учишь на мусоре, то это существенно портит модель, в двадцать раз. При этом количество повторений таки улучшает результаты и тут, разы превращаются в “на треть”. Но если повторений мало, то с мусорными данными всё более чем печально – те самые “в двадцать раз хуже”.
– если учить определять мусор, то результаты сразу лучше, в разы. То есть учить надо сначала “критическому мышлению” (трансдисциплинам на базе локальных представлений – критика наводится логикой, в наших курсах это расписано в цикле познания), а потом уже всему остальному. Ну, мы так и делаем: “Моделирование и собранность” в том числе учит тому, как определять ахинею в чужих словах, но и в собственных тоже.
– делаем вывод: учим на больших объёмах собственных синтетических данных (чтобы не заучивать собственные ошибки, если давать полстраницы текста и заставлять их лопатить дальше двое суток для пущего запоминания), то есть пишем объёмные тексты, повторяя разными словами для разных ситуаций одно и то же. Ну типа как из 100 страниц делаем 1000 страниц с тем же примерно содержанием. Это конкурентное преимущество, иметь большие объёмы по узкой теме. По четыре дня будем лопатить не 1 страницу, а 10 страниц, но результаты будут лучше, ибо лопатить будем меньше мусора (в том числе своего). А ещё учим критиковать, и критиковать сильно – чтобы видеть этот самый мусор и у себя (галлюцинации своей нейросетки) и у других (в проектных ситуациях не вестись на фейки чужих галлюцинаций). Это второе конкурентное преимущество. Вроде как у нас сейчас в ШСМ реализуются оба преимущества.
Восхитительный момент в истории человечества: в высшей лиге вышла GPT-4 Turbo (которая уже не preview, а релиз, и она очень хороша в математике, да и по бизнес-задачам показывает себя ну очень хорошо), очередная поделка Mistral и новинка Command R+ в open source. Дальше все взоры человечества прикованы к соревнованию этих LLM, оно идёт вот тут: https://chat.lmsys.org/?leaderboard. А вот тут второе интересное событие: теорию категорий применили к LLM ([2402.15332] Categorical Deep Learning: An Algebraic Theory of Architectures) в Symbolica (ага, символический подход к нейросетям) и взяли на это инвестиции на $33 млн. – https://venturebeat.com/ai/move-over-deep-learning-symbolicas-structured-approach-could-transform-ai/. Всё происходит очень, очень бодренько.
Что я делаю в текущей ситуации с AI, как готовлюсь к уже состоявшемуся пришествию? Никак, и даже особо не использую в работе (я пложу ровно вот те данные, по которым сетки будут учиться, разводнять их данными, которые уже есть в сетках, мне не хочется). И у меня абсолютно голословное утверждение, что если вокруг меня будут суперкрутые нейросети, то никуда моё дело не исчезнет, просто разнообразие происходящего на свете сильно увеличится – если появились крысы, то тараканы никуда не исчезнут, а если появился homo sapience, то и крысы вполне себе будут на месте. Никто никого не “заменяет”, просто все пристраиваются друг ко другу, и непрерывно появляется что-то новое. Конечно, вода под лежачий камень не потечёт, ну так скорость изменений и скорость принятия решений надо тренировать. Представьте, что вы живёте во время революции: с какой скоростью надо быть готовым радикально менять свою жизнь? Вот с этой скоростью и нужно жить каждый день. Быть подвижным во всём, не застревать ни в делах, ни в образе жизни, ни в окружении. И всё наладится.
Я всю жизнь был консультантом по стратегии. Стратегия – это метод работы в ситуации, когда перед появлением стратегии никто не знал, что делать: какие объекты брать и какими операциями в какие состояния их приводить. Стратегирование – это как раз выработка стратегии. Если вы дальше знаете метод вашей работы, то вы под этот метод подгоните и работников с нужным мастерством, и запланируете какой-то график, ибо будет известно, какие нужны ресурсы (например, материалы и инструменты), а ещё сможете эти ресурсы подтянуть, ибо будет известно, что же именно на выходе должен сделать ваш метод как стратегия, и это будет неплохим основанием для разговоров по выделению ресурсов. А дальше нужно всё время эту стратегию подхакивать, ибо жизнь-то меняется. И подхаканную стратегию принимать всерьёз, быстро разворачиваться на работы по этому новому методу. А завтра подхакивать метод и вновь быстро разворачиваться. И так каждый день. Собственно, это ничем не отличается от обычной жизни. Просто её так никто не описывает, поэтому живут неосознанно, как во сне. А можно понимать, что делаешь – когда стратегируешь, когда выполняешь стратегию. И тогда это становится не очень большим, но всё-таки конкурентным преимуществом.
Сегодня вечером будет от восемнадцати до пятнадцати градусов в Москве. И я попробую сходить поплясать на первый опенэйр в этом году, в парк Горького, под Андреевский мост – Сегодня в среду, 10/04 состоится второй Большой.. | Хастл : Зук : WCS Опенэйр Зарядье и ПГ самоорг | VK.