В курсе “Интеллект-стек” опубликован раздел “17. Методология”. Там я провожу идею, что методология – это обобщение алгоритмики, занимающейся ограниченным формальным набором паттернов изменений, в которых работает вычислитель/компьютер. Методология изучает паттерны действий создателей по изменению мира (методы), как алгоритмика – паттерны вычислений (алгоритмы). Поминаю там заодно и “описателей процессов” (незабвенной памяти IDEF0 и IDEF3 с BPMN2), цитирую as is фрагмент “Системной инженерии” про роли и предметы интереса, а ещё чуть подробней прописываю линию праксиологии как “общей теории деятельности” с выходом на социологию и экономику. Остался последний раздел, “Системная инженерия”. На этой неделе курс должен быть готов (с точностью до принятия решений о заданиях к этому курсу). Вроде как в целом на выходе будет огонь огненный, с учётом того, что читателям “с улицы” этот текст будет одолеть совсем не просто, это всё-таки курс пятого семестра, “выход на фронтир”.
Как получить в домашних условиях черешню со сливками: просто есть черешню со сметаной. Такое проходило с клубникой, с черешней сегодня оказалось на вкус так же интересно. Как получить в домашних условиях гаспачо? Берём какую-нибудь кашу (под рукой оказалась гречневая, думаю, подойдёт любая – нужен просто какой-то “наполнитель”) и заливаем томатным соком. На вкус лично для меня слабо отличимо от гаспаччо, тоже сегодняшний эксперимент. Главное – это не делать из еды культа, предмета высокой моды, высокой культуры быта, произведения искусства и охраняемого государством памятника (как в Италии, например, сделали пиццу Маргариту – там закон запрещает так называть всё что угодно, если оно не соответствует утверждённой законом спецификации). Это я таким образом продолжаю дискуссию об эволюции языка и граммар-наци: она развернулась у меня в блоге, начиная с замечания, что надо писать “в Кемерове”, а не “в Кемерово” (Telegram: Contact @ailev_blog_discussion). Я написал по новой практике говорения, я ведь не один так говорящий/пишущий, В КемеровЕ или в КемеровО? | Вопрос-ответ | АиФ Кузбасс. Я когда-то всем объяснял, что норма по кофе мужского рода тоже быстро изменится: словари должны отражать “как говорят”, а не “как говорят” должно отражать словари. Так и произошло. Сейчас споры по поводу “Кемерово” идут, мой текст войдёт в обоснование выбора новой нормы, если кто-то замеряет статистику вариантов. Я считаю, что как люди хотят, так пусть и говорят (включая меня), если сохраняется понимание. Если понимание не сохраняется, можно уточнить статистику (она и отражается в словарях) — как поменять, чтобы понимание сохранилось. Время от времени статистика (словари) обновляется, отражает новую статистику говорения. Язык (паттерны говорения) эволюционирует, это исходная точка всех рассуждений. Примерно такие же споры про стили и стилистику. И это мы ещё не поднимаем дискуссию о диалектах, говорах, акцентах и их нормативности. А дальше анекдоты типа “Ах, ушёл. Электричка ушёл!” — “электричка же она, так что ушла электричка!” — “дорогой, я ему под колёса не заглядывал! Ушёл мой электричка, вот в чём проблема!”. Поэтому можем заглянуть под Кемерово, какого оно рода — уточним, как говорить. Я когда-то знатным в этом отношении был защитником нормы (у меня ж ещё и “врождённая грамотность” была!). Потом познакомился с тем, как это всё устроено — и сильно поменял своё мнение, но в очень, очень зрелом возрасте, очень поздно. И это везде, где коннекционистское паттернирование: стили в искусстве, стили в танцах (чем “нафталинные” танцы отличаются от их же, но современных! дикие холивары!), ритуалы всех сортов (привет, “Методология”), рецепты еды, и так далее. Это можно понять, ибо эволюция по идее требует цифрового носителя, мемома. И вот его пытаются делать — но потом эволюцию пытаются остановить, вместо того, чтобы инженерно его как-то менять (реформа языка) и далее предлагать всем переходить на более современные нормы. И, конечно, это должны быть smart mutations. Но пока с языком — дарвиновская эволюция, LLM в каждом мозгу говорящих людей и выучивается из общения, а не в словарях и выучивается из словарей. В “Интеллект-стеке” этого вроде как нет, поэтому исходя из того, что его содержание будет опущено когда-нибудь и кем-нибудь в школу — это “учить сразу нормально” (предложение Танюшки в чате) может не получиться. Хотя там много всего про языки. У меня как-то всё это про стилистику в коннективистском процессинге (нет чётких логических правил!) и неявное эволюционное паттернирование почему-то в эстетику легло. Отношение к языку — это как-то тоже в эстетику почему-то укладывается больше, чем во что другое. Ибо никакой содержательной разницы нет, чисто “любовь к искусству”. У меня есть две партнёрши сейчас, они одновременно — одна ушла из конкретной школы сальсы, ибо там учат “нафталинную сальсу, а надо танцевать современно”, другая пошла ровно в эту школу, ибо “современную сальсу нехитро танцевать, но надо разобраться, как там правильно, припасть к корням”. Эстетика, чистая эстетика — все эти скрепы идут по эстетической линии (“у меня с Советской властью чисто эстетические разногласия” — очень верно ведь Синявский как-то сформулировал). При этом содержание текста игнорируется (как всегда, когда в разговор вступают граммар-наци). Вот всё то же самое разворачивается и про курсы ШСМ. Содержание не обсуждается (оно не волнует, оно не понято), но обсуждается форма самих курсов, язык изложения и прочие не столь важные вопросы. Мой аргумент, что “если содержание уникально, то будут грызть и в почти нечитабельном виде” игнорируется.
В чате Julia обсуждается “маркетинг Julia” – как объяснить, чем лучше Julia, чем другие языки, которые пытается для своего проекта взять собеседник? Предлагается пройтись ровно по тем свойствам языка, которые обсуждаются во всех описаниях языка: метапрограммирование, staged-компиляция, статические типы и оптимизации за счет специализации и анбоксинга, мультиметоды, динамический диспатч, кэширование скомпилированных методов и т.д. Это всё звучит заклинаниями для тех людей, которые выбирают язык. Грубо говоря, язык выбирают как прокладку для починки унитазов какие-то сантехники из ПТУ, и тут вам начинают читать лекцию об особенностях прокладки XYZ с приведением данных о химических особенностях применяемой то ли резины, то ли пластика, кривые прочности при разных температурах и т.д. — а вы из ПТУ, вам нужно просто выбрать прокладку подешевле, и чтобы при этом понадёжнее, а вся эта физика и химия в аргументах как-то не очень с унитазами ассоциируется, это для учОных сантехников (которые поэтому сантехниками не работают и не знают, что там в ПТУ и что там в поле у клиентов). Это проблема, да.
Григорий Сапунов пишет про RetNet ([2307.08621] Retentive Network: A Successor to Transformer for Large Language Models) не то чтобы разгромную рецензию (Telegram: Contact @gonzo_ML), но напоминает, что пузомерки SoTA должны всё-таки быть корректными: сравнивать нужно не “мой стиральный порошок против хозяйственного мыла” (много, много лучше мыла!), а “мой стиральный порошок против лучшего из известных на сегодня” (и тут сразу вылезает неустроенность: множество решений примерно с одинаковыми характеристиками, вот RetNet тоже оказывается не “заведомо лучшим”, а “одним из многих хороших” решений). Это у меня пересекается с рассуждениями по поводу недавней нашумевшей статьи с неправильно замеренной деградацией современных версий GPT-4 (не надо тут ссылок): если правильно сделать замеры, то хорошо видно, что качество работы сети со временем выросло. Если неправильно, то качество вроде как упало. Надо быть очень, очень аккуратными при измерениях и очень, очень аккуратным при сравнениях.
Вышла статья GitHub про промпт-инженерию, как это делалось в проекте Copilot – A developer's guide to prompt engineering and LLMs - The GitHub Blog. Там ровно та же самая проблема: понятно, что нужно помянуть роль свою, роль бота, дать контекст – но вот “как это всё выглядит”? Как облечь в какую-то конкретную форму? Вот тут статья очень полезна.