Lytdybr -- от 5 декабря 2023

Переписка первого раздела с обсуждением того, что такое системное мышление и откуда оно взялось, закончена. Таки буду бить этот раздел на части, ибо всего там получилась четверть курса, многовато для одного раздела. Методсовет текст уже получил, а я дальше разработаю вопросы и задания к этому материалу – и опубликую. Думаю, что это будет уже на этой неделе. Шансов закончить до нового года практически нет, ибо четверть курса я переписывал с 17 ноября 2023, и даже ещё не закончил – нет упражнений. Скажем, закончу через шесть дней, это будет 3 недели на четверть курса. При сохранении той же скорости до Нового Года тем самым будет опубликована половина обновлённого курса, а окончания переписки надо ждать к середине февраля – и дальше я буду делать проход по методологии, при такой же скорости это примерно полтора месяца. Так что можно думать об открытом потоке для второго семестра “Организационной инженерии” (может быть, немного перепаковать само содержание семестров) где-то с февраля. Тогда есть шанс, что этот поток пройдёт новые версии “Системного мышления” и “Методологии”. Вот абзац из последнего подраздела, “Применимость системного мышления: везде и всегда”:

Помним, что если даже вы занимаетесь розами, то систему-розу в системе-саду должна вырастить система-садовник, а систему-садовника тоже кто-то должен развить — и систем в рассмотрении у вас сразу стало четыре (если вы их записываете, то удержать во внимании вы легко сможете их все). Прикладные практики/деятельности/культуры тут будут для изменения в физическом мире:
• роз (например, розы надо подвязывать – выполняется садовником),
• садов (например, разбивать на местности, определяя где там розы – выполняется садовником, но сады не получится подвязывать)
• садовников (например, их надо учить садоводству – выполняется тем, кто учит садовников, но садовников не получиться подвязывать или разбивать на местности)
• тех, кто учит садовников (например, их тоже надо учить преподаванию, чтобы они умели учить садовников, но сначала мы даже не упомянули, что кто-то это должен делать – тем самым мы нашли пятую систему, и дальше эту цепочку можно продолжать, «учителей для учителей» тоже ведь кому-то надо готовить, хотя это может быть уже далеко за границами проекта).
1 декабря 2023 вышла статья по Mamba, [2312.00752] Mamba: Linear-Time Sequence Modeling with Selective State Spaces – вроде как там заявка, что это штука будет посильнее “Фауста” Гёте, тьфу, посильнее трансформер-архитектуры 2017 года. 5× higher throughput than Transformers and linear scaling in sequence length, and its performance improves on real data up to million-length sequences при SoTA результатах в языке, аудио и геномике (то есть там, где длина последовательности имеет значение). Потираем ручки, ибо я читаю это как “x5 дешевле, чем сегодняшние архитектуры, причём для более широкого класса задач”. В интернетах, конечно, сильно шумят на эту тему. Подробности разработки в коротком треде от одного из соавторов: https://twitter.com/tri_dao/status/1731728602230890895. В картинках там везде змея mamba, крайне ядовитая (Mamba - Wikipedia). Ключ там – Hardware-aware thinking can unlock new architecture designs. Аппаратура для алгоритмики имеет значение! В наших курсах это постоянно подчёркивается. Поглядел в зеркало на свою мокрую аппаратуру, потом обратил внимание на то, что в её состав входит не только голова сложновоспроизводимой формы как корпус для нейроморфного процессора, но и 43" дисплей, механическая клавиатура, ноутбук, а дальше долго думал, входит или не входит то, что находится за пределами антенны ноутбука в самых разных датацентрах самых разных стран. Алгоритмы для этой аппаратуры тоже результат hardware/wetware-aware thinking.

Выяснили, что GPT-4 статистически значимо даёт более развёрнутые ответы, если в пропмте ей пообещать заплатить чаевые – https://twitter.com/voooooogel/status/1730726744314069190. Более того, она даёт менее развёрнутые ответы, если обещать её не платить! Это уже предсказывал Юрий Романов в “Романовских никчемушках” (я об этом писал в 2002 году, Юрий Романов про праксеологическое определение искуственного интеллекта: ailev — LiveJournal): “фундаментальный способ получения естественного интеллекта из любого искусственного … берем искусственный интеллект и вставляем туда пару-тройку подпрограмм типа “ты мне – я тебе”, “а что мне с этого будет?” или, предположим, “как ты меня достал, мужик! Я и без тебя знаю, что мне делать и как.”” (Компьютерра: Добросовестная конкуренция).

Сдохла (SDXL) турбо – Clipdrop - SDXL Turbo, генерация картинок по ходу печатания промпта, никак не доходили руки дать ссылку. Дальше переходим к генерации кадра в реальном времени видеопотока, скорости уже хватает: https://twitter.com/AlexanderRedde3/status/1730995015558561877.

Внимание второй системы (для живых мозгов и мозгов нежити) – [2311.11829] System 2 Attention (is something you might need too), обсуждение в Telegram: Contact @gonzo_ML. System 2 Attention (S2A), ключевая идея там – разделить в промпте собственно вопрос и контекст, причём из конекста убрать нерелевантную информацию, которая будет отвлекать от правильного направления живой или неживой мысли в ходе вывода. Это делается примерно по той же схеме, что обычный graph-of-thoughts: сначала просим LLM переписать промпт, разделив его на контекст и вопрос, а потом просим ответить на вопрос по контексту. Вроде как помогает, и сильно.

Вот эта тема “правильного промптинга” – горячий пирожок. Вот Microsoft с MedPrompt, “The Power of Prompting” – показывают, что от неспециализированной (без finetuning) LLM могут получить примерно такое же качество, как для дообученной для какой-то предметной области сетки, причём показывают на примере медицинской информации и GPT-4, The Power of Prompting - Microsoft Research, [2311.16452] Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine.

Ещё промптинг использовался для переписки запроса в формальную логическую форму – для проверки в прувере, а дальше давали обратную связь по ошибкам, найденным прувером, чтобы улучшить пропмт, [2305.12295] Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning. Использование формального прувера поднимает число правильных ответов чуть ли не на 20 процентов по сравнению с chain-of-thought prompting. Таких работ целый ручеёк, вот ещё одна, но там на подъём на 10 процентов, а не 20: [2310.15164] LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers. Всё это продолжение линии Toolformer, конечно.

Наши эксперименты в лаборатории AI (главным образом их ведёт Андрей Телятников) показывают, что мы уже можем получать краткое содержание наших заседаний, причём на русском. Это вдохновляет. Похоже, что следующие версии нейросеток позволят нам прошерстить нам материалы наших занятий с преподавателями – и вытащить в текущие курсы всё интересное, что там пробегало в устном виде и по каким-то причинам в тексты курсов не попало. Ну, и ещё мы ближе и ближе к моменту, когда преподом на наших курсах будет нейросеть с добавочками.

Интересно, что в механике тоже много чего интересного происходит. Например Hyundai Motor и Kia Сorporation представили колесо Uni Wheel, Hyundai, Kia's 'Uni Wheel' drive system may revolutionize EVs.

А в области компьютерных мониторов 43" всё плохо. В ходе всяких потопов и переносов лопнула матрица одного из моих старых 43" мониторов. Оказалось, что по параллельному импорту 43" мониторы идут очень плохо. Поэтому смотреть надо в сторону телевизоров, которые можно использовать как мониторы для работы с текстами (а не serious gaming, что мне дома не нужно). Из таких телевизоров есть Samsung Smart M7 S43BM700UI, который “из коробки” предназначен для работы с текстами и видео, его фишка в том, что там доступ к Microsoft 365 прямо из него, можно работать без компьютера. Но у меня компьютер-то есть! Поэтому пойдёт любой более дешёвый телевизор. Но тут надо идти в какой-то магазин с ноутбуком и проверять, пойдёт ли для работы с текстами что-нибудь типа Яндекс-телевизора с Алисой (есть там 43" модель) или ещё что-нибудь вдвое более дешёвое без этого навороченного процессинга как у Самсунга Смарт M7. Вроде должно подходить, но хорошо бы посмотреть глазками – а за пять минут каких-то обзоров, где такие вопросы обсуждались, я не нашёл. Разница там в структуре матриц (некоторые матрицы будут давать радужные буквы, но не все – а в телевизорах эти матрицы вообще не упоминают, какие где) и кабеле – в мониторах обязателен DisplayPort, а в телевизорах HDMI 2.1 для тех же целей. В общем, я в сомнениях, что покупать, лишних 20 тысяч “за бренд” переплачивать не хочется, а сходить в магазин и поглядеть глазками на текущую ситуацию с мониторами – времени жалко.

3 лайка