Глава по физике пишется тяжело, но как-то пишется. И ещё продолжает распухать глава по математике. Не уверен, что эти тексты будут легко читаться. Но когда это учебники математики и физики читались легко? Хотя я даже сомневаюсь, что это я пишу текст курса. Получается пока не столько методологическое изложение "как в энциклопедии" (методики "как в хорошо разработанном учебном курсе" пока там и рядом не стояло), сколько культуртрегерская постановка задачи для методологов, "надо учить вот этому и вот этому, жизнь изменилась, старьё из учебных программ выкидывайте". Фронтир, он и есть фронтир, он не для всех-всех. Я знаю, что есть весьма заинтересованные читатели-люди, но в текущей ситуации я надеюсь ещё и на читателя-AI. В любом случае, уже готово больше 200 книжных страниц, готовлюсь в ближайшие дни публиковать. В написании текста действую по заветам Luhmann-Ahrens: вытащил в текст свои посты из блогов и потихоньку переписываю из них абзацы в разные места целевого текста. Никакой проблемы "белого листа, не знаю, что писать" при этом нет, красочность слога из блога при этом благополучно исчезает (и это жалко), зато в итоговом тексте получается более-менее полный набор идей, о которых что-то думалось в предыдущую пару лет. Если что-то совсем плохо в понимании математики-физики (какие-то тонкости в отношениях quantity и magnitude), спрашиваю GPT-4.
Юрий Кузнецов в https://www.facebook.com/yuriy.kuznetsov.5/posts/pfbid02DUD53BFZ4c2sgBsDYh4cy41YqaFirD2b6Gg5skquA6NUPSi1v8woT7MAcTMd493Ll ставит вопрос про нытьё в начале экономических статей: сначала жалуются на какой-нибудь кризис, потом дают какие-то рекомендации. По мне, так это нормально. Никогда не бегут "куда", всегда бегут "откуда". Как говаривал Мизес, люди шевелятся из-за неудовлетворённостей, а не идут к счастью. Неожиданным следствием пары "нытьё-рекомендация по исправлению" будет, что все заходы тут не на развитие, а на терапию. В этом экономика близка к психологии. Ни один психолог (кроме нэлперов, но они настаивают, что "не психологи") в первые три минуты разговора не соглашается, что его школа -- терапия. Но через три минуты смиренно соглашается, что речь идёт об очередном изводе психотерапии. Терапия -- это всегда "приведение к норме", по-инженерному "ремонт". То есть это никогда не "развитие и совершенствование", а "мы знаем норму и ремонтируем до момента прихода к норме". У экономистов и социологов вроде как тоже норма известна, и надо просто отремонтировать. Поэтому в начале статьи пишутся отклонения от нормы (кризис и т.д.), а затем предлагаются способы ремонта, приведения к норме. В заходе же на развитие можно будет применять другие шаблоны, типа "у нас все очень круто, но можно сделать ещё лучше". Но какое уж тут развитие, тут бы отремонтироваться до живого состояния. Социоэкономическая терапия, а народ -- пациент, в переводе "терпила, страдалец". Отмазка, что нытьё у экономистов никак не связано с последующими предложениями по экономическим интервенциям тут тоже не работает: у психотерапевтов тоже интервенции не так уж и связаны с нытьём пациентов.
В чате блога с (https://t.me/ailev_blog_discussion/20119) обсуждают https://yoshuabengio.org/2023/04/05/slowing-down-development-of-ai-systems-passing-the-turing-test/ -- Много здравых соображений (типа "вот всё общественное устройство сейчас пойдёт лесом", это более чем вероятно), но предлагаемый способ действий "давай уговорим кого-нибудь порегулировать нас же, разработчиков AI" мне не кажется продуктивным. Придут, порегулируют, это вызовет больше вопросов и добавит ненужной дикости к ситуации. Ковид тоже "порегулировали", сейчас потихоньку всплывает, насколько плохие были в большинстве стран решения. И да, это ещё одна экспертократия нарождается, "политическая партия" типа "учёные за прежний климат". Так и тут "учёные вызывают демонов политиков, чтобы вернуться на год назад в своих исследованиях. Если демоны политиков поведут себя неожиданно для учёных, то учёные будут сильно удивляться и говорить, что они не это имели ввиду".
Новая работа с обзором эмерджентности нейросетей "Eight Things to Know about Large Language Models", Samuel R. Bowman, https://arxiv.org/abs/2304.00612. В тексте набор всем известных банальностей про эмерджентные свойства LLM, непонятность того, как они работают и указание на то, что они любят ошибаться и непонятно как ими рулить. В принципе, можно было бы и не писать, ценность только в том, что материал собран в одном месте. Там первые два пункта -- 1. LLMs predictably get more capable with increasing investment, even without targeted innovation. 2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment. Хорошо бы развить. Примерно это ожидают от работ по alignment: "побольше денег, побольше времени, инновации сами появятся — они ж эмерджентное свойство от нейросетки всех задействованных людей. Заплатить побольше, суммарная нейросетка людей как-то выдаст эмерджентность, и всё с alignment за полгодика наладится". То, что все люди на земле представляют собой "нейросетку из нейросеток" как-то забывается, а зря.
Ещё один ход по той же линии, что Toolformer (https://arxiv.org/abs/2302.04761), только это TaskMatrix (https://arxiv.org/abs/2303.16434, это Майкрософт и даже есть GitHub, https://github.com/microsoft/visual-chatgpt и там внутри краткое описание идеи https://github.com/microsoft/visual-chatgpt/tree/main/TaskMatrix.AI). Для меня всё это отражение инженерной реализации борьбы с no free lunch theorem, https://en.wikipedia.org/wiki/No_free_lunch_theorem, что нет универсального алгоритма, одинаково оптимально выполняющего самые разные виды задач.