Мои текущие тезисы по поводу нынешних "страстей по ChatGPT":
-- с эмерджентными эффектами в нейросетях ещё не разобрались, гуглевское деревцо на больших размерах непонятно, что вытворит. Там могут подозреваться чёртова туча алгоритмов, которые эмулирует эта "вычислительная машина на нейросетке", поэтому продолжаем ждать сюрпризов. Например, вот тут утверждается, что нейросетка внутри себя реализует градиентный спуск, и это открывает новые горизонты: https://arxiv.org/abs/2212.07677. Кто-то обнаружит, что сетка реализует эволюционную машину. Кто-то обнаружит, что ещё что-то. Сетка всё-таки универсальный аппроксиматор, поэтому внутри неё может вполне сформироваться какой-то стек моделей, как вычислительный стек в обычных компьютерах, куча языков, написанных друг на друге, работают в весьма причудливом взаимодействии, только тут как в живой природе с генами: всё сильно перепутано, как интеллект кодируется в куче генов и не поймёшь, какие за что отвечают, так и в нейросетке, всё размазано. В любом случае, текущая гипотеза высказана в горьком уроке Sutton: размер имеет значение. Sam Altman добавлял к этому, что архитектура нейросеток или даже не нейросеток (есть варианты) по большому счёту не имеет значения (та самая неустроенность/неустаканенность/frustrations когнитивных архитектур работает и тут). Так что с ужасом и благоговением ждём GPT-4 и новое поколение LaMDA, которые будут лучше даже просто потому, что они больше (и поэтому дороже). И новых поколений аппаратуры, они уже за углом (и там будут не только GPU, а "вычислители с хитрой физикой", необязательно квантовые).
-- главных проблем две, и они связаны: 1. управление конфигурацией знаний, то есть версионирование, включая версионирование теорий (типа как "опирающиеся на теорию флогистона теории считать фальсифицированными", "тексты по астрологии из выдачи исключать"). Увы, исследования по тому, чтобы выдача была политкорректной, помогут только чуть. Это сетку надо научить быть попперианским эпистемологом (сейчас идут дальние подступы к этому, просто имеют огромные выборки не по всему времени, а по периодам времени, и считают всё в рамках периода "консистентной версией", но нам не это "не путать английский девятнадцатого века с американским двадцать первого" надо!). Но похоже, что это можно решать только, когда появится 2. какая-то возможность для вывода, совершенно не факт, что "мат.логического", а просто вывода на базе рационализма -- то есть основанного на теории решений, то есть внутри там не "логические онтологии" должны быть, а квантовоподобный (в силу скорости) вывод и какая-то квантованность представления информации. Что касается "объяснений", то они какие-то есть уже и у ChatGPT, но без 1 и 2 они бесполезны.
-- уже сейчас начали появляться аналоги ChatGPT в количестве, в той же notion.so, you.com, везде. Скоро будет до чёртиков разных сервисов, среди исследовательских институтов, среди чего угодно, нейрохудожники с их разнообразием отдыхают. Вот для науки: https://elicit.org/, https://beta.omnilabs.ai/, https://typeset.io/, это всё по линии быстро уволенной Galactica, то есть про научные статьи, ибо тут много открытых данных и легко что-то натренировать, а надёжность результата мало волнует (учОные разберутся, это не для необразованной публики, для которой такие сервисы опасны, ибо "в газете написано, в телевизоре говорят -- значит так оно и есть"). Но ровно вот такие сервисы должны появиться по корпоративным данным, и доступа снаружи к ним не будет. Но для этого появятся "сервисы по созданию интеллектуальных корпоративных ассистентов", и для этого развивается куча технологий типа https://www.anthropic.com/constitutional.pdf.
-- я сам по плану сижу где-то до мая 2023 тихо и наблюдаю, мой прогноз про выход к маю коммерческих сервисов для аналогов ChatGPT, в которых будут учитываться корпоративные данные. Тогда мы скормим наши учебные курсы и литературу к этим курсам таким сеткам и прикрутим их в Aisystant, и все поймут, почему мы уже давно дали такое имя нашему сервису. Я всё время повторяю, что жду дешёвый искусственный интеллект, и что он таки будет со всеми его сверчеловеческими возможностями дешевле грибов, хотя и на сразу. Но в мае 2023 мне кажется, уже можно будет что-то делать и таким мелким лавкам, как наша Школа.
Отдельный вопрос, почему я так хладнокровно продолжаю писать свои курсы и посты, а ещё прописываю в них даже то, что уже известно и можно спросить в ChatGPT. Например, в ChatGPT уже есть довольно много разного известного про системное мышление, системную инженерию, системный менеджмент. Хотя я боюсь, что в ChatGPT такого мало, но в Galactica и упомянутых сервисах из предыдущего абзаца это наверняка есть. То, что кто-то, или в данном случае что-то (библиотека или Гугль или ChatGPT) знает то, что я пишу сам, мне писать не мешает. Глядишь, я шесть-семь раз разными словами какое-то рассуждение напишу для разных ситуаций, подумаю хорошенько при этом — и мой мозг станет от этого "подумаю" немножко лучше. А ещё я буду писать публично: это всё-таки хоть какая-то дисциплина против того, чтобы читить и мычание в моём мозгу вместо использования какой-то терминологии выдавать за результат мышления. Нет, пишу честно, учу собственную мокрую нейронную сетку. Так что в блог пишу точно для себя, а в курс -- пока я всё-таки работаю много лучше нейронной сетки, а ещё нейронная сетка не имеет опыт всех тех проектов организационного развития, в которых я участвовал, так что я пишу то, что нейронная сетка написать не может (если, конечно, не прочтёт уже написанного мной. Но как раз для этого я и должен что-то написать, ибо не напишу -- не прочтёт!). Меня при этом мало волнует, что в головах окружающих меня людей и на дисках окружающих меня компьютеров. А вот зачем обращаться к нейронным сетям или людям в ходе моих размышлений при письме моих текстов — это другой вопрос. Когда я пишу свои тексты, я к Гуглю обращаюсь более чем часто, и трачу на это много времени: он выдаёт много мусора. Если в выдаче будет меньше мусора, я буду счастлив, буду вместо Гугля использовать ChatGPT или что там будет вместо него.
Шутка юмора, актуальная на ближайшие примерно три года (а потом в курьерской доставке ожидаем больших перемен, вот как последние месяцы в "творчестве" -- парадокс Моравека уже более-менее решён):
neuronet-vs-painters
Как я планирую получить много курсов по прикладным дисциплинам? Тут у меня два способа, которые вместе должны сработать. Во-первых, надо объяснить, как создание какого-то достаточно сложного типа систем считать инженерией/практикой/трудом, и это объяснение уже готово. Во-вторых, надо продемонстрировать несколько раз "построение предмета" (то есть практик работы по созданию предмета, понимаемого буквально как система/физический предмет, ибо все эти "учебные предметы/дисциплины" именно "что делать с предметом", модели/теории для думать-делать/active/embodied inference и представляют), как это делать, и это готово наполовину (я раньше прописывал это как обучение мастерству понятийного наведение и удержания внимания, а теперь пропишу по-другому, через методологическое мастерство как мастерство создания учебного или научного предмета/описания практики):
-- онтологика говорит, что есть предметы, и чтобы улучшить мир к лучшему, их как-то нужно делать
-- практическая системная инженерия прописывает, как думать о предмете/системе (есть системы как предмет озабоченности некоторых ролей в деятельности). Уже есть, только чуть переписать.
-- методология объясняет, как думать о практиках (агенты выполняют практики, чтобы создавать системы). Уже есть, только чуть переписать.
-- конкретизируем методологию до системной инженерии и говорим, что это норма практики (не просто "роли, выполняющие практики", а "для создания системы у вас должна быть система-создатель, в которой есть следующие роли: визионер, архитектор, разработчик, инженер платформы разработки"). Уже есть.
-- даём пример-1: системный менеджмент как системная инженерия для организации. Уже есть.
-- даём пример-2: обучение мастерству как системная инженерия для мастерства. Уже есть, только чуть переписать.
-- ... ещё три примера, чтобы было уж наверняка понятно. Вот этого пока нет.
-- мастер в каком-то предмете получает квест: по образу и подобию наших примеров и на основании понимания системной инженерии описать своё мастерство как прикладную инженерию. Собственно, это и есть прикладная методологическая работа.
На нашем вчерашнем методсовете обсуждали, кого хотим видеть на наших курсах, чтобы нанести непоправимую пользу. На методсовете я давал это как "инженер, в экзистенциальном ужасе от того, что ему приходится кроме его профессиональной сферы работать ещё и с системами из людей, начиная с себя, любимого, продолжая командой, коллективом, предприятием, сообществом, и для таких систем он не может обнаружить никакой опоры в своём инженерном знании, а вокруг изо всех утюгов ему предлагают учебные курсы с явно чем-то подозрительным по содержанию, и поэтому приходится с такими системами работать уж как получается, и помощи ждать неоткуда, и тут появляется ШСМ с её зубодробительными для гуманитариев, но спасительными для инженера курсами -- и решает задачу". Вот как я сформулировал это на странице записи на мой обзор по всем курсам, который буду делать 3 января 2023 (https://system-school.ru/ed4ed):
Семинар рекомендуется всем, всем, кто осознаёт необходимость разобраться с предметными областями, выходящими за рамки их специализации. Например, инженер-профессионал вдруг осознал, что ему приходится заниматься не столько разработкой своего продукта, сколько организовывать других людей - ибо проект сильно вырос. Инженер понимает, что у него не хватает квалификации в "инженерии организаций", но когда он пытается разобраться, на него обрушивается поток "попсового гуманитарного инфобизнеса" от "психологов менеджмента". Или какой-то инженер-профессионал вдруг захотел изменить себя, но вместо "инженерии личности" ему опять-таки предлагают разве что не астрологией воспользоваться, а на тексты поп-психологии у него аллергия. Инженер понимает, что должна быть какая-то общая картина мира, опирающаяся на физику и логику, причём в этой картине мира должно быть место и эстетике и этике, но не астрологии и нумерологии, и не произвольным классификациям типов личности из поп-психологии.
Изложение инженерии как ведения проектов по изменению мира к лучшему должно быть примерно одинаковым для инженерии роботов, личностей, предприятий, сообществ. Изложение должно учитывать особенности людей, но всё-таки должно опираться на инженерное мышление, в котором рациональность играет не последнюю роль. И заодно инженер хочет узнать: а не изменилось ли понятие рациональности за последние годы?
Наш семинар как раз для таких людей (и, кстати, догадка нашего "инженера из примера", что понятие рациональности изменилось за последние годы верна, мы и об этом расскажем на семинаре).
Мои тексты по инженерии не пользуются популярностью, а вот через буквально три месяца занятий кизомбой я написал текст, и за прошедших шесть лет там набежало 518 лайков и 140 перепостов, а вспомнил я об этом тексте потому, что его до сих пор находят и лайкают, вот и сегодня нашли и лайкнули, а ВКонтакте мне об этом сказал -- https://vk.com/wall-24773547_7281. Материалы по интеллект-стеку, инженерии и даже менеджменту так не лайкают! Хотя вру, в том самом видео на канале "День" (как я туда попал?!), где я рассказывал о третьем поколении системного подхода, за пять месяцев набежало две тысячи лайков, неизвестное количество перепостов (думаю, перепостов не было) и 401 коммент -- https://www.youtube.com/watch?v=JuZEnhmNOBk. И даже тут вру, ибо учебник системного мышления в его разных версиях был куплен через Ridero в количестве более 10 тыс. экземпляров за 4 года (опубликован был в 2018 году), да и остальные книги разошлись тысячными тиражами, https://ridero.ru/author/levenchuk_anatolii_iv2h/. Так что популярность моих трудов по системному подходу, методологии, системной инженерии, системному менеджменту таки побеждают популярность моих трудов по танцам. Но приятно, что и в трудах танцах тоже есть какой-то успех!