Важна не только умность (шутка Карпаты “какая ты GPT”), важна агентность
Andrei Karpathy предложил чудесный тест на умность: сравнивать людей по их возможностям генерировать осмысленные речи с поколениями GPT – кто-то тянет на GPT-2, кто-то на GPT-7 (https://twitter.com/karpathy/status/1789605356617752724, там предложение сделать простенький классификатор на определение такого уровня): “В идеале вам нужен хороший мини-ряд, в котором все остается постоянным, кроме размера модели, например. Модельный ряд Llama 3, особенно когда они также выпускают модели меньшего (и большего!) размера. Выполните выборку моделей по множеству подсказок (или используйте базовые модели?), классифицируйте размер модели, а затем покажите ей на различные тексты в Интернете, например: изучите расхождение между разделами комментариев WSJ и лидеров венчурного капитала :P”. И там красивая картинка, как ChatGPT видит такой GPT-метр:
В каждой шутке есть только доля шутки. Если речь идёт о самых общих тестах на силу интеллекта “вместо IQ”, то вполне можно пользоваться и подобной процедурой “какая ты GPT”, в том числе в вариантах с инструментами или без, с доступом к интернету или без, и вообще делать прогон по бенчмаркам для AI и дальше – “знай свой шесток” среди нежити. Мастерская инженеров-менеджеров нуждается в более простых других метриках, которые позволяют судить о том, насколько инженер-менеджер как разделяет общую картину мира в части её знания, так и разделяет общую культуру инженеров-менеджеров в части взятия этой картины мира всерьёз, готовности по ней действовать – и дальше в части масштаба реальных действий.
Степени/градусы/degrees (всё это синонимы, от латинского gradus «шаг, ступень, степень, градус», далее от gradī «шагать, ступать, продвигаться», восходит к праиндоевр. *ghredh- «идти», поэтому пару веков назад “степени” переводили на русский как “градусы”) квалификации инженеров-менеджеров привязаны к 8 уровням европейской шкалы результатов обучения EQF (European Qualifications Framework, European qualifications framework (EQF) | CEDEFOP), но развёрнуты в сторону агентности, “активной жизненной позиции”. Наш опыт показал, что для инженеров-менеджеров как создателей меняющих мир к лучшему систем самых разной природы, вот эта самая “активная жизненная позиция” – главная. Что толку стажироваться, иметь самую продвинутую картину мира в голове, быть собранным – но всё это не использовать для изменения мира? Лучше сразу понимать, с кем имеешь дело: можно ли идти с этим инженером-менеджером в проект, или просто поговорить об умном за чашкой чая, но не более.
“Активный дурак” обладает страшной разрушительной силой, при этом заставить его поумнеть часто очень трудно, там в голове не более чем GPT-2, которая очень плохо учится (например за счёт того, что у дурака не удерживается внимание – причины разные, вплоть до хронического недосыпа или отсутствия витаминов, но поскольку “дурак”, то и выспавшийся дурак будет заниматься всякими разными отвлечениями, а не учиться, а затем опять не выспится, и цикл повторится). А вот с умными людьми вроде бы должно быть по-другому, но и там проблема: они готовы часами разговаривать о руководствах для инженеров-менеджеров, о специальной литературе, которая вышла на темы, по которым наставляют руководства, они гордяться своими знаниями – но ничего не делают, просто становятся “диванным аналитиком” по всем изученным (не принятым как регламент/стандарт действия, а изученным – режим “обучение отдельно, работа отдельно”) руководствам. Поэтому главной задачей мы признали даже не наличие мастерства мышления и работы по методам из наших руководств (и тут мы можем ещё говорить о науках об учении Learning sciences - Wikipedia), но о переносе изученного в жизнь, Transfer of learning - Wikipedia, и даже дальше – что там происходит за пределами классического понимания обучения: эксплуатация мастерства, развитие мастерства, вовремя производимый вывод устаревшего мастерства из эксплуатации. Инженерный подход, а не подход классического обучения.
Три программы развития – три квалификации инженера-менеджера
Инженеры-менеджеры у нас получают квалификации по демонстрации (в реальной жизни! не на экзаменах!) результатов своей работы. Эти квалификации у нас идут по трём программам развития:
-
Личное развитие: освоение мастерства менять себя, любимого, к лучшему.
— Ученик. Инженер-менеджер для получения этой квалификации должен уметь осознанно и полноценно выполнять роль ученика: осваивать какую-то предметную область, тратя на это (если это не “интенсив”, а “просто так живу”) от полтора-два часа в день ежедневно. Например, это мастерство начать осваивать какое-то руководство по рабочему развитию, и не “соскочить” на середине. -
Рабочее развитие: освоение мастерства менять окружающий мир (а не только себя) к лучшему, работая в какой-то организации.
— Работник. Это первая ступень рабочей квалификации. Инженер-менеджер как работник может работать рационально, удерживая не только свои личные цели, но и цели организации в целом (подстраиваться под корпоративное ограничение потока работ). Работник может быть собранным, удерживая внимание на важных объектах, и имеет модель своей предметной области, в которой указаны эти важные объекты. Он умеет рационально рассуждать о причинах и следствиях, поэтому делает меньше ошибок. Поскольку работник стал производительней и точнее в разговорах, то улучшение его работы немедленно замечаются окружающими.
— Стратег. Инженер-менеджер как стратег рационально выбирает метод и предмет работ в ситуациях неопределённости, у него системное мышление (всегда сначала смотрит на систему глазами пользователя в момент её эксплуатации, затем разбирается с тем, как она устроена, а потом не забывает посмотреть на организацию создателей системы). Это в значительной мере от того, что он освоил мышление, описанное в руководствах по системному мышлению и методологии. Руководство по методологии как раз заканчивается разделом по теории стратегирования, вот отсюда и название квалификационной степени. Нижние степени квалификации (работник, стратег) намеренно звучат как продвинутые: инженерам-менеджерам, которые давно в нашем сообществе, разобраться будет нетрудно, но стажёрам, недавно достигшим этих степеней, будет довольно легко этим похвастаться.
— Специалист. Инженер-менеджер как специалист разобрался с обобщённым инженерным процессом и разделением труда. Это в значительной мере от того, что освоил инженерную работу по нашим руководствам инженерной серии (сейчас это руководства по системной инженерии, инженерии личности, системному менеджменту). Но специалист ещё не принял методы мышления и работы из всех руководств всерьёз: специалист не изменил ни своей собственной культуры работы, ни культуру работы других людей. Тем не менее, специалист “знает теорию”, начитан, эрудирован, имеет хорошо подвешенный язык в разговоре о картине мира. Но собственных инициатив по изменению себя и мира к лучшему, которые выходят на уровень реальных изменений, а не просто размышлений, у специалиста нет.
— Практик. Инженер-менеджер как практик принял всерьёз наставления инженерной серии для изменения собственной культуры работы, а ещё организовал до десяти своих подчинённых. Окружающие замечают, что у инженера-менеджера, имеющего степень практика, производительность выросла, он “стал другим человеком”, стал умнее.
— Мастер. Инженер-менеджер как мастер мыслит и работает так, как этому наставляют руководства. Он умеет организовать работу не только своих подчинённых (которых у него может быть много больше десятка), но и коллег, и даже людей выше себя по уровням иерархии: дело тут в не умении “быть начальником”, но в умении быть лидером и наставником для тех, кто тебе не подчинён явно. Мастер умеет инициировать и проводить организационные изменения. Мастера у нас получают право быть наставниками, ибо они уже имеют достаточный собственный опыт в том, как работать с использованием картины мира, мышления и методов инженерии и менеджмента из наших руководств.
— Реформатор. Инженер-менеджер как реформатор – это просто мастер с масштабами побольше: реформатор изменяет не только культуру работы своего предприятия, но и культуру сообщества, выходящего за пределы предприятия.
— Революционер (менее пафосно – “общественный деятель”, в шутку – “эволюционер”). Инженер-менеджер как революционер – это ещё один рост масштаба изменения мира: он даёт вклад (impact) в мировую культуру, в мировую цивилизацию, попадает в энциклопедию. -
Исследования: освоение методов мышления интеллект-стека, пока у нас в этой программе только одно руководство по интеллект-стеку фундаментальных методов мышления, но этих руководств планируется побольше (физика-математика, алгоритмика – первые в очереди).
– исследователь: создание собственных прикладных или даже фундаментальных моделей мира, теорий, а также их документирование в форме руководств. Если теорию не документировать в форме руководства, её много труднее принять всерьёз – и вновь созданная теория никак не повлияет на изменение мира к лучшему.
Конечно, всё это одновременно может быть приложимо к одному человеку. Так, Вася у нас может быть назван:
– инженером-менеджером, единомышленником, “нашим”, участником сообщества, носителем культуры МИМ, даже если имеет какую-то небольшую квалификацию. Но он уже разделяет с другими инженерами-менеджерами как создателями систем самой разной природы какую-то культуру мышления, основанную на картине мира из руководств для инженеров-менеджеров.
– он же может быть стажёром мастерской инженеров-менеджеров, если осваивает работу по какому-то нашему руководству под присмотром мастера-наставника, или даже самостажёром.
– он же может иметь какую-то степень квалификации по одной или даже разным программам развития инженеров-менеджеров, например, ученика и мастера (одновременно!), что ему не мешает одновременно быть стажёром (несмотря на то, что он уже мастер!) и инженером-менеджером
– и одновременно у него может быть несколько степеней, например, мастера и исследователя, а еще и он может быть и сам наставником (если у него есть степень мастера).
Метод квалифицирования
Особенности нашего метода квалифицирования:
– поскольку SoTA в личном, рабочем, исследовательском развитии меняется, то квалификация у нас имеет год последнего её присвоения. Мастерская занимается стажировками с 2015 года (ещё как Школа системного менеджменгта), так что некоторые инженеры-менеджеры так и поступают: они проходят стажировки с наставниками по свежим версиям руководств раз в два года – и очень этим довольны, “всегда на фронтире”. Если увидите “мастер 2018 года”, то можете сами сделать вывод о том, по SoTA ли это мастер, или нет.
– в мастерской не административная процедура “сдачи экзамена”, “выдачи путёвки в жизнь”, а индикативная инженерная – постоянный “замер” квалификации при любой возможности, но не разовая “оценка”. Если у работодателя для его группы на нашей стажировке есть какие-то административные процедуры и он считает квалифицирование “экзаменом”, то это его мнение, а не мнение МИМ. Дело МИМ тут – организовать квалифицирование, как замер. Квалификация инженеров-менеджеров должна быть известна. И прежде всего измвестна им самим. Так что мы проводим квалифицирование-как-замер на встречах с нашими наставниками, причём не на одной встрече, а на многих, при этом необязательно ограничиваясь только этими встречами. Так, квалификация может повышаться после выступлений на конференциях, выступлений на методсоветах и семинарах. И даже необязательно выступлений на мероприятиях МИМ, но всё-таки предпочтительно МИМ – там проще обсуждать применение принципов квалифицирования к выступлению, показывать, как связан рассказ с использованием описанных в руководствах для инженеров-менеджеров методов мышления и работы, “говорить на птичьем языке” абстрактной картины/мета-мета-модели мира. Более того, старшие степени квалификации рабочего развития (мастера и реформатора) часто присуждаются именно по итогам выступлений, а не на встречах с наставниками в ходе стажировок. Стажировки тут могут оказаться давно закончены, но это не означает, что квалификация инженера-менеджера не растёт, мастерство не обновляется.
– квалификация абсолютная в рамках следования методам мышления и работы, описанных во всех руководствах, а не по итогам освоения работы по какому-то одному руководству. Значительное число инженеров-менеджеров проходят стажировки по отдельным руководствам два или даже три раза, и “уже мастер” вполне может захотеть сделать очередной проход по какому-то руководству, изучая при этом новый материал этих руководств – и одновременно демонстрируя квалификацию мастера (например, говорит в ответ на вопрос “что сделал на неделе” не про себя, а про то, что начали делать люди, которых он организует – то есть демонстрируя результаты своей работы как работу других людей, а не себя самого). Вот он получит на встречах свежего “мастера”, а “работника”, даже если он повторно пошёл на стажировку по рациональной работе. Или не получит, если выяснится, что он ссылается на материал каких-то старых версий руководств инженерной серии.
– никаких “учебных задач”, никаких “задач на собеседовании”, “примеров решения учебных кейсов” и прочих “заданий из менеджерских олимпиад”, замаскированной “оценки”, а не предъявления результатов работы. Даже нейросети понимают, когда их “тестируют”, а когда спрашивают по делу ([2505.23836] Large Language Models Often Know When They Are Being Evaluated). Нет, только рассказы студентов о методах и результатах работы в рабочих проектах. Для квалифицирования надо показать то, как наставления руководств используются в жизни. Даже квалификация “специалист” получается на базе того, что инженер-менеджер грамотно рассказывает о рабочем проекте, правильно расставляя типы и демонстрируя умение моделировать предметную область, а не пересказывает учебник. Пусть и нет каких-то изменений в самом проекте, но хотя бы демонстрировать, что квалифицируемый на “специалиста” инженер-менеджер ведёт рассказ в терминах предметной области проекта (мета-модель), демонстрируя понимание, какого типа эти объекты из мета-мета-модели наших руководств. Грубо говоря, инженер-менеджер должен рассказывать о своём проекте в языке “самолёт::система летит::функция”. Рассказ “самолёт летит” не покажет знания картины мира инженеров-менеджеров (мета-мета-модели), рассказ “система функционирует” не покажет связи с предметной областью, рассказ “система летит, функция самолёта” покажет непонимание применения наставлений руководств.
– критерии степеней квалификации мы демонстрируем на встречах стажёров с наставниками, чтобы давать примеры проведения квалифицирования. Увы, если сказать “чтобы быть мастером, ты должен продемонстрировать умение организатора: рассказывать не о том, что ты сам сделал, а о том, что сделали нового те люди, с которыми ты работал – иногда даже будет длинная цепочка твоего влияния на результат”, то это будет непонятно. Надо каждому квалифицируемому инженеру-менеджеру дать “зеркало” его ответа, сделав разбор/review не меньше, чем три-четыре раза – чтобы квалифицируемый понял, что намерение его рассказа не совпадает с тем, что он на самом деле говорит. Буквально: цитировать его его слова и указывать, что там предмет рассказа – его действия, или действия каких-то людей по какому-то новому методу, или вообще никаких изменений не было ни в нём, ни в его проектах), и тогда студент понимает принципы квалифицирования.
– Принципы квалифицирования по нашим программам развития должен знать каждый инженер-менеджер, в том числе он должен уметь квалифицировать коллег (и он научается это делать, хотя и не сразу), а затем уметь квалифицировать и себя самого. Для этого мы на встречах с наставниками (не на одной “экзаменационной” встрече или “защите”, а на буквально всех встречах) рассказываем и повторяем критерии квалификационных степеней, принципы квалифицирования, а также демонстрируем определение квалификации инженеров менеджеров по их рассказам. Типовой вопрос на встречах – “расскажи, что ты сделал на работе за последнюю неделю”, тут всё и выясняется.
– Надо иметь видео встреч, оно в помощь квалифицируемому: люди редко обращают внимание на то, что они говорят “дословно” – у них в памяти остаётся общее ощущение того, что они были намерены сказать, а не конкретные сказанные слова. Но результат квалифицирования отражает не то, что они хотели рассказать, а то, что они в реальности говорили. Поэтому наставники (или коллеги) и цитируют их слова, по которым проводят квалифицирование, но на всякий случай ещё всегда есть видео. “У нас все слова записаны”.
– квалифицирование в МИМ всегда публично: наставник и группа стажёров, или участники конференции. Группа стажёров постепенно научается проводить квалифицирование по принципам, которые они перенимают по примерам квалифицирования, даваемым наставником. Через три-четыре встречи с демонстрациями примеров квалифицирования оказывается, что оно перестаёт восприниматься как субъективная “оценка” наставником и больше воспринимается как “замер”, который может сделать с более-менее одинаковым результатом любой инженер-менеджер, прошедший стажировки и разобравшийся с нашими руководствами (даже “специалист”, он может сам ничего не делать – но суждение о том, какая квалификация у коллеги, он вполне может вынести!). В итоге квалифицирование делает вся группа стажёров плюс наставник, нет вопросов о “субъективности” (а в случае затруднений всегда есть видео). А после окончания курсов квалификации студенты в корпоративных группах делают друг другу.
Это обновление версии текста про квалифицирование, предыдущая была ровно год назад, 22 мая 2024 – Принципы квалифицирования результатов обучения в ШСМ: ailev — LiveJournal