Andrej Karpathy предложил чудесный тест на умность: сравнивать людей по их возможностям генерировать осмысленные речи с поколениями GPT – кто-то тянет на GPT-2, кто-то на GPT-7 (https://twitter.com/karpathy/status/1789605356617752724, там предложение сделать простенький классификатор для такого уровня): “В идеале вам нужен хороший мини-ряд, в котором всё остается постоянным, кроме, например, размера модели. Модельный ряд Llama 3, особенно когда они также выпускают модели меньшего (и большего!) размера”.
В каждой шутке есть только доля шутки. Если речь идёт о самых общих тестах на силу интеллекта “вместо IQ”, то вполне можно пользоваться и подобной процедурой “какая ты GPT”, в том числе в вариантах с инструментами или без, с доступом к интернету или без, и вообще делать прогон по бенчмаркам для AI и дальше – “знай свой шесток” с учётом того, что AI-агенты показывают сегодня довольно высокие результаты по всем возможным тестам интеллекта. В МИМ мы поступаем по-другому, замеры делаем не “речи на экзамене” (у Karpathy неявно это – LLM), а “действия в мире” (и там надо обсуждать world models, агентность, embodied intelligence и прочее, что далеко выходит за круг уподобления инженера-менеджера просто “говорящей умной голове”).
Для измерений квалификации инженеров-менеджеров надо решить множество самых разных проблем:
- выбора характеристик для квалификации, затем выбора из них индикаторов (показателей, по которым будем оптимизировать). Помним про закон Гудхарта, Goodhart's law - Wikipedia, индикаторов лучше бы иметь несколько. По этим индикаторам нужны шкалы каких-то уровней/градаций, и в конце концов надо ввести степени квалификации как профили типичных сочетаний уровней/градаций по выбранным шкалам.
- организации замеров: сами собой замеры не сделаются. Например, эссе об обнаружении проблем в своих проектах и решении их. Важно отметить, что квалифицирование – это не “экзамен”. В МИМ не приняты “домашние задания” и “учебные проекты”. Всё происходит в рабочих проектах, поэтому и замеряется (причём неоднократно!) мастерство поведения в реальных ситуациях, а не “на экзамене”. Нет натаскивания на “ответ по билету”, ибо билеты подсовывает жизнь!
- организации связанных с квалификацией допусков (скажем, можно ли прыгать по разным резидентурам, или надо перед старшими резидентурами уже иметь какую-то старшую степень квалификации).
- ритм: какой ожидаемый ритм в прохождении всех ступенек? По факту, надо чаще менять свою квалификацию в сторону повышения, а затем (развитие бесконечно!) чаще её обновлять. Правильно выбранные индикаторы развития и их замеры в порядке квалифицирования помогают мотивировать инженеров-менеджеров не делать перерывов: если вывести им на дашборд их индикаторы, то они и сами себя уговорят.
МИМ выбрал вот такие индикаторы квалификации инженеров-менеджеров, которые он отслеживает в ходе их развития:
- агентность (от “одна операция по поручению и под строгим присмотром” до “сам ставит проблемы, сам находит решения, присматривает за другими” и даже “создаёт других агентов, которые способны быть самостоятельными”). Многие весьма умные инженеры-менеджеры способны часами разговаривать о содержании руководств для инженеров-менеджеров, о специальной литературе за пределами этих руководств, они гордятся своими фундаментальными знаниями – но ничего в плане интервенций не делают, не меняют ни себя, ни окружающий мир и не вносят вклада ни в знания цивилизации, ни в культуру. Часто инженеры-менеджеры имеют “установку на аналитику”, они не готовы менять жизнь, они готовы давать “аналитические отчёты”, оставлять интервенции/вмешательства, оставлять агентность кому-то другому. В МИМ агентность – шкала первостепенного внимания.
- масштаб (“радиус влияния”): наибольшая граница системы, для которой человек показал инициированное им изменение поведения (я → команда → организация → сообщество → цивилизация). Масштаб времени тут тоже важен: убедил на пять минут или добился изменений, которые удержались годы – это разные масштабы.
- методологическая дисциплина: ad hoc против SoTA по рациональному моделированию ситуаций, учёту причинности, проверке невязки между предсказаниями теории и наблюдениями в жизни, выбору SoTA методов работы, а то и предложению новых методов работы, двигающих текущий Парето-фронт. Проверяется, что инженер-менеджер выбирает корректный, а не “любимый” метод в соответствии с ситуацией, умеет объяснить, почему именно этот метод применим и где границы его применимости, использует материалы руководств не как цитаты, а как описание шагов работы. По большому счёту, это очень похоже на традиционную оценку compliance: наши руководства по факту – стандарты деятельности и мышления (хотя и изложены не в формате стандарта), и им надо следовать. Оценивается, насколько инженеры-менеджеры следуют этим стандартам. В МИМ мало быть агентным и масштабно действовать, надо ещё и мыслить и действовать по SoTA методам, изложенным в руководствах. Но compliance – это только начало шкалы, ибо дальше идёт предложение улучшений в руководства там, где они плохо срабатывают. Руководства – не догма, МИМ – не секта (что не означает, что в МИМ нет стандартов мышления и действия, как и в любой организации).
Замеры значений для этих индикаторов делаются по свидетельствам каких-то явных рассуждений (результаты “мышления письмом/моделированием”, показывающие модель мира инженера-менеджера и её опору на материалы руководств, демонстрирующие методы мышления по материалам руководств) и реальных изменений в мире (результаты инициатив по интервенциям/вмешательствам инженера-менеджера, “мы этого хотели – вот нам”, и там тоже ожидаемые по материалам руководств результаты, а не любые).
Значения этих индикаторов в МИМ сгруппированы как квалификационные профили-степени (степени/градусы/degrees – это всё синонимы, от латинского gradus «шаг, ступень, степень, градус», ещё пару веков назад “степени” переводили на русский как “градусы”). Сами эти квалификационные степени описаны не слишком формально. В целом они привязаны к уровням европейской шкалы результатов обучения EQF (European Qualifications Framework, European qualifications framework (EQF) | CEDEFOP). Агентность привязывается к EPA (Entrustable professional activities, https://www.tandfonline.com/doi/full/10.1080/0142159X.2020.1838465), но и тут мы это делаем очень грубо – не плодим множество EPA-оценок для каждой отдельной деятельности, а просто ставим уровень в профиль в общем виде. Это калибровочная аналогия, чтобы мы в МИМ не “изобретали велосипед”, а опирались на какие-то SoTA методы квалифицирования, уже как-то испытанные в мире.
Квалификации в МИМ – профили значений этих индикаторов, это “свёртки” (при необходимости уточнения всегда можно обратиться к более точной и развёрнутой трёхшкальной оценке):
- Личное развитие: освоение мастерства менять себя, любимого, к лучшему.
- Ученик. Инженер-менеджер для получения этой квалификации должен уметь осознанно и полноценно выполнять роль ученика: осваивать какую-то предметную область, тратя на это (если это не “интенсив”, а “просто так живу”) от полутора до двух часов ежедневно. Например, это мастерство начать осваивать какое-то руководство по рабочему развитию, и не “соскочить” на середине. EQF Level 1. Work or study under direct supervision in a structured context. Масштаб – “я”. EPA L1 — наблюдает / не выполняет: может обсуждать, пробовать “на учебном материале”, но не засчитываем как выполнение в мире.
- Рабочее развитие: освоение мастерства менять окружающий мир (а не только себя) к лучшему, работая в какой-то организации.
- Работник. Это первая ступень рабочей квалификации. Инженер-менеджер как работник может работать рационально, удерживая не только свои личные цели, но и цели организации в целом (подстраиваться под корпоративное ограничение потока работ). Работник может быть собранным, удерживая внимание на важных объектах, и имеет модель своей предметной области, в которой указаны эти важные объекты. Он умеет рационально рассуждать о причинах и следствиях, поэтому делает меньше ошибок. Поскольку работник стал производительнее и точнее в разговорах, то улучшения его работы немедленно замечаются окружающими. Обычно эту степень инженер-менеджер получает, когда освоил работу по наставлениям руководств R1-R4. EQF Level 2. Work or study under supervision with some autonomy. Масштаб – “я”. L2 — выполняет под прямым, проактивным надзором: наставник рядом, ведёт по шагам, заранее контролирует ключевые решения.
- Стратег. Инженер-менеджер как стратег рационально выбирает метод и предмет работ в ситуациях неопределённости, у него системное мышление (всегда сначала смотрит на систему глазами пользователя в момент её эксплуатации, затем разбирается с тем, как она устроена, а потом не забывает посмотреть на организацию создателей системы). Это в значительной мере от того, что он освоил мышление, описанное в руководствах по системному мышлению и методологии. Руководство по методологии как раз заканчивается разделом по теории стратегирования, вот отсюда и название квалификационной степени. Нижние степени квалификации (работник, стратег) намеренно звучат как продвинутые: инженерам-менеджерам, которые давно в нашем сообществе, разобраться будет нетрудно, но резидентам, недавно достигшим этих степеней, будет довольно легко этим похвастаться. Чаще всего эта квалификация достигается после освоения работы не только по R1-R4, но и по руководствам R5 (системное мышление), R6 (системное моделирование) и R7 (методология). EQF Level 3. Take responsibility for completion of tasks in work or study, adapt own behavior to circumstances in solving problems. Масштаб всё ещё “я”, работы других не затрагиваются. L3 — выполняет под непрямым, реактивным надзором: наставник “на связи”, точечно вмешивается, проверяет ключевые результаты.
- Специалист. Инженер-менеджер как специалист разобрался с обобщённым инженерным процессом и разделением труда. Это в значительной мере от того, что освоил инженерную работу по нашим руководствам инженерной серии (сейчас это руководства R8-R10 по системной инженерии, инженерии личности, системному менеджменту). Но специалист ещё не принял методы мышления и работы из всех руководств всерьёз: специалист что-то использует из них при выполнении своей основной роли, но никак не затрагивает интервенциями культуру работы других людей. Специалист “знает теорию” про возможные интервенции в работе других людей, но собственных инициатив и интервенций по изменению коллективной работы, а не просто размышлений и оценок ситуации, у специалиста нет. EQF Level 4. Exercise self-management within the guidelines of work or study contexts that are usually predictable, but are subject to change. Но вот продолжение этого уровня 4 EQF к специалисту неприменимо: supervise the routine work of others, taking some responsibility for the evaluation and improvement of work or study activities. EQF тут только грубая и частичная параллель. Масштаб, как ни удивительно, до сих пор – “я”, ибо интервенций по изменению окружающего мира согласно методологической дисциплине не происходит. EPA L3 — выполняет под непрямым, реактивным надзором: наставник “на связи”, точечно вмешивается, проверяет ключевые точки/артефакты. Это такой же уровень, L3, как у стратега, но методологический кругозор у специалиста выше за счёт прохождения трёх дополнительных резидентур.
- Практик. Инженер-менеджер как практик принял всерьёз наставления инженерной серии для изменения собственной культуры работы, а ещё организовал до десяти своих подчинённых, изменения удерживаются, пока он в команде. Окружающие замечают, что у инженера-менеджера, имеющего степень практика, производительность выросла, он “стал другим человеком”, стал умнее. EQF Level 5. Exercise management and supervision in contexts of work or study activities where there is unpredictable change, review and develop performance of self and others. Масштаб – “команда”. EPA L4 — выполняет самостоятельно: наставник делает периодические аудиты/ревью, но присутствие не требуется. Практику можно доверить (entrust) реальный проект с командой без риска, что он его завалит методологически.
- Мастер. Инженер-менеджер как мастер мыслит и работает так, как этому наставляют руководства – и даже предлагает улучшения руководств. Он умеет организовать работу не только своих подчинённых (которых у него может быть много больше десятка), но и коллег, и даже людей выше себя по уровням иерархии: дело тут не в умении “быть начальником”, но в умении быть лидером и наставником для тех, кто тебе не подчинён явно. Мастер умеет инициировать и проводить организационные изменения, эти изменения удерживаются, даже когда мастера нет рядом. Мастера у нас получают право быть наставниками, ибо они уже имеют достаточный собственный опыт в том, как работать с использованием картины мира, мышления и методов инженерии и менеджмента из наших руководств. EQF Level 6. Manage complex technical or professional activities or projects, taking responsibility for decision-making in unpredictable work or study contexts, take responsibility for managing professional development of individuals and groups. Масштаб – “коллектив” (ибо речь идёт уже не только о своей команде, но о коллективе в целом, взаимодействии с другими командами, а не только внутрикомандном взаимодействии). EPA L5 — супервизирует других: обучает, калибрует, доверяет/не доверяет выполнение другим, улучшает процедуру выполнения и оценивания.
- Реформатор. Инженер-менеджер как реформатор – это просто мастер с масштабами побольше: реформатор изменяет не только культуру работы своего предприятия, но и культуру сообщества, выходящего за пределы предприятия. В МИМ примерно десяток реформаторов. EQF Level 7. Manage and transform work or study contexts that are complex, unpredictable and require new strategic approaches, take responsibility for contributing to professional knowledge and practice and/or for reviewing the strategic performance of teams. Масштаб – “сообщество, общество”.
- Революционер (менее пафосно – “общественный деятель”, в шутку – “эволюционер”). Инженер-менеджер как революционер – это ещё один рост масштаба изменения мира: он даёт вклад (impact) в мировую культуру, в мировую цивилизацию, попадает в энциклопедию. EQF Level 8. Demonstrate substantial authority, innovation, autonomy, scholarly and professional integrity and sustained commitment to the development of new ideas or processes at the forefront of work or study contexts including research. Масштаб – “цивилизация”, изменения переживают время жизни революционера.
- Исследования: освоение методов мышления интеллект-стека, пока у нас в этой программе только одно руководство по интеллект-стеку фундаментальных методов мышления, но этих руководств планируется побольше (физика-математика, алгоритмика – первые в очереди).
- Исследователь: создание собственных прикладных или даже фундаментальных моделей мира, теорий, а также их документирование в форме руководств. Если теорию не документировать в форме руководства, её много труднее принять всерьёз – и вновь созданная теория никак не повлияет на изменение мира к лучшему. Масштаб тут обычно – “сообщество”, ибо исследования идут в рамках community of practice. Мы пока мало можем сказать об исследовательской квалификации, прецедентов у нас в МИМ пока не было, но мы думаем об этом. Для получения каких-то исследовательских степеней можно обсуждать предъявление реплицируемой модели и/или метода, публичной документации (руководство тут как пример), проверку применимости в реальных применениях, оценку вклада в сообщество (помощь в обучении других инженеров-менеджеров новым методам мышления и действия), обновление результатов по получении обратной связи.
Каждая степень тут – это типичное сочетание какого-то диапазона значений по агентности, масштабу, методологической дисциплине. Конечно, могут быть и нетипичные профили (скажем, новички в МИМ вполне могут показывать огромный масштаб, если они какие-то видные общественные деятели, но почти нулевую методологическую дисциплину – ибо ещё не открывали руководства программ развития и не действовали по ним. А когда начинают действовать – то надо ещё посмотреть, на каком масштабе проекта они используют свои новые знания, возможно, это будет не такой большой масштаб, как их основная деятельность). В любом случае, решение наставников о степени – это классификация по какому-то паттерну, а не точный замер “по приборам”.
В целом профили квалификации МИМ отражают общее движение инженеров-менеджеров по всем трём шкалам (агентности, масштаба и методологической дисциплины): от (чаще всего) начального “внимательно наблюдаю, ничего не делаю”, “речь тут только обо мне”, “никакими методами не пользуюсь” к “инициирую масштабные интервенции уровня цивилизации”. Это трудно, ибо при каждом скачке по каждой оси надо учитывать неизбежные конфликты между системными уровнями, ведь предпочтения себя лично, команды и коллектива чаще всего кардинально разные. Это требует не только многих знаний про то, как устроена коллективная работа (системное мышление, методология, инженерия личности, системный менеджмент), но и реального следования знаниям, что крайне трудно в условиях неизбежных конфликтов. Но кроме смещения фокуса с “одноуровневой оптимизации по одному показателю-цели” на “многоуровневую многокритериальную”, надо ещё выходить на организацию коллективного действия: организовывать команду-коллектив-сообщество-общество вокруг себя, а сегодня ещё и не только людей, но и AI-агентов (и целые их команды).
Квалифицирование должно тут не просто отслеживать вот это “договориться со всеми в проекте”, но отследить ход на организовывание: “договорить всех вокруг себя” (совершенно другая формулировка!). Более того, дальше надо будет отследить ещё и умение договорить не своих подчинённых. В МИМ принят подход к игнорированию должностей в организации, учитываем только роли – с должностью может быть легче увеличивать масштаб интервенций, но отсутствие должности не отменяет возможности работы по роли с не своими подчинёнными. Должности непременно дадут при очевидной демонстрации успешности в выполнении роли. Чтобы получить квалификационный профиль “мастер” как типовой результат первичного прохождения резидентур программы рабочего развития, надо демонстрировать организацию работы не своих подчинённых, всё необходимое для этого в руководствах есть. Конечно, развитие на этом не останавливается: при выходе масштаба деятельности за пределы организации в сообщества, мы попадаем в ситуацию, когда уже “все не подчинённые”: от “проекта” выходим на уровень культуры и изменения методов работы и предпочтений большого числа людей – квалификация “реформатор” (и даже это ещё не самый большой масштаб, ибо если речь о планетарных масштабах, то это “революционер”). Это всё трудно, потому что движение идёт сразу по многим осям: знания, фокус внимания на многих системных уровнях и собранность (стабильность внимания), инициатива в интервенциях, умение коммуницировать с самыми разными агентами. Многолетний опыт подтверждает, что вложение достаточного числа часов в освоение работы по наставлениям руководств и с быстрым отслеживанием ошибок наставниками приводит к устойчивому росту по всем индикаторам квалификации.
Названия профилей квалификаций как ступеней – это просто мнемоники, критерием квалифицирования является операциональное описание “что умеет делать инженер-менеджер” в разрезе трёх индикаторов и предъявление каких-то наблюдаемых свидетельств этих умений (свидетельства нужны, чтобы не было ситуации из анекдота: “-- Умеете ли вы играть на скрипке? – Умею! – А где вы играли? – Пока ещё играть не пробовал, но думаю, что у меня получится!”). Никакой “титуломании” нет, ибо квалифицирование – это не получение титула, а получение замера на какой-то шкале, “замер как награду” не присваивают, “почётных докторов” вроде университетских степеней – нет.
Конечно, всё это одновременно может быть приложимо к одному человеку. Так, Вася у нас может быть назван:
- инженером-менеджером, единомышленником, “нашим”, участником сообщества, носителем культуры МИМ, даже если имеет какую-то небольшую квалификацию. Но он уже разделяет с другими инженерами-менеджерами как создателями систем самой разной природы какую-то культуру мышления, основанную на картине мира из руководств для инженеров-менеджеров.
- он же может быть резидентом мастерской инженеров-менеджеров, если осваивает работу по какому-то нашему руководству под присмотром мастера-наставника, или даже “саморезидентом”.
- он же может иметь какую-то степень квалификации по одной или даже разным программам развития инженеров-менеджеров, например, ученика и мастера (одновременно!), что ему не мешает одновременно быть резидентом (несмотря на то, что он уже мастер!) и инженером-менеджером
- и одновременно у него может быть несколько разных профилей квалификационных степеней, например, мастера и исследователя, а ещё и он может быть и сам наставником (если у него есть степень мастера).
- и можно даже пойти внутрь профиля квалификаций и дать оценки по отдельным индикаторам (агентности, масштаба, методологической дисциплины), это ничему не противоречит.
Конечно, закон Гудхарта не поощряет опираться в своих оценках происходящего (в том числе в оценках мастерства) на один скаляр, один индикатор-показатель. Поэтому к квалификациям в МИМ не относятся со звериной серьёзностью, не привязывают к ним никаких особенных административных решений (хотя какие-то решения – привязывают, например, не-мастера не могут быть наставниками. Сначала наставники должны продемонстрировать, что их знание не просто книжное знание теории, но знание ещё и нюансов реальных ситуаций, понимание степени невязки предсказаний теории и жизни). А ещё принято достигать результатов в рабочих проектах, а не натаскивать инженеров-менеджеров под “сдачу на квалификацию”. И, конечно, все понимают: замер квалификации как по каждому индикатору, так и на соответствие какой-то степени в профиле значений этих индикаторов – он достаточно грубый. Но немногочисленные случаи оспаривания выставленной квалификации наставниками МИМ показывают, что всё-таки критерии довольно очевидны, получить квалификацию “на крутости и хорошо подвешенном языке” нельзя. Если крутой фокусник придёт к музыкантам и попытается притвориться там музыкантом, ссылаясь на хорошую тренированность пальцев, он вряд ли будет признан музыкантами. С нашими инженерами-менеджерами примерно так же: если кто-то из крутых “внешних” по отношению к сообществу МИМ инженеров или менеджеров придёт и попытается получить квалификацию МИМ, не проходя программ развития – его признают крутым, великим, талантливым. Но желаемую им квалификацию – не присвоят.
Особенности квалифицирования в МИМ:
- Поскольку SoTA в личном, рабочем, исследовательском развитии меняется, то квалификация у нас имеет год последнего её присвоения. Мастерская занимается развитием инженеров-менеджеров с 2015 года (ещё как Школа системного менеджмента), так что некоторые инженеры-менеджеры так и поступают: они проходят резидентуры по рабочему развитию с наставниками по свежим версиям руководств раз в пару лет – и очень этим довольны, потому что “всегда на фронтире”. Если увидите “мастер 2018 года”, то можете сами сделать вывод о том, насколько это SoTA-мастер.
- В мастерской квалифицирование – это не административная процедура “сдачи экзамена”, “выдачи путёвки в жизнь”, а индикативная инженерная – постоянный “замер” квалификации при любой возможности, но не разовая “оценка”. Если у работодателя для его группы в нашей резидентуре есть какие-то административные процедуры и он считает квалифицирование “экзаменом”, то это его мнение, а не мнение МИМ. Дело МИМ тут – организовать своё квалифицирование как замер. Квалификация инженеров-менеджеров должна быть публично известна, чтобы сообщество МИМ понимало, о чём можно с единомышленником поговорить и в какой проект с ним можно идти, чтобы на что-то рассчитывать. И, конечно, квалификация “со стороны” прежде всего должна быть известна самим квалифицируемым. Так что мы проводим частое квалифицирование-как-замер на встречах с нашими наставниками в ходе резидентур и практикумов, конференций, причём не на одной встрече, а на многих, при этом необязательно ограничиваясь только этими встречами. Так, квалификация может повышаться после выступлений (на конференциях, методсоветах и семинарах). И даже необязательно выступлений на мероприятиях МИМ, но всё-таки предпочтительно МИМ – там проще обсуждать применение принципов квалифицирования к выступлению, показывать, как связан рассказ с использованием описанных в руководствах для инженеров-менеджеров методов мышления и работы, “говорить на птичьем языке” абстрактной (уровня мета-мета-модели, первых принципов) картины мира. Более того, старшие степени квалификации в рабочем развитии (степени мастера и реформатора) часто присуждаются именно по итогам выступлений, а не на встречах с наставниками в резидентурах. Программы развития с наставниками тут могут оказаться давно пройденными, но это не означает, что квалификация инженера-менеджера не растёт, мастерство не обновляется, новые замеры квалификации не нужны.
- Квалификация в МИМ абсолютная в рамках следования методам мышления и работы, описанных во всех руководствах программ, а не по итогам освоения работы по какому-то одному руководству одного практикума или одной резидентуры. Значительное число инженеров-менеджеров проходят резидентуры по отдельным руководствам два или даже три раза, и “уже мастер” вполне может захотеть сделать очередной проход по какому-то руководству из начальных резидентур, изучая при этом новый материал этих руководств – и одновременно демонстрируя квалификацию мастера (например, говорит в ответ на вопрос “что сделал на неделе” не про себя, а про то, что начали делать люди, которых он организует – то есть демонстрируя результаты своей работы как работу других людей, а не себя самого, смену фокуса внимания). Вот он получит свежее подтверждение степени “мастера”, а не возврат на степень “работника”, даже если он повторно пошёл на начальные резидентуры программы рабочего развития. Или не получит, если выяснится, что он ссылается при этом на материал каких-то старых версий руководств инженерной серии, то есть его “мастер” не будет SoTA (с этим как с осетриной, которая или первой свежести, или не осетрина. Так и “мастер” – или у него свежая картина мира, или он не мастер).
- Критерии степеней квалификации наставники обсуждают на встречах с резидентами, на почти каждой встрече они дают примеры проведения квалифицирования. Увы, если сказать “чтобы быть мастером, ты должен продемонстрировать умение организатора: рассказывать не о том, что ты сам сделал, а о том, что сделали нового те люди, с которыми ты работал – иногда даже будет длинная цепочка твоего влияния на результат”, то это хорошо понимается – но не делается! Надо каждому квалифицируемому инженеру-менеджеру сначала дать “зеркало” его ответа, сделав разбор/review не менее чем три-четыре раза – чтобы квалифицируемый понял, что намерение его рассказа не совпадает с тем, что он на самом деле говорит. Буквально: цитировать его его слова и указывать, что там предмет рассказа – его действия, или действия каких-то людей по какому-то новому методу, или вообще никаких изменений не было ни в нём, ни в его проектах. Тогда инженер-менеджер понимает не только принципы квалифицирования, но и начинает как-то оценивать себя (не “квалифицирование по намерению того, что я говорю и делаю”, а “квалифицирование по тому, что я говорю и делаю – и это может существенно отличаться от намерения”). Вот это несоответствие видения своих внешних проявлений по сравнению с ощущением своих намерений в этих проявлениях – самое существенное препятствие. Требуется довольно много предъявлений в разных контекстах, с разными наставниками, чтобы инженеры-менеджеры осознали: “что я думаю, что говорю, и что я действительно говорю – разные вещи. Что я намерился сделать, и что я действительно сделал – разные вещи”.
- Принципы квалифицирования по нашим программам развития должен знать каждый инженер-менеджер, в том числе он должен уметь квалифицировать коллег (и он научается это делать, хотя и не сразу, а ближе к концу программы – когда уже понимает, что там в мышлении и действии должно происходить на старших степенях квалификации). После умения квалифицирования коллег инженер-менеджер научается квалифицировать и себя самого. Для этого мы на встречах с наставниками (не на одной “экзаменационной” встрече или “защите”, а на буквально всех встречах) рассказываем и повторяем критерии квалификационных степеней, принципы квалифицирования, а также демонстрируем определение квалификации инженеров-менеджеров по их рассказам. Типовой вопрос на встречах – “расскажи, что ты сделал на работе за последнюю неделю”, тут всё и выясняется: рассказ использует понятия из руководств, или бытовой, фокус внимания на своих действиях или на действиях тех, кто должен как-то освоить новый метод работы по инициативе квалифицируемого. И ещё через некоторое время появляется понимание, что “самоквалифицирование и квалифицирование других” по руководствам пятилетней давности – это неправильно, развитие бесконечно, в зачёт идёт только квалифицирование по свежим версиям!
- Надо иметь видео встреч с проведением квалифицирования, оно будет в помощь квалифицируемому. Повторим: инженеры-менеджеры (к AI-агентам это тоже относится!) редко обращают внимание на то, что они говорят “дословно” – у них в памяти остаётся общее ощущение того, что они были намерены сказать, а не конкретные сказанные слова. Но результат квалифицирования отражает не то, что они хотели рассказать, а то, что они в реальности говорили. Поэтому наставники (или коллеги) и цитируют их слова, по которым проводят квалифицирование, но на всякий случай ещё всегда есть видео. “У нас все слова записаны”.
- Квалифицирование в МИМ всегда публично: наставник и группа резидентов, или участники конференции. Группа резидентов постепенно научается проводить квалифицирование по принципам, которые они перенимают по примерам квалифицирования, даваемым наставником. Через три-четыре встречи с демонстрациями примеров квалифицирования оказывается, что оно перестаёт восприниматься как субъективная “оценка” наставником и больше воспринимается как “замер”, который может сделать с более или менее одинаковым результатом любой инженер-менеджер, прошедший программу и разобравшийся с нашими руководствами (даже “специалист”: он может сам ничего не делать – но суждение о том, какая квалификация у коллеги, он вполне может вынести!). В итоге квалифицирование делает вся группа резидентов плюс наставник – и нет вопросов о “субъективности” (а в случае затруднений всегда есть видео).
