Предобучи, потом подстрой/pretrain then finetune

Какой-то аналог этой ситуации с общим обучением в бакалавриате и потом обучением целевому прикладному мастерству в магистратуре может быть подсмотрен в исследованиях по искусственному интеллекту. Там ведь стоит такая же задача по обучению нейронной сети самым разным прикладным умениям (о мастерстве тут говорить сложно: оно подразумевает личное отношение к делу, в отличий от знаний, навыков, умений, которые демонстрируются вне связи с личным отношением). Говорят об этом обучении ровно тем же языком, которым говорят об обучении людей. Но говорят точнее, ибо математиков в сфере AI больше, и решают задачи более трудные: компьютеры научить интеллекту труднее, чем людей. Поэтому мы активно будем делать «реэкспорт» идей из сферы AI в образование — после того как люди из AI взяли эти идеи из образования, почистили и обогатили их, мы возьмём их и опять применим к обучению людей.

Текущий тренд в работе нейронных сетей с естественным языком — это использование так называемых языковых моделей. Берётся огромная пустая нейронная сеть, и ей скармливается огромное/gargantuan число самых разных текстов на всех доступных языках (википедия там только маленькая часть). В этих текстах отражены какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка), а также свойства мира (ибо все эти тексты о чём-то в мире, речь не идёт о фантастике и сказках). Нейронная сетка выучивает изо всех этих текстов что-то общее про языки и мир. Это называется pretrain, предобучение. И занимает это предобучение довольно много времени и денег — одна предобученная языковая модель на середину 2020 года может обходиться в десятки миллионов долларов. Бакалавриат для нейронных сетей весьма недёшев.

Предобучение даёт нейронной сети какие-то знания о языке и мире, но языковая модель сама по себе не может при этом решать никаких прикладных задач. Про задачи и конкретные предметные области эта сеть ничего не знает.

Так что потом идёт finetune, подстройка — берётся эта безумно дорогая языковая модель и очень быстро и дёшево доучивается решать одну или даже десять разных прикладных задач. Фишка в том, что дорогое предобучение делается один раз, а потом подстройка делается легко и быстро каждый раз. За последний год такой подход предобучения+настройки стал мейнстримом в AI. Для очень больших и поэтому очень дорогих языковых моделей подстройка идёт ещё быстрей и дешевле — на подстройку сети нужно давать в десятки и сотни раз меньше данных, предобученная большая сеть оказывается не такой уж тупой.

В бакалавриатах по всей планете занимаются предобучением нейронной сети человека. Это предобучение формирует у студентов самые общие фундаментальные знания о мире. Язык-другой ко времени прохождения бакалавриата все уже знают, текстов прочли много, именно языковой модели учить не нужно, но вот надёжной и компактной модели мира и себя, паттернов эффективного мышления у большинства людей нет — вот им и учат, предобучают мокрую нейросетку студентов. При этом ещё и хорошо структурируют материал, что в мире AI только-только собираются делать с использованием графов знаний/knowledge graphs или других символьных методов. С людьми тут проще, это же не изначально тупые компьютеры!

Получение прикладного (инженерного, менеджерского, предпринимательского, врачебного, педагогического и т.д.) мастерства на базе предобучения — это лёгкая и быстрая подстройка, она делается в магистратуре. И чем тщательней выполнено предобучение, тем проще идёт подстройка.

По факту речь идёт о чём-то типа операционной системы для аппаратуры мозга. Предобучение — это прошивка, оживляющая аппаратуру мозга какой-то версией модели мира, какими-то фундаментальными знаниями, пригождающимися во многих проектах, помогающими ориентироваться в командной работе. И после такой прошивки в мозг потом просто устанавливаются прикладные дисциплины, дающие прикладное мастерство. Как с телефонами: мозг желательно помощнее, прошивку поновее, и любые приложения на нём будут ставиться в полпинка, летать и даже работать одновременно, не мешая друг другу (а то и помогая).

Без не слишком дешёвого, не слишком быстрого, ни разу не прикладного (наборот: общего для всего прикладного!) качественного предобучения никакой лёгкой подстройки не будет.

Ключ к качественному современному образованию — качественный современный бакалавриат. Этот бакалавриат должен дать общие для всех видов прикладного мастерства свойства личности (например, собранность и честность), а также знания и умения. Дисциплины этого бакалавриата сильно отличаются от традиционных вузовских «высших математик» с «историей философии», хотя это мы немного забегаем вперёд и дальше рассмотрим подробней:

  • модель мышления о себе, мире и описаниях мира (методологические дисциплины — онтологика, системное, научное, вычислительное мышление),
  • модель человеческой деятельности (деятельностный кругозор — системная инженерия, менеджмент, предпринимательство)
  • модель себя, любимого: как обходиться с собственной психикой и телом (когнитивистские дисциплины — собранность психики и тела)

Предобучение людей, как и предобучение нейронных сетей — это долго, дорого и малопонятно в части изучаемых предметов. Бакалавриат занимает обычно четыре года интенсивного обучения, из них пару лет даже лишнего, ибо часть времени уходит не на предобучение, а на обучение уже каким-то прикладным видам мастерства, которые потом не пригодятся. Вы научитесь работать на аппаратуре, которой никогда не встретите потом в жизни, моделировать на языках, с которыми тоже в жизни потом не встретитесь — но вас в бакалавриате этому всё равно научат.

А подстройка после бакалавриата? Подстройку могут дать тысячи и тысячи прикладных учебных заведений с их магистратурами, это пара лет вечерних занятий. Это дёшево, это быстро, это понятно.

Основной аргумент Болонской системы, в рамках которой и происходит разделение бакалавриата и магистратуры — это возможность за четыре года стать зрелой личностью, чтобы потом осмысленно выбрать прикладную магистерскую программу.

Если у тебя ещё нет надёжной модели мира в голове, модели себя, модели сфер деятельности, то как ты будешь осмысленно и осознано выбирать прикладные области для своего развития, прикладные проекты, которыми будешь заниматься? Выбор будет не осознанный, а случайный. Болонская система это учитывает, в отличие от специалитета, где ты должен выбрать «профессию мечты» как можно раньше.

Если специализация происходит слишком рано, как в советских специалитетах, то вместо предобучения получается сразу подстройка сырых мозгов — и надёжной образовательной платформы для последующей переспециализации не будет. Пять лет изучения машиностроения в рамках специалитета (пять лет обучения прикладному мастерству, без «неприкладного» бакалавриата) могут быть потрачены, но через три года окажется, что интереса к машиностроению у человека нет, и он хочет стать операционным менеджером в сфере информационных технологий. Три года вместо предобучения окажется, что были потрачены зря на подстройку к машиностроению. А затем вместо пары лет на переучивание в другой магистратуре у этого недоученного машиностроителя заведомо уйдёт больше времени: у него не было полноценного бакалавриата, не было полноценного предобучения. Подстройка его «мокрой нейронной сети» будет трудна, займёт много времени.

Если хочется меньше тратить времени жизни как цикла бесконечного совершенствования на постоянную наработку новых видов прикладного мастерства магистерского или даже докторского уровня, нужно потратить больше времени на образовательный фундамент, на ни разу не прикладное предобучение уровня бакалавриата. Зачем учиться тому, что потом не будет очевидным образом приложимо на практике? Затем, чтобы потом быстрее научиться приложимому на практике. И ещё раз научиться, и ещё раз научиться — всё время подучиваться, ибо набор мастерства — это непрерывное доучивание, набор опыта. Если у вас личность достаточного калибра, то набор самого разного мастерства будет быстрым.

Увы, не все учебные программы бакалавриатов выстроены так, чтобы дать человеку общее образование, позволяющее ему потом легко специализироваться в сотнях и тысячах возможных практиках. Эти учебные программы нужно специально проектировать как программы предобучения[4].

[4] Школа системного менеджмента https://system-school.ru/ специально нацеливает свои программы на предобучение. Прикладными дисциплинами всегда можно будет заняться в других учебных заведениях, а вот знания уровня бакалавриата, специально предназначенные для последующего быстрого набора прикладного мастерства – это только в ШСМ.

Новости по поводу книги/текста появляются в блоге автора, https://t.me/ailev_blog, предложения и замечания присылать автору по адресу ailev@asmp.msk.su

Источник: книга А.Левенчука «Образование для образованных 2020». 

Идеи очень интересные, в целом, я согласен с ними. Но как эти идеи передать не тем, кто к системному мышлению (и вашей школе) дошел самостоятельно из-за сложностей в реальных проектах, из-за желания развиваться и делать свою работу лучше (т.е. в большинстве своем речь идет о людях, уже закончившим бакалавриаты / специалитеты / магистратуры), а тем, кто только закончил школу и начинает свой путь во "взрослом" обучении? Есть ли у нас сейчас бакалавриаты, которые занимаются именно становлением базового мышления?

Лично я совсем недавно учился на бакалавриате машиностроения и тоже получил много ненужных навыков. А базовых, мыслительных - не получил. Отчасти от того, что просто не знал, что они есть.