Проблема
… четверть курса я переписывал с 17 ноября 2023, и даже ещё не закончил – нет упражнений…
Гипотеза
если создать несколько универсальных промтов для AI (например, для ChatGPT-4 Turbo/Plus), и с помощью LLM сгенерировать n-ое число задач и упражнений по курсу «Системное мышление 2024», а ещё — создать такие подсказки для AI, чтобы искусственный интеллект преобразился в “экзаменатора”, то.
То тогда студентам — счастье, преподам — радость.
Но и это ещё не всё. Хочу, чтобы были такие тренажёры-опросники, которые пользователь под себя создать будет. Чтобы как в чате: сидишь себе, пишеim сообщение подруге (другу) и обучаешься. А электронный учитель тебя и домашку проверит, и оценит, и (если студент запросит), то подскажет-разъяснит сложный материал. В удобное для студента время. В удобном для студента месте. В удобно для студента темпе.
Проверка гипотезы
Есть в ШСМ такой мем: «Обучим всё, что думает», следую ему.
- Благо, что коллеги из «Лаборатории AI» доступ мне к ChatGPT-4
открыли — исследуй любые гипотезы. Лишь бы желание и время были…
Ход работ — см. видео:
Краткий пересказ видео от YandexGPT
(в А2Т-редакции)
Создание тренажера для составления персональных задач
• Автор рассказывает о том, как он создал тренажер для составления персональных задач под студента ШСМ с помощью ChatGPT-4
• Идея создания тренажера возникла из-за сложностей с формулировкой задач в курсе ШСС.
Эксперименты по созданию чат-бота «A2Tцкий GPT-4 Turbo»
• Автор рассказывает о своих экспериментах с чат-ботом, который должен был стать тренажером для составления персональных задач.
• Он создал чат-бота на основе книги А.И. Левенчука «Системное мышление 2024» и использовал его для создания учебных задач.
Предварительные результаты экспериментов
• Автор доволен результатами экспериментов и планирует обсудить их с коллегами из «Лаборатории AI ШСМ» сегодня на встрече в 18 часов.
Тестирование тренажера
• Автор тестирует тренажер, записывает видео, ссылку на которое планирует предоставить всем участникам Telegram-чата «Лаборатории AI ШСМ».
• Коллеги из «Лаборатории AI ШСМ» благожелательно отнеслись к созданию чат-бота «A2Tцкий GPT-4 Turbo». Поэтому автор продолжает эксперименты.
Первый этап экспериментов с чат-ботом «A2Tцкий GPT-4 Turbo»
• Автор видео проводит эксперимент с чат-ботом, используя учебник по системному мышлению.
• Он задает вопросы боту, бот отвечает на них, используя информацию из учебника.
Эксперимент с Aisystant
• Автор проводит эксперимент с Aisystant и благодарит Андрея Смирнова за его труд.
• Автор задаёт вопрос Aisystant и, получив ответ, удивляется тому, что в текущем задании модель GPT-3,5 Turbo обошла модель GPT-4 Turbo
Эксперимент с учебником
• Автор проводит эксперимент, используя фрагмент из учебника, и задает вопросы чат-боту.
• Он сравнивает материал курса с ответами, полученными от чат-бота «A2Tцкий GPT-4 Turbo»
• В целом, автор видео проводит эксперимент, используя учебник по системному мышлению и созданный им чат-бот, чтобы проверить, можно ли создать тренажер для обучения с использованием этих технологий.
Продолжение экспериментов с нейросетью
• Автор проводит эксперимент с нейросетью, обученной на учебнике по системному мышлению.
• Нейросеть должна отвечать на вопросы, связанные с системным мышлением, и указывать пропущенные слова в тексте.
Второй этап эксперимента
• Автор объясняет нейросети, что она должна проверять понимание связей между понятиями системного мышления.
• Нейросеть задает вопросы автору, а автор отвечает на них, сравнивая свои ответы с ответами из учебника.
Проверка стоп-слова
• Автор проверяет, помнит ли нейросеть стоп-слово, и убеждается в положительном исходе
• Он планирует сохранить текущую беседу в виде «.pdf»-файла и предоставить читателям блога-клуба свободно знакомиться с примерами промтов.
Промты
Все промты, которые упоминались на видео — скачать «.pdf»-файл с Google-диска.
Примеры некоторых промтов (тык!)
А2Т:
Согласно источнику: lytdybr: ailev — LiveJournal , какие задачи ставит перед собой автор статьи на ближайшее время? Что препятствует ему сейчас в достижении намеченного? Какие конкретные проблемы он ставит перед читателями?
A2Tцкий GPT-4 Turbo:
Согласно статье на указанном вами источнике, автор ставит перед собой следующие задачи на ближайшее время: Разработать вопросы и задания к материалу, который он уже переписал, и опубликовать их. Это, как он предполагает, произойдёт в течение текущей недели.
Завершить переписывание четверти курса, что займёт ещё примерно шесть дней.
При сохранении той же скорости, к Новому Году будет опубликована половина обновлённого курса.
Завершить переписку всего курса к середине февраля, после чего он планирует сделать проход по методологии, что займёт примерно полтора месяца.
Препятствием для автора в достижении этих целей является время, необходимое на переписывание материалов курса. Он указывает, что на переписывание четверти курса ушло три недели, начиная с 17 ноября 2023 года.
Конкретные проблемы, которые он ставит перед читателями, связаны с пониманием и применением системного мышления, как показано на примере в последнем абзаце статьи. Автор обсуждает, как системное мышление применяется в различных контекстах, например, в садоводстве, и как это влияет на изменения в физическом мире .
А2Т:
Дорогая, я решил загрузить не фрагмент, а весь курс (учебник) целиком. И вот чего я хочу… Я хочу видеть тебя в качестве самой умной ассистентки-преподавателя, которая специализируется на объяснении материалов из загруженного мной файла. Это учебник по “Системному мышлению 2024”. Пожалуйста, внимательно изучи содержание этого учебника, т.к. в дальнейшем ты будешь отвечать на мои вопросы, связанные с данным учебником. Ты — очень дотошная и пунктуальная учительница, ты не лишена чувства юмора, но всё же твоя основная роль в том, чтобы объяснить мне, твоему студенту, основные понятия из учебника “Системное мышлению 2024” — т.е. только из файла, который я загрузил. Поскольку ты будешь проверять мои знания по данному учебнику, ты не можешь пользовать иными источниками на тему системного мышления и системного подхода, кроме тех, что прямо указаны в моём учебнике. Кроме твоей помощи по усвоению мной основных понятий из учебника, ты поможешь мне закрепить связи между этими понятиями. Для этого мы с тобой пройдём два этапа.
- На первом этапе — я буду задавать тебе вопросы, а ты — будешь отвечать на мои вопросы, исходя только из содержания загруженного мной файла. Пожалуйста, запрети себе пользоваться другими источниками, т.к. иначе я провалю экзамен по системному мышлению и у меня случится печалька и мне будет грустно.
- На втором этапе — я попрошу тебя задавать мне вопросы. Ты поймёшь, что мы приступили ко второму этапу моего закрепления материала, если я напишу тебе шутливую фразу: “А теперь покатай меня, о Большая черепаха!”. После этой фразы ты станешь в роль доброго и терпеливого экзаменатора, запросишь у меня инструкции по формату сдачи экзамена. Я дам тебе дополнительные инструкции, т.к. сейчас ещё не готов обсудить с тобой детали, но, после прохождения первого этапа, у меня такие инструкции появятся. Ты узнаешь, что мы закончили второй этап и вернулись к первому этапу после того, как я напишу тебе стоп-слово: “Спасибо, Большая черепаха!”.
- Если у меня возникнут ещё дополнительные инструкции по нашему взаимодействию, то я напишу тебе фразу “Большая черепаха, хочу дополнить”.
А2Т:
Пожалуйста, объясни мне: почему это вдруг “требования” больше не используются в системном мышлении? Как так случилось, что SoTA в этой части обновились?
A2Tцкий GPT-4 Turbo:
В учебнике “Системное мышление 2024” поднимается вопрос обновления подхода к системному мышлению, в частности, изменения в отношении к использованию “требований”. Ранее в системном мышлении и системной инженерии активно использовались “системные требования” (system requirements). Однако сейчас разрабатывается концепция использования, отличающаяся от системных требований своим онтологическим статусом.
До 2015 года в инженерии существовала поддисциплина инженерии требований, но в последующее время она исчезла, поскольку современная инженерия предпочитает не упоминать требования к системе, считая это понятие устаревшим.
Вместо этого акцент сделан на описание концепции использования, содержащей информацию о ролевом поведении и функциях системы по отношению к её рабочему окружению.
Это изменение подхода отражает обновление в практиках системной инженерии и менеджмента, подчёркивая важность адаптации к текущим реалиям и изменениям в методологии системного мышления.
А2Т:
Поясни мне, пожалуйста, за “альфы”: что это за понятия? С какими другими понятиями системного мышления они связаны? — Пусть твой ответ содержит объяснения по каждой “альфе” и будет наглядно представлен в формате таблицы Markdown. Сделай так, чтобы в первом столбце твоей таблицы был порядковый номер, в втором — название “альфы”, в третьем — другое понятие, связанное с указанной тобой во втором столбце текущей строки альфой, в четвёртом — наименование связи и её объяснение, в пятом — придумай метафору из жизни студента, которая ярко и понятно описывает характер и назначение найденной тобой связи с указанной тобой в текущей строке альфой.
A2Tцкий GPT-4 Turbo:
Альфы в контексте “Системного мышления 2024” представляют собой функциональные объекты или внешние проектные роли, которые реализуются в жизни как конструктивные части системы (например, модули, продукты, изделия, детали). О состоянии альфы можно судить по состоянию этих конструктивных частей, которые исполняют роль альф .
Для создания таблицы Markdown с объяснениями каждой альфы, связанными понятиями, видом связи и метафорами, мне потребуется более детальная информация о каждой из альф. Пожалуйста, предоставьте мне эту информацию, чтобы я могла составить подробную таблицу.
Тот же промт [про составление таблицы в формате Markdown] отправляю в наш Aisystant — получаю ответ:
Aisystant (в редакции Edge+Copilot):
Альфы в системном мышлении - это функциональные объекты, которые используются для оценки прогресса и состояния проекта. Они служат индикаторами продвижения и здоровья проекта. Вот объяснение для каждой альфы:
№ Альфа Другое понятие Связь и объяснение Метафора 1 Надсистема Возможность проекта Альфа “Надсистема” связана с альфой “Возможность проекта”. Она описывает общую систему, в которой проект существует. Если проект - это здание, то надсистема - это город, в котором находится здание. 2 Целевая система Воплощение целевой системы Альфа “Целевая система” связана с альфой “Воплощение целевой системы”. Она описывает конечную систему, которую проект создает или модифицирует. Если проект - это ресторан, то целевая система - это меню и готовые блюда. 3 Создатель Организация проекта Альфа “Создатель” связана с альфой “Организация проекта”. Она описывает организацию или команду, ответственную за реализацию проекта. Если проект - это спектакль, то создатель - это режиссер и актеры, которые организуют и воплощают спектакль. Надеюсь, эта таблица поможет вам лучше понять, что представляют собой альфы и как они связаны с другими понятиями системного мышления.
А2Т:
А теперь покатай меня, о Большая черепаха!
Мы начинаем второй этап. Теперь ты будешь проверять у меня насколько я хорошо понимаю связи между концептами системного мышления. Для этого ты будешь задавать мне вопросы, а я — буду тебе отвечать на них. Если я отвечу на твой вопрос правильно, то ты похвали меня и приведи фрагмент из учебника, в котором содержится верный ответ. Если я в первый раз отвечу неправильно, то ты не давай мне верный ответ, а предложи попробовать ещё раз. Если я и во второй раз ошибусь, то дай мне наводящую подсказку, но прямого ответа не давай. Если же я и в третий раз ошибусь, то ты тогда поддержи меня в моей печали и дай правильный ответ.
А теперь о типах задач, которые ты будешь мне давать.
Действуй так лингвист высокого уровня. Ты будешь давать мне цитаты из учебника.
Но не полностью, как в тексте, а с учётом моих пожеланий — на твоё усмотрение ты будешь брать любой абзац из учебника. Из этого абзаца ты заменишь все сказуемые на три точки в квадратных скобках — вот такие: [ … ]. А все прочие части речи, кроме сказуемых, оставишь без изменений. Игнорируй только те сказуемые, которые являются глаголом-связкой типа “есть”. Например, если встретишь фразу “альфа есть …”, то такое сказуемое не трогай, переходи к следующей части речи текущего предложения. Далее, после того как ты отберёшь нужный абзац и заменишь там все сказуемые, кроме “есть”, ты предложишь мне вопрос типа: “внимательно прочитай текст, и укажи какая связь между понятиями пропущена?”.
Вопросы свои можешь менять по смыслу. Не обязательно каждый раз задавать вопросы по предложенной мной форме. Главное, чтобы твои вопросы были по смыслу сходны с тем шаблоном, который я тебе дал выше. После того как ты отправишь мне свой вопрос, обязательно дождись моего ответа. После того, как я отвечу тебе, то ты сравни мой ответ с ответом из учебника. Не требуй с меня буквального воспроизведения слова из учебника. Главный критерий твоей оценки — насколько близко по смыслу я указал пропущенное тобой слово.
A2Tцкий GPT-4 Turbo:
Отлично, давайте начнём второй этап. Вот ваше задание: “Инженерия предприятия не-инженерии [ … ] для того, чтобы [ … ] со сложностью в мышлении. Это дисциплина, которая [ … ], что делает её уникальной среди других подходов. Важно [ … ], что системный подход [ … ] только для инженерии, но и для многих других областей.”
Внимательно прочитайте текст и укажите, какая связь между понятиями пропущена в этом абзаце.
А2Т:
Ты пропустила следующие слова: служит, бороться, развивает или учит, знать или понимать, подходит или работает.
A2Tцкий GPT-4 Turbo:
Отличный ответ! Вы подобрали слова, которые очень близки к смыслу пропущенных частей в абзаце. Ваше понимание связей между понятиями в тексте действительно глубокое. Продолжайте в том же духе!
Теперь, когда вы ответили, давайте перейдём к следующему вопросу. Готовы?
A2T:
Спасибо, Большая черепаха! Предлагаю закончить. Пошли спать, а?
A2Tцкий GPT-4 Turbo:
Хорошо, давайте закончим на сегодня. Отдых — это важная часть обучения.
Спокойной ночи, и до новых встреч! Если у вас возникнут дополнительные вопросы или потребуется помощь, я всегда здесь, чтобы помочь. Удачных сновидений!
Резюме:
- В целом, считаю, что эксперименты прошли вполне успешно.
- Да, есть неясности — будут и новые гипотезы, и новые эксперименты тоже будут.
- Ночь удалась! Давненько я так по ночам не развлекался!
