Ещё один пост про компьютерную революцию. Сегодня вышло видео демонстрации естественноязыкового REPL на базе OpenAI Codex, показано как выглядит exploratory programming, когда выполняются 37% запросов на генерацию кода (GPT-3 могла выполнить только 0% запросов). Представьте себе такой естественноязыковый REPL для языка формул и API coda.io, причём при настройке (finetune, ибо там всё уже pretrain "из коробки") сетке скармливают и наши курсы по интеллект-стеку, чтобы познакомить с мета-мета-моделью описания деятельности. И добавьте пару лет на выпуск нескольких следующих версий всего упомянутого. Закупать попкорн не нужно, ибо всё происходит быстро, и некогда будет попкорн жевать, придётся бегать, и бегать много!
Сегодня было опубликовано видео живого демо программерской нейросетки Codex от OpenAI, https://www.youtube.com/watch?v=SGUCcjHTmGY. Вебсайт сервиса GitHub Copilot на базе этой сетки: https://copilot.github.com/ (и это может быть явно не последний сервис). Страница самого Codex -- https://openai.com/blog/openai-codex/ (и там ещё одно видео с примером. Видео важно, ибо продукты интерактивны). API Codex доступен в виде private beta с сегодняшнего дня.
Codex более-менее правильно генерирует код в 37% запросов (для сравнения: GPT-3 правильно генерирует код в 0% запросов). В видео показывают, как Codex пишет Hello World, генерирует веб-страницы и читает вебсайты, посылает письма с котировкой биткойна, генерирует по описанию простую видеоигру и даже сама сочиняет ободряющий текст для игрока в ситуации его проигрыша, а ещё выучивает JavaScript API для MS Word по его документации, и прямо с голоса вносит массовые правки в текст -- исполняя прямо в ворде программы с использованием свежевыученного API. И это только начало, первый выход в люди exploratory programming/modeling с использованием AI (там вовсе необязательно будут именно и только нейросети, и года не пройдёт, как задействуют разные другие архитектуры, нейросети будут только частью будущих решений).
А дальше читаем мои свежие тексты про компьютерную революцию и чуть более ранние текст про софт IDE и IWE и держим в уме содержание демо Codex -- что будет, если эта или подобная сетка выучит вот прямо сейчас API coda.io и тамошний язык формул, а также содержание наших курсов интеллект-стека:
- как наши выпускники стали использовать coda.io, и мы почувствовали себя на фронтире компьютерной революции: https://ailev.livejournal.com/1577769.html.
- что же мы такого сделали (разобрались с upper и middle онтологией, дали мета-мета-мета модель и перешли с формального языка программирования на псевдокод в части уровня формальности), и почему coda.io тут подходящий инструмент: https://ailev.livejournal.com/1578058.html.
- про "мышление кодированием" и дописывание программ в IDE, "мышление письмом" и помощь в написании текстов в IWE (по факту демо Codex показывает и связь этих двух кейсов: кодирование в работе с текстом): https://ailev.livejournal.com/1515735.html
Мне кажется, что демо Codex делает эти три моих поста много интересней! Из этого демо нужно брать не столько текущие возможности Codex, сколько паттерны использования в живой работе и понимание уровня языка, на котором будет идти общение с помощником программиста. Это не пакетный компилятор, это нормальный REPL с естественным языком.
Дальше в соцсетях, конечно, будет много воплей про то, что программисты всегда будут нужны, что все эти нейросетки ничего не понимают в жизни и программировании (как будто программисты вот так уж всё понимают!), что они слишком много ошибаются (как будто программисты такие уж безошибочные!), что программы несовременны и неэффективны (ибо учат на допотопном коде неведомых плохих программистов, а хороший код для обучения и взять-то негде) и много чего ещё. Вот прямо комментами к этому посту много прилетит, все ж умные, все программисты от сохи (как будто я первую свою программу не написал в 1975 году, а сегодня полтора часа не участвовал в полуторачасовом айтишном совещании, как будто у меня нет студентов, с которыми мы обсуждаем вполне фронтирные на мировом уровне проекты в их фирмах! Нет, многим моим читателям ведь заранее ведь известно, что AI туп, а я так и не разобрался в ситуации!).
Ситуация же традиционна для всего нового, развивающегося по экспоненте: проходили этот общественное отрицание, гнев, торг, депрессию и принятие на цифровой фотографии, на возвращаемых ракетах, на распознавании изображений, на голосовых интерфейсах, на автомобилях с автопилотом, и программистская нежить тут не исключение. И тут олдовые программисты будут говорить, что всё будет по-прежнему, но жизнь вдруг вокруг них существенно изменится. Они обнаружат, что ведут задушевные беседы с компьютером, ибо так оказывается быстрее даже с учётом ошибок, которые неизбежно будут делать и первые, и вторые, и даже десятые версии нежити в качестве помощников программистов.
Так что компьютерная революция для меня сейчас выглядит как естественноязыковой интерфейс для exploratory programming/modeling на основе системной upper ontology и middle ontology в среде, похожей на coda.io -- и берите не текущие версии, а версии примерно двухлетней давности от текущего момента, конца 2023. Coda.io нужно примерно столько, чтобы прожевать текущую инвестицию в $0.1 млрд. (она из беты вышла только в 2019 году), инвестиция Майкрософта в OpenAI была в $1млрд., и это тоже молодая фирма. И ещё в ходе этой компьютерной революции будет конкуренция всех этих "помощников программиста", и жёсткая. При смене поколений технологий обычно непонятно, кто окажется будущем лидером. И обязательно будет надуваться инвестиционный пузырь, куда ж без этого при очередной революции!
Восторг, в какое время живём! Закупать попкорн не нужно, ибо всё происходит быстро, и некогда будет попкорн жевать, придётся бегать, и бегать много!
UPDATE: обсуждение в фейсбуке https://www.facebook.com/ailevenchuk/posts/10221531340726942, чате вычислительного мышления с https://t.me/comp_thinking/1037, чате блога с https://t.me/ailev_blog_discussion/9925