В компьютерном мире продолжается ускорение и перестройка, которая довольно быстро приведёт к таким же драматическим эффектам, как и советская перестройка -- хотя по итогам окажется, что стало более сытно, но не менее нервно, причём счастья для всех, даром, и чтобы никто не ушёл обиженным -- нет такого на планете. Бесконечное развитие -- это бесконечный прихват новых проблем, чего уж там. А заодно жить в эпоху перестройки и ускорения в разы интересней, чем жить при стабилизце. В нулевые годы мне казалось уже, что этот стабилизец наступил: из интернета рок-н-ролл уже ушёл, закон Мура в компьютерах как-то сходил уже на нет, а архитектуры корпоративного софта и web full stack architecture как-то подозрительно стагнировали. Но в 2012 году нейросетки впервые победили в соревнованиях по распознаванию изображений, и началась весна AI -- и с тех пор вечная весна, под вопли скептиков, что всё будет медленно. Скептики врут, всё будет быстро, и ещё быстрее.
Для торможения этой поступи прогресса некоторые нехорошие люди используют совсем уж драконовские меры, типа разноса вдребезги коммерческих айтишных эко-систем, который администрация США пытается сделать через удушение Huawei и ещё ряда зарубежных полупроводниковых фирм. Задушить производителя одного из лучших в мире телефонных SoC? Легко! По политическим соображениям, "ничего личного". Это, конечно, чуток приостанавливает поступь прогресса, но отнюдь его не отменяет. Заодно и общая надёжность айтишной инфраструктуры вырастет: весь мир вдруг понял, как опасно держать все яйца в одной корзине, иметь глобальные монопольные эко-системы. Глобальное монопольное стало синонимом опасного, будет теперь развиваться глобальное конкурентное (оно всегда развивалось, но уж после такого предательского пинка кинжалом под зад будет развиваться ещё быстрее). Шифропанки всегда говорили, что нужно не писать законы, а писать код. Вот и тут: если любые силовики могут по-быстрому сляпать закон, отменяющий любые другие законы, то кроме как кодом этот прозвол не преодолеешь. Поэтому пожелаем счастья китайским инженерам. В то, что у них в аппаратуре закладки я даже готов поверить. То, что в аппаратуре из США закладок не меньше, я тоже вполне готов поверить. Вор у вора пытается дубинку украсть? Чума на все их дома, но победят опять-таки не законы, а инженерная этика (человечество всё-таки становится менее и менее кровожадным со временем) и код. Законы -- это не код, это литература на бумаге, их ведь не проектируют, не проверяют и не валидируют, зато им верят.
Так что там с кодом? Что-нибудь происходит? С детства меня учили, что граница кода между софтом и аппаратурой расплывчата. Хорошая аппаратура имеет внутри микропрограммы, хороший код компилируется в аппаратуру. То есть отслеживать нужно развитие аппаратуры и кода вместе. Сейчас я ещё немножко поразбирался и могу добавить про неразрывную связь эволюции/open-endedness/развития, вычислительных возможностей и универсальности архитектуры -- мозг, мозг с карандашом и бумажкой, мозг с компьютером, компьютер это всё физические вычислители, они часть физической реальности, моделирующей физическую же реальность. Чем круче мы отмоделируем физическую реальность (для этого нужна вычислительная мощность и универсальность), тем круче мы отхакаем эту самую реальность. Хочешь радикальней менять мир? Имей радикально лучшие средства проектирования, то бишь моделирования. То есть имей радикально лучшую аппаратуру и код моделеров, делай виртуальную реальность и проверяй безумные идеи. Выжившие идеи воплощай. Поэтому развитие человечества зависит от вычислительной мощности, универсальности и точности моделирования, от генерации хороших идей. Без этого придётся идти традиционным методом проб и ошибок в реальном физическом времени, а это ну его, жизнь коротка!
Обратите внимание, что для меня мозг (это звучит гордо!) и компьютер тут просто вычислительный субстрат. Мышление, которое придумывает новое и редкое (скажем, температуры ниже 0.4К, температуры реликтового излучения, во Вселенной встречаются крайне редко. Но на Земле такие места с более низкой температурой есть: их придумали и сделали люди) лишь случайно село на мозги и тела именно людей. А поскольку я космополит, трансгуманист, либертарианец (добавьте в этот ряд ещё эмоционально нагруженных слов), то мне и вид человеческий в его текущем стабилизце как-то фиолетов, хочется чего-то большего. Ну, хотя бы биологического/машинного (уж какое получится) бессмертия, почему бы и нет. То есть я развитие вычислителей, развитие систем моделирования и развитие AI вместе с развитием естественных интеллектов считаю одним и тем же, только акценты при описании могут проставляться по-разному. Вот всё в этом абзаце -- это и есть образчик вычислительного мышления. В нём главный постулат, что запас вычислительной мощности, запас моделирующего софта, запас интеллекта, запас мозгов -- это всё про одно и то же, и этот запас карман никогда не тянет, он сразу уйдёт в дело, в улучшение качества моделирования физического мира, да и абстрактного мира тоже. Тони Себа со мной согласен (ну, или я с ним -- это всё IMHO уже в воздухе носится), вот что он сегодня пишет: https://www.fastcompany.com/90559711/we-are-approaching-the-fastest-deepest-most-consequential-technological-disruption-in-history (идите там на https://www.rethinkx.com/humanity-download и жмите instant download, 89 страниц отчёта о том, как всё спрогрессирует к чёртовой матери в ближайший десяток лет).
Так что ж у нас происходит буквально на этой неделе с этой перестройкой и ускорением вычислительного мира?
Вот вышел 26 сентября 2020 года обзор состояния дел в AI -- https://www.stateof.ai/, там просто собрано всё происходящее "по материалам открытой прессы". Быстрее, выше, сильнее. Буднично и прозаично, все понятные тренды, без особых объяснений. Скажем, "только 15% исследований в AI имеют открытый код" и "продолжается индустриализация AI". А что, кто-то ожидает, что чем больше разработок будет в коммерческих организациях, тем больше будет открытого кода? Или кто-то будет открывать код, когда даже над OpenAI смеются, что её нужно называть CloseAI?! В общем, ничего особо нового, про всё это и так говорят на всех углах -- просто удобно, что собрано в одном месте. Но вот недооценена роль аппаратуры, включая квантовые компьютеры. И недооценена скорость тамошнего развития. Я думаю, приход квантового компьютинга будет весьма неожиданным и там будет реальный бум.
Что же там происходит? Главным образом потихоньку расширяется число людей, которые могут на эту тему что-то думать и делать. Пока всё упирается в аппаратуру, и тут идут прорывы за прорывами, причём уже не в университетах, а в коммерческом секторе. Вот очередной такой спинофф из кавендишской лаборатории кембриджского университета в UK, стартап по производству источников и детекторов одиночных фотонов при комнатной температуре -- https://www.zdnet.com/article/quantum-computing-photon-startup-lights-up-the-future-of-computers-and-cryptography/. Они научились производить одиночные фотоны, основа квантовой оптики. А вот новый алгоритм замешивания в одно классических и квантовых вычислений для того, чтобы успеть побольше квантово навычислять до развала когеренции в кубитах -- https://phys.org/news/2020-10-quantum-algorithm-limits-imposed-decoherence.html. А вот заявления по поводу роста квантового объёма -- IonQ из Мэриленда говорит, что сделала самый мощный в мире квантовый компьютер, The new system from IonQ has 32 qubits (compared to 50 in IBM and Google machines), but they have reduced the error rate to give their new system 99.9 percent fidelity. And plugging such a rate into the metric devised by IBM gives the system a quantum volume of over 4 million—the highest ever reported for any quantum computer -- https://phys.org/news/2020-10-ionq-next-generation-quantum.html. А тут приспособили болометр (датчик теплового излучения) к квантовым измерениям -- https://techxplore.com/news/2020-09-finnish-quantum-breakthrough.html. А тут предложили стандарт промежуточного представления между языком и аппаратурой QIR, и дальше реализовали его на LLVM, чтобы посадить квантовые вычисления на Q# на разную аппаратуру (Майкрософт не дремлет!) -- https://www.infoworld.com/article/3583993/microsoft-taps-llvm-for-quantum-computing.html. Baidu тоже в деле -- https://venturebeat.com/2020/09/23/baidu-offers-quantum-computing-from-the-cloud/. Про то, что облачные квантовые вычислительные мощности можно уже давно купить, чтобы попробовать, я писал ещё в августе в "сладких плодах горького урока: спасение закона Мура на многих уровнях", https://ailev.livejournal.com/1533055.html.
Но вот люди из D-Wave заявляют, что мощности их нового компьютерного поколения (до сих пор спорят, правда ли, что это квантовый компьютер, но уже спорят поменьше -- тем более, что отдаётся в сервис гибрид квантовых и классических вычислений) купить уже можно для того, чтобы не попробовать, а прямо задействовать в бизнесе в критических приложениях, вот так всё уже проработано на этом новом поколении: https://venturebeat.com/2020/09/29/d-wave-advantage-quantum-computing-5000-qubits-1-million-variables/. Итого: квантовый компьютинг войдёт в жизнь сначала незаметненько, а потом экспоненциально накроет всех, абсолютно неожиданно, ибо всё происходит экспоненциально. Главный тут фактор -- речь идёт уже не о десятках и сотнях, а о тысячах людей, которые чуток в этом компьютинге разбираются. То есть скорость разработки существенно увеличивается. И AI помогает этой разработке: нейросети помогают удерживать параметры настройки квантовой аппаратуры, аппроксимируют квантовые вычисления и много чего ещё делают, приближая момент, когда квантовые вычисления будут не единственной надеждой что-то важное посчитать в будущем, а единственной актуальной возможностью это посчитать.
А вот событие, которое произошло вот прямо сегодня: объявления NVIDIA на дистантно проводящейся в этом году конференции GTC. Концерт шёл не в огромном зале (у меня было счастье смотреть его несколько раз очно), а на экране 4К, трансляция шла из домашней кухни CEO NVIDIA Дженсена Хуанга, но звук и даже изображение были сравнимы: у меня дома ведь студийные аудиомониторы с сабвуфером и 43" монитор 4К. Вещание же там было именно на 4К, так что всё было чудесно и в части концерта. Вот сегодняшняя полная презентация Дженсена Хуанга из девяти небольших видео (заканчивается реальным концертным номером с симфоническим оркестром, музыку сочинил AI): https://www.youtube.com/watch?v=Dw4oet5f0dI&list=PLZHnYvH1qtOYOfzAj7JZFwqtabM5XPku1
Объявлено там было очень много нового и интересного. Я рекомендую обратить внимание на инженерный аспект объявлений, ибо именно эти решения важны:
-- объявлено о выпуске Jetson Nano 2GB для "образовательной робототехники" https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-nano/education-projects/, но это настоящая образовательная робототехника, ибо заявлено о полной совместимости со всей линейкой CUDA аппаратуры для edge вычислений (NVIDIA называет эту архитектуру EGX -- https://www.nvidia.com/ru-ru/data-center/products/egx-edge-computing/) вплоть до уровня датацентров. То есть учить собираются тому, чем занимаются настоящие робототехники, а не учебным суррогатам. При этом ключевой фактор тут -- есть поддержка образовательными программами, https://developer.nvidia.com/embedded/learn/jetson-ai-certification-programs. Обратите внимание: архитектура настоящая, входная цена $59. Это означает, что на этот программно-аппаратный стек AI для extended cognition (мышление, вытащенное в окружение, embodied intelligence тут просто один из изводов этой идеи) сядет огромное число людей. Это даже не видеокарты, ибо у видеокарты лапки, она в физическом мире ничего не может. А у этих крохотуль могут быть не лапки, а вполне себе нормальные датчики и приводы, и они могут быть поставлены на мобильных устройствах. Какая скорость у этой крохотульки с её 10 ваттами? Достаточная! Вот: https://developer.nvidia.com/embedded/jetson-benchmarks. Что с её помощью строят? А вот: https://www.youtube.com/watch?v=XPUOWzB1PiY.
-- В эту общую архитектуру EGX вписали новый вид процессоров для обработки данных от Mellanox (их анонсировали раньше, но только сейчас раскрыли архитектурые детали): DPU (data processing unit) BlueField-2 на 6млрд. транзисторах берёт на себя шифрование и передачу данных в компьютерных сетях, включая кластеры в датацентрах. Выяснилось, что на эту передачу данных уходит до 30% компьютерной мощности датацентра в текущей архитектуре. Вот с дорогих CPU и GPU эти 30% нагрузки уходят в специализированные более дешёвые чипы (один чип DTU берёт на себя нагрузку по пересылке данных с примерно 125 CPU кластера). Примером тут стал выпуск NVIDIA EGX A100 -- чипа A100 и BlueField-2 на одной плате, вычислительная мощь и секьюрное скоростное сетевое соединение через 6 сетевых адаптеров -- https://www.nvidia.com/en-us/data-center/products/egx-converged-accelerator/. Это всё серединка. Что это означает? Вот фраза из пресс-релиза: "Вместо 10 000 серверов в одном месте будущие корпоративные ЦОД будут иметь один или несколько серверов в 10 000 различных локациях, включая офисные здания, фабрики, склады, вышки сотовой связи, школы, магазины и банки". Конечно, выпустили и софт для создания приложений на такой инфраструктуре из CPU, GPU и DTU. Вы не будете видеть всей этой аппаратуры, не будете замечать её замены, и это подаётся как развитие идеи software-defined datacenter (software-defined что угодно, так и должно быть! Это и есть вычислительное мышление, работать со всем на свете как software-defined -- а для этого сначала делать это software-defined. Это не про программирование, это про мыслительный подход к вычислительной технике и вычислительному софту).
Не самое важное тут, но приятное -- рапорты о том, что объявленные ранее суперкомпьютерные решения становятся доступными. Так, началась поставка суперкомпьютерных модулей DGX SuperPOD с размером кластера от 20 до 140 систем NVIDIA DGX A100, до конца года они будут установлены в Корее, Великобритании, Швеции и Индии. Россия? Не слышали. Эти системы DGX SuperPOD имеют производительность от 100 петафлопс и могут масштабироваться до 700 петафлопс, но главная их особенность -- куча коммерческого софта "под ключ" (рекомендательные системы, диалоговые системы и т.д.) и монтаж аппаратуры за недели, а не годы, как было принято раньше в суперкомпьютеростроении. Скорость решает всё, оптимизировалось время от подписания контракта до выхода готового коммерческого приложения (включая поставку аппаратуры, разворачивания системного и прикладного софта). Хотите компьютер на 700 петафлопс? Не нужно ждать годы, всё быстро (но дорого, хотя и не так уж дорого, как было чуток пораньше). Будущее уже здесь, только оно неравномерно распределено и дико дорого стоит. Ускорение и перестройка на планете идут полным ходом, у кого много денег, те принимают в этой гонке активное участие. У кого денег поменьше, те через довольно короткое время пожнут плоды прогресса. У меня нет денег на покупку датацентра, но я рад -- я точно пожну плоды этого прогресса!
На картинке плашечки системных уровней из той части презентации NVIDIA, где она объявляет о своей договорке с VMWare посадить текущую корпоративную среду VMWare на EGX инфраструктуру NVIDIA -- у нас товар, у вас купец, тьфу, у VMWare сетевая ОС, а у NVIDIA сетевой чип (DTU) и эту ОС можно поддержать аппаратно. Но картинку я взял не из самой презентации (она там меленько и косо), а из описания проекта Monterey самой VMware, причём из независимых источников (https://www.servethehome.com/vmware-project-monterey-esxi-on-arm-on-dpu/). Результатом будет привнесение архитектуры типа AWS Nitro на предприятия с VMware, разве что через восемь лет после того, как эта архитектура появилась в AWS. Но вот тут пришла NVIDIA с DTU и жизнь для VMware начала налаживаться -- обратите внимание на фирменные зелёненькие плашечки и ободки NVIDIA в сочетании с цветными элементами чужих модулей:
Аналогичные договорки по аппаратно-программному инфраструктурному стеку были с Cloudera в части инфраструктуры машинного обучения, и наверняка будут ещё со многими другими поставщиками системного софта.Ребята в NVIDIA хорошо понимают, что они делают. Я по-прежнему считаю работу ТМ этой компании образцом системноинженерного подхода, а тамошнее руководство носителями системного мышления. Если вы не разобрались (например, по моему учебнику системного мышления) с системными уровнями, вы не поймёте важности таких диаграмм, не научитесь делать такие диаграммы для ваших бизнесов. А зря. Учитесь у NVIDIA, они великие.
Вангую, что очень скоро (в следующем году) мы услышим от NVIDIA, что у них есть "квантовый ускоритель" -- или они делают свой (они уже признавались как-то, что кроме классических тензорных вычислителей у них есть группа, которая работает над аналоговым вариантом, если вдруг с классикой что-то пойдёт не так -- мемристоры или что-то типа того), или просто купят каких-нибудь лидеров рынка квантовых компьютеров, как это сделали с Mellanox и пытаются сейчас сделать с ARM (но опять же, сделка с ARM немедленно стала предметом высокой политики! Свободный рынок, ага. Недаром в моей ленте всё чаще мелькает мотив, что бежать на этой планете уже некуда, везде уже совок, везде совковый подход, во всех странах, различия стали несущественными).
Источник: блог А.Левенчука