В начале июня много писал в Gonzo_ML_chat (Telegram: Contact @gonzo_ML – чат при канале “gonzo-обзоры ML статей”), прояснял нашу позицию в отношении инженерии интеллектуальных агентов. Сам чат там посвящён был главным образом методологии искусственных нейронных сеток, затем методологии нейронных сеток для LLM, а сейчас вдруг случился перекос в обсуждениях в сторону текущего алармизма “вот придёт ASI и всех нас съест” и всего рядом (“может ли машина мыслить”, ага, хотя формулировки могут чуть отличаться, вроде “имеет ли машина сознание”), разве что изредка пара реплик таки про SSM и KAN-архитектуры, да я иногда призываю хотя бы одним глазком поглядеть на развитие JEPA или Genius как совсем уж альтернативу текущим заходам.
Вот некоторые мои реплики из тех разговоров, чтобы уж совсем не пропадало. Всё-таки мышление письмом, полезно. Как только начинаешь обсуждать азы какой-то предметной области, появляется эпистемологическая “дискуссия о методе познания”. Кто-то делает заявление по частному вопросу, тут же вопрос “а как вы узнали?” ответ сразу выдаёт какую-то нестандартную фундаментальную онтику, вопрос “а как вы это узнали?!” повторяется – и мы в середине “дискуссии о методах”, то есть в середине эпистемологов, обсуждающих разные онтологии. Беда только, что это “народные эпистемологи” и “народные онтологи”, поэтому обсуждение ведётся на знахарском уровне “народной эпистемологической медицины”.
Вот одно из моих включений в чате (начиная с Telegram, и там дальше смотреть пару дней):
Хех, как только начинаешь обсуждать азы, сразу идёт обсуждение эпистемологии — вопрос “а как вы это узнали?”, и далее оказывается, что у всех участников разговора разные представления о науке и научном методе. Более того, эти представления сами по себе развиваются, и отсылки к Куну или Попперу не работают без поправок, которые прошли за те десятки лет, которые прошли с высказывания всех этих идей.
Несколько замечаний:
— обзор того, что там с современной эпистемологией (в том числе что там с соотношением физики и математики, и о чём эти методы мышления) в курсе “Интеллект-стек” (Aisystant). Хотя бы полистайте (бесплатно после регистрации). В принципе, мы даём этот курс на пятом семестре, потому как зачем это всё нужно, понятно “простым людям” только после того, как они познакомились уже со многими идеями, для которых понимание “основ науки” оказывается полезным. Ну и к этому моменту уже люди чуток знакомы с системным мышлением, методологией, что-то могут связное сказать про онтологическую инженерию и т.д. — у них к этому моменту есть уже не книжное знание по многим упомянутым вопросам, а ещё и попытки применить это знание к реальной жизни. Но раз уж тут все так заинтересованы в том, как устроены доказательства, зачем нужна математика и т.д. — ну, есть куда поглядеть, и там даже не мои слова важны, а источники литературы. Считайте, что это такой толстенький обзор литературы, и не самой древней литературы.
— ежели про “доказательства в математике”, то что такое “доказательство” плывёт (The Development of Proof Theory (Stanford Encyclopedia of Philosophy)), и уровень формализации в математике принят везде разный. Скажем, теоркатегорщики обсуждают “свободу от логики”, Freedom From Logic | The n-Category Café — именно потому, что они считают математиков недостаточно логичными и хотят им позволить такими оставаться.
— если слишком настаивать на математике как “критерии истины”, то всё в жизни будет плохо. Даже когда удаётся удерживать долго размышления в S2 и избегать рассуждений “в образах” и “паттернах”, то трудно договориться, что считать правильным рассуждением. Строгая булева логика? Если речь идёт о двух высказываниях, полученных в разных онтиках, то матлогика говорит, что их нельзя использовать в рассуждении вместе — они несовместимы. Если высказывания носят характер утверждений о вероятности, то байесовское рассуждение/Bayesian inference (нынешний мейнстрим «правильности» в рациональном принятии решений) конкурирует с дополненным байесовским рассуждением/excess Bayesian inference (квантовоподобность — тут!) за то, чтобы считаться «правильным». Надо договориться сначала о том типе логики, который будет использован (точно так же, как геометрам нужно договориться о том типе геометрии, который они будут использовать: Евклидова, Римана или какая ещё).
Отдельно про экспериментальную математику. Про это даже статья в википедии есть, работ полно: Experimental mathematics - Wikipedia
Мне тут нравится ещё подход Дэвида Дойча, который обсуждает физичность математика и астрофизика, а затем задаётся вопросом “какая математика вообще возможна в нашем физическом мире”. И у него интересные выводы, что computer science как раз наука о том, что там идёт в зачёт в качестве доказательств, а computer science экспериментальная наука, ибо речь идёт о физически возможном вычислении. Весь ход на унивалентные основания математики и сведение доказательств к компьютерным программам (то есть конструктивизм в математике) — это как раз ход туда.
Ну, а математическому мышлению, увы, не учат. Учат разделам математики, про саму математику ни в школе, ни в вузе не говорят. А где говорят? Специалисты в своих статьях, а “простые люди, которым это надо” — вот в таких чатах. Я стараюсь заткнуть этот gap своими курсами. Но пока курсов именно математического и физического мышления у меня нетути — некому их сделать. Но ничего, со временем и это будет. В крайнем случае, попрошу GPT7o прочесть “Интеллект-стек” и приведённые там первоисточники, и подготовить курс по самым важным идеям оттуда ))) Но до этого момента ещё года два подождать )))
[Психология даёт людям язык обсуждения мыслей/language of thoughts, его можно использовать в AI]
При этом у людей в исследованиях по AI возникает такой language of thoughts, который позволяет продуктивно обсуждать происходящее. Ибо их целевая система AI-агент либо с использованием такого языка работает, либо не работает — руками тут не очень-то поразмахиваешь. А у психологов и философов — целевая система “человек” всё одно работает, а бумага любой язык обсуждений примет, хоть язык Зевса громовержца, метающего мысли путём кинестетического языка его божественного тела. В общем, философы и психологи про мозги рассуждают, а нейроинженеры — с ними что-то делают, получают реальные оценки возможностей, проверяют новые принципы работы.
[А что про ЛеКуна? Он всегда был такой себялюбивый?]
Да там фишка не в нём самом — это его Элон Маск заводит на “да кто ты такой”. Я думаю, что Элон Маск просто сделал какие-то прямые предложения людям в Meta на переход в X, и ЛеКун возмутился, что это как переманивать “из университета в бизнес, но заявлять, что будут исследования”, Ну, и понеслось, вот свеженькое: x.com
Из поста видим, что претензия к Маску главным образом по поводу хайпа (перевод хайпа, заметим, “лицемерие”), то есть популяризация ложных предсказаний (при этом Маск предприниматель, имеет право на ложные предсказания — но по мнению ЛеКуна, раз уж он пошёл в науку, то должен как-то рациональней предсказывать, и хотя бы обосновывать).
Сам ЛеКун при этом даже в тексте поста показывает себя как левого, социалиста насквозь. А левые всегда тяготеют к вождизму, хотя обвиняют в нём все остальные ориентации. Поэтому позиция его крайне неубедительна и кажется, что он зарвался. Да, конечно, зарвался. “Надо регулировать, а регулировать будете, как вам говорит наука, а наука — это я”. Тьфу.
При этом там ещё и весёлые истории про плохие оценки самого ЛеКуна. Например, ему пишут “у тебя фейсбук распространяет фейки не хуже, чем твиттер у Маска, ты бы молчал”. Он отвечает, что в 2017 эту проблему решили, всё совсем не так (x.com). И там первый же коммент — прямое указание на текущее положение дел в фейсбуке: Do you even use Facebook? Let’s do a real world test to see what goes on there. I opened up my Facebook feed, and categorized the first 50 posts that I saw as either real content posted by my friends I follow, suggested content, advertisements, and attempts to get me to interact with “people you may know.” Of those 50 posts, only 15 were real. 26 were suggested. 7 were ads (although many of the suggested content was secretly spam clickbait). There were 2 attempts to expand my friend list. This is embarrassing. Only 30% of the content is from actual connections. 70% is engagement farming and advertisements. 70%, Yann.
И там всё вот такое. Поэтому глядим не на трёп в сетях, а на его работы по JEPA, там интересно: говорится, что в латентном пространстве формируются какие-то “понятия”, а затем все операции надо делать с этими понятиями, это много эффективней, чем все операции делать во входном представлении, с исходными данными. Хорошая идея, и они тащат всё в робототехнику, судя по публикациям. Это не отслеживается почему-то сообществом любителей AI, всё затмила лама 3 с её опенсорсом. А зря.
Обсуждение самого ЛеКуна — это ж косвенная аргументация ad hominem ))) Про Маска всё то же самое. Обсуждать не его надо, а некоторые интересные идеи, которые идут от него.
[Всё одно надо вводить наблюдателя, который у нас алгоритм, наблюдающий за мыслями]
Измерителя всё-таки. Алгоритм тут — теория, знание. А если переходить к программе, то есть выполняющемуся на каком-то вычислителе (физический объект) алгоритму, да ещё и понимать, что надо как-то на вход алгоритма подать данные, а результат вычисления куда-то употребить — размахивание руками и всякие проскакивания “посттьюринговских вычислений” и всякой прочей эзотерики куда-то деваются.
Поэтому давайте называть “измерительный прибор” вместо “наблюдателя” — и жизнь наладится.
Я студентам часто мозг ломаю, что пилот, обходящий самолёт перед взлётом в ходе инженерного обоснования — это измеритель, и проводит он измерение (смотрит, закрыты ли все лючки, нет ли где неожиданных вмятин на корпусе и т.д.). И испытания — это измерения.
И дальше всё проще, мы переходим к физике, язык описания проблемных ситуаций становится точнее. Неуход от наблюдателя повторяет все те проблемы, которые решали физики много лет. И позволяет пользоваться заведомо неэффективной онтикой. С этого момента просто неинтересно, это ж второй проход по граблям, по которым шли физики много лет, когда они не были физикалистами )))
Позиция “не хочу связываться с физикалистами, у них есть и фрики типа Пенроуза, у которых другая картина мира” понятна, но дальше будет много интересного при стыке этой картинки с реальностью в экспериментах (то есть реальных измерениях, которые тут даже измерениями не называются). У Пенроуза тоже есть немаленькие проблемы по стыку его воззрений с инженерной физической реальностью. Имя он сделал на практически классике, а затем “что-то пошло не так” )))
Но с физиками безопасней. Если там измеритель, то дальше можно как минимум эзотерику отсеять. Если наблюдатель — то и религия в объяснениях сгодится, проверить-то “принципиально нельзя”.
И заменить физику просто отсылкой к компутализму как “наша физика – это просто компутализм” нельзя. Компутализмы тоже разные бывают с точки зрения физики. Одно дело физику к информатике свести, в том числе квантовой информатике, а другое дело, как говаривал Дойч, “искать компьютер в небе”. Компутализм Ванчурина — искать нейросеть в мире, компутализм Вольфрама — искать рулиад, компутализм Дойча — constructors с прямым расширением понятия универсального компьютера как преобразователя информации в универсального преобразователя. Идей хватает. Но там везде нет уже наблюдателей, там всё-таки измерения.
[Но как в физике измеритель может измерить себя?! Без наблюдателя же это никак!]
Ну, в физике это решается, нет проблем. Вот пример:
Principled Limitations on Self-Representation for Generic Physical Systems,
Этот Fields работает с Levin (который участник проекта Anthrobots — роботы из клеток лёгких, а ещё он развивает идеи мозга и иммунной системы как аналогичных полностью когнитивных архитектур, просто работающих на разных системных уровнях — https://www.frontiersin.org/articles/10.3389/fnint.2023.1057622/full) и с родоначальником active inference Karl Friston — который в проекте VERSES и архитектуру в публичную бету выпустит уже через пару недель, VERSES | GENIUS).
У него много, много интересного. Я с ним и Friston в adviser board сидел пару лет в active inference institute, https://www.activeinference.org/, крайне интересные дядьки. И Fields работает с математиком Glazebrook — так что там у него математические описания в терминах теории категорий с какими-то гарантиями безмасштабности (на это особое внимание обращают).
Поглядите, кстати, какие интересные “стримы” там в active inference (они пытаются собрать самый фронтир по acitve inference): https://www.youtube.com/c/ActiveInference
А статьи самого Fields можно найти в https://chrisfieldsresearch.com/ — крайне рекомендую. Там и для психологов много интересного, например, Fields, C. (2021) What is a theory of consciousness for?, Journal of Consciousness Studies 28(9-10): https://chrisfieldsresearch.com/csns-for-JCS.pdf
При этом Fields не размахивает руками, у него вполне формулы и показано, каким образом мат.аппарат связан с жизнью (он всё ж таки сам квантовый физик).
В наших курсах ссылки на эти работы в количестве.
Поближе к физике, и всё наладится. Подальше от психологии, философии и прочего размахивания руками вдали от инженеров.
То, что можно выбрать множество разных описаний от тех же физиков, ничего не меняет. В системном мышлении говорится, что если непонятно, зачем (конкретный проект, а не “общий случай”), то и обсуждать нечего. Без grounding на примере в физическом мире — не договоришься. А в цитируемой статье ещё и написано, что в данном случае “самонаблюдения” — “принципиально не договоришься”.
Если я сам себя сделал, то полное описание недоступно. Но моя левая рука может померять температуру правой руки, “сообщество агентов” круче одного агента!
[Тогда не пользуйтесь цифровыми компьютерами для AI, сразу пользуйтесь физикой!]
Цифровые компьютеры, а также физики — физичны, в этом и фишка. Математикой в отрыве от математиков не надо пользоваться ))) Но математика можно реализовать и на квантовом, и на оптическом компьютере — они тоже, кстати, вполне цифровые (и это показано Дойчем).
Это всё ерунда, пока не начинаешь обсуждать новые типы компьютеров — там это вполне уместные рассуждения. Но там физики эти компьютеры делают, а не психологи, у них всё ОК с их работой по железу или кремнию. )))
Я бы всё-таки вернулся к функциональным архитектурам, которые способны выйти на задачи выбора метода и планирования. А то тема забалтывается в этом самосознании. Скоро и автор канала перестанет обзоры писать и будет писать общую философию из New York Times, ибо это “интересует всех, даже психологов”, а что там с альтернативами ReLU — это интересует только 16 тысяч его подписчиков. Вон, вместо обзора прорывов в той же JEPA мы читаем про “свежего Ямпольского нам в ленту”.
Вот бы тут в канале видеть то, что не появляется в ленте новостей Гугля и на первых страницах массовой прессы? Но это я так, мысли вслух. Автору канала, конечно, видней.
При этом я не наблюдатель, я измеритель того, что тут пишется. У меня после перевыпуска “Методологии” планы внимательней поглядеть на тексты Gonzo-обзоров в их непопсовой неалармистской части.
[ОК, но тогда нам физика нужна будет только для того, чтобы сделать универсальный компьютер побыстрее, и только]
Оптимизация по скорости или объёму памяти нужны, но они специфичны для видов задач. Это ж теорема о бесплатном обеде. Разные задачи требуют разной аппаратуры, поэтому универсальной архитектуры и универсальной аппаратуры интеллекта для решения всех возможных проблем — не бывает.
[но если идти по линии чистой физики, мы не сможем добиться человекоподобия, а проход по линии психологии это позволяет]
Человекоподобия не нужно, нужна совместимость по интерфейсу (включая функциональную совместимость — типа helpfulness и harmlessness со всеми проблемами того, что безопасное для одной религии крайне опасно для другой. Скажем, мусульманский AI должен рисовать живых существ с перерезанным горлом, чтобы уж точно они не были живыми, и тогда их можно рисовать). Какое уж там человекоподобие.
Этика обсуждается в специализированных чатах. Обсуждать эти вопросы ходьбы человеческих сообществ стенка на стенку по поводу вреда от существования друг друга в сообществе спецов по функциональным архитектурам нейросеток, а затем и AI-агентов — ну так себе.
Мне кажется, этот гуманитарный трёп в количестве был в сообществе AGIRussia, дикий трафик (Telegram: Contact @agirussia). И вот я пришёл сюда, чтобы отслеживать тренды в архитектурах — а тут САМОСОЗНАНИЕ ОПАСНОСТЕ АЛАЙНМЕНТ.
Страницами. Половина объёма чата. Расскажите мне лучше о блоке ReLU, что там с его самосознанием и наблюдением себя. Вот это нужно.
Споры о терминах, в количестве, да ещё и относимые к будущему. А дальше эпистемология: сколько флогистона вмещается в LLM и как это описывается разными версиями термодинамики, ибо разработчики аппаратуры недолюбливают почему-то флогистон.
Это всё уже проехали в прошлом веке. Непонятно, почему тут в чате обзоров функциональной архитектуры филиал психологического отделения философского факультета, 2/3 от всех обсуждений. Обзоры архитектурных прорывов в чате уже прекратили обсуждать, обсуждается только жёлтая пресса от AI. Нет уж, всех в AGIRussia, там всё такое, людям сплошное удовольствие. А тут хочется иногда чего-то методологического на фронтире, а не “бывает ли просветление у LLM, если она станет достаточно большой”. В ашрам, там эта тема профильная.
Про человекоподобие важно робототехникам, у них там реальная проблема Uncanny valley - Wikipedia
Мне не надо, чтобы машина была человекоподобной, надо, чтобы проблемы решала. А если у неё будет собственное соображение на ту тему, какие проблемы решать — то договариваться, как с людьми (которые тоже не слишком-то следуют тому, чему их учат разные психологи и философы).
Что такое “рассуждать” определяется тоже неантропоцентрично — все эти “универсальные машины Тьюринга” как раз про это. Человека переописывают в неантропоцентричных терминах, а не мир в человекоподобных.
Долой антропоцентричные описания, они затуманивают суть дела. С ними физики борются не случайно.
[а можно ли попросить сделать обзор работы Fields по его теории сознания?]
Нет, нафиг обзоры теорий сознания (мы этим занимались года три-четыре назад, когда делали курс собранности на базе разных теорий сознания — attention schema theory, standard theory of consciousness как сборку из шести механистических теорий сознания и т.д. — там тупик, бесполезно это, сразу слетаются философы, и вместо дела начинается трёп). Поэтому отказались от этого, прошли через основное в этих теориях:
— явный ход на эпистемологию, то есть как мы уточняем модели мира (объяснения), как коммуницируем модели мира в ходе эволюции моделей (рациональность, теории принятия решений)
— управление вниманием
Есть много более важные проблемы, которыми я бы занялся. Курс по методологии интеллектуальных систем — он и то более важен. Может быть, там будет в каком-нибудь месте обзорчик всего этого.
Я наигрался с этим сознанием, оно сшибает людей в бесплодный трём на раз-два, слово-отвлекалка от дела. Вот, например, типовой мой текст из далёкого 2016 года, когда трансформеры ещё не были изобретены, “Когнитивная архитектура: что там должно быть”, там и психология, и сознание — ровно тот тупик, куда не надо было, Когнитивная архитектура: что там должно быть: ailev — LiveJournal
Вот 2019 год, когда возились с этой “осознанностью” для людей — “Системная осознанность, 2019”, Системная осознанность, 2019: ailev — LiveJournal. Таких текстов у меня было много Но и в таком варианте оказалось, что слово-триггер вызывает у мокрых нейросеток всю эзотерику, что в них есть. И дальше их не остановить — “осознанность —> медитации” и все привычные коннотации от всех психологических и психотехнических школ, включая классический буддизм как “тысячелетняя традиция работы с сознанием”. Нет, давить нещадно. Если в разговоре про теплообмен поминаешь слово “флогистон” даже случайно, то разговора про термодинамику почему-то не получается, ибо набегают не физики, а люди с бытовым пониманием физических теорий прошлых поколений, многие из них поэты-гуманитарии — и разговаривать становится невозможно.
[а можно ли тогда хотя бы онтику Fields?]
Там у Филдса, Левина, Ванчурина, Фристона чуть разные онтики — но ряд общих тезисов. Я постарался их как-то гармонизировать в курсе “Интеллект-стек” и ещё в “Системном мышлении”. Много страниц, однако. Тут главное, что для описания агентов разного уровня используем подходы физики (ибо агенты физичны) с учётом того, что системы неэргодичны, то есть с памятью, учитываем время эволюции и всякие геномы, а не только феномы взрослых особей, многоуровневость агентов разной степени живости и интеллектуальности (шкалы, а не бинарные классификаторы) выводит эти характеристики из разряда эмерджентных (меняется степень, но не появляются на каком-то системном уровне. При этом если шкалы — то можно измерять как-то, вводить метрики), эволюцию одного вида рассмотреть нельзя, только эволюцию всех видов в целом, и т.д.
Вот это потихоньку отражаем в курсах. Дальше оказывается, что не надо делать отдельного курса промптинга: нашим студентам говорим, что общайтесь с людьми, как с сухими нейросетками, а с сухими нейросетками как с людьми, они сильно удивляются — а потом приходят, и говорят, что общаться сильно лучше стали и с людьми, и с нейросетками ))) При всей ограниченности этого подхода. Помним, что все эти “укажи роль” из руководств по промптингу — это ж мы учили этому студентов для общения с людьми ещё до того, как слово “промптинг” вообще появилось.
Поэтому я эти идеи раскапываю все, но потихоньку — и в том объёме, который нужен для работы, а не по любимой линии философов — “как я читал Ленина, что вычитал” (“как я читал Филдса, что вычитал” — хи-хи, сам заход забавен, паттерны воспроизводятся). Нет, я не столько Фидлса пересказывать лучше буду, сколько свои мысли скажу, а пересказывать Филдса лучше пусть будет сам Филдс или его соавторы — у него ж ещё и толпа соавторов, и там каждый норовит со своими мыслями, всех не перескажешь.
[А что ж с панпсихизмом? Почему он физичен?]
Панпсихизм — это идея, что характеристики не эмерджентны, а шкальны на всём масштабе. То есть “всё живое”, если вводится характеристика живности, на шкале от нуля до единицы, а не бинарное “не живое — живое”. При этом признаётся, что интеллект есть и у молекулы, и у камня, и у калькулятора, и у колонии муравьёв, и у кошки, и у человека, и у организации. А если “веришь в важность сознания и само понятие сознания”, то да — и у молекулы сознание есть, только небольшое.
Вот и весь панпсихизм. Минимальный физикализм тут в том, что принимаются только механистические (а не эзотерические) теории для всех этих шкал. Скажем, если у всех молекул и табуреток есть сознание — ОК, берём механистическую теорию сознания, причём многошкальную, и всё ОК.
[А можно ли тут обойтись без квантовой физики, взять физику попроще?]
Нет. Нужны компактные объяснения, желательно одинаковые для разных предметных областей — а квантовая физика и её математика тут самый точный способ описания мира, там расчёты и результаты замеров совпадают до десятого знака, причём у разных исследователей.
Квантовая физика знает что-то важное о мире, и это знание не нужно игнорировать.
Но необязательно представлять всё именно как “физику на уровне элементарных частиц”, надо брать квантовоподобность.
Дойч, когда говорил про важность эмерджентности, ровно это и говорил — плохо описывать всю реальность на квантовом физическом уровне, ибо там же эмерджентные эффекты. А потом Хренников по факту ему отвечает — можно описывать реальность квантовой математикой, но не на квантовом уровне собственно физики. Ибо дифурами и интегралами отнюдь не механику уже давно описывают, как раньше, а вообще всё что угодно. И с квантовой математикой (теория поля главным образом) тоже так надо делать. И там как раз счёт в компутализме быстрее, ибо не надо просчитывать бесконечные множества точек в многомерных пространствах, а достаточно только оценивать происходящее в квантах/дискретах. И ещё там линеаризация. Поэтому Хренников показывает, что в биологии у живых объектов реализуются для управления квантовоподобные вычисления, причём на многих уровнях (и на молекулярном, и на организменном, и на популяционном). И, понятное дело, поскольку квантовые физики говорят на языке математических объектов (поле, в том числе квантовое поле — мат.объект), то и всё подряд можно описывать в терминах этих объектов, включая происходящее в макрообъектах, а не редукционистски считать полную истинную квантовофизическую модель из элементарных частиц “аж до самых квазаров”.
Не надо из науки уходить в психологию и городить маленький свой огородик системы понятий для объяснения мира — действуя как психологи, то есть изобретая полную модель мира с нуля для каждого психолога. Ну, или для каждого философа — там то же самое. Надо всё-таки как-то связываться с лучшими объяснениями мира, которые нам доступны, чтобы участвовать в коллективном мышлении, так продуктивней, ровно так поступают физики и химики и даже биологи — поэтому там нет “именных физик” или “именных химий”, там коллективная работа по улучшению моделей. Я стараюсь идти по этой линии, гармонизировать идеи, связанные с коллективной работой и оформлять их в виде учебных курсов — для естественных или искусственных интеллектов. Так сказать, curated list of best fundamental theories.
Я ведь считаю, что люди так же тупы, как сегодняшние нейросетки — нейросетки просто имеют шире эрудицию, а так — задействован и у людей, и у нейросеток в основном режим образных рассуждений S1, а S2 — не включается, а если включается, то там плохие онтологии. Поэтому надо делать умнее не только искусственных интеллектуальных агентов, но и естественных интеллектуальных агентов. И идея, что образование в школе и вузе делают людей умнее — она не проходит, там не дают world model, а дают какую-то рваклю по поводу теорий прошлых веков, “как я читал Гегеля” (и это даже не шутка, у нас студенты регулярно спрашивали на курсе моделирования, не нужно ли им читать Гегеля в оригинале — мы неосторожно назвали курс “Онтологика”, но потом переименовали в “Моделирование”, и вопросы исчезли).
Так что с квантовыми эффектами — это попроще, только этому надо учить. Довольно контринтуитивная идея, что “понятное — это знакомое, часто встречающееся”. Это как раз из лекции Miles Cranmer. вот заметки по его лекции я сделал, в порядке своего “мышления письмом” — Заметки по лекции Miles Cranmer "Следующая большая научная теория прячется внутри нейронной сети": ailev — LiveJournal. Я это писал там так: “Как получить “простые” обяснения? [Miles Cranmer] Делает контринтуитивный вывод, что “простота” зависит от частоты встречаемости, а частота встречаемости – от “полезности”. Скажем, идея 1+1 – очень абстрактная и ни разу не понятная, не простая. Но счёт очень важный, оператор сложения используется часто – и поэтому кажется знакомым. Как на мехмате любили говорить, “студент не понимает, не понимает, а потом привыкает”. Простота даётся повторением полезного, привыканием. У нас в курсах [в ШСМ] используется для контринтуитивных идей ровно такой же подход: идея разъясняется, а потом просто даются много примеров полезности и рекомендация использовать в проектах. После некоторого тренинга (сводящегося к напоминанию о том, что идею надо использовать) студент “привыкает”, и идея кажется простой. В курсе мы это вслед за Peter Senge называем “метанойя” (Aisystant, Aisystant)”.
Так что идея квантовоподобных вычислений — она просто не очень привычная пока, поэтому непонятная. Ничего, и с этим справимся. У меня хорошо то, что это не мои личные заявления где-то в чате, а выстроенная машинка курсов. И с этими идеями если не на уровне освоения мышления, то на уровне хотя бы знакомства с ними знакомятся люди, в количестве. И я эту машинку курсов делаю масштабируемой. И часть идей там уже не на уровне просто знакомства, а на уровне операционном — то есть приложимом к рабочим проектам самой разной природы. Поскольку идеи фундаментальны и безмасштабны, то должны быть приложимы к самым разным проектам создания самых разных систем, за этим отдельно следим.
[Всё равно не нужны квантовоподобные вычисления, квантовых компьютеров-то ещё нет!]
Квантовый компьютер при этом эквивалентен машине Тьюринга, для квантовоподобных вычислений он необязателен, подойдёт любой компьютер. Там проблемы, конечно, с объёмом вычислений. Но хинт в том, что на классическом компьютере квантовоподобные вычисления линейны, то есть будут тоже быстрее, чем вычисление дифуров.
Поскольку (как показывает Ванчурин и Кацнельсон, но и многие другие) в нейросетках появляется квантованность, то они вычислять будут быстрее, чем классические алгоритмы вычислительной математики. Вот только один из примеров:
-11 октября 2023 прошла пятнадцатая International Modelica Conference 2023 (https://www.conftool.com/modelica2023/sessions.php), она интересна мне тем, что спонсором там выступила и компания JuliaHub (https://juliahub.com/) с докладом (Modelica Conference 2023 - ConfTool Pro - BrowseSessions) по JuliaSim’s (Accelerate Simulation with Next-Gen Modeling - JuliaSim | Julia Hub) DigitalEcho (Overview · JuliaSimSurrogates). Там всё просто: In this talk we show how DigitalEchos can be generated directly from FMU-based simulation binaries generated from Modelica models to create faster-running (>100x faster) simulations which can be exported back to FMUs for usage in Modelica environments. И всё это за счёт Neural Surrogates. Акаузальное моделирование живёт и здравствует. И Julia его потихонечку кушает, Modelica живёт сейчас исключительно за счёт тяжкого наследия наработанной эко-системы, “по инерции”. Напомню, что для поддержки акаузальности приходится решать и сугубо компиляторные проблемы (теория этого поминается в Цифровые двойники: физика ведёт математику, математика ведёт компьютерную науку: ailev — LiveJournal), и JuliaSim тут просто докручивает эту линию с компиляторами для DAE (differential algebraic equations) против компиляторов для ODE (odinary differential equations in state space form) до “нейросуррогатов”, где скорость достигается за счёт аппроксимирования функций специально обучаемыми нейросетями. JuliaSim – коммерческий продукт, но базируется на библиотеке ModelingToolkit – GitHub - SciML/ModelingToolkit.jl: An acausal modeling framework for automatically parallelized scientific machine learning (SciML) in Julia. A computer algebra system for integrated symbolics for physics-informed machine learning and automated transformations of differential equations. ModelingToolkit.jl is a modeling framework for high-performance symbolic-numeric computation in scientific computing and scientific machine learning. It allows for users to give a high-level description of a model for symbolic preprocessing to analyze and enhance the model. ModelingToolkit can automatically generate fast functions for model components like Jacobians and Hessians, along with automatically sparsifying and parallelizing the computations. Automatic transformations, such as index reduction, can be applied to the model to make it easier for numerical solvers to handle.