"Мышление письмом" -- это в том числе и запись мыслей, которые тебе приходят в голову, когда знакомишься с чужими идеями. Поводом для поста послужило интервью Demis Hassabis, простого греко-китайского британского гения (https://en.wikipedia.org/wiki/Demis_Hassabis), https://www.youtube.com/watch?v=Gfr50f6ZBvo, выложено оно было 1 июля 2022, но дослушал до конца я его только сегодня. Жутко не люблю слушать видео, это медленно и неэффективно, я обычно только статьи читаю, но в интервью люди часто выдают мысли, которые они не выдают в своих письменных материалах. Это верно и для меня: мне неоднократно говорили, что моя письменная и устная версия различаются радикально.
В интервью поднимались абсолютно стандартные вопросы, впрочем и ответы были довольно стандартны, хотя и с нюансами.
Интеллект как инструмент, решающий множество задач одним и тем же мозготелом, и никакого сознания
Скажем, интеллект Demis Hassabis определяет так же, как и все: возможность решать множество задач одним и тем же мозготелом. Так, красочный пример: после победы Deep Blue над Каспаровым у Демиса был восторг от Каспарова, ибо компьютер-то понятно, что может победить в шахматах, он же компьютер и это был вопрос времени, но Каспаров-то не только круто играл в шахматы, но и мог делать множество других дел, а компьютер -- нет! То есть интеллект -- это про разнообразие задач. Сейчас Демис считает, что компьютер без перенастройки решает сотни типов задач, а будет решать миллионы, вот это и будет "искусственный интеллект". Сам он ведёт исследования в этом направлении, демонстрирует Gato, "A Generalist Agent", https://www.deepmind.com/publications/a-generalist-agent. Это май 2022, сделали нейронную сетку, которая реализует действия в многих модальностях, для многих задач и во многих телах(!). Проверили её, заставив отвечать на вопросы (языковая модель), двигать трёхмерные объекты манипулятором (тело!), описывать картинки текстом и даже играть в игры Atari, причём это всё делала на очень и очень приличном уровне одна и та же (без переобучения, без изменения весов) нейронная сетка размером 1.2 млрд. параметров. Почему так мало параметров? Даже GPT-3 это 175 млрд. параметров, а это уж сколько лет назад, сейчас счёт идёт на триллионы! Есть причина: хотели, чтобы сетка эта влезла в небольшого робота. Вот это маленькое добавление про "поместиться в роботе" меня приводит в полный восторг, в DeepMind очень хорошо понимают, чем заняты.
Дальше нюанс: Демис различает интеллект как tool ("неразумный" интеллект) и сознание как источник агентности (при этом простейшие формы типа self-awareness он отличает от consciousness, а ещё не гнушается и словом "разумный", sentient). Он считает эти два свойства ортогональными: можно сделать абсолютно несознательную программу, которая будет решать миллион разных классов задач лучше человека (начиная с узкого класса задач, например, разные задачи только мира Го -- но лучше человека), и можно привести в пример кошечку, как очень специализированный организм, который вполне осознан (это биологами давно изучено), но в части интеллекта туповат. Дальше вывод (с которым я больше согласен, чем не согласен, но резервирую мнение насчёт шкалы панпсихизма): пока этические последствия непонятны, развиваем как tool, в осознанность не лезем. В текущих исследованиях сознания ноль, это инструменты. Представление сеток не как инструментов, а как друзей, так это проблемы мозгов людей, программа Eliza и подобные тоже считались осознанными, а на Siri вообще жениться пытались. И ещё анимизм как ветвь панпсихизма. Не считаем психов проблемой, от судей в тесте Тьюринга требуем высокой квалификации (в начальном тесте Тьюринга предполагалось, что AI представится ребёнком, а тут вона что получается -- ожидают взрослого, причём ещё и суперумного).
Ещё один вывод про "AI как инструмент, а не агент": сегодняшние языковые модели не готовы к масштабированию, ибо не отвечены вопросы этики -- двойное назначение (использование инструмента безумными людьми, например), собственная агентность (вдруг проявится? и что это? а если это просто антропоморфизация -- с этим бороться, или нет? невозможность понять рассуждения инструмента, ибо даже кошка имеет тот же субстрат мокрого мозга и похоже устроенное тело, и её понять легче, при всей несопоставимости). И тут должен быть научный метод исследования инструмента в лаборатории, но не a|b testing out in the world, то есть нельзя позволять вмешиваться дикой эволюции, сначала привнести культуру! Проблема с миром в том, что это не игра: это в игре можно попробовать одно или другое, а мир быстро в точку сохранения не приведёшь, нужно быть очень осторожным. Слово "культура" звучала часто, как и "диктатор", которого "власть развращает, абсолютная власть развращает абсолютно". И тут вопрос, а сам Хассабис вроде как имеет доступ к AI-мощностям, тоже ведь диктатор. Как он предохраняется от того, чтобы не стать злодеем? Ответ был в том, что надо регулярно менять области знания, чтобы не чувствовать себя сверхмощным и всё больше и больше понимать, насколько ты ещё не знаешь мира, а ещё окружать себя друзьями и не отдаляться от них, чтобы они могли тебя одёрнуть, если ты зарвался и двинулся умом в плане этики (и Хассабис это называет "заземлением/grounding", традиционное слово для сохранения связи с реальностью). Я бы тут заметил, что и каждый отдельный человек тоже при специализации в одной дисциплине начинает считать себя маленьким диктатором и теряет связь с реальностью, так что тут совет интересоваться разным-всяким и терять уверенность в том, что понимаешь всё на свете -- это благо.
Молодёжи Хассабис даёт такой же совет, что и диктаторам, которым важно не оторваться от земли: пробовать заниматься самым разным, чтобы найти что-то интересное (совет стандартный, и я бы указал на критику этого совета, от Томаша Чаморро-Премузика, " является ли следование своим увлечениям эффективным подходом к достижению успеха? Обширный мета-анализ показывает (https://www.ncbi.nlm.nih.gov/pubmed/9100487), что это может сработать только в том случае, если ваши интересы коррелируют с вашими реальными способностями. Лучшим советом было бы: «Следуйте своим увлечениям, если они связаны с вашими реальными навыками». Вам также следует подумать о том, пользуется ли ваша страсть спросом". Эту критику с метаанализом аналогичных советов недавно нашёл Алексей Каптерев, https://t.me/channelkapterev/137). Но Хассабис тут продолжает: не просто ищите интересное, а ищите интересное на стыках этого всего разного -- сопоставляйте одно с другим, мимо чего вы прошли. И если это реально новое и интересное, удача вас найдёт. Я, правда, не понял, почему он говорит, что менять занятия легко, пока молодой. Я сам считаю, что менять регулярно занятия нужно всю жизнь. Сам Хассабис примерно так о себе и рассказывает, каждые 5-6 лет занимается немного другим, вот последние лет пять биологией. Но поскольку у него есть инструмент-интеллект, который приложим везде, то он приходит в разные предметные области с этим инструментом, и там ему благодарны -- а он изучает эти прикладные для него области. Ха, я вроде занимаюсь тем же самым, хотя у меня интеллект-инструмент пока в виде полуфабриката человеческого мастерства (раньше в виде консалтинга, а теперь и в виде учебных курсов). Второй совет Хассабиса молодёжи был -- "пойми, как ты сам лучше всего работаешь? И примени эти знания о себе, чтобы лучше работать над тем, чем тебе интересно". И тут я понял, что мои мысли о том, как я лучше всего работаю, как-то удивительно туманны. Ответы "сидя и цокая по клавишам о чём-то умном", или "когда вещаю в микрофон аудитории в зале на пару тысяч человек", или "когда даю советы правлению небольшого холдинга в ситуации, о которой у них ни малейшей идеи, что делать" -- они слишком разные, но в голове у меня примерно одинаковы, и ещё Хассабис не сказал, "лучше всего" это для клиентов лучше, или для себя лучше?! Хотя можно совместить, конечно, но для меня лично это что? Тут нужно подумать, но мне почему-то кажется, что лучше всего для меня сейчас -- дописать таки комплект курсов для массового поумнения людей (дописать "Системную инженерию" и переписать после этого ещё три курса, чтобы убрать конфигурационные коллизии, всё пусть будет с третьим поколением системного мышления).
То, чтобы мир стал дружнее, Хассабис мыслит тоже достичь при помощи AI -- но не столько как изобретение AI магических правил общежития, а просто через промышленные применения, которые дадут продуктовое и энергетическое изобилие, при котором люди становятся добрее и дружнее, кооперативнее. Хотя есть и вещи, не связанные с изобилием (желание подчинить себе побольше других людей, например), но в целом люди более мирные, когда есть что покушать -- игра заведомо не с нулевой суммой, и ты можешь себе позволить чем-то поделиться так, что самому не помереть с голоду. Чем меньше ресурсов, тем быстрее отваливается культура. AI даёт ресурсы, культуры станет больше. В этом плане мы с Хассабисом не различаемся, только я ещё и о людях немного забочусь, им нужно тоже помочь стать умней, ещё не поздно, ещё есть окно возможностей на десяток лет. А там посмотрим.
Инженерная наука
Сама работа с AI оказываются engineering science: изучение того, чего в природе нет. Сначала нужно "изобрести", высказать догадку, открытие (то есть выдать то самое "на нобелевку") и построить что-то, а потом уже можно изучать свойства построенного -- когда инженерно уже сделали что-то работающее, ранее в природе не существующее. При этом десять лет назад акцент был на "науке", а сейчас вдруг стало очевидно, что важен акцент на инженерии: в этой специфической предметной области размер имеет значение! Я сам как системщик скажу, что и не в этой предметной области размер имеет значение! Похоже, что эмерджентность и рост сложности (в том числе сложности мышления, дающий открытия чего-то нового) связаны как-то с масштабом, поэтому нужна инженерия вместо науки: нужно уметь строить что-то большое и заведомо междисциплинарное (у Хассабиса там нейронауки, математика, AI, игры, сейчас появились философы и этики, физики и биологи), чтобы найти там что-то новое. Роль инженерии в AI тем самым существенно растёт, важна хорошая инженерная инфраструктура крайне важна, одними идеями не обойдёшься.
Хассабис ещё делает замечание, что вот это "сначала построить, а затем изучить" отражает и саму суть дела, а не только отсылка к необходимости удерживать большую инфраструктуру. Engineering science по Хассабису мне напоминает рассуждения Дойча про самые редкие места во Вселенной, которые находятся на Земле (типа "самые низкие температуры во вселенной находятся в немногих лабораториях на Земле"). Хассабис тут соглашается, он считает, что жизни во Вселенной больше нигде нет. Если бы жизнь была обычна во вселенной, то было бы нормальное распределение разных цивилизаций, и одна бы цивилизация не могла бы быть обнаружена по какому-то одному аргументу, который сейчас приводится в объяснение, но другая-то обязательно была бы обнаружена. Мы "открыли ушки", но там тишина в космосе! Поэтому он не волнуется насчёт инопланетян.
Так что ответственность познавать природу на людях. И тут по Хассабису, "чтобы это изучить, нужно сначала построить. То же про хитрые химические соединения, про белки, которых в природе не бывает -- сначала сделать, потом изучать, engineering science. Довольно-таки нестандартное определение. У меня в учебнике "Системная инженерия" даются другие определения, а вот это нужно просто внести. Или не вносить, так как для меня это "просто инженерия", а не "научная инженерия" или "инженерная наука". Но, похоже, для Хассабиса примат науки ("познать всё, для этого что-то сконструировать"), и он к этому относится "по-старинке" в бытовых рассуждениях, не как в active inference, а вот для меня примат инженерии (минимизировать негативные сюрпризы. Для этого познать всё).
Про нобелевку интеллекта-инструмента (отказываем в агентности!) пока рано говорить, ибо для AI нужно решить проблему перехода от интерполяции (узнать кошечку, которой не было в обучающей выборке кошечек -- это решили) и экстраполяции (опознать зверя, которого не было в обучающей выборке самых разных животных -- это тоже решили) к более высокоуровневой "композиционной абстракции" по порождению абсолютно нового, и при этом ещё и объяснения этого нового. Типа как описать игру, правила которой объясняются за пять минут, идёт игра час-другой (уж точно меньше дня), безумное число вариантов ходов и шикарно сбалансирована, а ещё эстетична -- и ожидать, что будут изобретены шахматы. Проблема тут в том числе и том, как ставить задачу на "догадку", ибо все эти штуки с prompt хороши для интерполяции и экстраполяции, а все эти "правила объясняются за пять минут" нужно как-то при постановке задачи объяснить. Плюс надо ещё эти правила игры сочинить, при этом представлять что такое "правила игры"!
Если же это будет именно "нобелевка" как создание "новой физики", то как потом объяснить результат? Могут быть проблемы даже не с попытками объяснять что-то про многомерную вселенную, а с отличием биотела для восприятия чего-то в объяснениях -- в этом плане кошку мы лучше понимаем, другого человека тоже понимаем, ибо понимаем каково ему там в его теле. А как понять кремниево-квантового собеседника с его датчиками поляризации и гравитационных волн, когда он что-то там про физику говорит?).
В физике интересует феномен стабильности (Фристона, Филдса тоже он интересует: все эти "аттракторы" в пространстве состояний). Скажем, сворачивание белка: берём одномерную последовательность, и она как-то сворачивается в одну и ту же сложнейшую пространственную форму за миллисекунды! Как?! Там же мириады возможностей повернуться на самые разные углы -- почему таки идёт сворачивание, и почему так быстро? Что там за "эволюция"?
Всё на свете -- игры, и физика тоже игра
На всё Хассабис смотрит как на игры, просто восторг. Для меня это "метафора игровых миров с их правилами" (впрочем, мне это хорошо знакомо, ибо я ж принимал участие в разговорах про учебные миры КуМира, которые "Комплект Учебных МИРов" и там много чего было по этой линии, типа https://ailev.livejournal.com/1265432.html или самих рассуждений про миры внутри КуМира как универсального моделера), а Хассабис так и смотрит на мир, у него это такая онтология. Физика у него -- это тоже игра, задача познать правила игры. В AlphaFold совместили порядка 30 подалгоритмов, чтобы можно было выучить эту физику сворачивания ("правила игры сворачивания") из примеров. Более того, Хассабис эту идею сделать AlphaFold взял, когда рассматривал реальную игру по сворачиванию белка, которую сделали, чтобы задействовать мозг человека-игрока, и даже была опубликована пара статей на основе идей, предложенных игроками в это сворачивание белка -- Хассабис просто предположил, что интуиции игрока по сворачиванию белка примерно те же, что у игрока в Го. А проблему игры в Го только что решили. Поэтому и тут получится! И получилось. Дальше "подарок человечеству": Хассабис оценивает, что в мире полмиллиона профессиональных биологов в мире, и за один год с момента публикации практически все из них использовали AlphaFold2. Последнее, что смоделировано было -- это белок, сворачивающийся в оболочку ядра клетки, и там хитрые поры, через которые что-то в ядро клетки проходит, а что-то не проходит.
А дальше? Дальше начинаем моделировать два белка, взаимодействующих друг с другом. А дальше? Некоторые сигнальные пути, затем в конечном итоге -- виртуальная клетка. И тогда можно будет огромное количество лекарств разрабатывать и проверять in silico, а дальше in vitro и in vivo только пробовать быстро и задёшево окончательный вариант. Конечно, это тоже вызывает реакцию "невозможно!". Но цель объявлена! Хассабиса также восхищает эволюционный переход к многоклеточным организмам. Так что и клетка тут не окончательная задача. Но мне тут нравится, что вселенную Хассабис тоже приравнивает к игроку по сворачиванию белка, и восхищается, что игрок быстро играет, "вычисляет за миллисекунды". Как я понимаю, если появляется возможность, он такой вычислитель с удовольствием прицепил бы к своему вычислителю, чтобы ускорить работу.
Если математика это отличный язык для описания физики, то AI по Хассабису (думаю, он имеет ввиду нейросети, которые могут что-то объяснить про понятое ими человеку, он несколько раз упирал на возможность объяснения) -- это отличный язык для описания биологии. Ибо там настолько всё сложно и динамично, что никакие законы Ньютона не помогут, а вот что-то типа нейросетки -- да. Слишком сложные правила в биологии, и нужно просто продолжить линию с играми: выучить правила, по которым идёт взаимодействие в клетках.
Ход он делает и на то, что физика информационна насквозь, её описания должны быть информационными, "вещественность" тут не так интересна. Смотреть на физику как на вычисления с информацией он считает очень продуктивной идеей, хотя он не считает, что лидер в этом направлении Вольфрам (я полностью в этом согласен. Физика по факту стала наукой об информации и операциях с ней, а Вольфрам просто ну очень распиарен по сравнению с серьёзными исследователями, которые занимаются этой проблематикой, но жужжат об этом не так громко). Тут ещё интересно замечание интервьюера, который привёл цитату Дейкстры в самом конце видео, что "компьютерная наука не больше про компьютеры, чем астрономия про телескопы". Я тут не могу не съехидничать: "инженерная наука не больше про инженеров, чем компьютерная про компьютеры". В каждой шутке есть доля шутки.
И физику он считает весьма играбельной для людей игрой: "просто выучить правила, хорошо сбалансирована, всю жизнь учиться играть и чем больше играешь, тем больше понимаешь, насколько мало умение". Я тут приложил к "геймификации" в учебных курсах. Это ни разу не "геймификация", повышение играбельности (и AI для повышения играбельности Хассабис рассматривает как "бесконечные игры AI в эту игру, чтобы на этой базе выровнять баланс, а то с людьми это сотни тысяч часов игры нужно")! Баланс -- когда игроки примерно равной силы, фигуры примерно равной силы, число комбинаций бесконечно, понятно чего надо достичь и достичь можно за понятное малое время. В учебных программах сейчас "геймификация" -- это просто дрессировка с подкреплением просиживания штанов за учёбой, увеличение времени сеансов учёбы, а не повышение собственно интереса к учёбе как таковой. Как я понимаю, нет балансировки -- нет геймификации!
Интеллект нужно делать, постепенно абстрагируясь от задач в мире, потом от мира с правилами
И вообще, вот эта работа по универсальному искусственному интеллекту остаётся главной, девиз DeepMind был высказан в 2010 году, и он до сих пор верен: "Шаг 1: найди решение проблем интеллекта. Шаг 2: найди решение проблем для всего остального". -- это очень похоже на то, что делает ШСМ, только для людей. И интеллект тут foundation, трансдисциплинарный (независимый от конкретных правил игры в мире, от решаемых задач), а не прикладной (калькулятор как раз прикладной).
Много мелких замечаний в интервью по тому, как решать задачи по созданию AI:
-- стремиться к end-to-end learning, ибо когда градиент пробегает через всю систему и не искажается людьми на стыках каких-то блоках, обучение идёт лучше. Люди плохо познают, поэтому их вмешательство нужно минимизировать. Только самые-самые ограничения вносить руками, но избегать "догадок".
-- брать строго определённые задачи (огромное комбинаторное пространство состояний, понятная функция награды, огромное число данных для обучения или генератор данных/имитационная модель). Игры тут подходят абсолютно, последняя игра из подобного сорта -- это Stratego, в которую научились играть лучше людей, это типа "го-шахматы, перемешанные с покером", программу назвали DeepNash -- https://arxiv.org/abs/2206.15378. До сих пор в AI с ней не удавалось справиться. По той же линии работали со складыванием белка, с управлением плазмой.
-- решать задачу не в один присест, а последовательно. AlphaGo училась на партиях людей только игре Го, AlphaZero играла сама с собой в качестве обучения (убрали людей и особенности Го типа симметрии доски), в MuZero убрали окончательно особенности игры, стали учить "вообще играть". Сначала имитационное обучение, а потом до полностью self-supervised learning, в конце концов убрали и правила игры -- выучивалось из окружения. А вот сразу сделать MuZero не получилось бы, в том числе психологически -- считали это невозможным, "только лет через десять" на каждом такте!
Пока вроде как существенной особенностью интеллекта является предсказание, а дальше объяснения и аналитика (explanation и analysis Демис как-то различает, но осталось непонятно, как именно. Analysis как критика? Может быть).
А что у меня самого по линии AI?
Ещё я задумался, а что же у меня в плане связи с тем же AI? У меня по-прежнему идёт программа отслеживания происходящего в AI. Я ежедневно заглядываю в статьи, хотя и не каждый день пишу о найденном в этих статьях. В мире по-прежнему в AI идёт два прорыва в неделю, и именно эти прорывы поменяют мир, и существенно, мало никому не покажется. Собственно, это интервью я смотрел в рамках этой своей длинной активности.
Я уже неоднократно писал, что мы будем учить чужие интеллекты системному мышлению, и это остаётся, но ещё я осознал, что для начала надо научить свои компьютеры. Как минимум, это мой собственный компьютер, а также компьютеры наших выпускников. Тут может быть два продукта, о которых я пока не думал подробно:
-- Интеллект-стек в AI, поддерживающем экзокортекс. Автокомплит-подсказчик типа GitHub Copilot или Amazon CodeWisperer для экзокортексов типа coda.io или notion.so, а то и вообще персонального Obsidian -- разметка типов, проверка логики, контроль альф и т.д.. SystemWisperer, рацио-суфлёр, интеллект-подсказчик, ага. Интеллект-экзокортекс.
-- Интеллект-стек в AI-ассистенте как консультанте, отвечающем на вопросы, help-центр, "интеллект-оракул", диалоговый агент. Собственно, это просто другой интерфейс для того, что идёт по предыдущему пункту.
Для этого нужно просто дописать наши курсы и добрать поминаемую в них литературу как набор данных для finetune (все эти дискуссии, имеет ли право GitHub делать Copilot, который учился на базе данных опенсорсовых текстов, я игнорирую. Все эти "права на знания", я не поклонник копирайта). И как-то продумать, как этот файнтьюнинг считать мета-мета-моделью, а саму языковую модель оставить работать на уровне культурной или даже ситуационной/субкультурной мета-модели. Для этого придётся подумать, ибо я говорю сейчас онтологично (уровнево в части абстракций), но это как раз то, чего в этих foundation моделях нет. Но что-нибудь уж придумаем.
В следующем году вся инфраструктура для таких проектов должна быть готова (скажем, NVIDIA просто обязана выкатить какой-то публичный фреймворк для Copilot/Wisperer работ, они ж всё подобное регулярно выкатывают как готовый пакет, лишь бы на их чипах шло). И дальше просто напружиниться, и сделать. Цены на такое стремительно падают (ну, или если сама модель умнеет, то не падают, тут принять решение надо будет), а у меня value-add в совсем другом, не "общем интеллекте" как у спецов по AI, а "прикладном" для них, но моя "прикладность" как раз фундаментальна для всех остальных людей на планете!
Ещё я подумал, что все эти товарищи (Хассабис, Фристон, Дойль, Дойч и так далее) обсуждают эволюцию и инженерию в их соотношении, тема-то важная. Про эволюцию как скачок времени более длинный, чем жизненный цикл одного проекта, люди думать не умеют. Скажем, то, что в эволюции вымирать принято видам не меньше, чем выживать. И механизмы эволюции, которые работают быстрее, чем перебор, но таки занимают множество жизненных циклов. И все эти законы развития технических систем и прочие "длинные" тренды. Надо учить думать про такое. Третье поколение системного мышления ровно про это, так что по факту мы уже учим думать про этот временной масштаб, хотя и учим недавно -- два курса с этим третьим поколением вышли месяцок назад всего, книги неделю назад, а дописка и переписка всего остального только идёт.
Различение инженерной/культурной и дикой/бесчеловечной эволюции для всех мутное место, в силу полного непонимания эволюции и переноса мышления уровня проекта на уровень множества проектов (эволюции) с признанием эволюции "милосердным богом" и требованием этого бога чтить, ибо "неисповедимы пути господни, но он прав, ему виднее" (замена господа на природу ничего ведь не меняет в таких высказываниях о неисповедимости!).
Грубо: лечить людей, или давать помереть, чтобы не смущать эволюцию своими грязными инженерными пальцами медицинского высокотехнологического вмешательства. В том числе не лечить зародышей, даже если можем: генетические болезни исправлять -- это с точки зрения этики не подорожник к ранке приложить и не заставить акушерку помыть руки перед родами! Спасать зимой птичек кормом, или пусть дохнут. Выводить продуктивные сорта пшеницы, хоть мичуринством (евгеника!) хоть генной инженерией (ГМО!), или ни-ни (биоэтика!). И далее в мир социальный: не пробовать устанавливать правила людского общежития (эволюция животных, кто силён, тот и победил), или таки пробовать (и там всё то же самое с меметической эволюцией: делаем цензуру? То бишь иммунную систему? Или не делаем, пусть всякая гадость идёт прямо в мозг, это ж естественно-эволюционно?). Можно ли считать дикой эволюцией полную свободу? Какое было бы человеческое поведение: оставить как есть, или направлять? Текущий выбор: "человечество пусть сдохнет, птички и жучки останутся as is", это устраивает? Ну или что-то там про "сохранение разнообразия" или "удержание климата на месте", но что там происходило на длинных периодах времени (ничего не сохранялось! ничего не удерживалось! и времена были не лучшие, явно не пастораль!) не обсуждается, мышление вдлинную на поколения не работает.
В эту картину мира теперь включается AI, про который известно сейчас не больше, чем про влияние автомобилей с двигателями внутреннего сгорания на потепление. Делать при этом с климатом не надо ничего, разве что внимательно смотреть лекции Тони Себа, у него там есть графики про эти самые выбросы CO2, которые будут уменьшаться по чисто экономическим причинам: новые технологии производят меньше CO2 и можно расслабиться тем людям, которые глубоко верят во влияние человеческой деятельности на климат через CO2 и выбросы метана -- техноэволюция всё разрулит без их вмешательства, https://ailev.livejournal.com/1637364.html.
Проект интеллекта как фундаментального знанома и подсадки симбионта интеллекта к "опыту"
Тут можно вспомнить Tony Seba ещё раз, он говорит, что "каждый раз, когда мы видим удешевление x10, случается подрыв" (https://www.youtube.com/watch?v=TRcx-btcle4&t=3536s). Дальше вопрос, а вот мы тут в ШСМ принимаем участие в disruption, или тянем прошлый тренд? Образование ведь одна из немногих отраслей, где цена официального продукта (школа и вузы) не упала за много лет (уж не буду приводить каждый раз эту ссылку). Я сам считаю, что не упала цена псевдопродукта (корочек школы, корочек вуза), а не образования. Цену образования никто не считал. Я её считаю как "годы опыта". Если нам удастся получить x10 (десятилетний опыт за год, двадцатилетний опыт за два года, тридцатилетний опыт за три года -- и замерять это при переходе в совсем новую предметную область), вот это и будет тем самым x10 (хотя сейчас я считаю рациональной оценку x4, мы учим примерно вчетверо быстрее по сравнению со многими другими -- это предмет отдельного поста, почему я так считаю. Скажем, системный фитнес примерно настолько быстрее других практик учит, у меня есть представление, что примерно то же со всем интеллект-стеком).
За счёт чего? Для Хассабиса использование интеллекта (естественного, или AI, неважно) это "решить физику, решить биологию". Для этого "решить мышление, пусть его изобретёт/познает сам AI, с нуля, выйдет за пределы человеческих возможностей". А вот "решить культурное/инженерное мышление" для bootstraping AI "не с нуля" это другой ход. Курация обучения, курированный "чистый" набор данных, а не "грузанём ему библиотеку Конгресса, а заодно и всю интернет-помойку, пусть разбирается что там правда, а что научная фантастика, а что вообще фэнтези". Цель: получить более умного человека с меньшим ресурсом времени на обучение (чтобы не надо было переваривать все знания мира и получать многолетний безалаберный и случайный "опыт", а только маленький наш курс как мета-мета-модель, и уже с этой мета-мета-моделью не столько "получать опыт", сколько "жить и получать опыт", life-long learning, бесконечное развитие, open-endedness).
Мы в ШСМ поставщики наиболее абстрактной гифки мира (гифка -- это чтобы откреститься от статичной "картины мира", мы тут вообще "стрим меняющейся абстрактной картины мира"). Выиграет, конечно, множественность владения разными этими "гифками мира", но кто-то должен поставить хотя бы одну!!! И должны, конечно, быть конкуренты. Но вот эту гифку мира мы должны поставлять в двух формах:
-- учебный курс (грузить в голову мета-мета-модель, обновлять прошивку). Тут я пока не ожидаю AI, разве что надежды иметь когда-то "букварь для благородных девиц", но это как-то совсем непонятно пока, плохо представимо. Все эти Knewton явно не массовы и нам не потянуть такую инфраструктуру, ни финансово, ни по трудозатратам.
-- инструмент-подсказчик, Aisystant должен стать ещё и этим вторым пилотом-шептуном. В текущем виде наши задания все на материалах учебных проектов. Может, всё и произойдёт естественным образом. Перейдём на какую-то opencoda и добавим при этом AI-агента-подсказчика при заполнении табличек и написании обоснований. Вот тут можно думать.
Ещё одна аналогия пришла в голову после прослушивания интервью Хассабиса: многочисленные курсы отдельных мыслительных "мастерств" это как отдельные сложные молекулы-белки. Мы их собираем в одну клетку, которая жизнеспособна и квазиавтономна. Мы собираем множество разных мелких курсов в один жизнеспособный курс. Рассуждения у нас в жизни идут по множеству "сигнальных путей" в мире знания, как все эти биохимические pathways среди разных белков. А вот многоклеточные организмы -- это когда на базе нашего фундаментального мышления будут собираться множество агентов с прикладным мышлением. Ибо ресурсы для прикладного мышления в одной клетке не получишь, нужна специализация. Это мы идём по пути "большого скачка", пытаемся сделать "передаваемое фундаментальное знание" в цифровой форме. "Знаном" культурного человека, выход в коллективное мышление на базе общей культуры. Мы тут -- носители фундаментальной SoTA культуры, собираем мемы выживших в жёсткой конкуренции SoTA школ мысли. ШСМ становится тем самым местом, которое отбирает эволюционно успешные мемы и строит этот "знаном", а потом реплицирует его в головы с поддерживающими эти головы компьютерами. Да, это я описал вроде как университет, но мы проверяем этот знаном на полноту и совместимость. Он поэтому должен выжить при пересадке в неокортекс+экзокортекс, и ещё тело+экзотело, и быть полезен носителю. Знаниевый вирус, подсаживаемый в черепушки и связанные с ними компьютеры, и дающий там симбионт фундаментальных мыслительных навыков, культурный интеллект, работающий вместе с традиционным "опытом".
Всё это, конечно, очень сыро. Надеюсь, всегда будет в состоянии "сыро", вечная бета, а впереди бесконечность.
Не удержался опять от картинки из Dall-e mini (https://huggingface.co/spaces/dalle-mini/dalle-mini), и prompt там "Demis Hassabis gave AI to mankind".
