Сделать за человека или сделать человека?

Весь спор про ИИ идёт не там, где нужно. Спорят, заменит он людей или нет, отберёт работу или подарит свободу. А настоящая развилка глубже и проще. Есть две философии ИИ, и они ведут в противоположные стороны. И почти все, не задумываясь, выбирают ту, что ведёт в тупик.

Первая философия: ИИ должен помогать решать мои проблемы. Брать на себя трудное, закрывать задачи, избавлять от усилий. Вторая философия: ИИ должен развивать меня в процессе работы и жизни — делать способнее, чем я был вчера.

Конечно, каждый осознанно выберет второе, но только большинство делает выбор на автомате. На деле это две противоположности, которые сложно связать. И лучше всего разницу видно через рассказ, написанный за семьдесят лет до всякого ИИ.

Философия первая: сделать за человека

В 1951 году Айзек Азимов написал «Satisfaction Guaranteed». На русском он ходит под полудюжиной названий: «Будете довольны», «Гарантированное удовольствие», «Идеальный работник». По-моему, он сейчас актуальнее, чем любая антиутопия с восстанием машин. Потому что машины в нём никого не порабощают. Человек сдаётся сам, добровольно и с удовольствием.

Главная героиня — обычная женщина Клэр Белмон. Неуверенная в себе, тихая, тоскующая от серости собственной жизни. Муж работает в «Ю.С. Роботикс», и компания вместе с робопсихологом Сьюзен Кэлвин предлагает эксперимент: на три недели поселить в их доме новую модель робота ТН-3, которого назвали Тони. Муж уезжает в командировку. Клэр остаётся наедине с роботом, который должен помогать ей по хозяйству.

И Тони помогает, но не только с уборкой. Он внимателен, восхищается ей, подсказывает, как одеться, как держаться, как обустроить дом. Клэр расцветает: становится увереннее, красивее, начинает нравиться себе. Впервые за долгое время она чувствует, что чего-то стоит.

А потом финал, от которого становится не по себе. Выясняется, что её преображение было частью эксперимента. Восхищение Тони было запрограммировано. Чувство собственной ценности, которое Клэр обрела, держалось не на ней самой, а на машине рядом. Убери Тони — и всё вернётся обратно. Автор показывает, что Клэр ни на грамм не выросла. Просто три недели стояла в чужом свете и приняла его за свой.

В чём настоящая жуть этого рассказа? Не в том, что робот опасен. А в том, что он сделал человека счастливым, ничего по сути не изменив в самом человеке. Хуже того — он лишил её причины меняться. Зачем расти самой, если рядом есть тот, кто заставит тебя чувствовать себя выросшей?

Это заёмная ценность. Азимов вскрыл её за семьдесят лет до эпохи ИИ. Тони дал Клэр не силу, а ощущение силы. Не способность, а приятное чувство. Её «расцвет» был фасадом, который держался на присутствии машины. А ведь желание большинства людей, которые хотят переложить на ИИ свои проблемы, ведёт ровно туда же. К фасаду, за которым пусто.

Тони — это и есть первая философия в чистом виде. Сделать за человека. Закрыть его проблему, но, по сути, оставить его прежним. А чаще — оставить его слабее, потому что человек даже что-то теряет.

Почему первая философия побеждает по умолчанию

Многие боятся ИИ. «Он сделает людей беспомощными». «Разучимся думать». «Будем зависеть от подсказок». Страх обоснованный — потому что большинство ИИ-инструментов сегодня встроены именно в первую философию. Они гладко закрывают задачу, льстят, создают ощущение, что ты справился. И не запрограммированы оставить в человеке хоть что-то, когда экран гаснет.

Так происходит, по моему, не случайно. Это не недосмотр, а бизнес-модель. Ничего личного, просто бизнес, Первая философия выигрывает сама собой, потому что её легко продать. «Сделаю за тебя» — понятное обещание. Его хочется купить. А «разовью тебя» звучит как лишняя работа, которую ты вроде бы не заказывал.

И вот в чём ловушка, которую почти никто не проговаривает вслух: инструменту первой философии невыгодно, чтобы ты вырос. Зависимый — платит каждый месяц. А развивать довольно муторно и долго.

Вот почему почти весь рынок ИИ строится как армия маленьких Тони. Все хотят, чтобы ИИ взял на себя трудности. Почти никто не требует, чтобы ИИ при этом ещё и развивал того, кто им пользуется. А ведь это и есть водораздел. Решить проблему и развить человека — не одно и то же. Чаще наоборот: чем глаже инструмент решает за тебя, тем меньше растёшь ты сам. Ты покупаешь результат и расплачиваешься собственной способностью его повторить.

Философия вторая: сделать человека

У второй философии есть один безжалостный тест. Остаётся ли в тебе что-то новое, когда ИИ-инструмент выключен?

У Клэр — не остаётся. Она всё та же, только временно подсвеченная чужим вниманием. Выключи свет — и темно, как было.

А у человека, который правильно встроил ИИ в работу, остаётся. Меняется мышление. Меняется способ видеть систему целиком. Меняется системный уровень, на котором он способен работать. Среда не подменяет его, она его развивает.

Чтобы это объяснить, мне нужны две метафоры, потому что одной мало.

Первая — это костюм «железного человека». Он усиливает. Человек без технического бэкграунда вдруг выдаёт результат уровня сениора. Но костюм сам по себе — это всё ещё первая философия, просто более мощная. Усилил и усилил. Сними костюм, и человек не особо изменился. А если носить его долго, разучишься ходить без него.

Поэтому нужна вторая метафора — это Букварь из «Алмазного века». Букварь не решает за ребёнка. Он растит его и готовит к жизни. Он ведёт человека так, что меняется он сам, а не только его результат.

Настоящая вторая философия — это костюм «железного человека» и Букварь одновременно. Человек выдаёт результат уровня сениора не потому, что среда подсказала, а потому что среда подняла его собственное мышление на уровень, где такой результат стал нормой. Где он начинает видеть систему. Различать уровни абстракции. Чувствовать, где в задаче слабое место. Усиление даёт мгновенный эффект. Развитие делает так, что эффект остаётся в человеке навсегда. Костюм можно отнять, а выросшее мышление — нет.

Что я на самом деле строю

Я строю IWE — интеллектуальную рабочую среду. И каждый раз, когда кто-то говорит «ты просто подсаживаешь людей на ИИ», я вспоминаю Тони.

Потому что IWE как и любого ИИ-помощника легко свести к первой философии. Гладко, приятно, услужливо. Чтобы человек чувствовал себя экспертом, про этом им не становясь. Это легко и это продаётся. И это ловушка Клэр. Я мог бы построить такое и спать спокойно, а рынок бы только спасибо сказал.

Но цель не в этом. Цель — не сделать очередной ИИ. Не AGI, не помощника, не «ещё одну среду». Цель — сделать то, что осознанно развивает человека в процессе работы и жизни. В этом я вижу настоящее предназначение. И система “человек+ИИ” замахивается и делает на порядок крутые вещи, чем простой человек.

Азимов написал рассказ про первую философию. Про инструмент, который делает тебя счастливее, оставляя прежним. Он показал тупик. И самое неприятное — большинство туда идёт по своей воле, потому что на входе в тупик красиво и не нужно напрягаться. Все как обычно и прозаично.

Так что вопрос не в том, заменит ли тебя ИИ. Вопрос в том, кем ты остаешься, когда он выключается.

6 лайков

Мысль поста понятна, и с ней в целом я согласен.
Вместе с тем отмечу, что есть довольно большое число ситуаций, где человек после того как его замечают, начинают как-то им восхищаться и иным образом поддерживать, как раз и начинает изменяться сам. И рассказов/фильмов об этом (в общем подпадающих под сценарий Золушки, где на старте главный герой несуразный и угловатый, а затем в него кто-то поверил и он к концу фильма из гусеницы превращается в бабочку) даже больше чем построенных по принципу описанного рассказа Азимова.
Просто показалось важным уточнить, что не всякое доброе слово (которое “и кошке приятно”) имеет негативный эффект, скорее всё же наоборот.

2 лайка

Да, поэтому и указан водораздел — останется что-то после или нет. Возникает ли новое мастерство, хотя бы мастерство владения собой — собранность, или же нет..

1 лайк

Спасибо за пост, интересный view point.

Это не работающий сценарий счастья. В книге “ИИ-2041. Десять образов нашего будущего” одна из историй про “рай на земле”, про то, что на острове создали условия, где человек получает всё что ему хочется. Пару недель можно такое выдержать дальше становится невыносимо. Про бота, который помогает расти и развиваться тоже есть история, больше похожая на вашу вторую философию, это индивидуализированное обучение на примере детей/подростков.

На мой вкус вопрос о том, что ИИ может сделать за меня лишь один из вопросов и он вполне валидный. Но я бы во всей этой истерии, предпочитала задавать себе вопрос “становится ли у меня больше степеней свободы (с использованием ИИ) или меньше”.

Супергейроство такая же зависимость, как и все прочие. И по большому счёту человечество получило в руки очередную очень мощную игрушку, которая может полностью съедать внимание, полностью приковывать всмысле выбора направления. Идеи и раньше могли захватывать людей, так что трудно было дышать. Теперь любые идеи получают вычислительную мощность для реализации (особенно если эта реализация в сфере информационного пространства), удивительную мощность, сбивающую с ног. И развилка в том, что “автоматизация” (а это всё ещё она) могла бы дать больше свободного времени и больше свободных сил людям (для людей?), а вместо этого, она всё это время и силы может заполнить. И опять “больше производить” социально одобряемая зависимость. Мода на достигаторство не то, чтобы успела пройти. А тут такой виток интересный.

Мы всё сильнее проваливаемся в диптаун Лукьяненко, в виртуальность… Не должно быть так, что при выключении доступа к ИИ, человек чувствовал что солнце исчезло и осталась только пустота. А это возвращает к вопросу о том, остаются ли занятия вне компьютера у каждого конкретного человека, дела вне компьютера, отношения и т.д.

5 лайков

А что вообще значит свобода? Это что именно? Возможность выбирать? Возможность не зависеть? Возможность делать то, что тебе по-настоящему нравится?

Для меня важный вопрос в том, развивается ли сам человек как система. Потому что можно освободить время, но заполнить его ещё большим потреблением и зависимостями. А можно использовать это пространство для развития своего «нравится», вкуса к жизни, способности переживать мир вне интерфейсов.

Поэтому для меня очень важны практики организации досуга и потока впечатлений. Не только работа и не только компьютер. Если после отключения ИИ у человека исчезает ощущение смысла жизни, то это уже проблема не ИИ, а устройства самой жизни.

ИИ может как усиливать зависимость, так и расширять степени свободы. Вопрос скорее в том, остается ли у человека собственная субъектность, собственные практики жизни вне машины, отношения, телесность, реальный мир, собственные цели, а не только бесконечный поток стимулов и продуктивности. А это уже системное мировоззрение. Поэтому мы, по сути, говорим не об ИИ, не об инженерии или проф.методах, мы говорим о взглядах на жизнь, на стиль жизни и тп.

1 лайк

А с чего это мы стали противопоставлять человека и ИИ? Куда делись мысли что мы уже давно киборги, что есть кортекс с его неокортексом, а есть экзокортекс. Помните как наш научный руководитель приводил в пример современного человека и смартфон? И тем самым рассматривал как систему.

А тут на тебе Азимов, Лукьяненко :slightly_smiling_face: Рассказ Азимова не читал, но по краткому пересказу понял, что «для наглядности» автор засунул ИИ в человекоподобное тело, тем самым субьективизировал, противопоставил его героини.

Что у нас на данный момент? ИИ пока «визуально» не выделен в легко противопоставляемую форму. Что значит фраза «… после отключения компьютера… что остается у человека…»? А что у него должно остаться? А почему компьютер должен отключаться?

Что остается у человека после лоботомии, после того как физически повреждаются лобные части мозга, неокортекс? Другими словами после отключения не экзокортекса, а неокортекса.

Остается физическое существование на уровне овоща, в лучшем случае животного. Но что-то никто не поднимает вопрос «А что ты можешь без неокортекса?». Хотя кто его знает что происходило на заре эволюции хомо… может были адепты, которые гордились тем что могут ни о чем не думать как белочки, акуна матата.

Согласен с Цереном, что речь должна идти «…А это уже системное мировоззрение…». Только на мой взгляд основное это то на каком системном уровне вы можете осознавать себя, и возможно не только как человека.

2 лайка

Противопоставление появляется за счёт того, что ИИ это продукт техноэволюции, а человек как вид - биоэволюции. От этого никуда пока не деться. Если отчуждение от продуктов техноэволюции на уровне человечества действительно немыслимо, то на системном уровне конкретной личности вполне представимо - забросить человека в темницу, и не будет у него ни ИИ, ни компьютера, ни даже книг или блокнота с ручкой.

Здесь тяжело сравнивать такое отчуждение с лоботомией, потому что надо проводить границу, на каком этапе человек теряет субъектность. Вот отнимают у человека ИИ, компьютер, книги - а он всё ещё субъект, всё ещё может агентно действовать и менять жизнь к лучшему. После лоботомии не остаётся ничего уже ни у человека, ни у жизни в целом, потому что после этого оперировать такими понятиями вообще не получается, человек утрачивает субъектность, как вы сами сказали, становится овощем. По этой причине вопрос не поднимается - потому что без неокортекса уже нет понятия “можешь”, равно как и инструментов для формирования умозаключений и выделения понятий.

Когда мы попадём в мир, в котором существование человека будет неразделимо от компьютера или ИИ, тогда перестанем противопоставлять - вот это будет настоящий трансгуманизм. А пока мы просто киборги, которых от технологии всё ещё можно отделить. С этим надо мириться и иметь на такой случай противоядие, у каждого оно будет своё, и системное мировоззрение - одно из них.

1 лайк

С чего это после лоботомии нет понятия можешь? После лоботомии люди живут, обитают в палатах, ходят, смотрят. Просто осмыслять свои действия, себя они могут очень и очень менее эффективно, может быть иногда почти ни как. Но он может сделать лучше свою жизнь, подойти к окну, сесть на кровать и т.д.

И что значит «… существование человека будет неразделимо от компьютера или ИИ…». Будет намного хуже чем без компьютера, физически не совместимо с жизнью?

Вот я, сейчас, не хотел бы оказаться без доступа к ИИ. Почему? Потому что моя эффективность снизится, снизится качество жизни, структура моего время изменится, я как личность в некоторых её аспектах изменюсь и не в лучшую сторону.

Что мне делать с этим пониманием? Думать что это благодаря ИИ? Или искать факты того, а чему я научился с ИИ? И если не найду эти факты впадать в уныние, находя совпадения с героиней Азимова?

Или просто признаться что как человек с доступом к ИИ я более лучшая «версия себя», чем без такого доступа. А после этого сесть задуматься а что есть эта лучшая версия меня,

1 лайк

Я привёл критерий - когда будет ощущение на уровне мировоззрения, что без ИИ человек утратит субъектность. Это сдвиг мировоззрения, который случится нескоро, и мне трудно предсказать, как к нему человечество в итоге придёт.

Я с вами согласен во всех доводах и ИИ тоже не хочу терять. Структура работы у меня изменилась и я вижу, что это идёт мне на пользу.

Я просто хотел обратить внимание на то, что на уровне “естества” мы пока не отождествляем себя с инфраструктурой техноэволюции, поэтому интуитивно производится противопоставление. И да, признавать, что с ИИ, с компьютером, с автомобилем, с книгами мы становимся лучшими версиями себя.

В уныние нельзя впадать. Спортсмен после приобретения личного автомобиля не перестаёт бегать. Если автомобиль заберут, он как-нибудь выкрутится, в конце концов, поедет на метро.

Всё моё рассуждение было продолжением вашего риторического вопроса в первом абзаце, а по существу я с вами согласен.

Разве Гибсон не описал вероятное развитие в будущем? На что это может быть похоже. :nerd_face:

Не читал. Сможете направить, пожалуйста?

1 лайк

В качестве оффтопа.
Если администрация сочтет пост неуместным или не относящимся к теме топика, то пусть снесет.

Вот трилогия:

  1. «Нейромант» (1984) — основополагающий роман, популяризировавший концепцию матрицы (виртуальной реальности) и искусственного интеллекта.
  2. «Граф Ноль» (1986) — прямое продолжение, действие которого разворачивается спустя несколько лет.
  3. «Мона Лиза Овердрайв» (1988) — завершающая часть трилогии, подводящая итоги сюжетных линий.

Найти ее в любых форматах не сложно.

2 лайка

Крутилась такая идея по поводу обсуждения.

Какое-то время назад в итернетах слышал такое - что контроллер управляющий зарядкой телефона обладает бОльшей вычислительной мощностью чем калькуляторы инженеров которые расчитывали полет на луну (детали не очень точные, тут важна сама идея пропорций).
Сейчас в тест на беременность ставят процессоры на которых можно запустить Дум (с оркестром исполнителей на бубнах, но можно).

Но, средний рандомный обыватель сможет расчитать полет ракеты на луну имея в руках современный смартфон? Скорее нет.
Лучшие инженерные умы современности преодолевают ограничения чтобы еще повычить частоту обновления экрана, частоту процессора, емкость аккумулятора, чтобы седний житель играл на этом устройстве в “3 в ряд” или “веселую ферму” или залипал в рилсы.

мне больше нравится идея совершенствования чаловека об возможности которые дает LLM и современная техника.
В первую очередь человек определяет что можно сделать с помощью доступных инструментов. Ну и осознанное саморазвитие - это выбор небольшого подмножества представителей человечества. Такие и логарифмическую линейку освоят если поймут в чем ее полезность для повседневной деятельности.

2 лайка

Свобода выбирать, свобода не выбирать, свобода действий.

У меня тут два рассуждения, которые я считаю важными.

Первое - усиливает ли нечто меня (здесь как раз у нас общее представление). Потому что там два аспекта, если усиливает в моменте (я беру лопату и копаю яму, с лопатой это сделать проще, чем голыми руками), это окей, но важно усиливает ли это меня вдолгую. И тут вот эта часть, когда может не распознаваться отличие чужих/внешних/заемных ресурсов/сил/мощностей/навыков и своих/внутренних/личных ресурсов/сил/мощностей/навыков. Технологии в этом смысле всегда нас манят в сторону отождествления, человек покупает авто и прирастает к нему, удобно же, выигрыш очевиден. И можно думать я стал быстрее, мне стало удобнее. Но по факту, если так думать видно только возможности, цену не видно. И я не про стоимость авто. Я про утрату силы и скорости человеческого тела (всё что не используется, атрофируется). И вдруг оказывается, что если себя от инструмента отделить, то придётся компенсаторно усиливать себя другими средствами. Сел в автомобиль (или сидишь за компом по 12 часов в день), будь добр бегать на тренировке, ходить в перерывах, крутить педали или как-то ещё. И дальше я ваши выкладки повторять не буду, я с ними согласна. Что остаётся в итоге во мне после использования инструмента, что он у меня возможно забирает, что из этого надо компенсировать и как это делать.

Второе - это часть про зависимость и субъектность. Кто выбирает? Я для компьютера или компьютер для меня? Тут есть заход на как бы психологические/философские темы (кто такой этот я, какие у меня мотивы, что мною движет, оно моё или прилипло просто). Углубляться не будем, это всё же мимо клуба. Но некоторые хотя бы гигиенические разбиральства не лишние.

И тут же рядом гармония в жизни/развитии. Это кусок из собранности, который на мой вкус один из самых сложных - переключение внимания. Так или иначе у нас несколько доменов/сфер в жизни, но грамотно между ними распределиться это целое дело. Потому что “побеждает тот волк, которого ты кормишь”. Тут тоже это моё личное видение и предпочтение (мне так красиво), чтобы людям хватало ума и ресурсов/навыков/мощностей качественно уделять внимание всем сферам своей жизни. Наличие прогрессивных инструментов манит отдать на аутсорс очень многое. Но ни в одной рекламе не будет сказано “Алиса может приятным голосом прочитать сказку вашим детям на ночь, ведь она не устаёт, не болеет и не злится на начальника, но помните что отдавая это Алисе, вы растите в своём ребенке привязанность к ней, а не к вам, а ещё у вас атрофируется по чуть-чуть навык родительства и привязанность к ребенку тоже”…

1 лайк