Это пост-размышление письмом о том как можно и нужно относиться к контенту/продукту, явно сгенерированному с помощью ИИ (в моём случае конкретно LLM), который тебе однако продают за деньги.
На написание поста меня побудила рабочая ситуация. Мы наняли подрядчика для выполнения специфической услуги (фактически это аутсорс одной из функций необходимой для нашей организации). И вот на первом этапе работы (которая состоит из нескольких этапов, и первый является стартовым - это этап аналитики) подрядчик подготовил для нас аналитический файл из текста и ряда таблиц.
В целом логика построения файла, описанные в нём гипотезы, построенные в таблицах модели - субъективно мной оценены как приемлемые для начала работы. Но приемлемыми я бы их считал в том случае, если бы их делала команда аналитиков вручную. То есть в них были некоторые шероховатости, несоответствия нашей конкретной ситуации и т.п., которые бы я счёл допустимыми с учётом трудоёмкой работы группы экспертов над нашим кейсом.
Однако из структуры файла и его внешнего вида очевидно, что аналитику подрядчик собрал с помощью LLM.
Применение ИИ - это хорошо, и я сейчас сам с коллегами ищу места в бизнес-процессах нашей организации, где бы можно было применить его максимально эффективно.
Однако в данном случае у меня возник диссонанс: при выполнении данной работы на таком уровне качества вручную я был бы в целом доволен. Но видя применение ИИ, я осознаю что с его помощью ситуацию можно было бы изучить гораздо глубже, и жду от подрядчика уже гораздо более глубокого погружения. В качестве примера - прямо в процессе презентации они читали написанный ими же текст и уточняли у меня правильность ударений в профессиональных терминах (который специфичны для нашей отрасли, тогда как их сфера деятельности шире и поэтому они вроде как не должны разбираться в наших терминах).
Но я понимаю, что пиши они это вручную - этот термин просто не попал бы в текст, так как они его не употребляют. А здесь получилось что ИИ что-то написал, они помотрели что в целом ок, и отправили нам. А потом в процессе презентации происходило ознакомление с текстом одновременно и нас как заказчика и их как исполнителя…
При этом я понимаю что объективно каких-то больших претензий я предъявить подрядчику не могу, да наверное и не хочу. Это скорее эмоциональное состояние удивления и недоудовлетворённости результатом, чем объетивная недоработка с их стороны. Артефакт резкого изменения технологий.
Вместе с тем, эмоциональный осадок от таких случаев всё равно остаётся.
Пока думаю, что с этим делать, правильно ли высказывать свою неудовлетворённость подрядчику, или я перегибаю палку и не стоит при применении современных технологий сразу задирать планку к качеству результата работы?
Интересно, еще одно доказательство, что ИИ влияет на качество оказываемых услуг: Ваши ожидания выросли и соответственно подрядчикам рано или поздно придется адаптироваться.
А по теме: я бы пометил себе как “адаптация к изменениям на рынке”. Если Вы формализовали условия приемки и они соответствовали, то высказывая своё недовольство, окажетесь в слабой позиции (аргумент, что они нашли способ выполнить свою работу быстрее/дешевле – не самый сильный). Зато зная, что они такие молодцы, в следующий раз можно поднять планку
Спасибо, что поделился! Я вот на днях тоже раздумывал об этом, но чуть в другом кейсе.
Если говорить про потребительскую ценность результатов работ, то применяя принципы продуктовой компании/команды, все рабочие продукты не делаются просто так и ради самих себя таковых, они не являются целевой системой, а частью целого. То есть передаются по цепочке дальше внутренним/внешним клиентам в соответствии с их потребностями. А там дальше они будучи на входе в следующий процесс/метод работ являются продуктами на входе, из которых далее инженеры синтезируют свои продукты, и дальше по цепочке.
Я понимаю, что описал тривиальность в проектном управлении. Но есть нюанс в продуктовых командах: Ориентированность на потребности пользователей/клиентов этих самых продуктов.
Так вот, если подрядчики сделали рабочий продукт, который на входе удовлетворяет потребностям клиентам/пользователям, то говоря системным языком, продукт успешен.
Ну а то, что они сумели сделать его с помощью современных инструментов, так это ж техноэволюция. Мы собственно все тут для этого полагаю.
Но мое суждению тут без знания контекста конечно )
Но общая мысль, что приёмку результатов должны делать те инженеры, которые дальше по графу создателей для синтеза своих продуктов будут эти продукты использовать у себя на входе.
Проблема стара, как мир: контрактуются от большой консалтинговой фирмы партнёры, а заказ потом выполняют студенты-старшекурсники, партнёры при этом уже контрактуют следующий заказ и даже не имеют времени проверить работу студентов )))
В больших проектах, в которых я участвовал (отраслевые реформы) был принят следующий подход: крупным конторам заказывалось “поставить имя на красивых презентациях, которые им дают”. Это стоило дорого, а внешнему миру подавалось как “мнение авторитетных международных консалтеров”. Внутри же работали маленькие think tanks, которые состояли из пяти-пятидесяти человек, не больше, и в которых уж точно кто контрактовался, тот и работал. Результаты их работы потом обсуждались, принимались и передавались “большим консультантам”, которые за небольшую мзду делали презентации для аудиторов (а иногда и сами выступали аудиторами друг друга, чтобы всё было прилично), рассказывали всё прессе, презентовали крупным сообществам и вели прочий пиар, будучи по сути “свадебными генералами”. Все были счастливы, наружу это, понятно, не афишировалось, а внутри были чёткие договорённости.
Вот LLM – это те самые студенты, которые контрактуются крупняком, в котором реально лучшие мозги никогда не работали ни на что, кроме продажи (а не выполнения) услуг. Просто оговаривайте это на старте, а если это не старт – делайте предъяву, это ж подмена ожидаемого исполнителя. Просто явно обсуждайте, сходу.
Ну вот тут иногда сложнее сделать, чем замыслить))
Одно дело, когда определена и зафиксирована неуспешность в валидации результатов работ и в контракте прямо указано ещё и обязательства согласования подрядчика. То можно и претензию предъявить, и ГУ вскрыть, и/или пересмотреть условия Договора как не исполнение ТЗ (изменение существенных условия договора), и далее и стоимость пересмотреть услуг.
Ну а если ситуация такая:
- Нет обязательств в договоре согласовывать субподрядчиков и команду исполнителей.
- Результат работ удовлетворительный и имеет потребительскую ценность по ГК РФ
то тогда как?
Тут самому можно попасть на “уклонение от приёмки результатов работ”, если они, не будь дураками, и акт направили сразу.
Остаётся играть только в “этическом” поле и “договариваться” (виноватить и угрожать репутационными рисками в инфополе) о пересмотре стоимости работ, если выявлено (то есть документально а не “Я так вижу”) значительно низкая расходная часть подрядчика.
То есть перевести отношения заказчика и исполнителя в предметное обсуждение можно, но чуть сложней чем представить )) я так думаю
Если вы ожидаете, что с подрядчиком нужно будет играть в судебно-административном поле, то сразу не играйте с таким подрядчиком. Если юристы спокойно пишут в договоре “без права передачи исполнения другому лицу”, то это не означает невозможности описания такого “без права передачи другому лицу” внутри организации. Очень часто в контрактах пишут имена консультантов, которых подряжают на исполнение, пофамильно, чтобы точно пришёл тот, кто понимает, а не тот, кто был свободен, когда понимающий пошёл контрактовать-убалтывать следующего. Это если хочется прямо таки письменно вписать что-то в контракт – вот вписывайте. Но это совершенно необязательно делать. Всё-таки прав всегда заказчик, а не исполнитель. Не надо доказывать ничего исполнителю, это ему надо сдавать работу. И да, репутация тоже дорого стоит. На конференции прямо сказать: вот тут в зале сидит такой-то, он у нас делал работу, так вот не он делал, а LLM за него делала, причём делала плохо, а ошибки ловил не он,а мы – судиться мы с ним не будем, но вы знайте, что так нехорошо. И слайд на экране с описанием ситуации. )))
Да, это этическое поле, а не юридико-судебное. Юристы только оформляют понимание “справедливости”. А без этого подрядчики как студенты: читят, списывают, минимизируют свои затраты, “авось сойдёт, не будут же они судиться из-за этого”. Судиться не будут, конечно, а будут требовать: как препод со студентом не судится, но ежели что – отчислят, и комиссию сделают, и решение комиссии, если студент вдруг упрётся.
Анатолий, спасибо Вам большое за комментарий!
Взял на заметку, хотя подрядчики крайне нехотно на такое идут, и вообще не встречал пока таких, но пробовать буду )
Это точно. А еще бывает когда подрядчик выиграл условный тендер с финмоделью контрактной стратегией именно такой “демпегнем как ногу в дверь, а там “объясним” заказчику, что он не корректно выдал ТЗ, а это стоит других денег”.
Вот это внесу в набор профметодов предметной области ))
Но с другой стороны есть Заказчик::роль, который сам не очень понимает что является результатом работ консультанта.
К примеру, вот живой свежий кейс, крупная проектная компания, которая не понимает по большому счету, что является результатом работ консультирования. И чем являются и в каком виде должны быть представлены результаты работ:
Как увязать результат работ с целевой системой (да пусть и без использования этого понятия) заказчик “не каждый лишь может” как говорят ))
Что есть результат работ это мне думается ответственность и заказчика и подрядчика. Я не говорю, что описанная ситуация у Александра такая, но как случай такое же тоже может быть. Очень важно сразу договариваться на берегу и явно заявлять Заказчику о своих ожиданиях и Исполнителю - о возможностях. Но часто бывает именно вот так “…мне нужно как можно раньше” ДО того как “…мне нужно вот это, чтобы вот это …, чтобы вот это …, и вот в таком виде чтобы Мост был построен и эксплуатировался успешно”.
Я много лет был часто не консультантом, а генеральным консультантом, когда в проекте (какие-нибудь масштабные реформы оргразвития, смены технологий, смены производственного уклада и т.д.) работали много бригад консалтеров по множеству подрядов. И у меня были простые правила: никогда не соглашаться на “точное ТЗ и список результата”, ибо это правило: заказчик не просто не знает, что ему нужно, но часто его знание прямо ошибочно, и задача консультанта – стратегировать: указать на ошибку, помочь выбрать стратегию и начать что-то делать. Дальше всё, люди клиента обучены, понимают, что делать, консультант не нужен. То есть консультаны – это не просто нанятая дополнительная рабочая сила (как в бухгалтериях), это реально консультанты, “дают советы”. Но это actionable советы, переходящие в действие, а не идущие кому-то “в стол”. Поэтому:
– прямо прописывается в контракте, что работать буду я и узкий круг лиц, известных при контрактации
– прописываются часы, которые отдаются “в поле” на общение с людьми заказчика (но не на “домашнюю работу”, всё одно ведь невозможно отследить)
– результат – это когда “была одна ситуация, говорили одни слова, и ничего в плане деятельности не происходило, а после консалтинга – другая ситуация, другие слова, идут какие-то работы, и это слова и работы, о которых впервые заговорил консультант”.
То есть продаётся изменение ситуации, выход из болота. Изменения есть – плати. Изменений нет – увы, консультант не справился.
Тут нюансов, конечно, много. Но эта общая схема обычно работает. Иначе – да, продают “рабочие часы”, и дальше оплата почасовки при нулевых результатах. Чаще всего продают “я внимательно выслушал заказчика, записал его умные речи в виде наших материалов, выдал ему письменно – эту работу speech-to-text и художественную вёрстку с картинками он и оплатит как консалтинг”. Тут ещё добавлять надо, что прямо на входе проверяется, понимают ли исполнители консультанта в предметной области решаемой проблемы, или же собираются учиться за деньги заказчика. Для этого, конечно, надо хоть как-то самому разбираться в обсуждаемой предметной области (и это обычно не ваша предметная область, иначе вы бы в ней уже разбирались и консультант не был бы нужен – это как раз то “новое, которое всегда приходит сбоку”). Обычно проверял для какого-то заказчика я, как генеральный консультант. То есть там ещё и сложное разделение труда )))
Раз уж об этом. Это звучит как очень увлекательная деятельность стратег
Интересно ваше мнение, как вы оцениваете текущий и перспективный рынок Генерального консалтинга (назовем его так)?
Это не рынок консалтинга, это рынок консультантов ))) И тут два варианта: или вы контрактуетесь на такую работу (и удерживаете ровно один большой контракт года полтора), или просто в найме на исполнительной должности директора по развитию (ровно то же самое).
Разница только в способе оформления – по контракту или … по контракту ))) Так что отличается по факту только записью в трудовой и особенностями заключения контракта и расторжения контракта.
Я контрактовался минимально на 4 месяца (за меньшее время просто не будет изменений, мозги поворачиваются медленно), а потом помесячная оплата – и прямо оговаривалось, что когда клиент понимает, что консультант больше пользы не приносит, он просто прекращает платить, а консультант – консультировать. А пока приносит пользу – “абонентская плата”.
Так что всё это обычный “рынок труда”, особенности только в том, о чём договариваешься и в каких документах это прописывается. )))
Я думаю, что если ИИ-контент решает вашу бизнес-задачу, на приемлемом для вас уровне, то все в порядке. Если же Вам продают что-то как уникальную ручную работу, но делают ее с помощью ИИ, и результат - посредственный, использовать можно, но заявленной ценности он вам не приносит, то тогда имеет смысл высказать подрядчику свою неудовлетворенность.