Разбор · оценка эффекта от ИИ

Генеративный ИИ может сократить время на письмо, отчёт или поиск информации. Это ещё не означает, что заказ выполнен быстрее, клиент получил лучший результат или компания заработала больше. Между локальной экономией времени и финансовым эффектом находятся соседние шаги процесса, владельцы решений, ограничения данных и поведение людей.

В полевом эксперименте NBER участвовали 7 137 сотрудников из 66 компаний. Часть работников случайным образом получила доступ к генеративному ИИ, встроенному в привычные приложения для почты, встреч и письма. Во второй половине шестимесячного эксперимента 80 процентов участников с доступом, которые действительно пользовались инструментом, тратили на электронную почту примерно на два часа в неделю меньше.

На уровне человека эффект заметен. Однако исследователи не обнаружили изменений в количестве или составе выполняемых задач. Рабочая неделя стала немного легче, но устройство работы не изменилось.

Ошибка начинается, когда показатель первого уровня без переходов записывают на четвёртый. Сэкономленные два часа имеют экономическую ценность только тогда, когда понятно, что произошло с освободившимся временем и какой участок системы получил дополнительную пропускную способность.

В 2026 году журнал Organization Science опубликовал эксперимент с 758 консультантами. Участники решали близкие к их работе задачи с GPT-4 и без него. На 18 заданиях внутри границы возможностей модели пользователи ИИ выполнили на 12,2 процента больше задач и работали на 25,1 процента быстрее. Качество решений также выросло.

На сложной управленческой задаче за границей возможностей результат развернулся: пользователи ИИ на 19 процентов реже приходили к правильному решению. Уверенно написанный ответ повышал риск чрезмерного доверия.

В программе для кросс-функциональной команды Future Hub этот выбор работал первым фильтром. Инициативы с детерминированным правилом уходили в обычную автоматизацию. Для остальных команда отдельно фиксировала, что именно поручается модели, кто проверяет результат и в каких случаях решение возвращается человеку.

Доступ к модели не подсказывает, где она создаст ценность. Авторы исследования INSEAD и Harvard называют это проблемой картирования: компании нужно обнаружить, в какой части производства или сервиса ИИ меняет результат, а не только ускоряет знакомую операцию.

В эксперименте участвовали 515 быстрорастущих стартапов. Все получили одинаковый доступ к инструментам и техническое обучение. Одной группе дополнительно показали, как другие компании перестраивали работу вокруг ИИ. Эти участники нашли на 44 процента больше сценариев применения, преимущественно в разработке продукта и стратегии. Они также выполнили больше задач и чаще получили платящих клиентов.

Фраза «ускорить подбор» не задаёт объект измерения. Один проход процесса может означать вакансию, кандидата, интервью или закрытую позицию. Эти единицы связаны, но не соотносятся один к одному.

В методе Брюса Сильвера для BPMN сначала определяется экземпляр процесса: одна штука работы от запуска до конечного состояния. Если один процесс нарисован на единице «вакансия», а отдельный шаг повторяется для каждого кандидата, в одной схеме склеены разные процессы. Считать общую экономию времени рано.

Подробная BPMN-схема нужна не всегда. Иногда достаточно одной строки: «один экземпляр — один документ от поступления до решения с учётом всех возвратов». Важно, чтобы владелец процесса, аналитик и финансовая функция считали одну и ту же вещь.

На программе этот вопрос дольше всего разбирали на инициативе по анализу откликов кандидатов. Одна вакансия собирает десятки откликов, поэтому заявка нанимающего руководителя и отклик кандидата не соотносятся один к одному. Инициативу не сняли, а перенесли в следующий 90-дневный цикл с отдельной задачей: разделить процессы и определить единицу расчёта для каждого.

Дуглас Хаббард определяет измерение как наблюдение, которое уменьшает неопределённость. Для управленческого решения диапазон часто полезнее одной оценки.

Допустим, команда не знает, сколько времени экономит помощник по отчётности. Для решения может быть достаточно установить, что с высокой субъективной уверенностью экономия находится между 40 и 70 часами в месяц, а порог запуска равен 20 часам. Обе границы лежат выше порога, поэтому дополнительная точность сейчас не изменит решение.

Такой диапазон нельзя без оговорки называть статистическим доверительным интервалом. В методе экспертной калибровки речь идёт о субъективном интервале уверенности: эксперт тренируется на вопросах с известными ответами и подбирает диапазоны так, чтобы заявленная 90-процентная уверенность соответствовала примерно девяти попаданиям из десяти.

В рабочем разборе две функции спорили, даёт ли инициатива 40 или 70 часов экономии в месяц. Когда назвали порог запуска — 15 часов, — спор потерял практический смысл: обе границы лежали выше него. В дорожную карту записали не «правильное» точное число, а диапазон, основания оценки и дату проверки факта.

Нельзя заранее сказать, что замер «слишком дорогой». Сначала нужно понять цену ошибки без замера.

В простой бинарной развилке есть два решения: запускать инициативу или нет. Если ошибочный запуск может стоить 5 миллионов рублей, а вероятность такой ошибки оценивается в 40 процентов, верхняя оценка предотвращаемой потери равна 2 миллионам. Тратить на дополнительную информацию больше этой суммы бессмысленно. Обычно разумный бюджет значительно ниже верхней границы.

Это частный пример, а не универсальная формула ценности информации. Общий принцип остаётся: измерение ценно только тогда, когда способно изменить решение и уменьшить ожидаемую потерю.

В финансовых моделях часто складывают самые пессимистичные границы всех диапазонов, будто неблагоприятные исходы обязательно наступят одновременно. Другая ошибка — сложить средние значения и полностью потерять риск.

Правильный способ зависит от природы величин. Если переменные независимы и диапазоны построены на сопоставимой вероятностной основе, неопределённость суммы можно оценивать через дисперсии или моделирование. Если величины связаны, нужна зависимость между ними.

Когда переменных много, имитационная модель полезнее ручного сложения границ. Когда решение зависит от одной-двух величин, достаточно анализа чувствительности.

Проект Google AI Works охватил около 1 700 человек из школ, малых компаний и профсоюза в Великобритании. После нескольких часов практического обучения ежедневное использование генеративного ИИ примерно удвоилось и оставалось выше через три месяца. Участники оценивали экономию в среднем более чем в 122 часа в год.

Проект финансировал поставщик ИИ, а оценка сэкономленного времени основана на ответах участников. Исследование показывает, что короткое обучение способно изменить частоту использования. Оно не доказывает перестройку сквозного процесса или финансовый эффект.

Метаанализ 34 исследований показал корреляцию около 0,02 между тем, понравилось ли обучение, и тем, чему участники научились. Поэтому итоговый опрос удовлетворённости нельзя использовать как показатель результата программы по ИИ.

Каждый следующий уровень требует отдельного наблюдения. Заполненный документ в конце встречи лучше оценки «понравилось», но и он ещё не равен экономическому эффекту.

Поэтому в программе каждая встреча заканчивалась не конспектом, а рабочим артефактом: картой инициатив, набором метрик, матрицей приоритетов или дорожной картой. Качество такого документа можно проверить сразу, а через 90 дней — сопоставить записанное ожидание с фактом.

Рамка управления рисками ИИ NIST организует работу вокруг четырёх функций: установить правила, описать контекст, измерить и управлять риском. В части контекста отдельно названы бизнес-ценность, конкретная задача, роли, допустимый риск и границы применения.

Для портфеля ИИ-инициатив эту логику можно свести к одной карточке:

Карточка не заменяет техническое задание, оценку рисков или модель процесса. Она позволяет до затрат на опытную проверку увидеть, каких данных и решений пока нет.

«Пока мы считаем, конкуренты уже внедрят». Подробный расчёт нужен не каждой инициативе. Сначала достаточно понять порог и переменные, способные поменять решение.

«У нас нет данных». Часто часть величин уже существует в системах: объём операций, число возвратов, время ожидания, ставка исполнителя. Сначала величину раскладывают на составляющие и только затем заказывают новый замер.

«Эффект И И всё равно нельзя отделить от других изменений». Для первого решения можно сравнить ограниченные группы, разные периоды или одинаковые типы задач. Если причинность установить нельзя, результат нужно описывать как связь, а не как доказанный эффект ИИ.

«Строгий расчёт затормозит инициативу». Подробный расчёт действительно нужен не всегда. Для первого цикла достаточно порога, диапазона и одной-двух переменных, способных изменить решение. Если весь реалистичный диапазон выше порога, команда запускает короткую проверку и уточняет оценку уже на фактических данных.

Процессная программа внедрения ИИ помогает кросс-функциональной команде пройти путь от целей и карты инициатив до метрик и 90-дневной дорожной карты. Встречи заканчиваются рабочими документами: картой, рамкой выбора технологии, набором метрик, отчётом об эффекте и планом следующего цикла.

В отдельном кейсе показано, как Future Hub разделил исходный запрос международной компании на три аудитории, собрал кросс-функциональную группу и провёл инициативы через карту, фильтр технологии, оценку эффекта и 90-дневную дорожную карту.

Расскажите про команду и задачу

Future Hub собирает корпоративное обучение под задачи бизнеса — от нейросетей до построения отделов. Начнём с замера уровня.