Кейс · продуктовая ИТ-компания
Заказчик прислал готовую программу. Мы начали с замера
Продуктовая ИТ-компания пришла с задачей: несколько инженерных команд, восемь недель, переход от подсказок в редакторе к работе через ИИ-агентов. Техническим заданием стала присланная заказчиком программа обучения — по ней мы собрали свою и согласовали. Перед первым занятием провели замер: из задачи не следует ни уровень людей, ни то, от чего считать результат. Сессия с командами, интервью с заказчиком и опросники развернули содержание программы, не тронув её состав.
ИИ-агенты
Агентная разработка
Claude Code
ИИ в разработке
Зрелость команды
Диагностика до обучения
Задача
Заказчик — руководитель технологического направления. Запрос звучал так: несколько инженерных команд, ИИ каждый применяет по-своему, нужно за восемь недель довести людей до работы через агентов.
В заявке заказчик отдельно спрашивал, как замерить изменение знаний и навыков до и после обучения. На этот вопрос тоже нужны данные о команде, которых до замера нет.
Программа под этот запрос охватывала цикл разработки целиком: требования, проектирование, работа с агентами в редакторе и в командной строке, тесты, документация, разбор инцидентов, переиспользование решений — и всё это на боевых задачах, а не на учебных. Собрать такую программу можно по описанию задачи. А вот кого именно учим, из описания задачи не следует: уровень людей заказчик знает приблизительно, потому что видит тех, с кем чаще пересекается, и по ним достраивает картину на всю группу. Разброс при этом назывался очень широкий — от тех, кому инструмент нужно осваивать с нуля, до тех, кто ушёл далеко вперёд.
Если промахнуться вверх
Учить сильных тому, что они делают ежедневно
Программа умирает на первом занятии. Старшие инженеры делают вывод обо всём курсе очень быстро, и вернуть их внимание на второй встрече уже нечем.
Если промахнуться вниз
Строить занятия под сильных, когда в зале половина новичков
Эти люди выпадают молча и возвращаются к прежнему способу работы. Формально программа пройдена, фактически половина группы её не проходила.
Поэтому перед первым занятием мы поставили замер.
Правило разбора: в работу идут только дословные цитаты, без пересказов, а неподтверждённое помечается как гипотеза и так и называется. Без этого отчёт превращается в набор впечатлений, спорить с которыми можно бесконечно.
Как измеряли
01
Сессия с командами
Около двух с половиной часов. Представители инженерных команд по очереди рассказывают, как устроена их работа, дальше сквозные темы: тестирование, ревью, архитектурные решения, инфраструктура.
02
Интервью с заказчиком
Около часа один на один. Что для него будет считаться успехом через восемь недель, кого он считает проводниками изменений, а кого скептиками.
03
Опросник участников
Шестнадцать анкет. Вырос прямо на сессии, когда стало видно, что высказалась меньшая часть группы, а решения принимаются за всех. Вопросы про поведение, а не про мнение об ИИ.
04
Разбор документов
Построчная сверка согласованной программы с тем, что увидели на сессии и в анкетах. Расхождений набралось пять.
Что показал замер
Команда сильнее, чем предполагала программа
В анкетах десять человек из шестнадцати отнесли себя к верхним ступеням шкалы, восемь оценили долю кода, написанного с моделью, выше 70 процентов, а основным инструментом у тринадцати из шестнадцати оказался один и тот же — Claude Code. По нашим наблюдениям на сессии устойчивая работа с несколькими агентами не подтвердилась ни у кого.
Центр тяжести смещается с освоения инструмента на оркестрацию, проверку качества работы агентов и упаковку личных практик в командный стандарт.
Из восьми этапов цикла разработки ИИ закрывает один
Кодирование — во всех командах. На документации и разборе инцидентов есть по одному рабочему образцу, который инженер собрал себе сам. В проектировании и выкладке — следы. Требования, ревью кода и тестирование не тронуты вообще: рабочей практики нет на пяти этапах из восьми.
Запас лежит на этапах до кода и после него. Ближайшая быстрая победа — ревью, самая тяжёлая и самая ценная работа — требования.
Запрос снизу — обмен практиками
Об этом независимо сказали семь источников: личные наработки не переходят к соседу, у отдельных инженеров уже собраны рабочие агенты. Библиотеку промптов сами участники поставили в конец списка нужного.
В программу входит реестр агентов и шаблон упаковки практики как кода. Промпты уходят по остаточному принципу.
Две карты уровня расходятся
Самооценка выше нашей оценки, особенно там, где у нас не было данных.
Обе карты показываем рядом: расхождение само по себе управленческий сигнал. Первое практическое задание делаем калибровкой фактического уровня.
Разрыв внутри группы огромный
В одной комнате инженер, у которого агенты работают связкой, и люди, для которых ИИ — вкладка в браузере.
Одна общая группа промахивается мимо половины зала. Решение — две выравнивающие сессии в начале для тех, кто отстаёт, чтобы дальше группа шла общим треком и сильные не теряли темп.
Проценты ускорения, принятые в этом жанре, считать не от чего
Регулярных измерений, от которых их отсчитывают, в командах нет.
Проценты уходят из обещаний внутрь пилотных задач. До старта согласуются пять-семь доступных метрик, у каждого участника — своя личная.
Что увидели
Что из этого следует для программы
Что замер изменил в программе
Состав модулей остаётся, меняется наполнение внутри.
— вердикт диагностики
обязательный
замена людей
процессная зрелость
Модули закрывали правильные зоны — но написаны они были под команду, которой в действительности не оказалось. Структура устояла, наполнение переписано почти везде, и это уложилось в согласованный объём правок.
Как это выглядит на одной развилке из шестнадцати.
Как было записано
«ИИ ведёт инженерную задачу целиком»
Формулировка модуля, согласованная до замера.
Что показал замер
Команда работает с моделями осторожно и архитектуру им не отдаёт
Оставить как есть — половина зала слышит обещание, в которое не верит. Убрать — теряется смысл модуля.
Решение
Агент ведёт задачу при человеческих контрольных точках
Точки названы поимённо: постановка, контекст, план, разбор изменений, тесты, документация, ревью человеком.
Отдельным результатом стал стоп-словарь — слова, которые в этой компании закрывают разговор. Такой список лучше иметь до первого занятия, чем узнавать его по реакции зала.
Что получил клиент
Отчёт. Карта уровня по группе и по этапам цикла разработки, кластеры проблем с числом независимых источников по каждому, шестнадцать развилок с решением по каждой, девять рисков с контрмерами, восемь пилотных задач на выбор и план на четырнадцать дней до старта. Тринадцать схем, каждая находка имеет адрес в программе.
Точка отсчёта. Регулярных измерений, от которых считают эффект обучения, у компании не было — как и у большинства компаний, которые заказывают обучение под проценты ускорения. Замер эту точку и создал: пять-семь доступных метрик, личная метрика каждого участника и понимание, что из этого обучение контролирует, а что нет. Дальше по этим цифрам можно оценивать любую программу, не только нашу.
Список решений до старта. Того, чего в запросе не было. Главное из них: за что программа отчитывается. Команда влияет на скорость своей части цикла, а конечный срок выхода зависит и от смежных подразделений, которые в обучение не идут. Мы предложили зафиксировать эту границу письменно до первого занятия, а не выяснять её на приёмке.
16
анкет — замер закрыл слепую зону: до него данные были только по выступавшим на сессии
219
дословных цитат в 17 категориях — доказательная база отчёта, гипотезы помечены как гипотезы
5 из 8
этапов цикла разработки без рабочей практики ИИ: три не тронуты, на двух следы — главный запас программы
16
развилок между записанным, словами заказчика и тем, что видно в работе — по каждой решение
Шаблон постановки задачи для агента — что должно быть зафиксировано до того, как агент начнёт писать код
Чек-лист разбора изменений — что проверять в том, что предложил агент, до слияния
Журнал принятых практик — что команда приняла как стандарт, кто владелец каждой практики и что делаем в ближайшие тридцать, шестьдесят и девяносто дней
Комплект контекста проекта — правила проекта, карта репозитория, известные проблемы, передача проекта другому человеку
Заметки о стоимости обращений к модели — на что уходят деньги и как считать стоимость одной задачи
Матрица качества и регламент проверки без отдельного стенда — тест-дизайн до кода, негативные сценарии, ускорение регрессии
Реестр агентов и шаблон упаковки практики — ответ на запрос номер один: как забрать чужого агента и запустить у себя
Пятнадцать таких материалов заложены в программу по одному-два на модуль, чтобы каждый модуль оставлял команде переиспользуемый материал вместо конспекта.
Как устроено продолжение
План продолжения вырос из замера. Сначала выравнивающая часть для тех, кто отстаёт, — чтобы группа дальше двигалась общим темпом и сильные не ждали остальных. Затем модули, каждый из которых устроен одинаково: приём показывается на боевой задаче участника, разбирается, почему он работает, отдельно проговаривается, когда он не работает, и заканчивается всё вопросом, как участник донесёт это до своей команды.
Между модулями — пилотные задачи с владельцем и метрикой, ревью с заказчиком раз в две недели с публичной фиксацией того, что зашло и что нет, и приёмка практик на финале: какие из них команда принимает как стандарт, кто за каждую отвечает и что делается в ближайшие тридцать, шестьдесят и девяносто дней.
Частые вопросы
Программа пишется под задачу, а уровень людей в неё не заложишь, пока не спросишь самих людей. Плюс замер закрывает вторую дыру: у компаний обычно нет регулярных измерений, от которых можно считать эффект обучения. Мы эту точку отсчёта создаём — и дальше она работает независимо от того, кто ведёт программу.
Что это за формат
Предстартовая диагностика — самостоятельный этап со своим результатом. Она отвечает на три вопроса: где команда сегодня, чему её учить и по чему станет понятно, что обучение сработало. Результат этапа — документ с картой уровня, планом и рабочими материалами.
Формат оправдан, когда аудитория техническая и сильная, когда команд несколько и они разные по задачам, и когда внутри компании расходятся представления о том, кого и чему учить. Для маленькой однородной группы новичков он избыточен.
Расскажите про команду и задачу
Начнём с замера уровня — чтобы программа попала в аудиторию с первого занятия.
Свяжитесь с нами
Оставьте контакты — подберём эксперта и программу под задачу, бесплатно
Анатолий Кужилко
программная дирекция
Денис Дулов
коммерческий отдел
+7 495 989-20-10
Или посмотреть программы корпоративного обучения