Разбор · обучение инженерных команд
Где в цикле разработки ИИ уже есть, а где его нет ни у кого
Мы разложили работу нескольких инженерных команд по восьми этапам цикла разработки — от требований до разбора инцидентов — и посмотрели, где ИИ применяется каждый день, а где его нет ни у кого. Он занял ровно один этап: кодирование закрыто во всех командах, на документации и разборе инцидентов есть по одному образцу, который инженер собрал себе сам, в проектировании и выкладке — следы, а требования, ревью и тестирование не тронуты вообще. Дальше — что это значит для того, чему такую команду учить.
Содержание
01
Почему уровень нельзя узнать из разговора
02
Из чего складывается замер
03
Где ИИ в цикле работает, а где нет
04
Самооценка против взгляда эксперта
05
Чего команда просит на самом деле
06
Почему нельзя обещать проценты
07
Как провести замер своими силами
08
Частые вопросы
09
Словарь
Почему уровень команды не выводится из разговора с заказчиком
Программа обучения пишется под задачу: заказчик описывает, куда команда должна прийти, исполнитель раскладывает путь на модули. Проблема начинается там, где из описания задачи выводят уровень аудитории. Заказчик знает своих людей приблизительно: он видит тех, с кем чаще пересекается, и по ним достраивает картину на всех. Иногда он присылает не описание задачи, а готовую программу — уровень аудитории в ней всё равно не описан.
Дальше начинается известное. Программа обещает переход от подсказок в редакторе к работе через агентов. На первое занятие приходят люди, у которых агенты уже работают связкой, и люди, для которых ИИ — вкладка в браузере. Первым скучно почти сразу, вторые теряются к середине занятия. Обе группы делают вывод об уровне программы, и вывод этот к содержанию модулей отношения почти не имеет.
Замер нужен для того, чтобы уровень аудитории был известен до того, как назначено первое занятие.
Из чего складывается замер: сессия, интервью и два опросника
01
Групповая сессия с представителями команд
Около двух с половиной часов, каждый рассказывает про свой контур: продукт, типовые задачи, где болит, чем пользуется. Дальше сквозные темы — тестирование, ревью, архитектурные решения, инфраструктура. Важна рамка, объявленная на первой минуте: мы пришли понять, как всё устроено, и никого здесь не оцениваем. Инженеры мгновенно считывают, оценивают их или изучают, и во втором случае говорят совсем другое.
02
Интервью с заказчиком отдельно
Около часа один на один. При команде заказчик формулирует иначе, а нужно понимать, что для него будет считаться успехом.
03
Опросник для участников
В нашем случае он вырос прямо на сессии, когда стало видно ограничение метода: высказалась меньшая часть группы, а решение принимается за всех. Собрали шестнадцать анкет, и это перевело большую часть догадок в факты. Спрашивали про поведение: свой уровень по шкале от нуля до пяти, доля кода, написанного с моделью, какие инструменты стоят, что уже отдают ИИ и что не отдают, чего опасаются, какие рабочие материалы нужнее всего.
Опросник для заказчика
Про проводников изменений и скептиков, пилотные задачи, доступы, критерии приёмки и то, какие практики он готов сделать обязательными для всех.
04
Отдельно от инструментов стоит дисциплина разбора
В работу шли только дословные цитаты: записи разложены на 219 цитат по семнадцати категориям, каждое утверждение отчёта опирается на цитату с источником, а неподтверждённое помечено как гипотеза и так и названо. Без этого правила отчёт превращается в набор впечатлений, спорить с которыми можно бесконечно, а с цитатой спорить нельзя — можно только уточнить контекст.
Рабочей практики, которую можно перенять, нет на пяти этапах из восьми: три не тронуты вообще, в проектировании и выкладке остались следы. Эта раскладка — самое полезное, что даёт замер, и читать её нужно не как приговор команде. Инженеры отдали ИИ ровно тот участок, где выигрыш очевиден и проверяется за минуту: написал, посмотрел, работает. Всё остальное осталось человеку, потому что там результат проверяется дольше и цена ошибки выше.
Но именно из-за этого потолок наступает быстро. Скорость набора кода перестаёт быть узким местом примерно тогда же, когда команда осваивает агента. Дальше время уходит на выяснение, что вообще надо сделать, на ожидание ревью и на проверку того, что ничего не сломалось. Если И И туда не заходит, ускорение упирается в стену, и никакое углубление в промпты этого не меняет.
Отсюда получается неочевидный порядок обучения. Ревью — ближайшая быстрая победа: правила понятные, риск низкий, результат заметен без долгих замеров. Требования — самая тяжёлая и самая ценная работа. На нашей сессии самый содержательный вопрос прозвучал именно про них: если функциональные требования описаны криво, сгенерированные по ним тесты будут проверять логику разработчика, а не логику задачи. Это точка, где обучение работе с ИИ упирается в инженерную культуру, и ни один модуль про инструменты её не закрывает.
Где ИИ в цикле разработки уже работает, а где его нет
Требования
Нет
вход для агентов, но никем не занят
Проектирование
следы
единичный случай в одной команде
Кодирование
везде
зона силы, закрыта во всех командах
Ревью кода
Нет
ближайшая быстрая победа
Тестирование
Нет
самый дорогой пропуск
Документация
образец
один инженер настроил себе сам
Выкладка
следы
раздроблено между командами
Инциденты
образец
готовый образец для остальных
Мы разложили восемь этапов цикла разработки по командам и отметили, где ИИ применяется, а где нет.
Замер даёт две картины. Первая — самооценка: каждый ставит себе ступень по шкале от нуля до пяти. Вторая — наблюдение: что видно по рассказу человека о своей работе и по тому, как он отвечает на уточняющие вопросы.
10 из 16
отнесли себя к верхним ступеням шкалы
8
оценили долю кода с моделью выше 70%
13 из 16
основной инструмент — Claude Code
Они разошлись. В анкетах десять человек из шестнадцати отнесли себя к верхним ступеням, восемь оценили долю кода с моделью выше семидесяти процентов, а основным инструментом у тринадцати из шестнадцати оказался Claude Code — стандарт в команде сложился сам, без всякой договорённости о нём. По наблюдениям устойчивая работа с несколькими агентами не подтвердилась ни у кого: точечные удачные случаи есть, системы нет. Сильнее всего расхождение там, где у нас было меньше всего данных: команды, которых мы не слышали на сессии, ставили себе высокие ступени.
Соблазн здесь — свести обе карты к одной, желательно к своей. Мы показали их рядом, и расхождение оказалось самостоятельным результатом: оно показывает, где люди уверены в себе, а где мы видели риск. Дальше решение принимает заказчик, а не консультант.
Наш выбор был в пользу более высокого старта: недозагруженный сильный инженер уходит из программы навсегда, перегруженный слабый догоняет на поддержке. Первое практическое задание строится как калибровка: оно показывает фактический уровень, после чего состав групп фиксируется по нему, а не по анкете. Тем, кто отстаёт, две выравнивающие сессии в начале дают возможность догнать, и дальше группа идёт общим треком — иначе сильные всю программу ждут остальных.
Что люди говорят о себе и что видит эксперт
Программы обучения работе с ИИ традиционно строятся вокруг приёмов работы с моделью. Замер показал другое распределение спроса. Семь независимых источников, не сговариваясь, назвали одно: личные находки не становятся командными. У отдельных инженеров уже собраны рабочие агенты под свои задачи, и живёт каждый такой агент в одной голове и одном репозитории. Сосед про него не знает.
Люди просили способ передавать практику: реестр, шаблон упаковки, правило, по которому чужого агента можно взять и запустить у себя. Показательно, что в ранжировании нужных материалов библиотеку промптов сами участники поставили в самый низ. Первыми оказались рабочие договорённости команды и файл с правилами проекта для агента.
Это меняет жанр программы. Обучение приёмам даёт всплеск на неделю, после чего каждый возвращается к своему способу работы. Обучение, у которого на выходе общий комплект материалов, оставляет след, потому что материалы продолжают работать без ведущего.
Состав модулей остаётся, меняется наполнение внутри.
Так звучал вердикт замера по программе целиком: модули закрывали правильные зоны — под вопросом был не состав, а уровень аудитории, которого в описании задачи нет.
Чего команда просит на самом деле
В этом жанре принято обещать проценты: минус тридцать-пятьдесят процентов ко времени типовой задачи. Замер показывает, почему такое обещание нельзя проверить: регулярных измерений в командах нет, а разовый сбор цифр руками базы для сравнения не даёт. Что с этим делать — кто внутри компании отвечает за такие цифры, почему их никто не заводит и какой минимальный набор закрывает вопрос за неделю — разобрано отдельно, в материале «Метрику эффекта спрашивают у подрядчика. Считать её не от чего» .
Есть и то, что замер вскрывает помимо содержания. Организационная механика решает больше, чем программа: постоянное время занятий, известное всем; доступы и подписки, выданные заранее, иначе первое занятие уходит на техническую суету; и человек внутри компании, который после окончания владеет практиками. Без последнего команда через квартал возвращается к тому, с чего начинала, независимо от качества обучения.
Отдельно стоит тревога замены: в анкетах двое прямо назвали своим опасением то, что ИИ заменит их самих. Здесь у обучения есть содержательный ответ, а не только успокаивающий.
ИИ забирает целиком те процессы, которые целиком формализуются. Если бы задача сводилась к этому, учить людей было бы незачем — дешевле собрать агентов и не заводить разговор про обучение. Программа строится вокруг другого: внедрённый ИИ создаёт свой тип работы. Поставить задачу так, чтобы её понял агент. Собрать контекст, без которого он ошибётся. Проверить результат и увидеть, где он ошибается уверенным тоном. Выстроить процесс вокруг новых инструментов и удержать качество, когда кода становится больше, а времени на его чтение меньше. Этой работы становится больше, а не меньше, и именно ей учит программа. Человек, который умеет оркестрировать агентов и отвечать за результат их работы, оказывается не тем, кого заменяют, а тем, кто управляет.
Помимо содержания есть язык. Модуль про качество, названный заменой тестировщиков, закрывает разговор ещё до начала, каким бы полезным ни было его наполнение.
Что решает больше, чем содержание программы
Половина замера делается внутри компании, и это лучше, чем не делать его вовсе.
Спросите у каждого участника три вещи: его собственную ступень по шкале, долю задач, которые он уже делает с моделью, и что он ИИ не отдаёт и почему. Последний вопрос самый информативный — в ответах видно, где проходит граница доверия. Дальше разложите ИИ по этапам вашего цикла разработки и посчитайте пустые. Найдите тех, у кого уже что-то работает, и поставьте передачу их практики в начало программы. И выпишите слова, которые в вашей компании звучат как угроза, — этот список сэкономит вам первое занятие.
Чего своими силами почти не получается — увидеть расхождение между самооценкой и наблюдением: для этого нужен кто-то, кто задаёт уточняющие вопросы и не связан внутренними отношениями.
Как провести замер своими силами
Четыре вопроса, которые задают чаще всего, когда речь заходит о замере перед обучением
Частые вопросы
Опрос собирает то, что люди думают о себе, и чего они из этой оптики хотят. Замер даёт две картины сразу: самооценку участников и то, что видит эксперт по их рассказу о работе. Ценность — в расхождении между ними. Дальше это расхождение перестаёт быть разовым наблюдением: когда у команды появляются общие инструменты и согласованные метрики, разницу между тем, что люди говорят, и тем, что они делают, видно регулярно, а не только в момент, когда пригласили внешнего эксперта.
Словарь
Модель с инструментами: она не только отвечает текстом, но и действует — читает репозиторий, правит файлы, запускает тесты, ходит в трекер задач. Отсюда и разница в цене ошибки: у агента есть руки, поэтому его работу проверяют на контрольных точках.
Кейс Future Hub
Как это выглядело в проекте продуктовой ИТ-компании: сессия с инженерными командами, шестнадцать анкет и программа, для которой замер предложил новое содержание при неизменном составе модулей.
Расскажите про команду и задачу
Future Hub собирает корпоративное обучение под задачи бизнеса — от нейросетей до построения отделов. Начнём с замера уровня.
Свяжитесь с нами
Оставьте контакты — подберём эксперта и программу под задачу, бесплатно
Анатолий Кужилко
программная дирекция
Денис Дулов
коммерческий отдел
+7 495 989-20-10