
Разбор · Опубликовали 07.10.2026
Эффективность автоматизации проверяют после запуска: быстрый код сам по себе не улучшает процесс
Время обработки, ошибки и ручные действия показывают, что изменилось после внедрения. Как собрать замер, заметить молчание автомата и поставить следующую задачу инженеру.
Текст написан инженером, который ведёт vibecoding.ru, вместе с машиной агентов · факты проверены 7 октября 2026
Запущенная автоматизация приносит пользу, когда нужная работа заканчивается быстрее и требует меньше исправлений. Приёмка кода подтверждает запуск, а эффект проверяют на реальных операциях.
Мы разбираем это на машине агентов vibecoding.ru: инженер ведёт машину, которая строит сайт и выпускает новости. Своего клиентского кейса с измеренным эффектом процесса у нас пока нет.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
1. Считайте результат операции, а не скорость сборки.
Эффективность автоматизации бизнес-процессов начинается с ответа, что должно закончиться. Для отчёта это документ, который принимают без ручной пересборки. Созданный файл ещё не доказывает такой результат.
ИИ-агенты сокращают работу над кодом, но руководителю нужен эффект в операциях. Почему скорость сборки не превращается в скорость выпуска, мы разобрали в соседней статье.
На открытой странице машины 7 октября 2026 видно 7 063 коммита за 98 дней, с 1 июля. Это объём стройки сайта, а для оценки процесса нужны данные о законченной работе.
Данные о сборке не заменяют результат процесса.
Определения для замера этой статьи, 07.10.2026; различие цели и измерения опирается на GOV.UK Service Manual.
2. Сравнение работает на одинаковых задачах.
Как измерить эффективность автоматизации, если она уже запущена? Восстановите исходное время и переделки по журналам операций. Воспоминание «раньше было долго» не заменяет замер.
Сравнивайте одинаковые виды работы и нагрузку. Быстрые простые заявки нельзя сопоставлять со сложными заявками прошлого периода. GOV.UK рекомендует исходный уровень и разделение данных на группы.
Учитывайте незаконченные операции. Если считать только закрытые заявки, зависший хвост исчезнет из среднего времени. Отдельно показывайте остаток очереди и возраст старых заявок.
Паспорт сравнения не даёт принять смену нагрузки за улучшение.
Редакционный шаблон по GOV.UK Service Manual, проверено 07.10.2026. Период выбирают по циклу своего процесса.
3. Время, ошибки и ручные действия измеряют вместе.
Microsoft считает сквозное время между первым и последним событием процесса. Для оценки эффекта последним событием считаем приёмку результата, а не конец работы скрипта.
Ручную работу считайте вместе с проверкой и исправлениями. Если автомат собрал отчёт, а сотрудник пересобрал его, работу нельзя записать как выполненную без человека.
Ошибки считайте по согласованному признаку. Для отчёта это исправление, которое потребовал получатель. Повтор операции может быть штатным согласованием, поэтому сам по себе не означает брак.
Метрики отвечают на разные вопросы о той же операции.
Наш шаблон измерения, 07.10.2026; сквозное время и повторы по Microsoft Learn. Делители и критерий ошибки закрепляют до сравнения.
Свободное время сотрудников ещё не означает снижение расходов. Деньги появляются в расчёте, когда подтверждено, какой расход исчез или какую дополнительную работу удалось закончить.
ROI автоматизации считают по дополнительной прибыли и сокращённым расходам, а не только по свободным часам.
В расходах учитывайте работу после запуска. Поддержка, проверки и переделки требуют времени. Если их оставить за пределами расчёта, автоматизация будет выглядеть дешевле, чем обходится компании.
Не считайте освобождённые часы и дополнительный выпуск дважды. Если сотрудник потратил эти часы на новые заявки, денежный эффект подтверждают результатом новых заявок, а не второй «экономией зарплаты».
Расчёт денег отделяет свободное время от сокращённых затрат.
Редакционная схема расчёта, 07.10.2026. При расчёте окупаемости учитывают стоимость внедрения и накопленный чистый эффект.
4. Сторож проверяет появление результата.
Может ли автомат работать и ничего не делать? На нашей машине это случалось. Счётчик прогресса и отсутствие видимой ошибки не подтверждали выпуск новостей.
Проверяйте последнее принятое выполнение отдельно от запуска. Сторож сравнивает ожидаемый результат с расписанием и входом. Если входа не было или процесс поставили на паузу, молчание ожидаемо.
Пилотный проект автоматизации проверяют на ограниченном процессе с условиями продолжения.
У сигнала должен быть получатель и действие. Сообщение на экране, который никто не открывает, не возвращает работу. При этом не стоит делать запись сбоя зависимой от сломанного сборщика.
Два немых отказа изменили правила нашей машины.
21.07
С 21 по 23 июля новости не выходили двое суток, но отметка прогресса двигалась при неудачных вызовах. Правило после разбора: при ошибке отметка не продвигается, запуск возвращает ошибочный исход.
25.07
После молчания ленты появилась проверка публикации за сутки. Правило: сторож смотрит на появление результата, а не на работающий процесс.
17.09
Разобрали пропуск замера 15 сентября. Сборщик и запись ошибки зависели от удалённой папки задачи, экран не показал сбой. Правило: постоянные зависимости не живут во временных папках.
Первичные записи машины, сверены 07.10.2026; публичный контекст машины на /open. Это опыт нашего сайта.
Проверку сторожа заканчивайте получением сигнала. На тестовых данных воспроизведите отсутствие ожидаемого результата и убедитесь, что назначенный человек его увидел.
Одна тревога ещё не оценивает пользу процесса. Автомат может выпускать все отчёты по расписанию, а люди продолжат исправлять каждый. Это покажет замер качества и ручного времени.
В уроке «Руль, окно и сторож» мы разбираем связку правил, экрана состояния и сигнала об отказе. Правила без наблюдения не показывают, что происходит после запуска.
Работоспособность и польза требуют разных проверок.
Наша схема контроля по историям машины, 07.10.2026. Решения об ответственности и откате разобраны в отдельной статье.
5. Замер превращают в следующую задачу инженеру.
Что делать, если эффект не появился? Найти операцию, в которой сохранились ожидание или ручная работа. Ускорять уже быстрый участок бессмысленно, если результат ждёт согласования.
Данные позволяют поставить проверяемую задачу. Например, убрать ручной перенос принятого отчёта в другую систему и измерить оставшиеся действия. Шаблон задачи есть в разборе постановки задач агенту.
После правки повторите замер по тем же правилам. Сокращение времени при росте ошибок не закрывает задачу. Руководитель подтверждает улучшение по данным, инженер принимает изменение системы.
После первой версии нужны задачи на измерение и улучшение.
Наш план для уже запущенной автоматизации, 07.10.2026. Критерии и допустимые отклонения согласуют для конкретного процесса.
На подписке на агентную разработку после первой версии можно поставить задачи на измерение ошибок, времени обработки и ручных действий. Затем улучшать систему по результатам этих замеров.
Подписка нужна, когда после измерения есть работа для инженера. Если автоматизация выполняет задачу и дальнейших изменений нет, продолжать разработку ради числа правок не требуется.
Что и как мы проверяли
| Факт | Что известно | Проверено |
|---|---|---|
| Число стройки | Живая страница /open, 7 октября 2026, 20:26 МСК: 7 063 коммита за 98 дней, с 1 июля. Это объём стройки нашего сайта, не замер эффективности клиентского процесса | 2026-10-07 |
| Немые отказы | Истории машины сверены с первичными записями: разбор 23 июля, рождение проверки 25 июля, пропуск замера 15 сентября и разбор 17 сентября 2026. В тексте нет путей закрытых файлов, учёток и снимков админки | 2026-10-07 |
| Метод измерения | GOV.UK Service Manual: исходный уровень, группы операций и замер во времени. Microsoft Learn: сквозная длительность и повторные операции. Таблицы статьи составлены нами как шаблоны для измерения | 2026-10-07 |
| Опыт нашего сайта | Своего клиентского кейса с измеренным эффектом процесса у нас пока нет. Таблицы не содержат выдуманных процентов экономии, чужих цен и универсального срока окупаемости | 2026-10-07 |
6. Частые вопросы
Через сколько после запуска измерять эффект?+
После полного цикла процесса. Для еженедельного отчёта нужен выпуск и его приёмка, для сезонного процесса сравнивают сопоставимые периоды. Универсального числа дней нет.
Что делать, если данных до запуска нет?+
Ищите исходные журналы и замеры ручной работы. Если их нет, зафиксируйте текущий уровень и мерьте следующие изменения. Процент улучшения относительно прошлого без исходных данных не посчитать.
Что важнее: время или ошибки?+
Цель задаёт владелец процесса, качество ограничивает допустимое ускорение. Быстрый отчёт, который нельзя принять, не даёт нужного результата.
Как оценить окупаемость автоматизации?+
Сопоставьте стоимость внедрения с накопленным чистым денежным эффектом. В эффект включайте подтверждённые сокращённые расходы или дополнительный денежный вклад, вычитайте поддержку и исправления. Свободные часы показывайте отдельно, пока они не изменили расходы или выпуск.
Нужен ли ИИ внутри автоматизированного процесса?+
Нет. Агенты могут написать обычный скрипт или интеграцию. Эффект проверяют по результату операции, независимо от способа написания кода.
Источники
- GOV.UK Service Manual: How to set performance metrics for your service, 05.12.2017; проверено 07.10.2026 — официальная методика
- Microsoft Learn: Task mining tutorial, сквозное время; проверено 07.10.2026 — официальная документация
- Microsoft Learn: Rework metrics, повторные операции; проверено 07.10.2026 — официальная документация
- Открытая машина vibecoding.ru: число коммитов, 07.10.2026, 20:26 МСК; контекст историй собственного сайта за июль–сентябрь 2026 — наш опыт
- Агентная разработка для бизнеса по подписке; прочитано 07.10.2026 — наш сервис
- Курс «Агентная разработка», урок «Руль, окно и сторож»; сверено 07.10.2026 — наш курс
Запомнить
- Определите принятый результат операции. Готовый код подтверждает сборку, пользу подтверждает законченная работа.
- Сравнивайте одинаковые задачи и полные циклы. Незаконченная очередь остаётся в замере.
- Считайте время вместе с ошибками и ручной работой. Свободные часы отделяйте от подтверждённых сокращённых расходов.
- Поставьте сторожа ожидаемого результата и проверьте доставку сигнала.
- Превращайте отклонение в задачу. После правки повторяйте тот же замер и принимайте улучшение процесса.