Что мерить после запуска автоматизации

7 августа 2026 · 11 мин чтения

Сценарий запущен, подрядчик прощается, заявки попадают в CRM сами. Через месяц на планёрке звучит вопрос: и что это дало? В ответ - «стало удобнее, руками больше не перекладываем». Ответ честный, но он не переживёт следующий бюджетный цикл: удобство не поставить рядом с суммой в смете.

Окупаемость считают до внедрения - это расчёт ROI автоматизации; процесс замеряют тоже до - это хронометраж процесса. Третий шаг нередко пропускают: наблюдение за работающим контуром. Он закрывает цикл и отвечает на вопрос, который заказчик задаёт себе ещё до подписания договора, - будет ли вообще понятно, что это сработало.

Короткий ответ: мерить три группы - технику контура, процесс и деньги. Сравнивать с замером «до», сделанным до запуска, а не восстановленным по памяти. Смотреть разное на неделе, месяце и квартале. Критерии остановки записать заранее. Ниже - таблица из 9 показателей и шаблон отчёта из 7 блоков.

Почему «стало удобнее» - не метрика

С ощущением облегчения всё в порядке: оно настоящее и появляется раньше цифр. Вопрос в том, что делать с ним дальше.

Его не с чем сравнить. У «удобнее» нет единицы измерения, и в бюджет рядом со счётом за эксплуатацию оно не ложится. Для менеджера это «меньше кликов», для руководителя - «меньше вопросов от команды».

Оно тускнеет. Через квартал новый порядок становится фоном: «да там и раньше нормально было». Если цифра «до» не зафиксирована, спорить не с чем.

Оно проигрывает при сокращении расходов. Эксплуатация - отдельная строка бюджета, 4-15 тыс. ₽ в месяц, и когда приходит время резать расходы, строку без числа нередко режут раньше строки с числом. Аргумент «команде удобнее» слабее аргумента «обработка заявки стоит 83 ₽ вместо 140 ₽».

Отсюда вывод: показатели заводятся не ради красоты отчёта, а чтобы было чем защитить контур - и чтобы вовремя увидеть, что защищать нечего.

Замер «до» - обязательное условие, и делается он до запуска

Метрика после запуска сама по себе не значит ничего. «Доля успешных прогонов 96%» - это хорошо или плохо? Без ответа на вопрос «а как было раньше» число повисает в воздухе. Замер «до» - не формальность, а половина работы, и сделать его нужно до включения сценария: потом старый процесс уже не воспроизвести.

Минимальная база - шесть чисел по методике хронометража процесса: итераций в месяц, минут на одну, доля переделок, время от заявки до ответа, полная стоимость часа, часов на процесс в месяц.

Если запуск уже состоялся, а базы нет, она восстанавливается частично, и в отчёте это стоит пометить прямо. Выгрузки задним числом дают многое: метки времени в CRM, переписка, счета и акты показывают объём итераций, время реакции и число возвратов. При сезонном потоке помогает сопоставимый период прошлого года. Замер сегодня не даёт сравнения с прошлым, но становится базой для следующего изменения.

Группа 1: работает ли контур технически

Первая группа отвечает на вопрос «жив ли сценарий» и снимается автоматически, с первого дня.

• Доля успешных прогонов. Успешные запуски, делённые на все за период. Её падение - первый сигнал, что во внешнем сервисе что-то поменялось.
• Число ошибок с разбивкой по типам. Не общий счётчик, а группировка: отказ сервиса, кривые данные, истёкший ключ, превышение лимита. Одна цифра говорит «сломано», разбивка - «где».
• Время обработки итерации. Среднее плюс худшие десять процентов: среднее прячет хвост, где девять заявок прошли за минуту, а одна за два часа.

Оговорка: «прогон завершился без ошибки» и «результат правильный» - разные вещи. Сценарий способен бодро отработать сто раз подряд, аккуратно записав пустое поле вместо телефона, поэтому рядом нужен выборочный контроль руками. Данные берутся из журнала запусков и канала алертов - как это собирается, показывает сценарий уведомлений об ошибках, а что делать при росте ошибок - статья про первые сутки после сбоя.

Группа 2: меняется ли процесс

Техника может быть в порядке, а процесс - остаться прежним: сценарий закрывает не тот участок либо рядом вырастают ручные подпорки - перепроверка результата, старая таблица «на всякий случай», досылка того, чего не хватило автоматике.

• Часы на процесс в месяц. По той же формуле, что и в замере «до», иначе сравнение развалится. Включая разбор исключений и выборочный контроль - это тоже работа, порождённая контуром.
• Доля ручных вмешательств. Итерации, где человек правил результат, делённые на все. Показатель, с которого в этой группе имеет смысл начать: он показывает, где сценарий недотягивает, а его рост означает, что экономия часов утекает обратно.
• Время от заявки до первого ответа. Медиана, а не среднее, плюс доля заявок, вышедших за оговорённый срок, - как в кейсе контроля SLA по необработанным лидам.

Сюда же примыкает доля потерянных на входе заявок: сколько обращений пришло в каналы и сколько дошло до карточки. Другие сюрпризы этого шага - в разборе ошибок автоматизации.

Группа 3: меняются ли деньги

Третья группа переводит часы в рубли, и здесь легче всего приписать автоматизации чужие заслуги.

• Стоимость одной итерации. Часы на процесс, умноженные на полную стоимость часа, плюс эксплуатация, плюс оплата сервисов и API, - делить на число итераций. Показатель честен при росте объёма: часы растут вместе с потоком, а стоимость итерации падает.
• Экономия в месяц. Разница часов «до» и «после» в рублях, минус эксплуатация. Считать экономию до её вычета - способ обмануть себя.
• Влияние на конверсию. Самая спорная строка, и с ней нужна дисциплина.

Про конверсию отдельно. Приписывать автоматизации выручку целиком некорректно: на неё влияет всё сразу. Корректнее ограничиться участком, на который сценарий воздействует напрямую и наблюдаемо: сократилось время первого ответа - смотрят конверсию из заявки в первый разговор; наведён порядок в напоминаниях - долю сделок, доведённых до оплаты без повторного захода. Годовую выручку в отчёт по одному сценарию тащить не стоит. Как разложить путь клиента по шагам, разбирает статья про сквозную аналитику, структуру расходов - про стоимость автоматизации.

Таблица показателей: что, как, откуда и как часто

Девять строк - рабочий набор для одного сценария. Брать все сразу необязательно: три технических нужны с первого дня, остальные подключаются позже.

Сбор этих чисел разумно автоматизировать вслед за процессом - иначе отчёт сам превращается в ручную работу, и поводов забросить его становится больше с каждым месяцем: автоматизация Google Таблиц и автоматизация отчётов.

Ловушки атрибуции: чем цифру легко испортить

Четыре вещи нередко портят выводы, и каждая выглядит убедительно, пока её не назовёшь вслух.

• Сезонность. Запуск в низкий сезон даёт красивую картинку сам по себе: заявок меньше, время ответа падает. Лекарство - сравнивать сопоставимые периоды: тот же месяц прошлого года, те же дни недели.
• Параллельные изменения. Реклама включилась или выключилась, вышел новый менеджер, поменялись цены. Без записей к концу квартала не восстановить, что дало рост конверсии - контур или новый оффер.
• Эффект новизны у команды. Первые недели люди работают аккуратнее: за контуром наблюдают. Проверяется временем - показатель, который держится на третьем месяце, скорее связан с контуром, чем с эффектом новизны.
• Смена способа замера. Если «до» считали по памяти, а «после» - по меткам в системе, сравниваются две методики. Формула фиксируется с первой цифрой и дальше не меняется.

Честно: часть эффектов не отделить, и с этим можно жить

Скажем прямо, потому что обратное было бы неправдой: чистый эффект одной автоматизации в живой компании не выделяется - для этого понадобилась бы вторая такая же компания без сценария и с тем же потоком. Любая цифра «автоматизация принесла столько-то» содержит долю чужого влияния. Это не повод отказаться от измерений, а повод изменить требования к точности.

• Журнал изменений рядом с отчётом. Одна строка в месяц: что ещё менялось в компании и процессе. Через полгода это единственный способ вспомнить контекст.
• Опора на метрики ближе к контуру. Время обработки итерации и доля ручных вмешательств зависят от сценария прямее, чем выручка.
• Вилка вместо точки. «Экономия 10-17 тыс. ₽ в месяц за вычетом эксплуатации, при таких-то допущениях» честнее, чем «17 тыс. ₽»: точная цифра создаёт ложное впечатление, что её кто-то измерил. Для решения «продолжаем или сворачиваем» достаточно знака и порядка.

Три горизонта: неделя, месяц, квартал

Наборы на разных сроках разные, а попытка смотреть всё сразу приводит к тому, что не смотрят ничего.

Первая неделя: только техника

Вопрос недели - работает ли контур и не теряет ли данные. Про экономию говорить рано.

• Доля успешных прогонов по дням и список ошибок с причинами.
• Выборочная проверка руками: правильный ли результат, а не только «без ошибки».
• Алерты: приходят ли сообщения вашему сотруднику и замечает ли кто-нибудь тишину, когда сценарий не запускался.
• Список исключений, которых не было в техзадании, - материал для доработки.

Нормально, если неделя выглядит шумно: вылезают форматы данных, которых никто не проектировал. Ненормально - когда ошибки копятся общим счётчиком без разбора причин. Что должно быть на руках к этому моменту, перечисляет чек-лист приёмки автоматизации.

Первый месяц: процесс

Техника устаканилась, появляется смысл смотреть на поведение людей вокруг контура.

• Доля ручных вмешательств и её динамика по неделям.
• Часы на процесс против замера «до», по одинаковой формуле.
• Время до первого ответа: медиана и доля выходов за срок.
• Появились ли ручные подпорки: параллельная таблица, повторная проверка, досылка данных.

Квартал: деньги и решение

Три месяца - первый срок, на котором разговор о деньгах опирается на данные, а не на догадки: эффект новизны уже ослабевает, объём итераций накопился.

• Стоимость итерации «до» и «после», с эксплуатацией внутри.
• Накопленная экономия против вложений и остаток до окупаемости.
• Конверсия на затронутом шаге - с оговоркой про параллельные изменения.
• Сколько времени команда тратит на сам контур: разбор исключений, правки, подрядчик.
• Решение: продолжаем, дорабатываем, сужаем или сворачиваем.

Отчёт на одну страницу: 7 блоков

Длинный отчёт нередко остаётся непрочитанным. Одна страница, семь блоков, одинаковая структура из месяца в месяц - тогда соседние выпуски сравниваются взглядом.

1. Шапка. Сценарий, период, с чем сравниваем, кто отвечает за контур.
2. Техника. Доля успешных прогонов, ошибки по типам, время обработки итерации. Рядом - значение прошлого периода.
3. Процесс. Часы на процесс, доля ручных вмешательств, время до первого ответа. Тоже со сравнением.
4. Деньги. Стоимость итерации, экономия за вычетом эксплуатации, накопленный итог против вложений.
5. Что ещё менялось. Реклама, цены, состав команды, правки в сценарии. Без этого цифры выше нельзя читать.
6. Что делаем. Не более трёх пунктов: что дорабатываем, кто отвечает, к какому сроку.
7. Чего не хватает в данных. Что не измеряется и решение - заводить замер или обходиться.

Шестой блок - тот, ради которого отчёт существует. Без строки «что делаем» он превращается в ритуал: цифры собираются, рассылаются и никого ни к чему не обязывают.

Мини-расчёт на явных допущениях

Допущения назовём заранее, округление берём не в свою пользу. Процесс - обработка заявок, 300 итераций в месяц, поток ровный. До запуска на одну заявку уходит 12 минут: это 60 часов в месяц. Полная стоимость часа - 700 ₽, значит процесс стоит 42 000 ₽ в месяц, а одна итерация - 140 ₽.

После запуска допускаем, что 240 заявок из 300 проходят без вмешательства и на выборочный контроль каждой уходит по 1 минуте - 4 часа. Оставшиеся 60 разбираются руками по 10 минут - ещё 10 часов. Итого 14 часов против 60: экономия 46 часов, или 32 200 ₽, округляем вниз до 32 000 ₽. Эксплуатацию берём по верхней границе прайса - 15 000 ₽ в месяц, значит чистая экономия 17 000 ₽. Стоимость итерации: 14 часов по 700 ₽ - это 9 800 ₽, плюс 15 000 ₽ эксплуатации, делим на 300 - около 83 ₽ против прежних 140 ₽. Вложения: автоматизация одного процесса - от 55 000 ₽; берём нижнюю границу, и это допущение в свою пользу. Плюс 20 часов команды - ещё 14 000 ₽, итого 69 000 ₽. Окупаемость: 69 000 ÷ 17 000 - чуть больше четырёх месяцев.

Теперь то, ради чего расчёт и приведён. Допустим, доля ручных вмешательств оказалась не 20%, а 40%: 180 заявок проходят автоматически (3 часа контроля), 120 разбираются руками по 10 минут (20 часов). Итого 23 часа вместо 14. Экономия падает до 37 часов, или 25 900 ₽, округляем до 25 000 ₽; минус эксплуатация - 10 000 ₽ чистыми. Стоимость итерации - около 104 ₽, окупаемость: 69 000 ÷ 10 000 - около семи месяцев. Решение сходится и здесь, но разница между четырьмя и семью месяцами видна только тому, кто считает долю ручных вмешательств. Без неё обе картины выглядят одинаково.

Когда пора признать, что не сработало

Критерии остановки полезны одним свойством: они записываются до запуска, пока никто не защищает потраченный бюджет. Потом действует другая логика - жалко вложенного, неудобно перед коллегами, «давайте ещё месяц». Формулировка простая: показатель, значение, срок, действие. Список, с которого имеет смысл начать:

• Доля успешных прогонов не выходит на оговорённый уровень за месяц. Действие - разбор причин с подрядчиком, а не привыкание; объём гарантийных обязательств зависит от договора и его текста.
• Доля ручных вмешательств не опускается ниже порога за два месяца. Сценарий закрывает не тот участок либо вход слишком разнороден.
• Часы на процесс за квартал не снизились относительно замера «до». Экономии нет, есть перераспределение работы.
• Стоимость итерации с учётом эксплуатации выше прежней. Контур дороже ручного варианта - реальный исход при малом объёме.
• Разбор исключений и правки съедают больше часов, чем сэкономлено. Экономия ушла на поддержку контура.

Признать «не сработало» - не обязательно выключить, выключение здесь крайний ход. Сузить объём: оставить автоматике самый однородный кусок потока, остальное вернуть людям. Упростить вход: обязательные поля в форме и единый формат от поставщика снимают часть исключений без доработки. Доработать точечно, если повторяются два-три типа исключений. Отложить: при росте объёма постоянная часть расходов размазывается на большее число итераций, и тот же контур приближается к окупаемости без доработок. Разобраться, что не так, помогает аудит процессов - он работает и по уже запущенному контуру.

Честно: часть автоматизаций не окупается

Скажем прямо, потому что умолчание дороже неудобной правды: часть сценариев не выходит на окупаемость. Объём оказывается меньше ожидаемого, исключений больше, процесс меняется вслед за рынком, эксплуатация съедает экономию. Расчёт до внедрения снижает вероятность такого исхода, но не убирает её.

Заранее заданные критерии остановки - способ потерять меньше, а не признак неудачи и не недоверие к подрядчику. Разница с проектом без критериев измеряется деньгами: там, где критерии записаны, решение опирается на цифры уже по итогам квартала; там, где их нет, разговор нередко откладывается до момента, когда счёт за неиспользуемый сервис попадается кому-то на глаза.

Обратная сторона: критерии защищают контур не хуже, чем закрывают. Когда приходит очередь сокращать расходы, сценарий с отчётом и цифрами переживает её спокойнее, чем сценарий с репутацией «вроде что-то там работает».

Итог

Измерение после запуска - последняя часть цикла, и без неё две предыдущие теряют смысл. Короткая версия: снимите базу до запуска; ведите три группы показателей; смотрите разное на неделе, месяце и квартале; записывайте, что ещё менялось; держите отчёт на одной странице со строкой «что делаем»; назовите критерии остановки до того, как узнаете результат.

Скажем прямо: такой набор неудобен и нам. С ним заказчик через квартал приходит с цифрами, а не с впечатлениями, и часть разговоров получается неприятной. Так и должно быть. Если контур уже работает, а данных для отчёта нет, начать разумно с карты того, что есть: этим занимается аудит сценариев и автоматизации.

Не готовы обсуждать проект? Оцените выгоду сами: калькулятор ROI автоматизации - 1 минута, без контактов. Или заберите чек-лист «Что автоматизировать первым».