Отдел для пилота выбирают по двум признакам: там много повторяющихся вопросов к данным, и там есть человек, который готов тратить время на сверку ответов. Чаще всего это отдел продаж с РОПом или связка
«собственник плюс финансовый директор».
Бухгалтерию в качестве первого отдела выбирают реже: там выше цена ошибки и больше скепсиса, зато успешный пилот в бухгалтерии убеждает всех остальных.
Метрики пилота должны быть измеримыми:- доля правильных ответов при сверке — цель не ниже 95%;
- число вопросов в день на одного сотрудника: если через неделю агентом не пользуются, проблема в сценариях;
- сколько справок перестали запрашивать у бухгалтерии и аналитика;
- время от вопроса до ответа: было и стало.
Сверку удобно организовать просто. Каждый день аналитик или бухгалтер берёт 10 случайных ответов из журнала и проверяет цифры в 1С.
Ошибка фиксируется с пометкой, где она возникла: агент неправильно понял вопрос, выбрал не тот инструмент или в базе неверные данные. К концу второй недели набирается 100 проверенных ответов — достаточная выборка, чтобы принимать решение не на ощущениях.
Если точность ниже 90%, расширять агента рано: сначала дорабатываются инструменты и справочники.
Хороший признак успеха — когда сотрудники начинают задавать вопросы, которых не было в исходном списке. Значит, агент стал привычным инструментом, а не игрушкой для демонстрации.