Пилот ИИ за две недели: как ограничить задачу и получить честный результат

День ноль: сформулируйте одно действие

Выберите результат, который сотрудник получает сейчас и сможет сравнить с результатом пилота. Например, агент готовит карточку входящей заявки: тема, товар, контакт, источник, краткое резюме. Не включайте одновременно ответы клиенту, выставление счёта и прогноз сделки. Это разные полномочия и разные ошибки.

В документе на одну страницу укажите входные данные, ожидаемый выход, запрещённые действия и владельца проверки. Возьмите двадцать обезличенных старых случаев и пять неудобных: неполное сообщение, противоречивый прайс, дубль клиента, сбой CRM, просьба о скидке. Сотрудник должен заранее записать правильный результат для каждого.

Первая неделя: работа в тени

Система получает копию обращений, но не отправляет ответ и не меняет рабочую CRM. Сравнивайте её результат с тем, что сделал человек. Ошибки разделяйте: неверное извлечение факта, неправильный источник, лишнее обещание, потеря контекста. Если поправить инструкцию после каждого теста, оставьте несколько кейсов нетронутыми для финальной проверки.

К концу недели выясните, что требует изменения: промпт, документы, права или сам процесс. Правка текста инструкции не поможет, когда в базе лежат два действующих на вид прайса. Руководство Microsoft по оценке агентов объясняет пользу повторяемого тестового набора; он позволяет сравнивать версии, а не полагаться на один удачный разговор.

Вторая неделя: ограниченное использование

Допустите несколько сотрудников к черновикам. Человек подтверждает запись или отправку. Собирайте время подготовки и проверки, долю исправлений, опасные ошибки и комментарии сотрудников: хватает ли контекста, понятна ли причина остановки. Сравнивайте с исходной неделей по похожим типам обращений.

Для каждого сбоя назначайте владельца исправления. Если API иногда возвращает ошибку, задача должна оставаться в очереди, а не исчезать. Если агент ошибся в поле телефона, исправьте извлечение и повторите весь контрольный набор — не только этот пример.

Решение в конце срока

Итоговый документ должен содержать не рекламный процент, а выбор: что разрешено после пилота, что остаётся человеку, какие данные и тесты нужны для следующего шага. Такой результат полезен даже при отказе от первого сценария: он защищает компанию от масштабирования неподходящей автоматизации.

Какая команда нужна на эти две недели

Владелец процесса утверждает ожидаемый результат и решает спорные случаи. Один ежедневный пользователь проверяет черновики и фиксирует исправления. Технический специалист следит за доступом и журналами. Не собирайте большую комиссию на каждую карточку: тогда проверка станет дороже самой задачи. Согласуйте короткий ежедневный разбор ошибок и один итоговый разговор. Если сотрудники не успевают участвовать, перенесите пилот, иначе отсутствие обратной связи ошибочно примут за качество агента.

Пример итоговой записи

«Проверено 40 обезличенных обращений двух каналов; агент правильно извлекал товар в обычных запросах, но путал комплектации при неполном названии. Внешняя отправка не включалась. Менеджеры сократили ручной ввод, но потратили часть времени на уточнение товара. Следующий шаг — нормализовать каталог и повторить тест на пяти спорных комплектациях». Это условный формат отчёта, а не результат конкретного продукта. Он полезнее оценки «пилот успешен», поскольку показывает решение и границу доказанного.

Что не успеть за две недели

Этот срок не подходит для доказательства редких событий: например, станет ли система раз в квартал ошибаться в договорной цене. Он также не заменяет проверку безопасности, нагрузки и длительной поддержки. В итоговом плане честно укажите, что пилот доказал на наблюдавшихся случаях и что остаётся неизвестным. Если задача требует интеграции с несколькими закрытыми системами, начните с проверяемого фрагмента, а полный маршрут вынесите в следующий этап. Короткий срок полезен как дисциплина выбора, а не как обещание готового промышленного продукта.

Что считать честной демонстрацией результата?

Покажите не только лучший ответ агента, но и типичный случай, спорный пример и ошибку, которую удалось исправить. Руководителю важно увидеть, сколько труда осталось у человека и что произойдёт при нештатной ситуации. Сохраните тестовый набор и версии документов, чтобы через месяц можно было повторить сравнение. Если после пилота команда помнит только красивую презентацию, решение о масштабировании будет опираться на впечатление, а не на наблюдения.