Когда остановить пилот ИИ: ошибки, затраты и недостигнутый результат

Назовите ошибки, которые недопустимы сразу

Для агента продаж это отправка чужого коммерческого предложения, неверная цена или самостоятельное обещание скидки. Для внутреннего поиска — выдача закрытого документа сотруднику без права доступа. Для обработки счетов — изменение реквизита без проверки. Составьте список событий, при которых внешнее действие отключается немедленно, а накопленные задачи переходят людям.

Опасную ошибку нельзя растворять в среднем проценте правильных ответов. Система может быть точной на сотнях простых вопросов и один раз выполнить действие, которое создаёт денежный или репутационный ущерб. Профиль NIST для генеративного ИИ предлагает учитывать контекст и риски применения, а не только качество текста.

Зафиксируйте экономические границы

Сравнивайте полную стоимость обработки случая: модель, интеграции, проверка сотрудником, исправление и поддержка. Если ИИ экономит четыре минуты на черновике, но проверка занимает пять, текущая версия не дала экономии. Возможно, её стоит оставить для редких сложных случаев, где она помогает найти информацию; возможно, процесс вообще не подходит для пилота.

Не назначайте универсальный порог окупаемости из чужого кейса. В собственной таблице запишите ожидаемый результат, исходный уровень, допустимый предел расходов и срок проверки. Отдельно отмечайте объём: дешёвая операция не приносит заметной пользы, если случается раз в месяц.

Отличайте остановку сценария от остановки всего проекта

Условный агент хорошо извлекает данные из заявки, но путает получателя при отправке письма. Остановите отправку, оставив подготовку черновика под проверкой. Если проблема в двух устаревших документах, заморозьте ответы по этим условиям и назначьте владельца источника. Если система не умеет гарантировать доступ по ролям, не подключайте закрытый архив, даже если качество поиска высокое.

В отчёте напишите, какую функцию остановили, кто принял решение и что должно быть показано в повторном тесте. Фраза «доработать ИИ» не помогает ни команде, ни подрядчику.

Что делать с задачами при выключении

Проверьте заранее, где окажутся уже принятые обращения. Очередь должна показывать статус и ответственного человека; клиенту не следует получать два ответа после повторного включения. Сохраните журнал действий, чтобы объяснить, какие письма были отправлены и какие карточки изменены. Нужен простой способ вернуть предыдущее правило маршрутизации без ручного редактирования каждой интеграции.

Владелец процесса утверждает возврат после исправления и повторного прохождения контрольного набора. Отдельно проверьте случай, из-за которого остановили сценарий, и несколько обычных: исправление одного риска не должно ломать базовую работу.

Два случая, которые нельзя смешивать

Система может быть безопасной, но бесполезной: все письма проходят через человека, однако их приходится переписывать. Здесь остановка экономическая; возможно, нужно изменить интерфейс или выбрать другую задачу. И наоборот, помощник может экономить время, но один раз показать закрытый документ не тому сотруднику. Здесь нельзя продолжать на основании средней пользы; сначала исправляют права доступа и повторяют рискованный тест. Такая классификация помогает обсуждать пилот предметно, не деля его только на «удачный» и «неудачный».

Кому сообщить об остановке

Составьте короткий маршрут: владелец процесса, ИТ-дежурный, сотрудники, которые видят очередь, и клиентская команда, если внешнее сообщение уже ушло. Не используйте один общий чат как единственный способ уведомления: важная задача может утонуть в обсуждении. После инцидента запишите, что отключили и какие действия подтверждены фактически. Не обещайте клиентам исправление, пока ответственный не проверил состояние записи или заказа.

Запишите пороги до просмотра результата

После первой недели легко снизить планку, чтобы эксперимент выглядел удачным. Зафиксируйте заранее, какие ошибки требуют немедленной остановки, сколько времени готовы тратить на проверку и в какой день принимается решение. Не обязательно назначать точный процент для редкой опасной ошибки: можно сформулировать «ни одного неподтверждённого внешнего действия в контрольном наборе и на пилотном потоке». Если порог изменили из-за новых фактов, сохраните первоначальную версию и объясните решение.

Можно ли вернуться к пилоту после остановки?

Да, если исправлена причина, а не только видимый симптом. Для неверной цены нужен действующий источник и тест на старую версию; для утечки — техническое ограничение прав и проверка от имени разных сотрудников. Затем повторите прежний набор и новые случаи, возникшие из ошибки. Возврат начинают с ограниченного режима, обычно с черновиков. Ответственный фиксирует, какие права включены и что остаётся человеку. Сам факт нового промпта не доказывает, что риск снят.