Качество ИИ падает после запуска: как заметить сдвиг и найти причину

Снимите исходную картину

Зафиксируйте категории запросов, долю передач человеку, время проверки, типы исправлений и опасные ошибки. Разделите обычные случаи и исключения. Средний показатель способен оставаться стабильным, пока одна важная категория резко ухудшается. Например, агент хорошо отвечает на новые товары, но продолжает цитировать старые условия доставки.

Microsoft описывает оценку агентов на тестовых наборах. Для рабочего мониторинга одних тестов недостаточно: нужны обезличенные примеры новых реальных ошибок и человек, который их классифицирует.

Что может вызвать сдвиг

Для каждого признака храните версию системы и дату изменения. Без этого команда будет переписывать инструкцию наугад, хотя причина в недоступном коннекторе.

Порог действия

Владелец процесса заранее определяет, когда он ограничит полномочия агента: например, при ошибках цены или доступа. Для менее опасных отклонений можно собрать выборку и исправить источник. После правки повторите старые тесты и новые случаи. Не удаляйте «неудобные» примеры, чтобы график снова выглядел зелёным.

Цель мониторинга — не красивый дашборд, а быстрое решение: продолжать, сузить сценарий, передать людям или остановить внешнее действие.

Случай, который не виден в среднем графике

Условный помощник отвечает на тысячу простых вопросов. После смены прайса у него ошибочны только двадцать запросов о редкой комплектации. Общая доля верных ответов почти не меняется, но именно эти запросы влияют на дорогие сделки. Поэтому отчёт разбивают по типам задач и критичности ошибки. Новые условия тестируют отдельной выборкой сразу после обновления источника, не ожидая, когда общий показатель заметно упадёт.

Откуда брать примеры для проверки

Исправления сотрудников, переданные оператору обращения, жалобы клиентов и изменения документов дают разные сигналы. Сохраняйте обезличенный исходный вопрос, ответ, источник, правильный результат и версию системы. Не включайте всё подряд: выбирайте случаи, которые показывают новый класс ошибки. Если сотрудники перестали отмечать проблемы из-за неудобной формы, отсутствие сигналов нельзя считать улучшением качества.

Решение по недельному обзору

Владелец процесса выбирает действие по категории: исправить источник, изменить инструмент, расширить тесты или временно оставить тему человеку. Запишите срок повторной проверки. Наблюдение без владельца и решения превращается в график ради графика.

Почему обратная связь пользователей искажена

Сотрудник может исправлять ответы молча, потому что кнопка жалобы неудобна. Другой отмечает каждую стилистическую мелочь, создавая впечатление резкого падения качества. Разделяйте типы обратной связи и проверяйте выборку реальных результатов. Оценка «не понравилось» — повод посмотреть пример, а не автоматическое доказательство ошибки факта. Для критичных полей сравнивайте ответ с источником независимо от пользовательской реакции.

Периодическая проверка без перегруза

Раз в неделю возьмите несколько случаев из обычных, сложных и недавно изменённых категорий. Владелец процесса оценивает итог, технический специалист смотрит источники и инструменты. Если растёт один тип ошибки, назначьте точечную правку и сохраните контрольную выборку. Полный аудит каждой операции нужен не всегда; важно не потерять чувствительные исключения за стабильным средним значением.