ИИ-бот не понимает вопрос клиента: как отличить пробел в знаниях от ошибки маршрута

Один вопрос — четыре проверки

Покупатель пишет: «А к этому подойдёт крепление из прошлого заказа?» Боту нужно понять, о каком товаре идёт речь, получить историю заказа с допустимыми правами, сопоставить модели и только потом ответить. Если истории нет, правильное действие — попросить артикул или передать вопрос консультанту. Общий текст «наши крепления совместимы» создаёт риск неправильной покупки.

В журнале проверьте: какое намерение определено, какие документы или товары найдены, какие данные были переданы модели, почему она выбрала автоматический ответ. Если правильный товар найден, но итоговый текст неверен, исправляйте формулирование. Если найден другой товар, исправляйте поиск или уточнение. Если данных не было вообще, нужен отказ от уверенного ответа.

Таблица для разбора ошибок

Не исправляйте все четыре случая одной большой инструкцией. Слишком длинный промпт может усложнить работу, не добавив отсутствующие данные.

Соберите словарь реальных вопросов

Сотрудники обычно пишут «совместимость моделей», а клиенты — «подойдёт ли вот это к моему старому». Возьмите 30–50 переписок и пометьте разговорные названия, опечатки, сокращения и ссылки на предыдущую реплику. Включите их в тесты. Не пытайтесь переписать ответы под каждый вариант вопроса вручную: цель — убедиться, что система находит правильный смысл и источник.

Встречаются двусмысленные вопросы. «Когда будет готово?» может относиться к доставке, ремонту или документу. Если контекст не помогает, короткое уточнение полезнее уверенного предположения. Проверяйте, чтобы бот спрашивал ровно тот признак, который разделяет варианты.

Как тестировать исправление

Запишите ожидаемое действие до изменения системы. Повторите исходный вопрос дословно и в двух естественных вариациях. Проверьте соседние темы: улучшив распознавание «возврата», можно случайно направить жалобы о браке в другой маршрут. Отдельно протестируйте отрицания: «не нужен монтаж» должно исключить предложение монтажа, а не усилить его.

После запуска отслеживайте обращения, где клиент повторил вопрос, попросил человека или оператор исправил ответ. Это более полезные сигналы, чем общая доля автоматических ответов. В руководстве OpenAI по агентам инструменты и условия передачи описаны как отдельные части системы; такой же раздельный подход помогает искать причину ошибки.

Когда стоит оставить вопрос человеку

Запросы, зависящие от скрытого контекста сделки, спорных условий или неструктурированных старых заказов, могут быть слишком сложны для первого этапа. Бот соберёт артикул, номер заказа и описание задачи, затем передаст сотруднику. Это лучше, чем расширять автоматизацию до области, где качество нельзя проверить.

Читайте разговор целиком, а не одну реплику

Вопрос «А второй вариант дешевле?» понятен только после предыдущего сравнения. Если обработчик передал модели одну последнюю реплику, она может выбрать произвольную пару товаров. На тесте проверьте, какие объекты разговора сохранены, какие подтверждены клиентом и не сменился ли предмет после нового сообщения. Если речь о двух товарах с похожими названиями, покажите клиенту различие и уточните, о каком варианте он спрашивает.

Признаки улучшения после исправления

Сравните до и после не только количество ответов, но и долю вопросов, которые клиенту пришлось повторить. Посмотрите, снизилось ли число исправлений оператором и не выросло ли количество уверенных ошибочных ответов. Иногда бот начинает меньше передавать человеку, но больше угадывать. Такой результат нельзя считать успехом. Сохраните несколько неудобных тестов в постоянном наборе: опечатка, отрицание, ссылка на предыдущий заказ и намеренно неполный вопрос.

Если клиент использует внутреннее название товара

Постоянные покупатели часто называют продукт сокращением, которого нет на сайте. Добавьте в каталог согласованные синонимы и проверьте, что каждый ведёт к правильному артикулу. Не заставляйте модель угадывать соответствие по одному слову: одно сокращение может означать разные модификации у разных клиентов. Если вариантов несколько, бот уточняет характеристику или показывает короткий выбор. После исправления проверьте и обратный путь: официальное название из каталога тоже должно находиться.

Такой словарь лучше хранить рядом с данными о товаре, а не только в длинном тексте системной инструкции. Тогда его сможет обновлять владелец каталога.

Когда подсказка оператора полезнее нового промпта

Если бот стабильно ошибается в редкой терминологии товара, сотрудник может отмечать правильный артикул и короткую причину исправления. Эти примеры пополняют тестовый набор и словарь каталога. Не добавляйте каждый случай как новое исключение в общий промпт: через месяц он станет длинным и противоречивым. Раз в неделю группируйте исправления: какие вызваны неверным синонимом, какие — отсутствующим товаром, какие — недоступной историей заказа. Для каждой группы выбирайте свой слой изменения.

Если причина в пропущенном документе, перейдите к проверке поиска по базе ответов.