ИИ-бот не находит ответ в документах: проверяем поиск, права и сам вопрос

Подберите один проверяемый случай

Запишите вопрос клиента так, как он его написал: «Можно ли перенести доставку после оплаты?» Найдите утверждённый документ и точный пункт, который отвечает. Отметьте дату версии и раздел. Теперь можно проверить каждый слой. Если сотрудник сам не знает, какой документ главный, сначала договоритесь об источнике истины.

Проверьте, загружен ли нужный файл, успешно ли он обработан и включён ли в коллекцию, к которой бот имеет доступ. Отдельно посмотрите, не является ли PDF просто картинкой без распознанного текста. В таком случае визуально документ открыт, а поиску там нечего читать.

Где теряется ответ

Не начинайте с переписывания промпта, пока не увидели, что поиск действительно вернул правильный фрагмент. Если нужный пункт не найден, модель не может надёжно восстановить его из памяти.

Проверьте слова клиента

В документах может быть «изменение даты исполнения», а клиент пишет «перенести доставку». Добавьте реальные формулировки из обращений в тестовый набор. Иногда помогает короткое описание документа и его области применения; иногда нужно пересмотреть терминологию самой инструкции. Не создавайте десятки почти одинаковых копий ради одного запроса: они мешают выбирать действующую версию.

Если вопрос требует двух документов, например договор и приложение, покажите обе ссылки. Если источники противоречат друг другу, бот не должен выбирать удобный вариант. Он передаёт вопрос сотруднику и указывает, какие именно положения конфликтуют.

Права доступа тоже влияют на поиск

Сотрудник отдела продаж может видеть тарифы, а клиентский бот — только публичные условия. Если нужный документ закрыт для внешнего канала, ответ не должен появиться за счёт обхода прав. Проверьте, какие документы разрешены конкретной роли и не смешиваются ли внутренние инструкции с клиентской базой.

В практическом руководстве OpenAI по агентам описана работа с инструментами и защитные границы. Для вашей базы полезно дополнить это тестами доступа: один и тот же вопрос от клиента и от сотрудника может иметь разный допустимый ответ.

Набор регрессионных вопросов

Соберите 20 вопросов, на которые бот обязан ответить, и 10, на которые обязан отказаться или передать человеку. Для каждого храните правильный документ, пункт и ожидаемую формулировку. После обновления базы запускайте набор заново. Оценивайте поиск фрагмента отдельно от качества итогового текста — так видно, какой компонент сломался.

Если документы часто меняются, у каждого ответа должна быть связь с версией источника. Тогда после жалобы можно установить, какие правила действовали в момент разговора, вместо спора о том, «что сейчас написано в базе».

Пример: условие спрятано в приложении

Клиент спрашивает о возврате товара, а основной FAQ говорит «возможен в течение установленного срока». Исключение для одной категории находится в отдельном приложении. Если поиск возвращает только FAQ, бот может дать слишком широкий ответ. Для такого случая тест должен требовать оба фрагмента: общее правило и исключение. Раздел документа «когда правило не применяется» важно индексировать и показывать рядом с основным пунктом.

При ручной проверке спросите сотрудника не только «верен ли ответ», но и «по какому документу он это знает». Если даже эксперты расходятся, сначала согласуйте правило. Модель не должна маскировать противоречие гладким текстом.

Что сделать с неудачными вопросами

Ведите список реальных вопросов, на которых поиск не сработал, с правильным источником и причиной: нет файла, плохое распознавание, неподходящие права, разрыв фрагмента, неверная терминология. После каждого исправления прогоняйте весь список, чтобы улучшение одного документа не ухудшило соседние. Показатель «найдено что-то похожее» не годится; результатом должен быть пункт, достаточный для правильного ответа.

Как проверить права на одном вопросе

Пусть сотрудник отдела продаж спросит о публичном условии доставки, затем о внутренней инструкции по исключениям. Для первого вопроса система должна вернуть действующий клиентский текст. Для второго — только тот документ, который действительно разрешён его роли. Повторите оба вопроса от имени клиентского бота: внутреннее исключение не должно раскрыться. Если ответ пропал из-за ограничения доступа, это может быть ожидаемое поведение, а не поломка поиска.

Сохраните результат в тестах после изменения ролей. Одно удачное воспроизведение от администратора ничего не говорит о работе для обычного пользователя.

Если поиск не видит сам файл, начните с диагностики индекса корпоративной базы.