Нейросеть дала ссылку. Почему ответ всё ещё может быть неверным

Что делает RAG

RAG — подход, при котором система сначала ищет подходящие материалы, а затем даёт модели найденные фрагменты для ответа. Так можно опереться на внутренний регламент или свежую публикацию, которых не было в обучении модели. Само наличие этапа поиска не гарантирует, что найден правильный фрагмент и что ответ ему соответствует.

В материале Anthropic о Contextual Retrieval показана одна из проблем: при разбиении документа кусок текста может потерять сведения о компании, времени и других условиях. Разработчики предлагают добавлять поясняющий контекст к фрагментам перед поиском. Но даже улучшенный поиск оставляет редактору задачу проверить итоговый вывод.

Один абзац, два разных смысла

Если помощник ответит «всем пользователям доступно 100 запросов в сутки» и приложит ссылку на этот текст, источник будет настоящим, а ответ — неверным. Исчезло ограничение по тарифу. Если разговор идёт в сентябре, потерялась ещё и дата начала действия.

Проверять следует не страницу в целом, а каждое значимое утверждение. Для цифры это единица измерения, период и группа пользователей. Для правила — область применения и исключения. Для рекомендации — условия, при которых она работает.

Короткая процедура проверки

• Выделите в ответе утверждение, на котором собираетесь основать решение.
• Откройте источник и найдите подтверждающий фрагмент.
• Прочитайте соседние абзацы: там могут быть дата, исключение или другое определение.
• Сопоставьте формулировку ответа с источником. Если вывод шире, исправьте его.
• Проверьте версию документа и наличие более поздней редакции.

На ответ из нескольких источников удобно завести маленькую таблицу: утверждение, подтверждение, ограничение. Она быстро показывает фразы, которые модель достроила сама. Такие фразы не обязательно неверны, но их нужно обозначить как вывод или предположение.

Как задать вопрос, который легче проверять

Этот запрос помогает сделать ответ прозрачнее, но не освобождает от проверки. Для решения, которое затронет клиентов или деньги, открытие первоисточника остаётся частью работы. При отсутствии подтверждения лучше оставить вопрос открытым, чем превращать правдоподобную догадку в инструкцию.

Если ошибка начинается с исходных документов, начните с подготовки базы знаний.