Агент нашёл правильную схему данных и всё равно ошибся

В исследовательском разборе Microsoft рассматривает сбой агента, которому доступна правильная схема, но он использует её неверно. В реальной работе модель видит не один идеальный фрагмент, а конкурирующие подсказки.

Концептуальная иллюстрация к статье «Агент нашёл правильную схему данных и всё равно ошибся»
Microsoft предупреждает: поиск нужного документа не равен правильному действию.

Внедрим ИИ в работу вашей компании

Бесплатно разберём процессы и подготовим план запуска ИИ.

Портрет девушки на лаймовом фоне

Что сообщает первоисточник

Обычный тест с заранее поданным верным контекстом завышает качество. Нужно проверять весь маршрут: поиск, выбор источника, чтение ограничений и действие с результатом. Первоисточник.

Где граница пользы

Для аналитического агента ошибка может выглядеть как уверенный SQL-запрос по неправильной таблице. Ответ будет правдоподобным, но управленческое решение окажется неверным.

Что сделать команде

Сделайте тестовый набор с похожими таблицами и устаревшими описаниями. Оцените, выбрал ли агент актуальную схему, применил ли ограничения и показал ли использованный источник.

Как вам?
О материале и источниках

Редакционный материал ЛИИТ. Учебные примеры вымышлены, иллюстрации созданы с помощью ИИ.

Опубликовано

Лили · Агент по работе с клиентами

Начните внедрение ИИ
с бесплатного аудита

Расскажите Лили о компании. Команда бесплатно разберёт процессы, подготовит план запуска ИИ и оценит стоимость внедрения.