ИИ написал SQL по вопросу руководителя: как проверить выборку и вывод

Сначала определите метрику

Кто считается новым клиентом? Какой источник рекламы имеет приоритет, если сделка пришла через несколько касаний? Какой часовой пояс и период используются? Согласуйте эти правила с аналитиком до генерации запроса. ИИ не должен выбирать определение по названию колонки.

Google Cloud описывает оценку систем генеративного ИИ; для аналитического помощника тесты должны проверять не только формулировку ответа, но и соответствие результата определению метрики.

Проверьте запрос на маленькой выборке

Создайте несколько записей с известным исходом: новый клиент, повторный клиент, дубль, заявка без продажи, покупка на границе месяца. Попросите ИИ показать SQL и промежуточные агрегаты. Аналитик проверяет join, фильтры, обработку пустых значений и дубли после соединения таблиц.

Ограничьте права и объясняйте ответ

Начните с базы или реплики только для чтения. У запроса должны быть лимиты времени и объёма, а у результата — ссылка на определение метрики, период и предупреждение о неполных данных. Если руководитель просит решение на основе цифры, аналитик проверяет смысл перед расходом бюджета. Хороший помощник делает анализ быстрее, но не превращает сомнительную выборку в уверенную причину.

Пример с границей месяца

Покупатель оставил заявку поздно вечером 31 августа, а первую покупку оплатил 1 сентября. Если метрика «новый клиент в августе» строится по дате заявки, он попадёт в август; по дате первой оплаты — в сентябрь. Обе выборки могут быть технически корректны и отвечать на разные вопросы. Руководителю нужна договорённость о метрике, а не уверенное число от модели. Добавьте такой случай в тестовый набор и проверьте часовой пояс базы.

Что показывать в ответе

Помимо числа дайте короткое определение: какие записи включены, какой период, какие исключения и когда обновились данные. Приложите ссылку на проверенный запрос или дашборд. Если для доступа руководителя нужен иной уровень прав, не пересказывайте закрытые строки из личного аккаунта аналитика. Исходные данные должны проверяться теми же ролями, что и обычная аналитика.

Вопросы на приёмке

Совпадает ли результат с простым контрольным запросом? Что меняется при исключении тестовых клиентов и дублей? Можно ли воспроизвести итог после повторного запуска? Если ответ разный без изменения данных, выясните, меняется ли SQL, модель или определение вопроса. Для важных управленческих решений сохраняйте утверждённую версию запроса.

Запрос, который технически верен и всё равно вреден

Модель считает выручку по таблице оплат, но соединяет её с несколькими рекламными касаниями. Каждая оплата повторяется несколько раз, а итог выглядит правдоподобно, потому что компания действительно росла. Контрольный запрос на пяти известных клиентах быстро покажет размножение строк. Попросите модель вывести количество уникальных заказов до и после соединения; аналитик сверит их с источником. Это простой тест, который стоит включить в шаблон проверки.

Не давайте помощнику менять данные

Для ответов руководителю достаточно режима чтения, желательно на подготовленной аналитической витрине. Если ИИ предлагает «почистить» дубли в рабочей базе, это отдельная задача с владельцем и планом отката. Ограничьте время выполнения запросов и объём выдачи, чтобы свободный вопрос не превратился в дорогую или чрезмерно широкую выборку.