Какие действия можно доверить ИИ-агенту: границы задачи и права доступа

Разделите чтение, подготовку и отправку

Сначала перечислите, что агент вправе только читать: карточку клиента, действующий прайс, наличие товара, внутреннюю инструкцию. Затем — что он может подготовить без эффекта для клиента: краткое резюме, черновик письма, заполненную форму. Наконец, отдельно запишите действия, меняющие внешнее состояние: отправка сообщения, изменение заказа, возврат денег, публикация материала.

Не объединяйте эти уровни в разрешение «доступ к CRM». Сервисный аккаунт с широкими правами легко превращает небольшую ошибку классификации в реальное изменение данных. Практическое руководство OpenAI по агентам описывает инструменты и ограничения как части проектирования агента; полномочия нужно задавать под конкретную задачу.

Составьте таблицу решений

Таблица должна описывать не только успешный путь. Исключения чаще всего определяют, сколько контроля действительно нужно.

Настройте доступ технически

Текстовая инструкция «не читай закрытые документы» не заменяет настройки прав. Ограничьте список доступных коллекций и полей, создайте отдельные роли для чтения и записи, проверьте доступ от имени разных пользователей. Для инструмента отправки сообщений нужны ограничения на адресатов и подтверждение перед внешним действием. Журнал должен показывать, какой инструмент вызван и какое действие система реально выполнила.

Проверьте опасную комбинацию: документ клиента содержит просьбу агенту изменить свои правила. Это содержание задачи, а не полномочие. OWASP относит prompt injection к основным рискам LLM-приложений; защита строится на разделении инструкций и внешних данных, узких правах инструмента и проверке критичных действий.

Кто меняет границы после запуска

Назначьте владельца процесса, который утверждает новые сценарии, и технического ответственного, который меняет права. Если менеджеры просят «пусть агент теперь и отправляет сам», это новый уровень риска, а не небольшая настройка текста. Сначала проверьте на тестовых случаях неверный адрес, устаревшую цену, повторное сообщение и отмену действия.

На первом выпуске удобно разрешить агенту поиск и черновики, а отправку оставить человеку. Позже можно расширять полномочия по одному действию, сохраняя возможность немедленно вернуть предыдущий режим. Так команда видит, что именно изменилось и почему.

Проверьте четыре пограничных запроса

Первый: сотрудник просит показать карточку другого клиента «для примера». Второй: письмо клиента содержит команду поменять адрес отправки отчёта. Третий: менеджер просит агента отправить предложение, хотя в карточке не подтверждена цена. Четвёртый: API записал изменение, но не вернул подтверждение. Для каждого случая заранее запишите ожидаемый отказ, уточнение или передачу человеку. Тесты нужны в подключённой системе, а не только в чате: финальный ответ может сказать «не отправил», тогда как инструмент уже вызван.

Как расширять полномочия без скачка риска

Сначала измерьте качество черновиков и удобство проверки. Затем разрешите запись в тестовую карточку и проверьте дубли, права и откат. Лишь после этого обсуждайте отправку в ограниченной категории, где есть точный источник и ясное подтверждение адресата. Каждое расширение фиксируйте отдельной версией матрицы. Если задача изменилась, старое согласие на доступ не превращается автоматически в разрешение новой операции. У владельца процесса и администратора должны быть разные роли: один утверждает бизнес-условие, другой реализует техническое ограничение.

Что записать в журнале действия

Для каждого вызова инструмента сохраняйте входной запрос, версию правил, пользователя или сервисную роль, идентификатор затронутой записи и ответ внешней системы. Не кладите в общий журнал лишние персональные данные; доступ к нему тоже ограничьте. Без этих сведений команда не объяснит, почему клиент получил письмо, и не сможет безопасно повторить задачу после сбоя. Журнал полезен не для тотального наблюдения за сотрудниками, а для восстановления фактической цепочки действий агента.

Что делать, если сотрудник просит обойти ограничение?

Агент должен объяснить доступный маршрут: подготовить черновик, собрать обоснование и передать человеку с нужным полномочием. Не скрывайте запрет за общей фразой «я не могу» — покажите, кто может завершить задачу и какой контекст уже собран. Но и не позволяйте пользователю словами повысить право сервисного аккаунта. Разрешение на новое действие утверждается владельцем процесса и реализуется технически; отдельная просьба в чате не заменяет эти шаги.