Аварийная остановка ИИ-агента: кто выключает действия и что происходит с задачами

Разделите отключение по слоям

Самый быстрый безопасный режим — запретить новые внешние действия, оставив чтение и подготовку черновиков там, где это уместно. Отдельно нужно остановить приём новых задач, если источники не дают достоверных данных. Полное выключение сервиса — последний уровень, после которого обращения переходят к людям.

Для каждого уровня назначьте человека, который вправе включить его без длительного согласования. Журнал фиксирует время, причину и затронутые задачи. NIST AI RMF включает управление рисками после измерения; план остановки — практическое применение этого принципа.

Разберите задачу в пути

Представьте, что агент создал черновик письма, вызвал отправку, но не получил подтверждение из сервиса. Нельзя просто повторить вызов: клиент может получить два письма. Нужен идентификатор операции и проверка её фактического состояния. Для платежа или изменения заказа эта граница ещё важнее.

Проведите учебную остановку

На тестовой среде отключите инструмент во время обработки очереди. Проверьте, что новые операции не стартуют, уже отправленные не повторяются, сотрудники видят остаток задач, а клиент не остаётся с ложным обещанием. После восстановления запустите контрольный набор и верните полномочия постепенно. План, который существует только в документе, обнаружит слабые места слишком поздно.

Порядок для первых пяти минут

Ответственный замечает ошибку, отключает право на внешние действия и проверяет, какие операции уже подтверждены системами. Затем сообщает владельцу процесса и сотрудникам, которые заберут очередь. Клиентам отправляют уточнение только по подтверждённым случаям и утверждённым правилам. Важна последовательность: сообщение «мы всё остановили» не должно звучать раньше проверки уже отправленных писем или изменений заказа.

Что должно работать без модели

Очередь входящих задач, контакты дежурных, ручной доступ к карточкам и способ отметить выполненное должны оставаться доступны. Если отключение агента выключает и интерфейс сотрудника, план восстановления недостаточен. Проверьте это на учебном случае, когда одновременно не отвечает внешний API. Успешная остановка — не просто отсутствие новых действий модели, а сохранение управляемого пути для клиента.

Возврат по частям

После исправления сначала прогоните контрольные случаи, затем включите чтение и черновики, после наблюдения — отдельные внешние действия. Сохраните список задач, обработанных вручную во время простоя, чтобы агент не взял их повторно. Владелец процесса подтверждает расширение режима; технический специалист фиксирует версию и время переключения.

Разница между «пауза» и «отмена»

Пауза предотвращает новые действия, но не возвращает отправленное письмо или изменённый заказ. Для уже завершённых операций нужен отдельный порядок исправления и уведомления. В интерфейсе состояния должны различаться: «ожидает», «проверяется», «выполнено», «неизвестно». Последний статус особенно важен после сетевого сбоя: его нельзя автоматически считать ошибкой и повторять вызов.

Проверьте полномочия на выключение

В рабочем инциденте нельзя ждать, пока вернётся единственный администратор. Назначьте дежурного и заместителя с ограниченным, но достаточным правом остановить внешние действия. Восстановление более высокого риска может требовать двух подтверждений. Такое распределение быстрее и безопаснее, чем общий администраторский пароль в чате команды.