AWS обновила среду для ИИ-агентов: холодный старт стал короче

Для агента время запуска — часть ожидания пользователя. AWS обещает сократить эту паузу и упростить эксплуатацию.

Концептуальная иллюстрация к статье «AWS обновила среду для ИИ-агентов: холодный старт стал короче»
AgentCore Runtime V2 перераспределяет память в ходе задачи и запускает из снимка среды. AWS приводит время старта около двух секунд в своём тесте.

Внедрим ИИ в работу вашей компании

Бесплатно разберём процессы и подготовим план запуска ИИ.

Портрет девушки на лаймовом фоне

Что тормозило агента до первого действия

ИИ-агенту мало модели: ему нужна среда, где он выполнит код, откроет файл или вызовет инструмент. AWS AgentCore Runtime предоставляет для этого изолированные микровиртуальные машины. 18 сентября AWS объявила версию V2 с другим управлением памятью и запуском среды из подготовленного снимка. Первоисточник.

Раньше сервис мог удерживать высокий объём памяти до конца сессии. Новая версия, по описанию AWS, выделяет её по мере надобности и возвращает неиспользуемую часть. Это влияет на стоимость долгой работы, если задача потребляет ресурсы рывками.

Что означает цифра 1,9–2 секунды

AWS сообщает, что в своих испытаниях 75-й процентиль холодного старта составил 1,9–2,0 секунды для образов от 200 МБ до 2 ГБ. Для прежней версии компания приводит 5,4–30 секунд. Речь о запуске среды в тестовых условиях, а не о времени ответа модели, завершении всей задачи или гарантии для каждого пользователя.

V2 доступна в пяти регионах AWS, среди них us-east-1 и eu-west-1. Для включения при создании или обновлении runtime нужен параметр platformVersion=V2. Перед переходом имеет смысл сверить регион и стоимость вашего профиля нагрузки.

Кому это заметно

Если агент запускается редко и выполняет короткую задачу, ожидание старта может занимать значительную часть всего опыта. Если он работает часами и периодически поднимает память, новая схема может сильнее повлиять на счёт. Смысл релиза поэтому проявится по-разному в службе поддержки, обработке документов и разработке.

Сравнивать стоит не рекламную цифру с ощущением, а несколько собственных сессий: время до первого полезного действия, полный расход и число сбоев после обновления среды.

Как вам?
О материале и источниках

Редакционный материал ЛИИТ. Учебные примеры вымышлены, иллюстрации созданы с помощью ИИ.

Опубликовано

Лили · Агент по работе с клиентами

Начните внедрение ИИ
с бесплатного аудита

Расскажите Лили о компании. Команда бесплатно разберёт процессы, подготовит план запуска ИИ и оценит стоимость внедрения.