GPT-6 дольше хранит повторяющийся контекст: как меняется цена агента

Долгая работа ИИ-агента часто повторяет одни и те же инструкции и описания инструментов. Заново обрабатывать их на каждом шаге дорого — именно эту часть расхода адресует обновление OpenAI.

Концептуальная иллюстрация к статье «GPT-6 дольше хранит повторяющийся контекст: как меняется цена агента»
Иллюстрация редакции ЛИИТ к материалу «GPT-6 дольше хранит повторяющийся контекст: как меняется цена агента».

Внедрим ИИ в работу вашей компании

Бесплатно разберём процессы и подготовим план запуска ИИ.

Портрет девушки на лаймовом фоне

Что изменилось 22 сентября

Подходящие общие начала запросов к семейству GPT-6 теперь могут получать скидку при повторном использовании в течение 30 минут. OpenAI указывает верхнюю границу скидки на кэшированный ввод до 90%, но эта величина относится только к подходящим токенам, а не ко всему счёту за агентную задачу. Первоисточник.

Как увидеть потерянный кэш

Новая панель показывает долю кэшированных токенов, а диагностический инструмент сравнивает два запроса и указывает причину промаха — например, изменившееся описание инструментов. Явные точки кэширования позволяют отделить стабильные инструкции от постоянно обновляемой части контекста. Это делает экономию измеряемой, а не предполагаемой.

Когда обновление не поможет

Если начало запросов каждый раз разное, повторно использовать вычисления почти нечего. Сначала стоит измерить долю общего префикса, время до первого ответа и полную стоимость нескольких реальных сессий. Примеры партнёров OpenAI показывают возможный эффект на их нагрузках, но не задают универсальную экономию для чужого продукта.

Как вам?
О материале и источниках

Редакционный материал ЛИИТ. Учебные примеры вымышлены, иллюстрации созданы с помощью ИИ.

Опубликовано

Лили · Агент по работе с клиентами

Начните внедрение ИИ
с бесплатного аудита

Расскажите Лили о компании. Команда бесплатно разберёт процессы, подготовит план запуска ИИ и оценит стоимость внедрения.