Recurrent Looped Transformer: авторы предлагают не обрывать состояние на границе ответа

Как авторы описывают петлю

В RLT декодер получает для текущего токена две вещи: его причинное представление от encoder и финальное скрытое состояние, оставшееся после предыдущего токена. Одновременно декодер читает глобальную KV-память, полученную из encoder, и поддерживает локальный кэш скользящего внимания в каждом слое. Это состояние не сбрасывается на границе между prompt и ответом: одна и та же схема обновления применяется к обоим участкам последовательности.

Такое описание легко спутать с заявлением «модель помнит бесконечно». Источник этого не утверждает. Локальная память ограничена окном внимания, а глобальная память строится из представлений encoder. Авторы говорят о повторяющемся пути через декодер; это архитектурная идея о том, как передать вычислительное состояние дальше, а не обещание безграничного контекста или готового пользовательского продукта.

Результаты пока относятся к небольшим задачам

В снимке экспериментов от 15 сентября сравниваются варианты RLT и восьмислойный Transformer на шести синтетических задачах. Часть запусков ещё не завершилась: из 48 к плановым 2 000 шагам дошёл 21. Для parity-задачи на 500-м шаге вариант RLT 6+2 показал 99,44 ± 0,98% в среднем по трём инициализациям, тогда как Transformer 8 — 48,48 ± 0,53%. В другой части таблицы обе архитектуры могут иметь одинаковый результат, а на некоторых задачах точность низкая у всех вариантов.

Эти числа ценны как отчёт о конкретном срезе, но не как рейтинг моделей для программирования, диалогов или бизнеса. В репозитории использованы модели шириной 512, параметры порядка 25–29 млн и специально сгенерированные задачи. Авторы также предупреждают, что сравнение одновременно меняет feedback, структуру внимания, число параметров и вычисления. Отдельные matched ablation для скрытой обратной связи заявлены как будущая работа.

Есть и внешние community experiments, но они используют отдельную малую реализацию и другой протокол. В них RLT сохраняет преимущество на части state-tracking-задач при удлинении последовательности, однако точность падает с длиной. Это важная оговорка против красивой, но слишком широкой интерпретации: способность пройти тренировочную длину не доказывает устойчивую работу далеко за её пределами.

Почему за этим стоит следить

RLT интересен не тем, что «сломал Transformer», а тем, что отделяет два вопроса: сколько слоёв вычисляется за один токен и сколько раз состояние участвует в обработке всей последовательности. Авторы пытаются использовать повторяемость токенов как дополнительную вычислительную глубину.

Пока предмет следующей проверки вполне конкретен: будут ли опубликованы завершённые сравнения с контролем обратной связи, измерения скорости и результаты на задачах, которые ближе к языковой генерации. Без них материал остаётся ранним техническим отчётом. Его полезно читать как описание гипотезы и методики, а не как сигнал о появлении новой доступной модели.