Recursive Language Models: новый подход к работе с длинным контекстом

Исследователи предложили Recursive Language Models (RLM) — метод, где языковая модель вызывает сама себя или другие модели для разбора длинного текста.

Традиционные модели страдают от «context rot» — ухудшения качества с ростом длины контекста. RLM решают эту проблему, разбивая контекст на части и обрабатывая их рекурсивно в среде Python REPL.

Такой подход позволяет работать с практически неограниченной длиной контекста и улучшает качество ответов. В тестах RLM с GPT-5-mini дала вдвое больше правильных ответов, чем обычный GPT-5, и при этом была дешевле.

Особенность RLM — они не загружают всю информацию сразу. Модель последовательно изучает части текста, делает подзапросы и строит ответ, избегая потери информации.

Код и подробности доступны на GitHub: rlm. Статья с результатами — на arXiv.

Это простой и перспективный способ масштабирования языковых моделей для сложных задач с большим объемом данных. Изучить проект и попробовать можно по ссылкам.