Новый взгляд на AI-рассуждения: Looped Language Models — что это и зачем?

Совсем свежак из мира больших языковых моделей! Команда из 33 исследователей представила Ouro, модель с прикольной фишкой — она учится думать не просто по цепочке, а в цикле, прямо во время обучения.

Вместо того чтобы надеяться на постобработку в стиле chain-of-thought, Ouro прокачивает рассуждения в скрытом пространстве модели. Это как если бы мозг не просто шел по шагам, а возвращался назад и подкручивал ответы, пока не станет уверен.

В реальных тестах модели с 1.4 и 2.6 миллиардами параметров показывают результаты на уровне 12-миллиардных топов — и все это без увеличения объема знаний, а благодаря более умелой работе с ними. Круто то, что их рассуждения выглядят естественнее и ближе к финальному ответу, чем у классических цепочек мыслей.

Если интересно заглянуть под капот и попробовать самим — все есть в открытом доступе на официальном сайте проекта.

В общем, если вы работаете с ИИ или просто любите разбираться в новых подходах, стоит взглянуть на эту работу. Развитие идёт вперед, и такие модели могут поменять игру с большим языковым интеллектом.

Кто уже экспериментировал с LoopLM? Делитесь мыслями и наблюдениями!