Скрытый горизонт ИИ-агентов: модели предсказывают успешность кода до его написания

В новом исследовании Latent Programming Horizons in Coding Agents авторы проанализировали внутренние состояния ИИ-агентов. Оказалось, модель предвидит результат генерации до написания кода. Резидуальные потоки линейно кодируют свойства изменяемой программы. Агент заранее знает, скомпилируется ли будущий скрипт и пройдет ли он тесты.

Для анализа взяли открытые модели Qwen3.6-35B-A3B и Laguna-XS.2. Тестирование провели на 1231 задаче из бенчмарков SWE-Bench Verified и Pro. Исследователи собрали данные 22 714 запусков агента. Зафиксировали почти 80 тысяч фактических изменений кода. Медианная сессия требовала 52 шага и 36 тысяч токенов. Скрытые состояния анализировали через зондирование логистической регрессией.

Точность предсказания корректности кода по внутренним слоям достигает 0.83 AUC. Главное открытие — внутренние представления опережают реальные правки. Зонды предсказывают исход будущих изменений за 25 шагов. Модель знает результат до сохранения финального кода на диск. Авторы назвали этот эффект скрытым горизонтом программирования. Обученные классификаторы успешно работают на новых бенчмарках без дообучения.