Lift4D: 4D-реконструкция деформируемых объектов из монокулярного видео через 3D Gaussian Splatting

Восстановление движущихся объектов из плоского видео обычно ломается на перекрытиях. Фреймворк Lift4D решает эту проблему через тест-тайм оптимизацию. Он собирает полную 360-градусную геометрию, текстуры и нежёсткие деформации по одному монокулярному ролику. Алгоритм достраивает даже те ракурсы, которые вообще не попали в объектив камеры.

Технически пайплайн опирается на адаптацию одноракурсной 3D-модели. Она выдает покадровые предсказания, а временная стабильность достигается через causal latent conditioning. Эти данные инициализируют деформируемое представление на базе 3D Gaussian Splatting.

Дальше геометрия вылепливается под исходное видео с учетом перекрытий. Слепые зоны заполняются с помощью диффузионного прайора. Модель генерирует правдоподобную поверхность там, где алгоритму не хватает визуальных данных. Подход стабильно работает на сложных сценах с сильными искажениями и быстрым нелинейным движением объектов.