ShapeUP: точное редактирование 3D-моделей по 2D-референсу без разрушения исходной геометрии

Нативное редактирование 3D-ассетов без костылей — большая редкость. Обычно генераторы либо полностью ломают исходную форму, либо требуют долгой оптимизации для каждого ракурса. ShapeUP решает эту проблему изящно и на уровне архитектуры. Это новый фреймворк для изменения геометрии и текстур по одному 2D-референсу.

В основе системы лежит 3D Diffusion Transformer (DiT). Процесс выстроен как прямой перевод из латента в латент: исходный меш кодируется, а затем через LoRA-адаптеры модель применяет визуальные изменения с промпта. Самое крутое здесь — маски больше не нужны. Если алгоритму поручили дать персонажу меч или превратить его броню в воксели, нетронутые участки модели останутся структурно идентичными оригиналу.

К проекту приложили руку исследователи из Тель-Авивского университета и Runway. Для обучения они собрали собственный датасет BenchUp, где алгоритм тренировали на тройках данных: исходная форма, измененный 2D-рендер и финальный 3D-объект. Пока конкуренты борются с визуальным дрейфом, этот подход выдает жесткую геометрическую консистентность! Репозиторий с кодом и техническая статья открыты для экспериментов.