SAM2Matting: раздельная архитектура трекинга и построения альфа-масок на базе SAM3

Архитектура SAM2Matting обходит главную проблему кеинга в динамике — конфликт между стабильным покадровым трекингом и проработкой мелких деталей альфа-канала. Исследователи из Университета Фудань отказались от обучения тяжелых сквозных моделей на узких видеодатасетах и полностью разделили эти задачи.

В основе фреймворка лежит связка базовой модели (SAM2.1 или SAM3) и кастомной matting-головы. Трекер выдает временную маску, а ROI-детектор находит зоны, требующие точного просчета — полупрозрачность, волосы или размытие в движении. После этого Progressive Alpha Predictor итеративно уточняет маску от грубых контуров к деталям. Специфика пайплайна в том, что компоненты, отвечающие за альфу, обучались исключительно на статичных изображениях.

Несмотря на отсутствие видео в обучающей выборке, система выдает высшие метрики на видеодатасетах в режиме zero-shot, сохраняя темпоральную консистентность. В среде VFX-специалистов инструмент уже обсуждают как открытую альтернативу коммерческим решениям для ротоскопинга вроде CorridorKey. В репозитории проекта и на Hugging Face доступны веса для трех вариантов трекера, при этом версия на базе SAM3 демонстрирует максимальную устойчивость на сценах с быстрым движением и сложным фоном.