Kyutai и MireloAI выпустили MuScriptor: открытую модель для транскрибации сведенных треков в мульти-MIDI

Kyutai совместно с MireloAI выпустили MuScriptor — открытую модель для автоматической транскрибации музыки. Нейросеть берет готовый сведенный микс и раскладывает его на отдельные MIDI-партии. Алгоритму не нужны исходные мультитреки, чтобы уверенно вытащить из плотной аранжировки барабаны, бас, клавишные и вокал.

Прошлые попытки создать подобный инструмент упирались в проблему обучающих данных. Модели, натренированные исключительно на синтетике, выдавали нечитаемый результат при столкновении с реальным студийным мастерингом и сложными частотными конфликтами. Разработчики MuScriptor решили это через трехэтапное обучение: базовый претрейн на синтетических данных, файн-тюнинг на реальных записях и финальная корректировка с помощью обучения с подкреплением.

В архитектуру добавили механизм кондиционирования, который позволяет напрямую указывать алгоритму, наличие каких именно инструментов нужно искать в аудио. Веса MuScriptor полностью открыты для сообщества. Это дает разработчикам музыкального софта и саунд-продюсерам готовый рабочий пайплайн для точного реверс-инжиниринга сложных коммерческих аранжировок.