GigaChat Audio в опенсорсе: как Сбер решает проблему длинного контекста

Принято считать, что открытые LLM давно справились с распознаванием речи и анализом аудио. Но стоит загрузить запись длиннее десяти минут, как начинаются галлюцинации и потеря контекста. Сбер выложил в опенсорс GigaChat Audio, заявив поддержку аудиофайлов длительностью до 120 минут. Разработчики утверждают, что модель не просто транскрибирует, но и отвечает на вопросы с явной привязкой к таймкодам. Заявка серьезная, учитывая, как тяжело дается временное позиционирование большинству существующих систем.

Под капотом архитектура перемешивает периодические маркеры времени с непрерывными аудиотокенами. Обучали пайплайн на массивных синтетических данных, а результаты тестирования описали в статье для Interspeech. Параллельно с этим выпущен GigaAM Multilingual — стек из аудио-энкодера и CTC ASR. Здесь фокус прагматично сместили на поддержку русского, казахского, киргизского и узбекского языков. Энкодеру скормили два миллиона часов речи, пытаясь закрыть слепую зону западных моделей, которые традиционно плохо справляются с языками СНГ.

Выбор региональных языков выглядит как грамотная адаптация под локальный рынок, где конкуренции почти нет. Вопрос в том, насколько тяжело будет развернуть эту инфраструктуру локально. Веса моделей уже доступны на Hugging Face в виде связки из 10-миллиардной языковой модели и аудио-энкодера на 1.8 миллиарда параметров. Остается проверить, сохранится ли заявленная точность временной привязки на реальных шумных созвонах, потому что высокие метрики на синтетических бенчмарках часто разбиваются о суровую реальность продакшена.