Релиз GigaChat 3.5 Ultra: гибридное внимание, обучение в FP8 и 432B параметров

Сбер открыл веса новой флагманской модели GigaChat 3.5 Ultra. Это MoE-архитектура на 432 миллиарда параметров, из которых при генерации активны только 28 миллиардов. Модель получилась на 40% компактнее прошлой версии 3.1 Ultra, но обходит ее в написании кода, математике и агентных сценариях. По результатам бенчмарков сеть показывает уровень 685-миллиардной DeepSeek V3.2, будучи в полтора раза меньше.

Главное техническое изменение — переход на гибридную архитектуру внимания. Разработчики совместили стандартные слои MLA с линейным вниманием на базе GatedDeltaNet. За счет этого модель потребляет в четыре раза меньше памяти под KV-кэш на каждый токен. В тот же объем VRAM теперь помещается вдвое больший контекст. Для стабилизации масштаба активаций внедрили собственный механизм GatedNorm. Он заменяет неявные якоря явным мультипликативным гейтом. Скорость генерации выросла в 2.2 раза благодаря двум MTP-головам для предсказания следующих токенов.

Сеть полностью обучали в нативном формате FP8. В пайплайн пост-тренинга добавили стадию Online RL после классических SFT и DPO. Именно этот шаг дал основной прирост в следовании инструкциям. Для быстрого инференса доступна сборка в fp8 на HuggingFace, а также деквантованный чекпоинт в bf16 и GGUF-версии. Подробный разбор архитектурных решений команда опубликовала на Хабре.