Веса Kimi K3 в открытом доступе: 2.8 триллиона параметров, которые не на чем запускать

Понятие открытого исходного кода в машинном обучении становится всё более условным. Moonshot AI опубликовали веса Kimi K3 — гигантской мультимодальной модели на 2.8 триллиона параметров. Под капотом работает архитектура Mixture-of-Experts: из 896 экспертов на каждый токен активируются 16, что даёт около 104 миллиардов активных параметров. Модель понимает текст, изображения и видео, держит в контексте миллион токенов и в бенчмарках уверенно бодается с GPT-5.6 Sol и Claude Fable 5.

Но кто на практике сможет использовать эти открытые веса? Чтобы просто загрузить Kimi K3, понадобится серверная стойка уровня DGX B300 с парой терабайт видеопамяти. Для подавляющего большинства разработчиков этот релиз ничем не отличается от выхода закрытого продукта, потому что взаимодействовать с агентом всё равно придётся исключительно через API. Декларируемая демократизация ИИ ожидаемо разбивается о суровые аппаратные лимиты.

Настоящая польза релиза скрыта в техническом отчёте компании. Moonshot AI не просто вывалили чекпоинты, а детально описали фреймворк Stable LatentMoE и механизм Kimi Delta Attention. Пока сообщество пытается придумать, как экстремально квантовать и запускать эту модель по частям, исследователи получили подробный разбор того, как заставить работать архитектуру такого масштаба без критических потерь в эффективности.