Каждый релиз новой открытой языковой модели сопровождается заявлениями о победе над проприетарными лидерами. Когда вышла Kimi K2 Thinking, маркетинг обещал превосходство над GPT-5 и Claude Sonnet 4.5. Реальность выглядит иначе, если оценивать качество на свежих бенчмарках, вышедших строго после релиза. Исключение риска переобучения на тестовых данных показывает настоящую расстановку сил.

Ретроспективный анализ 16 независимых тестов полностью разрушает миф о паритете. В 13 случаях Kimi K2 Thinking уступает закрытым моделям. В семи тестах отставание превышает 10 процентных пунктов. Самый жесткий провал наблюдается в агентском программировании. На задачах формата SWE-Bench среднее падение метрики Pass@1 достигает 24.8%. Открытая модель проваливает четверть задач, которые легко решают коммерческие флагманы на чистых данных.

Разрыв возникает из-за разницы в ресурсах на оценку качества. Топовые лаборатории собирают тысячи скрытых внутренних тестов. Разработчики открытых весов вынуждены парсить публичные датасеты, невольно оптимизируя модели под известные бенчмарки. ИИ-модель всегда остается лишь отражением своих тренировочных данных. Теперь этот же строгий фильтр предстоит пройти новым DeepSeek v4 Pro и Kimi K3, чтобы доказать практическую пользу вне красивых отчетов.