На неделе вышла Kimi K3, это большая модель и большое событие. По замерам создателей модели в некоторых бенчмарках обход
На неделе вышла Kimi K3, это большая модель и большое событие. По замерам создателей модели в некоторых бенчмарках обходит даже Fable 5 и GPT-5.6, а модели чуть старше (Opus 4.8 и GPT-5.5 👴 ) вообще отстают. Так выходит и по AA Intelligence Index (набору из примерно 10 бенчмарков, часть из которых собственного производства и совсем свежие), а на арене, где голосуют люди, во фронтенде Kimi оторвалась от Fable прям заметно и впервые опенсурсная модель возглавила рейтинг. Kimi K3 следует логике Anthropic и увеличивает модель до 2.8 триллиона параметров (до этого крупнейшие открытые модели были около 1.6T, почти в два раза меньше). Сами веса, а также детальный технический отчёт, выложат до конца месяца. Пока у нас есть лишь общие сведения об архитектуре — используется собственный вариант оптимизированного механизма внимания Kimi Delta Attention (KDA), а также Attention Residuals, который мб разберу позже. На удивление нет mHC (хотя AttnRes частично перекликается с ним), как у DeepSeek. По ощущениям, модель очень заточили на фронтенд/веб-разработку и особенно на 3D: именно примеры этого мелькают в ленте твиттера и обильно представлены на сайте. Рекомендую полистать блог , действительно впечатляет. По цене модель как Claude Sonnet: $3/$15. Но модель очень разговорчивая, поэтому на практике может стоить дорого: на уже упомянутом AA Intelligence Index прогон на всех бенчмарках стоит столько же, сколько GPT-5.5 xhigh и в два раза дроже GPT-5.6 Sol High 😳 (но дешевле Opus и Sonnet). Правда OpenRouter показывает скорость 23 токена в секунду в официальном API, то есть ощутимо медленнее проприетарных моделей. Возможно, ситуация и с ценой, и со скоростью улучшится, когда выпустят веса — придут провайдеры, а заодно покажут, сколько стоит разворачивать такую модель. Мысли по поводу того, правда это Fable/5.6 или нет, напишу позже (TLDR: нет).