salute-developers/gigachat3

🏆 GigaChat 3 Ultra Preview & Lightning: открытые MoE-модели нового поколения В этом году мы уже радовали вас новой линейкой GigaChat 2, добавлением Reasoning в наш Web ( giga.chat ), опенсорсом GigaChat Lite и Giga-Embeddings и первым местом на бенчмарке ruMTEB. Что нового в этот раз? Впервые в России обучены MoE-модели такого масштаба полностью с нуля — без зависимости от зарубежных весов. Обучение огромных MoE-модели требует не только колоссальных вычислительных ресурсов, но и решения множества инженерных вызовов: от нестабильности вычислений с плавающей точкой до оптимизации межузловой коммуникации и балансировки нагрузки между экспертами. Поэтому сегодня мы открываем веса двух флагманских MoE-моделей — GigaChat 3 Ultra Preview (702B-A36B) и GigaChat 3 Lightning (10B-A1.8B) — полностью доступных сообществу с лицензией для коммерческого использования. GigaChat 3 Ultra Preview 🔘 702B параметров ( 36B активных на токен) 🔘 Работает быстрее GigaChat 2 Max 🔘 Топ-1 на MERA 🔘 Поддерживает контекст в 131 тысячу токенов ⚡️ Модель продолжает обучение — финальная версия будет еще мощнее! ➡ GitVerse | HuggingFace | GitHub GigaChat 3 Lightning 🔘 10B параметров ( 1.8B активных) 🔘 Достигла уровня лидера open-source своего класса — Qwen3-4B со скоростью генерации в 1.5 раз выше, как у Qwen3-1.7B 🔘 Идеальна в качестве легковесного помощника для локального использования (офлайн-ассистент, прототипирование) 🔘 Поддерживает контекст в 256 тысяч токенов ➡ GitVerse | HuggingFace | GitHub Обе модели • Не являются reasoning моделями • Умеют предсказывать сразу несколько токенов • Другой вид механизма внимания снижает размер KV cache • Обучены с нуля — без инициализации чужими весами • Открытые веса и лицензия c возможностью коммерческого использования • Полностью совместимы с Hugging Face , vLLM / SGLang и стандартными пайплайнами ✈️ Подробнее можно прочитать в статье на Habr .