vllm-project/vllm

⚡️ GigaChat 3 Lightning в GGUF: максимум скорости для локального запуска Мы подготовили три официальные сборки модели. Теперь вы можете выбрать оптимальный баланс между скоростью и качеством под ваше железо: 🔘 bf16 - Максимальное качество и стабильность. 🔘 q8_0 - Золотая середина: отличное качество при меньшем потреблении памяти. 🔘 q6_k - Оптимально для ноутбуков и домашних ПК: высокая скорость и экономия памяти без заметного снижения качества генерации. 💻 Function Calling Мы расширяем поддержку функционала в популярных инструментах: 🔘 vLLM: Официально появится в следующем релизе >0.12.0. Уже сейчас работает в dev-сборке (от коммита 21bb323 ) с флагом --tool-call-parser gigachat3 . 🔘 SGLang: Подготовили временное решение, доступное в отдельной ветке. 🔘 llama.cpp: Отправили PR с полноценной реализацией. В текущей версии вызов функций работает с ограничениями — инструкция доступна в описании модели на HuggingFace. Мы продолжаем работу над интеграцией GigaChat 3 Lightning в экосистему open-source инструментов. Следите за обновлениями — впереди ещё больше возможностей для локального запуска и кастомизации. 🧭 Делитесь опытом использования и задавайте вопросы — ваш фидбэк помогает делать модель лучше! ➡️ HuggingFace ⬅️