collections/incoai/dflash-2

huggingface.co
Visit site

Qwen3.8-27B теперь работает со скоростью 70 токенов/с прямо на ноутбуке. Вышел DFlash 2 — новое поколение спекулятивно

Qwen3.8-27B теперь работает со скоростью 70 токенов/с прямо на ноутбуке. Вышел DFlash 2 — новое поколение спекулятивного декодирования на основе блочной диффузии. DFlash 2 разгоняет Qwen3.8-27B до 70 токенов/с на MacBook Pro с M5 Max. Ускорение авторегрессионного декодирования достигает 4,6 раза, а итоговый вывод остаётся полностью идентичным исходной модели — буквально ни одного отличающегося токена. ⚡️ Уже доступны новые черновые модели для Qwen3.8-27B с нативной поддержкой SGLang, vLLM, llama.cpp и oMLX. Суть подхода: https://inco.ai/blog/dflash2/

Specs

Type Tool
SectionModels & platforms
Site languageen

Found in sources

telegram

Similar in «Models & platforms»

DeepSeek V3
Cost-efficient open-source MoE model rivaling GPT-4o in reasoning and math tasks
DeepSeek
Open reasoning and coding models on par with the top closed ones.
Mistral AI
European open and commercial models, Le Chat and Codestral.
sider.ai
Research faster with Sider AI—summarize web pages, take notes, generate reports, and chat with leading AI models. Powered by ChatGPT, Gemini, Claude, Grok, Deepseek, etc. Try the best AI sidebar now!
Hugging Face
The hub of models and datasets: millions of weights, Spaces, Transformers.
doubao.com
Передовая мультимодальная AI-платформа от ByteDance с современными языковыми, визуальными и речевыми моделями, а также интегрированными возможностями рассуждения и поиска.

Submit a site to the catalog

Just send the link — we will work out the rest.

We will review what you send and add it to the catalog if it fits.

Not sure how to implement it? We can help

Tell us about your task — we will pick the tools and suggest where to start.

0 / 5000
Verification code

Fields marked with an asterisk are required. Your data is used only to reply.