collections/incoai/dflash-2

huggingface.co

Открыть сайт

Qwen3.8-27B теперь работает со скоростью 70 токенов/с прямо на ноутбуке. Вышел DFlash 2 — новое поколение спекулятивно

Qwen3.8-27B теперь работает со скоростью 70 токенов/с прямо на ноутбуке. Вышел DFlash 2 — новое поколение спекулятивного декодирования на основе блочной диффузии. DFlash 2 разгоняет Qwen3.8-27B до 70 токенов/с на MacBook Pro с M5 Max. Ускорение авторегрессионного декодирования достигает 4,6 раза, а итоговый вывод остаётся полностью идентичным исходной модели — буквально ни одного отличающегося токена. ⚡️ Уже доступны новые черновые модели для Qwen3.8-27B с нативной поддержкой SGLang, vLLM, llama.cpp и oMLX. Суть подхода: https://inco.ai/blog/dflash2/

Характеристики

Тип	Инструмент
Категория	Модели и платформы
Язык сайта	en

Найден в источниках

Похожие в разделе «Модели и платформы»

Cost-efficient open-source MoE model rivaling GPT-4o in reasoning and math tasks

Открытые модели рассуждения и кода, сопоставимые с топовыми закрытыми.

Европейские открытые и коммерческие модели, Le Chat и Codestral.

Claude Chrome расширение ну очень любопытное, разбираю кейсы С расширением Claude для хрома можно сделать много чего и

Хаб моделей и датасетов: миллионы весов, Spaces, Transformers.

Передовая мультимодальная AI-платформа от ByteDance с современными языковыми, визуальными и речевыми моделями, а также интегрированными возможностями рассуждения и поиска.