flashml-org/freetoken

Офигеть, теперь даже игровой ПК может запускать передовые модели с интерактивной скоростью, используя официальные веса без экстремального квантования. Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах. В статье они показывают очень впечатляющие результаты: Qwen3.6 35B → ноутбук с RTX 4060 8 ГБ → 39 токенов/с DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенов/с GLM-5.2 753B → RTX PRO 6000 → 15 токенов/с По сравнению с Ollama скорость генерации выше в 3–4 раза, а обработка входного контекста — в 6–30 раз быстрее. То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду. И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье. Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе. Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти. FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU. На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe. Есть даже отдельный Agent State Cache. Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста. FreeToken поставляется с полноценным графическим интерфейсом. Не нужно конвертировать модели в GGUF или собирать проект из исходного кода. Также в FreeToken Desktop уже встроены агентные обвязки - выбираете модель, выбираете приложение и запускаете. https://arxiv.org/abs/2608.16157