shimmytok

github.com

Открыть сайт

Pure-Rust tokenizer for GGUF models, compatible with llama.cpp tokenization.

Описание

Характеристики

Тип	Репозиторий
Категория	GitHub-проекты / Из awesome-списка
Цена	открытый код
Платформа	Своё развёртывание
Системы	исходный код
Язык сайта	en
GitHub	Michael-A-Kuykendall/shimmytok

Платформы

исходный код

Исходный код

Michael-A-Kuykendall/shimmytok

Найден в источниках

Похожие в разделе «GitHub-проекты»

anthropics/claude-code

Claude Code за двое суток обновился три раза, 2.1.243, 2.1.245 и 2.1.246, и один пункт там важнее остальных. В 2.1.246 п

comfyanonymous/ComfyUI

The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. - Comfy-Org/ComfyUI

ossu/computer-science

🎓 Path to a free self-taught education in Computer Science!

А вы ведь пользуетесь транскрибаторами? На самом деле это одна из самых простых и бустящих вашу продуктивность штук. Я

huggingface/transformers

Наконец доехал техрепорт по DiffusionGemma. Мне нравится подход команды, они регулярно берут какую-то из базовых Gemma и

hiyouga/LLaMA-Factory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024) - hiyouga/LlamaFactory