autobatcher

github.com
Открыть сайт

Drop-in AsyncOpenAI replacement that transparently batches requests via the Batch API for cheaper LLM inference.

Описание

Характеристики

Тип Репозиторий
КатегорияGitHub-проекты / Из awesome-списка
Цена открытый код
Платформа Своё развёртывание
Системы исходный код
Язык сайтаen
GitHubdoublewordai/autobatcher

Платформы

исходный код

Исходный код

doublewordai/autobatcher

Найден в источниках

github-lists

Похожие в разделе «GitHub-проекты»

anthropics/claude-code
Claude Code за двое суток обновился три раза, 2.1.243, 2.1.245 и 2.1.246, и один пункт там важнее остальных. В 2.1.246 п
comfyanonymous/ComfyUI
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. - Comfy-Org/ComfyUI
ossu/computer-science
🎓 Path to a free self-taught education in Computer Science!
openai/whisper
А вы ведь пользуетесь транскрибаторами? На самом деле это одна из самых простых и бустящих вашу продуктивность штук. Я
huggingface/transformers
Наконец доехал техрепорт по DiffusionGemma. Мне нравится подход команды, они регулярно берут какую-то из базовых Gemma и
hiyouga/LLaMA-Factory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024) - hiyouga/LlamaFactory

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.