LiteLLM

litellm.ai
На карте связей Открыть сайт

Открытый AI-шлюз: весь стек моделей за одним OpenAI-совместимым ключом, self-hosted.

Описание

Маршрутизация запросов к разным LLM-провайдерам через единый API; управление виртуальными ключами и секрет-менеджерами; учёт и ограничение трат (в том числе tag-based); фолбэки между моделями; логирование запросов и ответов, метрики Prometheus; в Enterprise — SSO и SCIM, OIDC/JWT-аутентификация, аудит-логи, ротация ключей, RBAC, мультирегиональный control plane и поддержка с SLA до 24/7.

LiteLLM — это комплексное решение-шлюз для LLM, упрощающее доступ к более чем 100 языковым моделям от различных провайдеров, включая OpenAI, Anthropic, Azure, Bedrock, VertexAI и другие. Система стандартизирует все взаимодействия через формат, совместимый с OpenAI, устраняя необходимость в специфичном коде для каждого провайдера. Платформа предлагает как open-source Python SDK, так и прокси-сервер (LLM Gateway), который обрабатывает трансляцию входных данных, единый формат вывода и продвинутые функции, такие как отслеживание расходов, бюджетирование и резервирование. LiteLLM доверяют такие компании, как Netflix, Lemonade и RocketMoney, позволяя командам быстро интегрировать новые модели с сохранением контроля и мониторинга использования LLM.

Установка

Не знаете, с чего начать — попросите ассистента провести по шагам:

Возможности

Универсальный доступ к моделям
Стандартизированный доступ к 100+ LLM от ведущих провайдеров, включая OpenAI, Anthropic, Azure, Bedrock и других, всё через единый интерфейс, совместимый с OpenAI.
Комплексное управление расходами
Встроенное отслеживание, бюджетирование и лимитирование, которые можно настраивать для каждого проекта, API-ключа или модели, чтобы контролировать расходы на LLM.
Надёжные функции устойчивости
Продвинутая логика повторных попыток и резервирования между разными LLM-деплойментами, обеспечивая устойчивость приложений даже при недоступности основных моделей.
Корпоративная наблюдаемость
Расширенное логирование и мониторинг с интеграциями в популярные инструменты, такие как Prometheus, Langfuse, OpenTelemetry и облачные хранилища.
Гибкие варианты развертывания
Доступно как Python SDK для прямой интеграции, так и как прокси-сервер для корпоративного использования, с поддержкой Docker для контейнеризации.

Сценарии использования

Корпоративная LLM-инфраструктура
Платформенные команды могут предоставлять разработчикам контролируемый доступ к последним LLM-моделям с первого дня, сохраняя управление использованием и расходами.
Мульти-модельные приложения
Разработчики могут создавать приложения, использующие несколько LLM для разных задач, без необходимости реализовывать код для каждого провайдера отдельно.
Оптимизация затрат на AI-системы
Организации могут реализовать интеллектуальный роутинг между премиальными и экономичными моделями в зависимости от задач и бюджета.
Высокодоступные AI-сервисы
Критически важные AI-приложения могут поддерживать работоспособность благодаря автоматическим переключениям между провайдерами при сбоях основных моделей.
Централизованное управление LLM
Команды по безопасности и соответствию могут внедрять единые политики аутентификации, логирования и использования для всех LLM-взаимодействий в организации.

Частые вопросы

LiteLLM — это open-source шлюз для LLM, который позволяет обращаться к 100+ языковым моделям через стандартизированный формат, совместимый с OpenAI. Включает Python SDK и прокси-сервер, обрабатывающий трансляцию входных данных, единый формат вывода и функции, такие как отслеживание расходов и резервирование.

LiteLLM поддерживает более 100 LLM от таких провайдеров, как OpenAI, Anthropic, Azure, AWS Bedrock, Google VertexAI, Cohere, Hugging Face, TogetherAI, Replicate и других.

LiteLLM преобразует ваши запросы в формат, необходимый каждому провайдеру, для completion, embedding и image generation, а затем стандартизирует ответы для единообразной структуры вне зависимости от провайдера модели.

Да, LiteLLM предлагает комплексное отслеживание расходов, настройку бюджета и лимитирование, которые можно задавать для каждого проекта, API-ключа или модели, помогая организациям контролировать расходы на LLM.

LiteLLM реализует логику повторных попыток и резервирования между разными LLM-деплойментами, позволяя вашему приложению автоматически переключаться на резервные модели, если основная недоступна.

Да, LiteLLM используется такими компаниями, как Netflix, Lemonade и RocketMoney. Он предлагает корпоративные функции: SSO, профессиональную поддержку, индивидуальные SLA и интеграции с системами наблюдаемости.

LiteLLM можно развернуть как Python SDK прямо в коде, как прокси-сервер для организации или через Docker-контейнеры. Также доступен как управляемый сервис через AWS Marketplace для корпоративных клиентов.

Да, LiteLLM поддерживает потоковые ответы для всех моделей. Просто передайте 'stream=True' в запросе completion, чтобы получить потоковый итератор в ответе.

Характеристики

Тип Инструмент
КатегорияИнфраструктура и MLOps / LLM-шлюз и прокси
Цена открытый код
Платформа Веб + десктоп
Системы macos, docker, api, web
Хостингself-hosted
Установкаself-host
Для когоПлатформенные и инфраструктурные команды, которые дают доступ к LLM всей организации, компании с требованиями к комплаенсу и изолированным контурам, разработчики, не желающие завязываться на одного провайдера
Язык сайтаen
ВендорBerriAI (Berrie AI Incorporated)
GitHubBerriAI/litellm
Просмотры634 931

Умеет

agents api webhooks fine-tuning self-hosted embeddings

Интеграции

claude teams GitHub gemini openai slack anthropic aws azure jira postgres gitlab GCP

Платформы

api web macos docker

Теги

agents api webhooks embeddings self-hosted fine-tuning

Соцсети

GitHub Discord

Исходный код

BerriAI/litellm

Найден в источниках

curated moge

Похожие в разделе «Инфраструктура и MLOps»

AWS
Облако Amazon: Bedrock, SageMaker и инфраструктура под большинство AI-сервисов.
HPE GreenLake
Комплексная edge-to-cloud платформа, предоставляющая гибкую ИТ-инфраструктуру и управление как услуга для гибридных сред.
Langfuse
LLM engineering platform for observability and metrics
Needle
The Cursor for Tools and Knowledge.
CrewAI
Automate complex tasks with AI agents working together.
Vessium
Automate complex business tasks by describing them in plain words.

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.