Открытый локальный AI-движок с OpenAI-совместимым API — GPU не обязателен

Description

OpenAI-совместимый локальный API поверх сменных бэкендов (llama.cpp, vLLM, SGLang, MLX); совместимость с API Anthropic, Ollama и ElevenLabs; языковые модели с вызовом инструментов и структурированным выводом; распознавание и синтез речи, диаризация, клонирование голоса; зрение, детекция, распознавание, глубина, 3D; генерация изображений, видео, музыки и звука; агенты, MCP-приложения, RAG; галерея из 1255 моделей; распределённый и федеративный запуск с автоскейлингом и отказоустойчивостью

Installation

Installs into

binary, Docker, CPU и GPU-сборки

Not sure where to start — ask an assistant to walk you through:

Specs

Type	Framework
Section	MCP clients
Pricing	open source
Systems	x86_64, arm64, cuda, rocm, sycl, metal, vulkan
Hosting	self-hosted
Install	self-host
Installs into	binary, Docker, CPU и GPU-сборки
Who for	разработчики, self-hosted энтузиасты, команды, которым нужен приватный инференс без дата-центра
Site language	en
Vendor	LocalAI (mudler)
GitHub	mudler/LocalAI