vllm-project/vllm

⚡️ Полезный список лучших инструментов, чтобы запускать мощные LLM полностью бесплатно и локально на своём ноутбуке. Сейчас это №1 в трендах GitHub. 1. AnythingLLM All-in-one workspace для чата с документами и создания агентов http://github.com/Mintplex-Labs/anything-llm 2. KoboldCpp Лёгкий инструмент, особенно хорош для creative writing и сценариев с персонажами http://github.com/LostRuins/koboldcpp 3. llama.cpp Базовый движок. Очень эффективный и запускается почти на любом железе http://github.com/ggml-org/llama.cpp 4. Open WebUI Удобный веб-интерфейс в стиле ChatGPT, отлично работает с Ollama http://github.com/open-webui/open-webui 5. GPT4All Простое desktop-приложение со встроенным чатом по документам http://github.com/nomic-ai/gpt4all 6. LocalAI OpenAI-compatible API, который работает на разном железе и поддерживает много backend’ов http://github.com/mudler/LocalAI 7. vLLM Быстрый inference engine, когда нужны более быстрые ответы и работа в масштабе http://github.com/vllm-project/vllm @data_analysis_ml