vllm-project/vllm
github.com
Слушайте, а неплохой этот ваш vLLM для сервинга llm и vllm Нужно было поднять мой джентельменский набор из qwen2-vl и florence2.
Слушайте, а неплохой этот ваш vLLM для сервинга llm и vllm Нужно было поднять мой джентельменский набор из qwen2-vl и florence2. Получилось почти без боли Есть готовый запуск с докера У меня, чуток устаревшие драйвера видеокарты 🫠 , и докер не завелся. Кажись, тут можно поменять версию куды , но не хотел ждать сборку. Поставил в весьма венв с помощью uv (чтобы нормально зависимости зарезолвилсиь), и всё заработало Вообще там куча оптимизаций (всякие кеши), а также квантизация. Выглядит здорово #tool
