Обзор движков для инференса LLM LLM-движок размещает веса и KV cache, собирает запросы в батчи, выбирает ядра и держит
Пришлите ссылку — остальное мы выясним сами.
Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.
Расскажите про задачу — подберём инструменты и подскажем, с чего начать.
Поля со звёздочкой обязательны. Данные используются только для ответа.