bayramannakov/oss-migration-eval

github.com
Открыть сайт

В последнее время все актуальнее вопрос: а может перейти на open source модель и снизить зависимость/убрать риски, ну или сэкономить —> сделал для вас скилл по мотивам ответа на такой же вопрос для своих пайплайнов: https://github.com/BayramAnnakov/oss-migration-eval что делает: 1) анализирует самые "жирные" пайплайны 2) определяет, по какой метрике будем сравнивать модели (что такое "правильно") 3) составляет "золотой датасет", чтобы заранее определить, на каких кейсах б

В последнее время все актуальнее вопрос: а может перейти на open source модель и снизить зависимость/убрать риски, ну или сэкономить —> сделал для вас скилл по мотивам ответа на такой же вопрос для своих пайплайнов: https://github.com/BayramAnnakov/oss-migration-eval что делает: 1) анализирует самые "жирные" пайплайны 2) определяет, по какой метрике будем сравнивать модели (что такое "правильно") 3) составляет "золотой датасет", чтобы заранее определить, на каких кейсах будем сравнивать 4) берет шортлист кандидатов на основе лидербордов artificialanalysis (по качеству) и openrouter (по популярности) 5) прогоняет модели, считает точность на золотом датасете 6) (опционально) может погонять в режиме autoresearch промпты, чтобы даже на слабой модельке добиться гуд результатов 7) и советует что брать :) удачи! P.S. до выхода kimi k3 на моих пайплайнах победила kimi k2.6 P.P.S. для запуска claude code с kimi k3 можно юзать эту инструкцию

Характеристики

Тип Инструмент
КатегорияПродажи и CRM
Язык сайтаen

Найден в источниках

Похожие в разделе «Продажи и CRM»

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.