lmarena/arena-hard-auto

github.com
Открыть сайт

Релиз GigaChat MAX! (ссылка на Хабр) Салют! Мы открываем доступ к модели GigaChat MAX . Модель доступна в @gigachat_bo

Релиз GigaChat MAX! (ссылка на Хабр) Салют! Мы открываем доступ к модели GigaChat MAX . Модель доступна в @gigachat_bot , в веб-версии и через публичное API (в режиме раннего доступа). - GigaChat MAX занимает 3 место в бенчмарке MERA. Сразу за gpt-4o и Llama-405B. - GigaChat-Max достигает 92% правильных ответов на GSM-8k, 80% на MMLU и 75% на MMLU-RU. - По результатам SBS, где учитывается красота ответов, мы выигрываем в 61% случаев у GPT-4 turbo и в 67% случаев у YaGPT-4 Pro. - В Arena-Hard мы достигаем 51% скора против GPT-4-0314 - В Vkhr Arena-General-RU мы достигаем 90 % , в то время как YaGPT-4 Pro достигает 59 % . Чтобы узнать про то, как мы делали модель, переходите на статью в хабре. Предыдущие посты: — GigaChat Pro. Технические детали, сдача ЕГЭ и сравнение с конкурентами — GigaChat обогнал по качеству ChatGPT и расширил контекст до 32 тысяч токенов

Характеристики

Тип Инструмент
КатегорияКаталоги и рейтинги
Платформа Командная строка
Системы cli, api, web
Язык сайтаen

Платформы

Найден в источниках

Похожие в разделе «Каталоги и рейтинги»

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.