spaces/mteb/leaderboard

Релиз Giga-Embeddings-instruct ! ( ссылка на hugging-face ) Мы выложили в открытый доступ эмбеддинг модель Giga-Embeddings-instruct . Giga-Embeddings-instruct занимает 2-ое(*) место в бенчмарке ruMTEB . Следующая после нас модель это e5-mistral-7b-instruct , которая имеет в 3 раза больше параметров (~7Б у mistral, –2.5B у нас). Размер контекста модели 4096. Более 60 различных источников данных были использованы для обучения модели. Модель можно использовать для всех типов дискриминативных задач – классификация, поиск, ранжирование, и т.д. За основу мы взяли GigaChat-pretrain-3B , заменили внимание с decoder на encoder , в качестве агрегации использовали Latent Attention Pooling . (*) Модель на первом месте пока не выложена в опенсорс на момент написания поста 27.12.