Сделали пост про бенмарк: https://keenable.ai/blog/needle-the-benchmark-your-search-engine-can-t-memorize Твит: https://x.com/styskin/status/2092991543368184076 Репо: https://github.com/keenableai/needle TL;DR • Не существовало нормальных бенчей для поисковых движков.
Сделали пост про бенмарк: https://keenable.ai/blog/needle-the-benchmark-your-search-engine-can-t-memorize Твит: https://x.com/styskin/status/2092991543368184076 Репо: https://github.com/keenableai/needle TL;DR • Не существовало нормальных бенчей для поисковых движков. BrowseComp, DeepSearchQA, SimpleQA статичны и сделаны для измерения агентов, и уже давным давно утекли. MTEB, BEIR - для конкретных моделей и алгоритмов, не для движков в целом. • Поэтому пришлось делать нормальный онлайн бенчмарк, в котором каждый день новые свежие запросы. Там 5 источников: новости, научные статьи, финансовые документы компаний, американские судебные дела и логи агентов с HuggingFace. • Внутри компании дофига времени карабкались по этому бенчу, вскарабкались. • Пока карабкались, обнаружили, что конкуренты тырят результаты друг у друга (на картинке). • Кроме нас, нормально работает и карабкается только Exa. Серьёзно, моё уважение к ним за последние месяцы выросло стократно.
| Type | Tool |
| Section | Directories & rankings |
| Site language | en |