Бенчмарк и лидерборд для ИИ-агентов, чинящих реальные issue из GitHub-репозиториев
Официальные лидерборды с метрикой % Resolved; сравнение моделей между собой, срезы по репозиториям и языкам, графики «решено vs стоимость», «решено vs дата релиза модели», распределения по стоимости и числу шагов; фильтр open-weights моделей; экспорт выборки в JSON/PNG; сопутствующие проекты SWE-agent, mini-SWE-agent, SWE-smith, SWE-ReX, SWE-bench CLI, CodeClash, ProgramBench.
| Тип | Другое |
| Категория | Каталоги и рейтинги / Бенчмарки для кодовых агентов |
| Цена | открытый код |
| Системы | web |
| Хостинг | cloud |
| Установка | none |
| Для кого | исследователи ИИ, разработчики кодовых агентов, ML-инженеры, авторы моделей |
| Язык сайта | en |
| Вендор | SWE-bench team |
| GitHub | SWE-bench/SWE-bench |