ИИ-агенты справились с 2.5% реальных задач с биржи фрилансеров Исследователи из Center for AI Safety и Scale AI проверили, могут ли ведущие ИИ-агенты заменить фрилансеров.
ИИ-агенты справились с 2.5% реальных задач с биржи фрилансеров Исследователи из Center for AI Safety и Scale AI проверили, могут ли ведущие ИИ-агенты заменить фрилансеров. Они собрали 240 реальных проектов с Upwork — от создания игр до архитектурных чертежей и составления диаграмм — и создали бенчмарк Remote Labor Index . На этом бенчмарке протестировали популярные модели. Сбор данных выглядел так: когда-то реальный заказчик дал задание фрилансеру, тот выполнил работу, клиент остался доволен и заплатил. Спустя время исследователи купили у фрилансера копию этого проекта. Теперь для теста они выдали то же самое задание и те же файлы ИИ-агентам. Работа профессионала тут играет роль "правильного ответа" — это подтверждённая рынком планка качества, которую реальный заказчик счёл достойной оплаты. Лучший результат у Manus - он выполнил 2.5% проектов, Grok 4 и Sonnet 4.5 — по 2.1%, GPT-5 — 1.7%, ChatGPT agent — 1.3%, Gemini 2.5 Pro — 0.8%. Когда разобрали типичные ошибки, выявилось несколько паттернов. В 45.6% случаев качество было просто плохим — примитивные рисунки вместо профессиональной графики или роботизированные голоса в озвучке. В 35.7% работа была незаконченной — например, видео длиной 8 секунд вместо 8 минут. В 17.6% случаев ИИ создавал битые или пустые файлы. В 14.8% случаев разные части работы не соответствовали друг другу — например, дом выглядел по-разному на разных 3D-рендерах. ИИ-агенты показали результаты, сравнимые с человеческими или лучше, в редактировании аудио, генерации изображений для рекламы, написании отчётов и создании интерактивных дашбордов с данными. Исследователи опубликовали код бенчмарка и 10 примеров проектов на Github . #Benchmark