OpenMOSS-Team/SciJudge-30B

🌸 AI Can Learn Scientific Taste 🌸 #nlp #про_nlp Как отличить хорошую научную идеи от средней? Часто говорят об интуиции или вкусе, которые годами вырабатывают ученые. А можно ли его передать LLM? 🌸 TL;DR Интересная статья из списка для чтения: " AI Can Learn Scientific Taste ". Авторы предлагают эксперимент на большом объеме публикаций: можно ли попробовать обучить LLM "вкусу" к импактным идеям без формального определения. Проблема сформулирована как 2 способности: 🟣 judgement capability — способность ранжировать пары идей — и объяснять, почему 🟣 ideation capability — способность генерировать внятные новые научные идеи. Чтобы сравнивать идеи между собой, авторы используют количество цитирований как прокси-метрику — у какой статьи цитирований больше, та и лучше. В рамках экспериментов получены 🟣 Модель Scientific Judge — SciJudge на базе GRPO на цитированиях 🟣 Полиси-модель Scientific Thinker, которая учится генерировать научные идеи, используя сигнал от SciJudge и обновляя политику на базе comparison-based GRPO Scientific Judge вполне убедительно побеждает в качестве попарного ранжирования статей в сравнении с другими моделями — вин-рейт в районе 70% Scientific Thinker качественно экспериментально не оценен, но по консенсусу GPT-5.2, GLM-5 и Gemini 3 Pro новизна идей существенная. Обе модели представлены в формате 4B и 30B, и даже есть некоторое подобие Scaling laws. 🌸 Данные 700,000 пар статей из arXiv (заголовки и абстракты) Пары составлены таким образом, чтобы попарно сравнивались статьи одного времени выхода и области, чтобы избежать разницы в росте цитат во времени. Помимо Computer Science для обучения, часть данных для оценки качества включает математику, физику и биологию (bioRxiv) — и на этих парах улучшение точности ранжирования тоже сохранилось. Есть отложенная часть выборки "из будущего": с датой публикации после предобучения базовых моделей. На них качество работы пока что сохранилось. 🌸 Может ли это работать? Может, но в о