spaces/parchiev/sirin

Коллеги из Sber AI Lab опубликовали новый открытый репозиторий https://github.com/sb-ai-lab/SIRIN (Semantic Inconsistency Recognition and Inspection Nexus)  - инструмент для поиска смысловых ошибок в ответах языковых моделей. Что умеет SIRIN: - Проверяет соответствие ответа исходному контексту на уровне токенов, последовательностей и отдельных утверждений. - Поддерживает детекцию галлюцинаций и оценку  answerability  - достаточности данных для ответа. - Объединяет несколько классов детекторов: llm-as-a-judge, uncertainty, probing с использованием метамоделей. - Позволяет сравнивать и комбинировать разные методы детекции - работает как инструмент для исследований и разработки. Ссылки: 🔗 GitHub 🔗 GitVerse 🔗 Демо на Hugging Face 🔗 Статья на arxiv Поддержать традационно можно звездочками.