guidance-ai/llguidance

Насколько критичен для вас полноценный Structured Output при работе с локальными моделями? Напишите, пожалуйста, ответы в комментарии (не важен, предпочитаю, жить без него не могу итп). Зачем? Тут предлагают отсыпать токенов на локальные модели для тех команд, которые ставят эксперименты в области Agentic Commerce архитектур на платформе BitGN. Но есть нюанс, что токены без полноценного SO. Напоминаю, что: • Без SO - модель может вернуть любой текст. Вызовы json parse нужно оборачивать try/catch • SO/JSON - модель возвращает валидный JSON, но вместо числового поля может быть и текст. Схему нужно валидировать (Zod/Pydantic) и оборачивать в try/catch • Честный SO как у OpenAI / llguidance - если в схеме прописано число, то гарантированно будет число. Try/catch не нужен. Можно спокойно использовать Schema-Guided Reasoning . Ваш, @llm_under_hood 🤗