replicate.com

🤔 Я больше не доверяю GPT. Куда переезжать? За последние дни многие люди вокруг задумались, что необходима альтернатива для GPT. Десятки тысяч бизнесов смотрели, как сотрудники уходят из OpenAI и были готовы ко всему. Я провел начало недели за рисерчем доступных решений и решил упаковать результат в пост. Существует два вида решений: 1) сервисы с API над языковыми моделями; 2) поднятие моделей у себя. Сегодня расскажу про первую категорию. Claude : самая близкая к GPT-4 модель по бенчмаркам, недавно увеличили контекстное окно до 200 тысяч токенов (не совсем эффективных), и добавили function calling как в GPT. В первую очередь я бы начал эксперименты с нее. Из минусов: немного отличается API, промптинг, и также модель напрямую доступна не во всех регионах (зато доступна через Amazon). Perplexity : в мае я рассказывал про их продукт, как замену Гугла. С тех пор они также запустили API для доступа к их собственной языковой модели, а также Llama2 и Mistral . В анонсе высочайшую скорость инференса среди конкурентов. API работает в формате OpenAI — это значит что переключаться легко. Мне нравится темп их команды и обязательно буду за ними следить. В комментариях поделюсь способом получить бесплатный доступ к Perplexity PRO на 2 месяца — он как раз дает доступ к API и оно пока бесплатное. Decart : вариант для тех, кто любит потестить сырые стартапы. Они также предлагают API для доступа к моделям — от $0.1 за миллион токенов Llama2 7B. Это самая дешевая цена за инференс, которую я нашел во время рисерча и скорость ответа также порадовала, так что решил про них тоже рассказать. От стартапа есть ощущение, что он в любой момент отвалится, но зато быстро отвечают в твиттере. Также потестил: Replicate — медленно и по ощущениям, и по бенчамаркам; Anyscale — сложный онбординг, непрозрачная ценовая модель; LiteLLM — библиотека, чтобы приводить разные форматы API к формату OpenAI, чтобы делать бесшовное переключение, показалось удобной. 😲️ ️️️️️ Когда я начинал рисерч, т