kellerjordan/modded-nanogpt

github.com
Visit site

Крутой репозиторий , где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение.

Крутой репозиторий , где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение. Такой спидран, но для llm-ки Тут записаны все изменения, и улучшения по времени. Можно почерпнуть идей для оптимизаций обучений На текущий момент для обучения на 8 h100: - Время: было 45 минут, стало 2 минуты - Данные: было 10 млрд токенов, стало 730 млн

Specs

Type Tool
SectionData & analytics
Site languageen

Found in sources

Similar in «Data & analytics»

Submit a site to the catalog

Just send the link — we will work out the rest.

We will review what you send and add it to the catalog if it fits.

Not sure how to implement it? We can help

Tell us about your task — we will pick the tools and suggest where to start.

0 / 5000
Verification code

Fields marked with an asterisk are required. Your data is used only to reply.