Крутой репозиторий , где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение.
Крутой репозиторий , где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение. Такой спидран, но для llm-ки Тут записаны все изменения, и улучшения по времени. Можно почерпнуть идей для оптимизаций обучений На текущий момент для обучения на 8 h100: - Время: было 45 минут, стало 2 минуты - Данные: было 10 млрд токенов, стало 730 млн
| Type | Tool |
| Section | Data & analytics |
| Site language | en |