kellerjordan/modded-nanogpt

Крутой репозиторий , где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение. Такой спидран, но для llm-ки Тут записаны все изменения, и улучшения по времени. Можно почерпнуть идей для оптимизаций обучений На текущий момент для обучения на 8 h100: - Время: было 45 минут, стало 2 минуты - Данные: было 10 млрд токенов, стало 730 млн