karpathy/nanoGPT
github.com
The simplest, fastest repository for training/finetuning medium-sized GPTs.
Description
Файл train.py примерно на 300 строк воспроизводит GPT-2 (124M) на OpenWebText — около 4 суток на узле 8xA100 40GB. Код намеренно плоский и читаемый, легко правится под свои задачи.
Specs
| Type | Course |
| Section | Learning / LLM с нуля |
| Pricing | open source |
| Platform | Self-hosted |
| Systems | исходный код |
| Who for | Разработчикам, которые учатся обучать трансформеры на собственном железе. |
| Site language | en |
| Vendor | Andrej Karpathy |
| GitHub | karpathy/nanoGPT |
| ★ Stars | 62 552 |