// описание
Библиотека от Microsoft для обучения сверхбольших моделей. ZeRO-оптимизация памяти, параллелизм, inference-оптимизация. Использовался для обучения GPT-NeoX, BLOOM.
Библиотека от Microsoft для обучения сверхбольших моделей. ZeRO-оптимизация памяти, параллелизм, inference-оптимизация. Использовался для обучения GPT-NeoX, BLOOM.