Компания «Яндекс» выложила в опенсорс библиотеку YaFSDP, которая ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом. Библиотека дает ускорение до 25% (результат зависит от архитектуры и параметров нейросети). С помощью YaFSDP можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.
Подробнее https://xakep.ru/...