Microsoft a ajouté ZeRO-Infinity à sa bibliothèque de formation open source DeepSpeed. Pour mémoire, DeepSpeed ​​est une bibliothèque d'optimisation de l'apprentissage en profondeur qui rend, selon Microsoft, la formation distribuée facile, efficace et efficiente.

ZeRO-Infinity est une nouvelle technologie de formation d'apprentissage en profondeur (Deep Learning) pour faire évoluer la formation de modèles d'un seul GPU à des superordinateurs massifs avec des milliers de GPU.

ZeRO-Infinity (Zero Redundancy Optimizer) améliore la capacité du système en allant au-delà du mur de mémoire du GPU et permet ainsi d'entraîner des modèles avec des dizaines de milliards de paramètres, un ordre de grandeur supérieur à ce que les systèmes de pointe peuvent prendre en charge, selon Microsoft. ZeRO-Infinity offre également une voie prometteuse vers la formation de modèles de 100 000 milliards de paramètres, toujours selon Redmond.

La vidéo ci-dessous montre comment ZeRO-Infinity exploite efficacement le GPU, le CPU et le NVMe en 1) partitionnant chaque couche de modèle sur tous les processus de données parallèles, 2) en plaçant les partitions sur les périphériques NVMe parallèles de données correspondants, et 3) en coordonnant le mouvement des données nécessaires pour calculer la propagation avant/arrière et les mises à jour de poids sur les GPU et les CPU parallèles aux données, respectivement.