ALBERT pour A Lite BERT est un modèle de traitement du langage naturel qui utilise 89% de paramètres de moins que son grand frère BERT, que Mountain View utilise dans son moteur de recherche. Google vient d'ouvrir le code d'ALBERT.

ALBERT utilise deux optimisations pour réduire la taille du modèle initial : une factorisation de la couche d'intégration et le partage des paramètres entre les couches cachées du réseau. grâce à la combinaison de ces deux optimisation, ALBERT ne reçoit que 121 Mo de paramètres, tandis que BERT en reçoit 108. Ceci pour une perte mineure de performances, explique Google dans un billet.

Le code et les modèles d'ALBERT sont disponibles sur GitHub.