Mistral AI est une société française d'intelligence artificielle qui fait beaucoup parler d'elle en ce moment, notamment depuis qu'elle a conclu un partenariat avec Microsoft. Mistral AI propose des modèles de langage étendus (LLM) open source et propriétaires, similaires à ceux qu'OpenAI. La société a tout récemment lancé un modèle de génération de code : Codestral.

Mistral AI vient de publier un SDK, baptisé Mistral-finetune, qui est une base de code légère qui permet un réglage fin et performant en termes de mémoire des modèles de Mistral. Il est basé sur LoRA, un paradigme d'entraînement dans lequel la plupart des poids sont gelés et seuls 1 à 2 % de poids supplémentaires sous la forme de perturbations matricielles de bas rang sont entraînés.

Pour une efficacité maximale, il est recommandé d'utiliser un GPU A100 ou H100. La base de code est optimisée pour les configurations de formation multi-GPU à nœud unique, mais pour les modèles plus petits, tels que le 7B, un seul GPU suffit.

Mistral-finetune est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.