Opera One Developer devient le premier navigateur à intégrer des LLM

Par:
fredericmazue

jeu, 04/04/2024 - 13:07

Opera One Developer devient le premier navigateur à intégrer des LLM. Utiliser un LLM (Large Language Model) implique généralement l'envoi de données à un serveur. Les LLM locaux traitent les instructions directement sur la machine, sans transmettre les données à l'extérieur de l'ordinateur.

Aujourd'hui, dans le cadre du programme AI Feature Drops, le navigateur intègre un support expérimental couvrant plus de 150 variantes locales de modèles de langage (LLM) provenant d'environ 50 familles. Cela permet aux développeurs d'accéder et de gérer ces LLM locaux directement depuis un navigateur établi. Parmi les variantes disponibles :

  • Llama de Meta
  • Gemma de Google
  • Mixtral de Mistral AI
  • Vicuna

Les modèles sont disponibles à compter de ce jour dans la version Developer d'Opera One alimentée par les frameworks ollama et llama.cpp.

L'emploi de modèles locaux à grande échelle garantit la conservation des données utilisateur sur leur appareil, évitant ainsi l'envoi d'informations à un serveur. Ce nouvel outil est actuellement en phase de test dans le cadre du programme Opera One, permettant d'expérimenter les premières versions des fonctionnalités d'intelligence artificielle grâce au programme AI Feature Drops.

À compter d'aujourd'hui, les développeurs de la communauté Opera One auront la liberté de choisir le modèle de leur choix pour le traitement de leurs données, offrant ainsi un avantage aux premiers utilisateurs qui pourraient avoir des préférences spécifiques en matière de modèle.

En choisissant un LLM local, il sera téléchargé dans l'ordinateur de l'utilisateur. Chacun d'entre eux nécessite entre 2 et 10 Go d'espace de stockage local et qu'un LLM local est susceptible d'être considérablement plus lent qu'un LLM basé sur un serveur, car cela dépend des capacités de calcul du matériel. Le LLM local sera utilisé à la place d'Aria, le navigateur natif d'Opera AI, jusqu'à ce que le chat soit relancé avec Aria ou qu'Aria soit simplement réactivé.

Pour télécharger Opera One Developer, suivant ce lien.