C'était l'actualité de la semaine dernière, Google a fait une présentation tonitruante de sa nouvelle intelligence artificielle Gemini. Avec un gros enjeu pour la firme de Mountain View : convaincre que Gemini est meilleur que GPT-4 et faire oublier le lancement raté de Bard. L'effet wahou étant retombé, de nombreux observateurs examiné les choses de plus près. Et il semble bien que le lancement de Gemini puisse être qualifié de raté lui aussi… car selon Bloomberg, Google en a fait une présentation fallacieuse.

Tout d'abord Bloomberg fait remarquer que le tableau comparatif publié entre entre Gemini et GPT-3 et GPT-4 ne casse pas trois pattes à un canard.

Notre confrère écrit : Mais sur la plupart des benchmarks, Gemini Ultra a battu le modèle GPT-4 d'OpenAI de quelques points de pourcentage seulement. En d’autres termes, le meilleur modèle d’IA de Google n’a apporté que de légères améliorations à quelque chose sur lequel OpenAI a terminé ses travaux il y a au moins un an. Et Ultra est toujours secret. S'il sort début janvier, comme Google l'a suggéré, Gemini Ultra pourrait ne pas rester le modèle haut de gamme très longtemps. Dans le temps qu'il a fallu à Google pour rattraper OpenAI, le joueur plus agile a eu près d'un an pour travailler sur son prochain modèle d'IA, GPT-5.

Mais surtout il y a la vidéo de présentation de Google, une vidéo à couper le souffle… Seulement voilà, cette vidéo qui donne l'impression de réponse en temps réel de Gemini n'a pas du tout été réalisée en temps réel. La voix n'est pas celle de Gemini. Et l'impression de rapidité de réponse de Gemini est trompeuse. Interrogée par Bloomberg, Google a admit que la démonstration a été réalisée en "utilisant des images fixes de la séquence et des invites via du texte".

Par exemple lorsque 3 éléments du système solaire (Soleil, Saturne, Terre) sont présenté à Gemini, le testeur humain demande : est-ce le bon ordre ? (à 4m27s dans la vidéo ci-dessous)

Gemini corrige l'ordre en Soleil, Terre, Saturne. Mais la question à Gémini n'a pas été posée par via la voix du testeur humain, mais par écrit. Et la question était "Est-ce que c’est le bon ordre en prenant en compte la distance avec le Soleil. Explique ton raisonnement". De plus le temps de réaction de Gemini est raccourci. Ce que Google admet d'ailleurs sur son site YouTube : Pour les besoins de cette démo, la latence a été réduite et les réponses de Gemini ont été raccourcies par souci de concision.

C'est assez différent de ce que Google semblait suggérer : qu'une personne puisse avoir une conversation vocale fluide avec Gemini tout en observant et en répondant en temps réel au monde qui l'entoure remarque Gloomberg.

Notre confrère commente : La vidéo ne précise pas non plus que cette démo est (probablement) faite avec Gemini Ultra, le modèle qui n'est pas encore là. Truquer de tels détails indique un effort marketing plus large ici : Google veut que nous nous souvenions qu'il possède l'une des plus grandes équipes de chercheurs en IA au monde et qu'il a accès à plus de données que quiconque. 

Bloomberg n'est pas seul à penser que la présentation de Google est plus un coup marketing qu'autre chose, masquant en fait un retard sur GPT-5 sur lequel OpenAI travalle depuis un an. Nous vous proposons par exemple la vidéo ci-dessous pour vous aider à vous forger votre opinion.