Il s'agit d'une technique de piratage inédite, dite attaque par inférence de frappe présentée par des chercheurs de l'Université du Texas et de l'Université de l'Oklahoma dans un document intitulé "Zoom on the Keystrokes: Exploiting Video Calls for Keystroke Inference Attacks" 

L'idée est d'utiliser une webcam pour observer ce que la personne est en train de saisir sur son clavier :-) par exemple au cours d'un appel vidéo. Une idée assez simple dit comme ça :-) Mais là où ça devient un peu un scénario à la James Bond, c'est qu'il n'est pas nécessaire que le webcam montre les mains de la personne attaquée. Il suffit qu'elle montre ses épaules pour qu'il soit possible de déterminer ce qu'elle frappe sur son clavier. D'après les chercheurs, l'analyse des mouvements du haut des bras seuls peuvent suffire pour obtenir ce résultat.

Les chercheurs appellent ceci une attaque par inférence de frappe. Une attaque par inférence de frappe désigne toute méthode qui déduit ce qu'un utilisateur est en train de taper via un canal latéral, c'est-à-dire autrement qu'en regardant les mains et les doigts sur le clavier. Dans le cas de l'analyse des épaules, les chercheurs s'appuient sur un principe élémentaire de la mécanique newtonienne : quel que soit votre style de frappe personnel, lorsque vous appuyez sur une touche, une «force de réaction» dans la direction opposée est produite.

Cette force se déplace ensuite des doigts sur le clavier jusqu'aux muscles et aux articulations de l'épaule, qui l'absorbent. Cette force crée des mouvements petits et subtils, mais mesurables, des épaules, explique les chercheurs, qui précisent que parce que chaque doigt est relié différemment des autres au poignet, la force de réaction d'une frappe se propage légèrement différemment à travers les muscles et les articulations des bras et des épaules, en fonction du doigt utilisé pour appuyer sur la touche...

Les chercheurs seraient ainsi arrivés à obtenir des mots de passe par cette méthode avec une précision de 75% dans des conditions de laboratoire. Des résultats dont la précision tombe à 25% en conditions réelles (éclairage variable, cadrage de mauvaise qualité, etc.).

Mais cette technique est susceptible d'être améliorée en la combinant avec l'analyse d'un flux audio. Car le son peut également être utilisé comme un canal latéral efficace, selon les chercheurs.