Durant la conférence GitHut Satellite 2016 à Amsterdam, une des sessions concernait le prototypage d’objets connectés, les fameux IoT. Voici un petit résumé, en nous focalisant sur la partie interaction et interface utilisateur.

Un objet connecté est par définition connecté mais au-delà de cette idée de connexion, il faut considérer différentes dimensions :

-        connexion : wifi, 3G/4G, BLE, NFC, émission,

-        réception de messages, SDK et API,

-        contrôle par le geste ou la voix (= Hands-free),

-        toujours disponible : basse consommation, réveil instantané, traitement en arrière-plan…

-        environnement de plus en plus complexe : GPS, caméra, capteurs divers et variés

Par exemple, selon la technologie de connexion réseau, vous n’aurez pas le même niveau de fonctionnalités, par exemple :

Bref, il faudra bien choisir votre technologie réseau selon l’usage dont vous avez (réellement) besoin. D’autre part, la consommation ne sera pas identique ni le niveau d’implémentation nécessaire. Et encore, nous n’avons pas mis la connectivité par radiofréquence…

Le monde de boards de prototypages, le support réseau sont de plus en plus répandus : Particle, Arduino 101 ou Yun, Intel Edison, BeagleBone, etc. Tout est fait pour faciliter les échanges et la création de véritables réseaux IoT. Et il ne faut pas oublier que de plus en plus d’objets n’ont aucun écran et donc ne propose pas une interaction Homme – Machine classique. Ce qui a un impact sur le développement mais aussi la manière d’interagir avec l’objet proprement dit.

Quatre types d’interactions sont possibles :

• CLI : ligne de commande
• GUI : interface graphique classique
• NUI : interface dite naturelle
• OUI : interface dite organique

Le CLI est une approche très basique de l’interaction avec l’utilisateur. C’est statique et direct. L’approche GUI se veut responsive (adaptée à son contexte), elle est bi-directionnelle, parfois complexe et incompréhensible. La NUI est une approche très rapide et directe, elle se veut contextuelle et par intuition. La OUI est une interaction peu connue mais qui mérite d’être regardée. OUI signifie Organic User Interface. Par définition, elle est fluide, facilement extensible (usages et possibilité d’interaction), sans apprentissage… La OUI est déformable dans le sens où elle s’adapte à la forme de l’objet, son contexte, car un IoT peut prendre des formes très diverses. Cette variété de formes peut nuire aux interactions (classiques) avec l’utilisateur. L’OUI est toujours en mode « mains libres ».

L’OUI est très proche de l’utilisateur qui a déjà les habitudes et utilise les mêmes interactions dans le monde réel. La OUI se reproche beaucoup du NUI. L’interface par gestes (gesture interface) est souvent la référence pour l’OUI. L’approche par gesture exige des gestes libres et dans l’espace (= In-Air Gerstures), la parole, gestes et mouvements des mains, expressions faciales, mouvements du corps, suivi des yeux. Mais il faut aussi prendre en compte les manipulations réelles ou virtuelles (gestes) de l’objet. Vous distinguerez les espaces 2D et 3D. Vous prendrez en compte les informations haptiques de l’IoT, notamment une communication visuelle n’est pas possible. L’objet doit répondre, fournir un état à chaque interaction et contact de l’utilisateur. Cette réponse doit être fluide et claire.

On distingue deux types d’interactions intuitives et naturelles :

• manipulation avec des interactions non déformables : typiquement des écrans (tactile en général), du texte, des éléments tangibles que l’on peut utiliser avec des mains
• approche déformable : que l’on retrouve avec les bracelets de type Myo, les objets de type Nest, casques neuronaux, etc.

Dans une approche OUI, la base est la SMaG, c’est-à-dire Speech / Manipulation / air-Gesture. Car l’OUI utilise à la fois les principes du NUI et du TUI (interface utilisateur tangible). De là, l’OUI intègre trois modèles d’interfaces et d’interactions : voix, manipulation, gesture. Pour chaque type, nous aurons les interactions possibles. Cela peut devenir rapidement complexe. Vous devez donc bien réfléchir à votre modèle d’interaction que vous souhaitez ou devez avoir. Soit les capteurs, le contexte IoT (ou l’usage) vont conditionner votre modèle d’interface utilisateur, soit vous l’imposerez. Mais attention à ne pas aller contre la nature de l’IOT et de son contexte. Par exemple, vous n’allez pas intégrer une interaction par geste sur une montre, une raquette, une porte, etc. D’autre part, il ne faut pas confondre les interactions – usages de certains capteurs. Vous détournez l’usage premier de ces capteurs et leur rôle risque d’être biaisé. Par exemple, utiliser un gyroscope à la place d’un accéléromètre ou vice-et-versa ou imposer l’accéléromètre dans une gesture. Ou encore, se tromper entre les notions déformable / non-déformable. Par exemple, dans une raquette connectée, vous n’allez pas utiliser un écran ou une approche textuelle.

François Tonic