Tout développeur mobile a connu et connaît le problème : comment tester son app sur x terminaux, ayant des OS, des navigateurs, des écrans, des spécifications différentes ? Il est quasiment impossible d’avoir un banc d’essai physique avec tous les modèles du marché. On peut en récupérer 10-15-20, au-delà cela devient ingérable. Or aujourd’hui, la segmentation des marchés et à l’intérieur d’une plateforme, est forte. Et selon la zone géographique, les terminaux ne sont pas identiques. Les émulateurs, inclus ou en option sur les IDE, répondent partiellement à cette problématique. Rien ne vaut les tests sur de vrais terminaux. 

Il existe des services cloud pour provisionner son banc d’essai : sélectionner la plateforme, le type de device, l’OS, etc. C’est notamment le cas d’Amazon Web Services avec Device Farm. Presque 200 modèles sont disponibles à la demande.  Le service vise plutôt les moyennes et grandes équipes, pas les free-lances ou les petites équipes. Le paiement se fait à l’usage ou via des plans de facturation. 

Le principe est simple : on sélectionne les terminaux, on a des accès distants via une interface web, on peut enregistrer ce qui se passe à l’écran. Bien entendu, on peut déployer des packages Android, iOS. En Android, le déploiement se fait par une console CLI. Des frameworks de tests sont disponibles et les batteries de tests peuvent être lancées automatiquement. En sortie, le développeur récupère les logs complets. Il peut utiliser un mode Debug, récupérer des métriques définies, voir les captures d’écran et/ou la vidéo des actions, consommation des ressources du device, etc. Bref, tout ce qui peut aider les équipes à voir les problèmes et à optimiser/redévelopper des parties de l’app. En cas de crash de l’application, le crash report est généré et envoyé. Il est bien entendu possible de faire un banc de tests sur les sites/apps web.

À noter que seules les versions finales des OS mobiles sont disponibles sur les devices : pas de bêta. Ce serait trop compliqué à supporter. D’autre part, certains modules matériels ne peuvent être testés/utilisés : caméra (les optiques sont masquées), GPS désactivé, capteur de mouvement non disponible.

AWS précise aussi que les équipes de Farm Device ne regardent pas les contenus des apps testées, ni les données transitant dessus. 

Pour en savoir plus : aws.amazon.com/fr/device-farm

François Tonic