Plus que jamais, les Big Data prouvent leur utilité. Ces douze derniers mois ont vu plus de projets de Big Data éclore que par le passé, plus de prototypes passer en production, plus de valeur être extraite de nouvelles idées sur des nouveaux jeux de données. L’évolution technologique, avec l'avènement de Hadoop 2.0 et de YARN, a bien entendu joué un rôle crucial dans ce changement, permettant à Hadoop de devenir multi-usages, multi-charges de travail, et de gérer des données de vélocité variable.

Certes, il existe encore des lacunes dans Hadoop qui l'empêchent de devenir une véritable plate-forme d'entreprise, la plus flagrante étant probablement ses limitations en terme de sécurité. Mais ce problème est traité par la communauté et par les éditeurs de distributions. La sécurisation d'une plate-forme informatique est un sujet qui a été traité dans le passé, et il n'y a rien dans Hadoop qui en fait une proposition plus complexe que dans d'autres environnements. Simplement, Hadoop a évolué si vite que la sécurité n'a pas eu le temps de suivre. 2015 devrait voir cette lacune comblée.

Deux grands types de projets Big Data à l’heure actuelle

Les premiers adressent l’amélioration et l'accélération des processus existants : accès à de nouvelles sources de données, à plus d’enregistrements, application de nouveaux algorithmes, exécution plus rapide pour des traitements s’approchant du temps réel – ces projets apportent une nouvelle valeur en permettant des décisions plus rapides et mieux informées. La majorité des premiers succès en Big Data (et les plus médiatisés) entrent dans cette catégorie – ce qui est logique puisqu’il ne s’agit pas ici de réinventer la roue, juste de mieux lubrifier ses rouages!

Les seconds permettent aux organisations d'inventer de nouveaux modèles business basés sur les données. Les acteurs impliqués peuvent être des nouvelles entreprises, nées à l'ère du numérique (les vendeurs d’objets connectés, la nouvelle génération de fournisseurs de services tels que Uber ou Airbnb rentrent dans ces catégories), ou des sociétés traditionnelles qui enrichissent leur modèle business avec des services à valeur ajoutée (fabricants d’avions ou de turbines…). Ces projets peuvent venir également d’organisations qui créent une nouvelle business unit pour monétiser les données recueillies dans le cours normal de leur activité (un opérateur de télécommunications vendant des données de géolocalisation sur les consommateurs).

Nombre de ces projets n’ont pas vocation à rester cantonnés aux limites du système d’information de l'entreprise. Par définition, les modèles business basés sur des données exigent que ces données deviennent accessibles et visibles par les partenaires commerciaux, les clients, les consommateurs du service fourni. Ces nouveaux fournisseurs de services ne vivent plus dans un environnement « one to one » ou « one to few », où des interfaces ad hoc permettent d’échanger des données directement avec quelques fournisseurs ou clients clés. Ils ont maintenant des centaines, des milliers, voire des millions d'utilisateurs qui doivent être en mesure d'accéder aux données en quelques clics. Leur délivrer un accès personnalisé, configuré individuellement pour chacun, n’est simplement pas une option. La plupart du temps, un environnement « one to many » ne dure pas longtemps, devenant vite un  environnement concurrentiel « many to many » dans lequel plusieurs fournisseurs courtisent les mêmes clients, et donc la facilité d'accès et la rapidité de la configuration deviennent toujours plus critiques.

Même dans les projets de Big Data qui se focalisent sur l'amélioration ou l'accélération des processus business existants, l'intégration avec le monde extérieur étend souvent la portée du projet. Par exemple, une des sources clés de connaissance des clients provient des réseaux sociaux. De plus en plus de sources de données de référence et d'enrichissement sont disponibles auprès de fournisseurs spécialisés. Les technologies de Big Data permettent d'intégrer ces données dans les projets.

Et pourtant, les plates-formes de Big Data ne sont pas bien équipées pour communiquer avec le monde extérieur. Le standard actuel, les API basées sur le style d'architecture REST, répond pourtant à toutes les exigences énumérées ci-dessus. Ces API peuvent bien sûr être mises en œuvre facilement au-dessus des bases de données Hadoop ou NoSQL, mais une intégration avec les métadonnées serait une option intéressante que les fournisseurs de plate-forme devraient offrir. Et puisque la sécurité est une contrainte forte de toute intégration externe, les plates-formes de Big Data devront compter (pour le moment) sur la sécurisation des API – ce qui est clairement moins optimal que des fonctions de sécurité native.

Malgré ces contraintes, les Big Data commencent lentement mais sûrement à s’étendre au-delà des systèmes informatiques de l'entreprise et à pénétrer dans le monde extérieur.