Introduction

p. 08  Stockage et exploitation : des données aux « big data »

Stocker

p. 14  Hadoop
p. 26  HBase

Exploiter

p. 42  Indexez vos données sans limites à l'aide de Infinispan
p. 58  Teiid, unifiez vos données et simplifiez votre architecture

Analyser

p. 86  Introduction au data mining en Python avec scikit-learn
p. 94  Analyse statistique de données avec R
p. 116  Visualisation interactive de données avec VisPy

Pour le meilleur et pour le pire, nous vivons dans un monde de données. Que cela soit bénéfique ou néfaste, suivant l’origine des données ou leur utilisation, nous n’y pouvons rien changer, c’est un fait : nous produisons de plus en plus de données.

Comme ce fait ne peut être modifié, nous devons nous adapter, adapter nos comportements et nos outils pour pouvoir stocker et traiter une telle masse d’informations. 

Ces outils vont se répartir en deux catégories :

• les outils de stockage qui permettront de conserver les données et d’y accéder de manière efficace au vu de leur taille ;
• les outils d’analyse sans lesquels les données ne nous seront d’aucune utilité.

Nous avons élaboré ce hors-série de manière à ce que vous puissiez être efficace dans chacune de ces étapes. Les outils présentés ne représentent bien sûr qu’une infime partie des logiciels et systèmes disponibles, mais ils sont représentatifs de ce que l’on peut faire dans le domaine et devraient vous aider à cibler vos besoins et vous donner des pistes pour des solutions répondant à vos propres problématiques.

Bien sûr, nous parlons de « big data », puisque le terme est à la mode, mais ne croyez pas que nous soyons dupes, l’aspect marketing sous-jacent ne nous a pas échappé et vous vous en rendrez compte au fil de la lecture du magazine. Ce qui nous intéresse et ce sur quoi ce magazine se focalisera, ce sont les données, les adaptations nécessaires pour pouvoir traiter de gros volumes d’informations et les analyser. Les perspectives offertes par la possibilité de collecter ces données et de les analyser sont énormes et permettent d’accélérer notre vitesse d’acquisition de nouvelles connaissances ou plus simplement de les valider. Mais il faut prendre garde à un écueil qui nous guette dans cette frénésie de données : la qualité des données récoltées ! Il est possible, sciemment, de manipuler les nombres, de les orienter dans une direction particulière à dessein. C’est du détournement d’information, mais la démarche est consciente. Des données erronées peuvent amener à des conclusions tout autant fausses, mais sans en avoir forcément conscience. 

Avec l’augmentation drastique des données, il faut donc non seulement posséder une infrastructure informatique capable de soutenir leur « poids », mais en plus être extrêmement vigilant en terme d’analyses. En somme il y a du travail, mais ce magazine devrait vous aider...

La Rédaction