Introduction au Big Data

- Définition commune du Big Data selon les grands acteurs du marché

• Caractéristiques techniques des 3V de Gartner (Vélocité, Variété et Volume) et les variantes (Véracité, Valeur, Validité....)


• Big Data : pourquoi maintenant ?


• Traitement des données structurées, semi-structurées et déstructurées


• Transformation des données massives en informations utiles et en valeur


• Gestion des données en cycles, de l'acquisition à la gouvernance. Use Case et stratégies (GAFA (Google, Apple, Facebook, Amazon), exemples santé, grande distribution, bancassurance…)


• Les grands acteurs et le marché du Big Data

- Description des technologies de référence du Big Data

• NoSQL (Not Only SQL) et les nouvelles compétences attendues (Python, R, Scala, Java)…


• Hadoop : un modèle d'open source du Big Data adopté par les grands acteurs de l'informatique (IBM, Oracle, Amazone, EMC, Google...)


• Principaux composants d'Hadoop : HDFS (Hadoop Distributed File System), MapReduce, Pig, Flume, Zookeeper, H-BASE, Lucene, Hive, Cloudera, Oozie, Cassandra, Machine Learning...


• Autres solutions : Docker, OpenStack, Elastic, Splunk…


• Nouvelles architectures techniques pour traiter des données massives et non-structurées, en temps réel (SPARK)

- Relation entre Big Data et Cloud DaaS (Data as a Service)

• Technologies associées au Cloud (datacenters, stockage, virtualisation, Grid, OS d'orchestration d'Openstack, réseaux...)


• Émergence des solutions Big Data proposées en mode Cloud DaaS (Data as a service)

- Déploiement et utilisation du Big Data

• Description d'une plate-forme de Big Data et bonnes pratiques


• Intégration des données et systèmes existants à la plate-forme Big Data


• Acquisition et qualification des données ouvertes des organisations publiques et sociales (Open Data)


• Traitement des données à la volée (Data Streaming)


• Analyse de données (Data Analytics et Business Intelligence)


• Présentation des informations (Data Visualization)

- L'apport du NoSQL

• Description des principales familles de bases de données NoSQL


• Zoom sur MongoDb


• Zoom sur Cassandra


• Zoom sur Neo4j

- Une journée au cœur des écosystèmes Hadoop et Spark

• Introduction générale


• Les principales briques et leur rôle


• PIG, Hive, Oozie, Flume, HDFS, MapReduce, Sqoop, Zookeeper, Hbase, Mahout, les connecteurs, …


• SparkML, SparkQL, MLlib, Kafka, Storm, Flink , Beam, …


• Démonstrations et discussions.