Le Post Infeeny

Les articles des consultants et experts Infeeny

Démystification du BIG DATA

Démystification du BIG DATA

 

La démystification du Big Data

  • Mercredi 12 février : 15h15-16h00
  • Salle : Amphi Bordeaux
  • Audiences : Professionnels de l’IT, Développeurs
  • Thèmes : Développement, Infrastructure des systèmes d’information
  • Niveau : Intermédiaire (200)
  • Intervenant : Benjamin Guinebertière (Microsoft) , François Simoës (v-traffic), Romain Casteres DCube (Microsoft Partner),

BIG DATA est un flux d’information dénormalisé provenant de plusieurs flux de données (base de données, réseaux sociaux,  fichiers textes …).

Ces données peuvent suivre un schéma relationnel ou non relationnel.

L’objectif de la démystification est de pouvoir utiliser l’ensemble de ces flux de données provenant d’une multitude de sources pour en sortir des indicateurs et des rapports.

Durant cette session l’architecture utilisée pour réaliser ces indicateurs est la suivante :

demystification_du_big_data

Source : http://www.cibis.org.je/

Les étapes qui ont permis de réaliser les indicateurs présentés sont les suivantes :

  1. Création de cluster sur HD insight (utilisant des connecteurs hadoop pour se connecter aux différentes sources de données)
  2. Création de table externe à partir de Hive pour prémâcher les données et les structurer
  3. Suppression des nœuds
  4. Utilisation de la chaine BI
    1. SSIS / POWER QUERY pour intégrer les données
    2. Création du DWH
    3. OLAP / POWER  PIVOT
    4. SSRS  / POWER BI

 

 

Pour aller plus loin : http://blog.octo.com/hdinsight-le-big-data-selon-microsoft/

Vidéo : https://www.youtube.com/watch?feature=player_embedded&v=9-64tW56LFA

Slides : http://fr.slideshare.net/Developpeurs/la-dmystification-du-big-data

 

 

 

Une réponse à “Démystification du BIG DATA

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :