Le Post Infeeny

Les articles des consultants et experts Infeeny

[Pass Summit 2013] Reduce Reuse Recycle – Automating your BI Framework

Speaker : Stacia Misner, Principal Consultant Data Inspirations

Niveau de la session : 300

Agenda :

  • Frameworks Options : which ways ?
  • Changing a BI solution : the long way
  • Changing a BI solution : the short way

1. The long way :

ETL design patern : lots templates réutilisables (selon staging ou dwh)

Master Extract Package (staging) et  Master Transform load Package (chargement du dwh) et entre les 2 : création d’un snaphost sur la base (retour arrière si erreur)

Extract Package = duplication du lot par copy manuel et modif des mapping (avec convention de nommage des composants par trigramme)

Load Pattern pour les faits (insert des news rows seulement) et dimension (lecture all data et update si besoin : pattern selon Type 0,1 ou 2 du SCD mais transformations qui varient selon les dimensions)

Facts Extract for Ongoing Load

2. The Short way :

Dimension loader Package Creator: utilitaire à télécharger (google) = demo de 10 minutes : ça semble pas mal (merge en t-sql pour les dimensions) mais pas certain que ce projet soit bien maintenu (lots générés en version sql 2008).

BIML : présentation du biml ratée (la présentatrice a dû passer le relais à son collègue en secours car elle n’y arrivait pas) .

Piste très intéressante d’utiliser le BIML (sert aussi pour du SSAS par exemple).

Présentation confuse (mais très prometteuse) d’un outil (payant !) de génération du biml (notamment pour SSIS) : logiciel de la société varigence.

A  noter que c’est cette société qui fournit dans le BIDS helper le générateur du code BIML (menu conceptuel générer les lots ssis et créer un fichier biml).

3. Conclusion :

Déception : options d’automatisation = copier coller de templates SSIS … et templates qui ne sont pas adaptés à la réalité (fact table = insert new row only donc par exemple pas de gestion des suppression, utilisation du scd comme composant…).

De plus la session a parlé plus de concepts généraux de conception de lots SSIS (gestion de proportion du temps de présentation des sujets est ratée) plutôt que d’industrialisation via d’autres techniques de dev hors SSIS (powershell + SSIS, .NET + SSIS, biml).

A creuser donc : biml surtout et tester (trial version) de Varigence.

En complément, sur le site http://www.varigence.com/ :

Vous pouvez regarder les vidéos de présentation de leurs outils : MIST (notamment), voir d’autres outils (VIVID?).

Bref je n’avais même pas entendu le nom de la boîte Varigence ou les outils utilisés très rapidement (MIST) : je dois être sourd et pas de chance aveugle (ça fait beaucoup pour une seule personne) également (car je n’ai vu aucun logo de MIST ou de Varigence)

Pascal Rouzé

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :