Le Post Infeeny

Les articles des consultants et experts Infeeny

Archives de Catégorie: Tutorial BI

[SSRS][PowerBI] Introduction a Power BI dans le Server de Rapport SQL Server (SSRS)

Suite à de nombreuses demandes d’utilisateurs ne souhaitant pas voir leur donner partir dans le cloud Microsoft.

Microsoft à mis en place 2 solutions à dispositions pour la partie Power BI :

  • La mise en place d’une gateway permettant de ne pas exporter les données dans le cloud
  • La création d’un serveur de rapport SSRS permettant d’héberger des rapports Power BI conçu à partir de Power BI Desktop

Dans cette introduction nous allons étudiés la solution numéro qui vient de sortir en mode pré view dans la vNext de SQL Server

Lire la suite

[SQL 2016]Introduction au Row Level Security

Voici une nouveauté intéressante de SQL Server 2016

Le Row Lever Security (RLS)

Qu’est-ce que c’est ?

Le Row Level Security permet de sécuriser des données au niveau des lignes.

Grace au Row Level sécurité on peut attribuer des rôles et afficher les données correspondant au rôle correspondant à l’utilisateur logué.

Lire la suite

Introduction à PolyBase

PolyBase :

Polybase est une technologie qui permet de requêter et de combiner des données non-relationnelles et relationnelles à partir de SQL Server

PolyBase supporte Hadoop et Azure Blob Storage

Les requêtes sont optimisées pour pousser le calcul vers Hadoop

Comment créer une table polybase :

Lire la suite

Les Temporal Table SQL Server 2016

A la sortie de SQL Server 2016 une nouvelle fonctionnalité est arrivée :

Les Temporal Table !

Qu’est-ce que c’est ?

Vous avez tous eu besoin un jour ou l’autre de devoir auditer vos tables de vos bases de données

Jusqu’à maintenant des solutions existaient :

  • Change Data Capture
  • SQL Broker
  • La mise en place de Trigger ?
  • Lecture des logs ?

Mouais ! Pas toujours très convaincantes ces solutions, mais surtout pas facile à mettre en place et souvent contre performante …  Bref !

Lire la suite

SQL 2016 Le live Query Statistique

Dans les versions passés il n’existait pas de fonctionnalités pour connaitre l’état des requêtes en temps réel.

Lorsque qu’on lançait une requête il était impossible de connaitre l’état d’avancement de celle-ci.

Lire la suite

Création d’un cluster SQL SERVER 2016 dans Azure (IAAS)

Objectif :

L’objectif de ce blog est de vous présenter toutes étapes permettant de créer un système de haute disponibilité  SQL SERVER dans Azure

Voici un peu le détail de l’architecture :

1

Dans ce blog nous allons aborder les sujets suivants :

  • Création du réseau virtuel permettant aux machines de communiquer
  • Création des VM nécessaires à notre architecture
  • Installation des Contrôleurs de domaines depuis Azure
  • Préparation du cluster
  • Installation de SQL Server 2016 en mode cluster

Pré requis :

  • SQL SERVER 2016
  • Un compte Azure
  • 1 réseau virtuel
  • 4 machines Virtuelle :
  • 2 Contrôleurs de domaine (DC1 / DC 2) (Windows Server 2012 R2)
  • 2 machines SQL SERVER 2016 (Windows Server 2012 R2)
  • De l’huile de coude et un peu de bonnes volontés 🙂

Partie 1 : Création d’un réseau virtuel 

Afin que nos machines puissent communiquer nous allons créer un réseau virtuel :

2

3

Le reseau est créé :  4

Partie 2 :Création des 4 machines virtuelles nécessaires à notre configuration :

Dans le portail Azure il faut vous rendre dans l’onglet :

Machine Virtuelles :

5

Nous recherchons Windows Server 2012 R2 DATACENTER

6

Une fois la sélection faite nous allons choisir le type de machine pouvant héberger notre « labs » de test :

7

Dans notre cas j’ai choisis 2 machine A0 de base pour les machines Active Directory et 2 machines A1 de base pour les machines SQL Server.

Il est évident que pour des configurations de production ces machines seraient trop juste et risquerai d’être sous dimensionnée par rapport à vos besoins.

Suivant vos besoins vous être libre de choisir les machines qui se rapproche le plus de votre usage.

Voici le détail de création des machines, vous devez répliquer cette opération autant de fois que votre architecture le nécessite.

8

9

 

Partie 3 Installation du contrôleur de domaine :

Un fois la machine DC1 installée connectez vous en remote et installez l’active Directory :

Rendez vous dans Add Roles and Features sur le Serveur :

17.jpg

Choisissez le service Active Directory

14

Une fois installé rendez vous dans l’onglet active directory :

18

Une fois réalisé il faut promouvoir le controleur de domaine :

19

Votre Active Directory est créée

Il faut rajouter le DNS de la machine primaire a toutes les machines du réseau :

Rendez vous sur le portail azure et dans les paramètre de votre machine modifier le serveur DNS Mettez l’adresse du DNS principal comme celui de votre controleur de domaine que vous venez de créer :

22

Ajouter le DC2 en nouveau contrôleur de domaine sur le domaine :

24

Si vous avez besoin d’aide pour l’installation d’un contrôleur de domaine vous pouvez suivre les étapes suivantes :

http://www.windows8facile.fr/windows-server-2012-installer-active-directory-dns-dhcp/

Une fois votre active directory installé vous pouvez ajouter vos 2 machines SQL au Domaine.

N’oubliez pas d’ajouter le DNS secondaire a vos machine le DNS secondaire correspondant a l’adresse IP de la machine DC2.

23

 

Une fois les machines SQL relié on va préparer l’installation du cluster :

On va ajouter 2 disques qui nous permettrons de faire la réplication :

Dans le portail Azure réaliser l’étape suivante :

25

Le disque va s’ajouter sur la machine il faut le formater et le monter pour qu’il soit disponible :

Aller dans le computer management :

26

Ensuite Formater le volume et attribuez lui la lettre F comme lettre de montage :

 

Sur la machine nous allons installer le cluster

27

Sur la machine nous allons installer le cluster ( On retourne dans le menu Add Roles and Features )

28

En suite connecter vous au portail de configuration et effectuez les opérations suivantes :

29

Cliquer sur Validate Configuration et effectuer les opérations suivantes :

3031323334

Il faut en suite modifier les propriétés de l’adresse IP du Cluster :

35.jpg

Rendez-vous sur le DC1 ou DC2 et ajouter un répertoire qui va nous permettre de créer le Quorum du cluster :

C:\Quorum :

Ajouter les droits en lecture / Ecriture au cluster sur ce répertoire (le cluster étant un ordinateur)

1

 

2

Retourner sur la machine SQL1 et réaliser les actions suivantes :

3

 

476

Telechager DataKeeper qui est un outil qui va nous permettre de simuler le SAN d’hébergement de notre cluster et le miroir de stockage sur azure.

Datakeeper est disponible ici et peut être demandé en version de démonstration pour 14 jours.

Pour plus d’information : http://us.sios.com/products/datakeeper-cluster/

Installer Datakeeper et ajouter y votre licence :

8

Ouvrir l’outil Datakeeper et réaliser les actions suivantes :

Creer un job :

Connectez vous  aux deux serveurs SQL ( SQL1 et SQL2 )

910

Nommer le job comme vous le souhaitez.

Attention pour fonctionner DataKeeper necessite qu’un second disque soit monter pour réaliser le miroir ( action que nous avons réaliser précédement)

Içi nous allons « mirrorer » les disques F que nous avons monter précédements, ils permetteront d’heberger notre cluster :

1112

Nous allons creer un mirroir synchrone pour notre cas :

13

Une fois l’action réalisé DataKeeper nous informe que le volume est éligible au cluster cliquez sur oui :

 

14

Dans DataKeeper verifier que la synchronisation fonctionne bien :

 

15

Partie 4 :Installation de SQL Server 2016 :

Sur la machine SQL 1 :

16171819

Dans notre cas nous allons faire demarrer le service avec notre compte administrateur mais l’idéal est de creer un compte de service spécifique pour le demarrage des services

2021

En suite lancer l’installation suivante :

2223242526

On spécifie une IP pour le Cluster SQL Server

27

Ne pas oublier d’ajouter un administrateur

28

 

Rendez-vous sur la machine SQL2 :

313233343536

Votre cluster est prêt :

N’oubliez pas d’activer les ports distants pour accéder depuis l’extérieur a SQL Server  :

Et d’installer le management studio :

40

pour l’installer cliquer sur le liens suivant qui va vous envoyer sur une page web pour telecharger l’outil et l’installer :

39

Merci a Datakeeper pour leur aide dans l’élaboration de ce tutoriel :

Si vous avez besoins voici des liens utiles :

Creating a SQL Server 2014 AlwaysOn Failover Cluster (FCI) Instance in Windows Azure IaaS #Azure #Cloud

https://azure.microsoft.com/fr-fr/documentation/articles/active-directory-new-forest-virtual-machine/

https://channel9.msdn.com/Series/Windows-Azure-IT-Pro-IaaS/05

https://azure.microsoft.com/fr-fr/documentation/articles/active-directory-install-replica-active-directory-domain-controller/

Windows Server Failover Cluster on Azure IAAS VM – Part 1 (Storage)

https://azure.microsoft.com/en-us/documentation/articles/virtual-machines-windows-classic-portal-sql-alwayson-availability-groups/

Bon courage.

Julien PIERRE                                                                                                                                       Consultant MSBI

 

 

 

 

 

SQL Server 2016 SSRS et les rapport Hybrid

Bonjour,

Suite à notre session au JSS en date  01/12/2015 avec Mohamed Ismail BEN LAMINE @Sam_Tun ou nous avons présentés les nouveautés SSIS et SSRS SQL 2016, je vais vous exposer une partie intéressante : SSRS et les rapports hybrid.

Pour info vous pouvez consulter la vidéo de notre session ici :

Depuis l’arrivée de la CTP 3.0 de SQL Server 2016 il y a possibilité de publié des parties de Rapport SSRS dans Power BI « On Premise ».

Aujourd’hui nous allons voir comment réaliser cette opération :

Se connecter au SQL Server Reporting Services Configuration manager :

1

Se connecter à l’instance Reporting services :

2

Se rendre dans le nouvel onglet : Power BI Integration

3

S’enregistrer :

4

Vérifier l’enregistrement :

5

Redémarrer le service SSRS une fois l’enregistrement effectué sinon le « pin » du rapport sera impossible :

6

7

8

Se rendre au niveau du serveur de rapport :

9

Cliquer sur le bouton My setting et s’enregistrer sur le serveur de rapport :

10

Ouvrir un rapport pour effectuer le « pin » : sélectionner l’élément à mettre a disposition sur Power BI ( Attention tous les éléments ne peuvent pas être mis a disposition sur Power BI )

11

Une fois l’élément sélectionné choisissez la fréquence de rafraîchissement et le rapport dans lequel vous souhaitez l’intégrer :

17

12

Une fois la mise a disposition de l’élément sur Power BI réalisé.

L’écran suivant s’affiche :

13

Attention : Au moment ou j’écris cet article, le multi langue n’est pas correctement supporté et des bug d’affichage peuvent subsister pour éviter cela il est préférable de mettre tout vos paramètres régionaux dans la langue de Shakespeare.

Un peu d’aide à ce propos : http://windows.microsoft.com/fr-fr/windows/change-system-locale#1TC=windows-7

Une fois cette étape réalisé vous pouvez vous rendre sur le site Power BI pour vérifier le bon « pin » de votre partie de rapport sur le site « On Premise »  :

https://powerbi.microsoft.com/en-us/?WT.srch=1&WT.mc_ID=SEM_TUTXQCC8

14

Il faut savoir que pour pouvoir réaliser cette opération l’agent SQL Server doit être activé pour la raison suivante :

A chaque élément ajouté, une tache est créé permettant d’aller rafraichir les données dans power BI voici un exemple de jobs créé lors de cette opération et que l’on retrouve dans l’agent :

15

 

Le défaut c’est que le nom ne correspond pas clairement à une tache. De plus, après suppression d’un élément dans Power BI la tache n’est pas supprimé automatiquement.

Vous en conviendrez qu’il est difficile de faire du ménage dans ces conditions !  Il y a de quoi faire perdre ses cheveux à un administrateur de bases de données !

Pour votre parfaite information voici à quoi ressemble le script de mise a jour d’un élément :

16

Celui ci va lancer le rafraichissement de la partie de rapport définie lors d’un créneau horaire spécifique.

Conclusion :

Nous sommes dans un système en cours d’élaboration avec quelques limites  mais qui semble intéressant d’utiliser, il ne vous reste plus qu’a essayer 🙂

Je tiens à remercier mes confrères: Mohamed Ismail BEN LAMINE et Frédéric Brossard pour l’aide qu’ils m’ont apportés lors de la réalisation de cette session et de cet article.

Pour aller un peu plus loin :

Julien PIERRE

Consultant MSBI

#SQL Server 2016 | nouveautés POWER BI | CTP 3.0 | nouveautés SSRS

 

 

Introduction aux commposants SSIS inclus dans le Azure Feature Pack SQL Server 2016

Bonjour,

Suite à notre session au JSS en date  01/12/2015 avec Mohamed Ismail BEN LAMINE @Sam_Tun ou nous avons présentés les nouveautés SSIS et SSRS SQL 2016, je vais vous exposer une partie intéressante : Introduction aux commposants SSIS inclus dans le Azure Feature Pack SQL Server 2016

Pour information la vidéo de notre session est disponible ici :

Dans ce tutoriel nous allons voir 2 parties intéressantes :

Partie 1 : Introduction a Azure avec la création du Blob nécessaire pour l’utilisation des composants SSIS

Partie 2 : Utilisation des composants inclus dans le Azure Feature Pack

Point 1 : Créer un blob de stockage sur Azure :

On va ajouter un blob : pour cela : suivre les étapes suivantes :

  • Se rendre dans New:
    • Data + Storage
    • Storage Account
    • Affecter un nom de stockage et un lieu de stockage

1

2

Une fois le blob de stockage créer on doit arriver sur cet écran :

3

Vérification des blobs existants

4

Génération d’une clé de cryptage pour la connexion à Azure :

5

Notre premier point est réalisé. Maintenant nous allons nous connecter à ce blob Azure via SSIS et importer / exporter des données vers et depuis ce blob.

Pré requis nécessaires pour la suite :

Si vous souhaitez réaliser les mêmes opérations vous avez besoins d’installer le azure Feature pack et une base de donnée type contoso ou AdventureWorks :

https://www.microsoft.com/en-us/download/details.aspx?id=49492

https://www.microsoft.com/en-us/download/details.aspx?id=49502

Voici le scénario préparé  :

  1. Récupération des données a partir d’une source de données local que l’on va stocker dans un fichier plat localement (fichier local d’un magasin)
  2. Envoi des fichiers dans le Blob Azure
  3. Suppression des fichiers locaux
  4. Téléchargement des fichiers situés dans le blob Azure pour les mettre en local
  5. Réalisation d’un lookup pour mettre à jour la base de données centrale avec les données du magasin depuis Azure

Voici l’issue du package :

6

Création d’un container:

7

Création du dataflow Task pour récupérer les données du magasin pour les mettre dans un fichier plat :

8

 

9

Création d’une connexion vers Azure pour nous connecter à notre Blob

21

10

Upload des fichiers créés :

22

11

Suppression des fichiers crées :

23

12

Téléchargement des fichiers depuis Azure :

24

13

Création du lookup permettant de mettre à jour les données du site centrale a partir des données du magasin.

14

Connexion à notre source Azure :

25

15

Transformation des données :

26

16

Requête permettant de connaitre les clés des clients :

17

Mapping :

18

Redirection des lignes correspondantes et création d’un fichier d’interface issu du siège pour intégration et mis à disposition de tout le monde sur Azure :

27

19

Redirection des lignes en erreurs et création d’un fichier d’erreurs

20

Conclusion :

Voici un bon scénario pour vous initier au Azure Feature pack et à l’utilisation d’Azure …

A vous de jouer 🙂

Pour aller un peu plus loin :

Je tiens à remercier mes confrères: Mohamed Ismail BEN LAMINE et Frédéric Brossard pour l’aide qu’ils m’ont apportés lors de la réalisation de cette session et de cet article.

Julien PIERRE

Consultant MSBI

 

Sécurité dynamique dans les cubes SSAS avec SQL Server 2012

Avec l’ouverture des données Power BI Self-Service vers les utilisateurs (vu dans plusieurs de mes missions) les métiers veulent gérer eux même les droits ou périmètres sur de nombreux utilisateurs finaux (>1000).

En effet dans certains domaines, nous avons une forte contrainte de confidentialité des données contenues dans les cubes SSAS. Les juridictions qui doivent s’appliquer peuvent être changées avec des cadences variables allant de la journée, à des cadences inférieures (temps réel). Pour cela, l’ensemble de la sécurité mise en œuvre est stocké dans la source de données du cube, qui détermine qui peut voir quoi.

A travers cet article, nous allons voir comment rendre dynamique une sécurité de cube SSAS basée sur l’appel à une procédure stockée.

Lire la suite

[JSS2014] Comment réaliser et administrer un portail BI avec SharePoint, SQL Server et Excel ?

1.Présentation du contexte

Aujourd’hui nous nous sommes aperçus qu’un grand nombre d’entreprises et de collaborateur avait besoin d’avoir à leurs dispositions de nombreux rapports favorisant l’aide à la décision.

Ces rapports ont besoin d’être mis dans un environnement   :

  • Sécurisé
  • Pratique d’accès (portail Web)
  • Etanche (ne doit pas interféré les transactions en cours)
  • S’adapte aux utilisateurs

Tous ces besoins peuvent être réalisés grâce au portail BI sous SharePoint, car celui-ci permet de :

  1. Centraliser le contenu BI et y accéder de n’importe où à partir d’un navigateur (Accès distant / Mobilité)
  2. Partager un contenu BI (rapports, tableaux de bords)
  3. Commenter les analyses à plusieurs collaborateurs
  4. Sécuriser l’accès aux rapports en fonction des personnes et des Rôles dans l’entreprise
  5. Centraliser l’administration
  6. Rechercher par mots clés
  7. S’intégrer dans une charte graphique d’entreprise

   2.  Installation de SQL Server et SharePoint

Pour créer notre portail nous avons besoin d’installer SQL Server et SharePoint vous trouverez l’ensemble des détails de l’installation à l’adresse suivante :

https://mcnextpost.com/2014/03/28/installation-sharepoint-2013-avec-sql-server-2012-et-windows-server-2012/

A ce tutoriel nous le complétons en vous suggérant d’utiliser les outils suivants :

AutoSPSourceBuilder :

Permet d’intégrer les derniers CU à l’ISO de SharePoint 2010 ou 2013

Pour vous faciliter l’installation de vos fermes nous vous conseillons d’utiliser :

AutoSPInstaller & AutoSPInstallerGUI

Permet de simplifier l’installation de SharePoint et de configurer les rôles. Indispensable dans le cas de l’installation d’une ferme complète

Attention aux points suivants :

  • Si vous souhaitez installer SQL server 2014 nous vous recommandons d’utiliser le CU d’avril 2014
  • Avant le SP1 de SharePoint 2013, SharePoint n’est pas compatible avec Windows Server 2012 R2

 

      3. Configuration de SharePoint

Afin de créer un portail BI nous avons besoin de configurer les services suivants :

  • Visio Services
  • Excel Services
  • Performance Point Services
  • Power Pivot Pour SharePoint
  • Secure Store Services

Dans notre exemple nous avons privilégié l’utilisation du Wizard qui est plus facile d’utilisation car il permet de lancer l’ensemble des scripts nécessaires à l’ajout de services (de nombreux scripts autonome sont lancés en second plan)

 

0

 

Toutefois, cette installation semi automatisé ne répond pas aux « règles de l’art » dans l’idéal il aurait fallu ajouter les services nécessaires de manières manuels :

 

1

2

3

4

5

6

 

Configuration de PowerPivot

Après l’installation de PowerPivot pour SharePoint un module d’installation apparait ce module va permettre de lancer les différents scripts permettant de faire communiquer SharePoint avec notre instance power pivot et va nous créer le service associé.

Pour le configurer il suffit de lancer l’assistant d’insérer les différentes étapes de paramétrage :

 

7

Une fois ces différentes étapes réalisées :

  • Installation de SQL Server
  • Installation de SharePoint
  • Configuration des services

Nous allons pouvoir créer notre site qui va héberger nos différents documents.

 

4. Création du site d’hébergement :

Dans notre cas nous avons créé un team site plus simple et plus approprié à notre démo :

Pour cela rendez-vous dans l’administration centrale de Sharepoint :

SiteCollection

Créer un Team Site :

Application Management

Création du portail :

 

9

10

 

Ajout des apps nécessaires :

11

Ajout d’une promoted link :

 

12

 

13

 

Ajout d’une Galery PowerPivot

 

14

Ajout d’un report document Library 15

Ajout d’un Performance Point Content List

 

16

On revient sur notre page :

 

17

Nous allons dans document et nous ajoutons 2 exemples :

Un exemple Visio et un Exemple Excel qui vont démarrer depuis les moteurs intégrés :

  • Visio Services
  • Excel Services

18

Ajout des rapports SSRS :

19

20Modification des sources :

 

21

22

Ajout d’un exemple Performance Point (Disponible que sur la version Entreprise de Sharepoint 2013)

23

24

Pour notre exemple nous avons déployé un rapport déjà prédestiné :

25

On vérifie l’exemple :

26

 

Tous nos exemple sont OK il ne reste plus qu’à créer la page d’accueil à partir de notre promoted link

Nous allons dans la promoted link que nous avons appelé liens utile au début et nous effectuons une édition rapide :

27

Ensuite nous ajoutons nos différents liens qui pointe vers les photos choisis et les différents exemples ou liste d’exemple suivant ce que vous avez choisis :

28

On ajoute la promoted link à la page principale :

 

29

 

On supprime les liens par défaut et on ajoute les liens utiles :

30

On retroune sur la page principale et voilà:

 

31

On clique sur les différents liens pour voir le fonctionnement :

 

32

33

34

35

36

37

5. Les problématiques récurrentes :

              a.Driver pour Performance Point

Il est possible qu’après votre installation lors de la réalisation de rapports sous performance point vous n’arriviez pas à vous connecter à la base de données …

Pas de panique c’est normal … Il faut mettre les drivers de ADOMD.NET de SQL Server 2008 R2 (ou le feature pack)

Quelques liens utiles J :

https://yossidahan.wordpress.com/2012/08/14/cant-get-ssas-databases-to-appear-in-performance-point-dashboard-designer-check-you-adomd-net-version/

http://omicron-llama.co.uk/2012/07/18/connecting-to-analysis-services-on-sql-server-2012-from-performancepoint-on-sharepoint-2013-preview/

http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=16978
b. La configuration des services

http://technet.microsoft.com/fr-fr/library/jj219793(v=office.15).aspx

c. IIS

38

Vérifier les droits sur le répertoire IIS et le démarrage du pool applicatif

d. Les paramétrages de site:

39

Site Feature :

40

 

Cette partie permet d’activer les différentes options nécessaires au site (BI Center / Performance Point …). Ces modules peuvent s’avérer nécessaire pour l’utilisation de certaines apps ou de certaines fonctionnalités nécessaire à l’élaboration de notre portail BI.

6.Conclusion

Dans cet article nous avons fait un tour rapide des différents éléments nécessaires a la création d’un site BI sur SharePoint en reprenant les différentes étapes d’installation de configuration et de mise en place.

Bien évidement il reste quelques points à approfondir mais avec l’ensemble de ces éléments vous devriez avoir les bases pour créer votre premier portail.

 

Julien PIERRE

Consultant Décisionel