Le Post Infeeny

Les articles des consultants et experts Infeeny

[Azure] Installation d’une Gateway DataFactory

Contexte : Dans notre exercice nous essayons de réaliser une copie de données entre des données en local et Azure Data Lake store.
Pour réaliser ce transfert nous allons utiliser le service Azure Data Factory et nous avons besoins de réaliser une Gateway pour sécuriser les données entre notre machine local et notre Azure Data Lake Store.

Lire la suite

[Azure][SQL] Passage de certification 70-473

Suite à mon passage de la certification 70-473 : Conception et implémentation de solutions de plateforme de données cloud

Voici mon retour cette certification :

  • Une 50aine de questions au total
  • Pas mal d’études de cas 4 ou 5, partant de la base suivante :
    • J’ai un système On-Premise (en local) je souhaite le migrer dans le cloud vers quelle solution  dois je me tourner ?
      • Evidemment il faut répondre en fonction du contexte client 🙂
    • Et le contexte client peut varier :
      • Soit ça peut être tourné vers des machines en IAAS avec potentiellement de la haute dispo
      • Soit vers du SQL Database ou du SQL Datawarehouse
  • Passer ces études de cas très intéressante (car, pour une fois elle reflète vraiment les questions que l’on peut se poser en clientèle)

 

  • Il y a pas mal de questions techniques orientés sur les informations suivantes :
    • Ouverture des ports pour accéder la SQL Database depuis l’extérieur ou vers les machines en IAAS
    • Configuration de l’Azure Active Directory quand cela est nécessaire
    • Il faut bien connaitre les différences entre les niveaux de services proposés dans la SQL Database (basic, Standard, premium)
    • Il faut connaitre tous les systèmes de géoréplication
    • Certaines questions portent sur les connaissances des systèmes de sauvegarde disponible que ce soit sur la version SQL Database ou en IAAS
    • Il est nécessaire de connaitre les systèmes de transfert de données vers Azure suivant la volumétrie
    • Il est impératif de connaitre les systèmes de chiffrement et de sécurité des données
    • Les nouveautés coté SQL Server 2016 SP1 et SQL Database V12 sont aussis de la partie et sont utiles dans les questions (polybase, Always encrypted …)
    • Certaines questions consistent à connaitre les commandes powershell permettant re restaurer un backup sur une SQL database par exemple, il est donc nécessaire de connaitre les commandes PowerShell disponible dans Azure.

Ma méthode de révision a été la suivante :

  • Comprendre le type de questions qui peuvent être demandés (via la vidéo ci-dessous et les slides)
  • Réviser sur la MSDN les différentes parties sollicitées
  • J’ai eu la chance de travailler à quelques reprises sur des cas similaires chez des clients ou lors de présentation et il n’y a pas à dire mais la pratique ça aide énormément 🙂

 

Si vous souhaitez en savoir plus :

https://www.microsoft.com/fr-fr/learning/exam-70-473.aspx

https://cloudthat.in/course/azure-certification-boot-camp-for-exam-70-473/?pdfpopup=1

https://www.youtube.com/watch?v=rOC4nhuXoRo

 

Julien PIERRE

Consultant MSBI

[SSRS][PowerBI] Introduction a Power BI dans le Server de Rapport SQL Server (SSRS)

Suite à de nombreuses demandes d’utilisateurs ne souhaitant pas voir leur donner partir dans le cloud Microsoft.

Microsoft à mis en place 2 solutions à dispositions pour la partie Power BI :

  • La mise en place d’une gateway permettant de ne pas exporter les données dans le cloud
  • La création d’un serveur de rapport SSRS permettant d’héberger des rapports Power BI conçu à partir de Power BI Desktop

Dans cette introduction nous allons étudiés la solution numéro qui vient de sortir en mode pré view dans la vNext de SQL Server

Lire la suite

[SQL 2016]Introduction au Row Level Security

Voici une nouveauté intéressante de SQL Server 2016

Le Row Lever Security (RLS)

Qu’est-ce que c’est ?

Le Row Level Security permet de sécuriser des données au niveau des lignes.

Grace au Row Level sécurité on peut attribuer des rôles et afficher les données correspondant au rôle correspondant à l’utilisateur logué.

Lire la suite

Introduction à PolyBase

PolyBase :

Polybase est une technologie qui permet de requêter et de combiner des données non-relationnelles et relationnelles à partir de SQL Server

PolyBase supporte Hadoop et Azure Blob Storage

Les requêtes sont optimisées pour pousser le calcul vers Hadoop

Comment créer une table polybase :

Lire la suite

Les Temporal Table SQL Server 2016

A la sortie de SQL Server 2016 une nouvelle fonctionnalité est arrivée :

Les Temporal Table !

Qu’est-ce que c’est ?

Vous avez tous eu besoin un jour ou l’autre de devoir auditer vos tables de vos bases de données

Jusqu’à maintenant des solutions existaient :

  • Change Data Capture
  • SQL Broker
  • La mise en place de Trigger ?
  • Lecture des logs ?

Mouais ! Pas toujours très convaincantes ces solutions, mais surtout pas facile à mettre en place et souvent contre performante …  Bref !

Lire la suite

SQL 2016 Le live Query Statistique

Dans les versions passés il n’existait pas de fonctionnalités pour connaitre l’état des requêtes en temps réel.

Lorsque qu’on lançait une requête il était impossible de connaitre l’état d’avancement de celle-ci.

Lire la suite

Création d’un cluster SQL SERVER 2016 dans Azure (IAAS)

Objectif :

L’objectif de ce blog est de vous présenter toutes étapes permettant de créer un système de haute disponibilité  SQL SERVER dans Azure

Voici un peu le détail de l’architecture :

1

Dans ce blog nous allons aborder les sujets suivants :

  • Création du réseau virtuel permettant aux machines de communiquer
  • Création des VM nécessaires à notre architecture
  • Installation des Contrôleurs de domaines depuis Azure
  • Préparation du cluster
  • Installation de SQL Server 2016 en mode cluster

Pré requis :

  • SQL SERVER 2016
  • Un compte Azure
  • 1 réseau virtuel
  • 4 machines Virtuelle :
  • 2 Contrôleurs de domaine (DC1 / DC 2) (Windows Server 2012 R2)
  • 2 machines SQL SERVER 2016 (Windows Server 2012 R2)
  • De l’huile de coude et un peu de bonnes volontés 🙂

Partie 1 : Création d’un réseau virtuel 

Afin que nos machines puissent communiquer nous allons créer un réseau virtuel :

2

3

Le reseau est créé :  4

Partie 2 :Création des 4 machines virtuelles nécessaires à notre configuration :

Dans le portail Azure il faut vous rendre dans l’onglet :

Machine Virtuelles :

5

Nous recherchons Windows Server 2012 R2 DATACENTER

6

Une fois la sélection faite nous allons choisir le type de machine pouvant héberger notre « labs » de test :

7

Dans notre cas j’ai choisis 2 machine A0 de base pour les machines Active Directory et 2 machines A1 de base pour les machines SQL Server.

Il est évident que pour des configurations de production ces machines seraient trop juste et risquerai d’être sous dimensionnée par rapport à vos besoins.

Suivant vos besoins vous être libre de choisir les machines qui se rapproche le plus de votre usage.

Voici le détail de création des machines, vous devez répliquer cette opération autant de fois que votre architecture le nécessite.

8

9

 

Partie 3 Installation du contrôleur de domaine :

Un fois la machine DC1 installée connectez vous en remote et installez l’active Directory :

Rendez vous dans Add Roles and Features sur le Serveur :

17.jpg

Choisissez le service Active Directory

14

Une fois installé rendez vous dans l’onglet active directory :

18

Une fois réalisé il faut promouvoir le controleur de domaine :

19

Votre Active Directory est créée

Il faut rajouter le DNS de la machine primaire a toutes les machines du réseau :

Rendez vous sur le portail azure et dans les paramètre de votre machine modifier le serveur DNS Mettez l’adresse du DNS principal comme celui de votre controleur de domaine que vous venez de créer :

22

Ajouter le DC2 en nouveau contrôleur de domaine sur le domaine :

24

Si vous avez besoin d’aide pour l’installation d’un contrôleur de domaine vous pouvez suivre les étapes suivantes :

http://www.windows8facile.fr/windows-server-2012-installer-active-directory-dns-dhcp/

Une fois votre active directory installé vous pouvez ajouter vos 2 machines SQL au Domaine.

N’oubliez pas d’ajouter le DNS secondaire a vos machine le DNS secondaire correspondant a l’adresse IP de la machine DC2.

23

 

Une fois les machines SQL relié on va préparer l’installation du cluster :

On va ajouter 2 disques qui nous permettrons de faire la réplication :

Dans le portail Azure réaliser l’étape suivante :

25

Le disque va s’ajouter sur la machine il faut le formater et le monter pour qu’il soit disponible :

Aller dans le computer management :

26

Ensuite Formater le volume et attribuez lui la lettre F comme lettre de montage :

 

Sur la machine nous allons installer le cluster

27

Sur la machine nous allons installer le cluster ( On retourne dans le menu Add Roles and Features )

28

En suite connecter vous au portail de configuration et effectuez les opérations suivantes :

29

Cliquer sur Validate Configuration et effectuer les opérations suivantes :

3031323334

Il faut en suite modifier les propriétés de l’adresse IP du Cluster :

35.jpg

Rendez-vous sur le DC1 ou DC2 et ajouter un répertoire qui va nous permettre de créer le Quorum du cluster :

C:\Quorum :

Ajouter les droits en lecture / Ecriture au cluster sur ce répertoire (le cluster étant un ordinateur)

1

 

2

Retourner sur la machine SQL1 et réaliser les actions suivantes :

3

 

476

Telechager DataKeeper qui est un outil qui va nous permettre de simuler le SAN d’hébergement de notre cluster et le miroir de stockage sur azure.

Datakeeper est disponible ici et peut être demandé en version de démonstration pour 14 jours.

Pour plus d’information : http://us.sios.com/products/datakeeper-cluster/

Installer Datakeeper et ajouter y votre licence :

8

Ouvrir l’outil Datakeeper et réaliser les actions suivantes :

Creer un job :

Connectez vous  aux deux serveurs SQL ( SQL1 et SQL2 )

910

Nommer le job comme vous le souhaitez.

Attention pour fonctionner DataKeeper necessite qu’un second disque soit monter pour réaliser le miroir ( action que nous avons réaliser précédement)

Içi nous allons « mirrorer » les disques F que nous avons monter précédements, ils permetteront d’heberger notre cluster :

1112

Nous allons creer un mirroir synchrone pour notre cas :

13

Une fois l’action réalisé DataKeeper nous informe que le volume est éligible au cluster cliquez sur oui :

 

14

Dans DataKeeper verifier que la synchronisation fonctionne bien :

 

15

Partie 4 :Installation de SQL Server 2016 :

Sur la machine SQL 1 :

16171819

Dans notre cas nous allons faire demarrer le service avec notre compte administrateur mais l’idéal est de creer un compte de service spécifique pour le demarrage des services

2021

En suite lancer l’installation suivante :

2223242526

On spécifie une IP pour le Cluster SQL Server

27

Ne pas oublier d’ajouter un administrateur

28

 

Rendez-vous sur la machine SQL2 :

313233343536

Votre cluster est prêt :

N’oubliez pas d’activer les ports distants pour accéder depuis l’extérieur a SQL Server  :

Et d’installer le management studio :

40

pour l’installer cliquer sur le liens suivant qui va vous envoyer sur une page web pour telecharger l’outil et l’installer :

39

Merci a Datakeeper pour leur aide dans l’élaboration de ce tutoriel :

Si vous avez besoins voici des liens utiles :

Creating a SQL Server 2014 AlwaysOn Failover Cluster (FCI) Instance in Windows Azure IaaS #Azure #Cloud

https://azure.microsoft.com/fr-fr/documentation/articles/active-directory-new-forest-virtual-machine/

https://channel9.msdn.com/Series/Windows-Azure-IT-Pro-IaaS/05

https://azure.microsoft.com/fr-fr/documentation/articles/active-directory-install-replica-active-directory-domain-controller/

Windows Server Failover Cluster on Azure IAAS VM – Part 1 (Storage)

https://azure.microsoft.com/en-us/documentation/articles/virtual-machines-windows-classic-portal-sql-alwayson-availability-groups/

Bon courage.

Julien PIERRE                                                                                                                                       Consultant MSBI

 

 

 

 

 

SQL Server 2016 SSRS et les rapport Hybrid

Bonjour,

Suite à notre session au JSS en date  01/12/2015 avec Mohamed Ismail BEN LAMINE @Sam_Tun ou nous avons présentés les nouveautés SSIS et SSRS SQL 2016, je vais vous exposer une partie intéressante : SSRS et les rapports hybrid.

Pour info vous pouvez consulter la vidéo de notre session ici :

Depuis l’arrivée de la CTP 3.0 de SQL Server 2016 il y a possibilité de publié des parties de Rapport SSRS dans Power BI « On Premise ».

Aujourd’hui nous allons voir comment réaliser cette opération :

Se connecter au SQL Server Reporting Services Configuration manager :

1

Se connecter à l’instance Reporting services :

2

Se rendre dans le nouvel onglet : Power BI Integration

3

S’enregistrer :

4

Vérifier l’enregistrement :

5

Redémarrer le service SSRS une fois l’enregistrement effectué sinon le « pin » du rapport sera impossible :

6

7

8

Se rendre au niveau du serveur de rapport :

9

Cliquer sur le bouton My setting et s’enregistrer sur le serveur de rapport :

10

Ouvrir un rapport pour effectuer le « pin » : sélectionner l’élément à mettre a disposition sur Power BI ( Attention tous les éléments ne peuvent pas être mis a disposition sur Power BI )

11

Une fois l’élément sélectionné choisissez la fréquence de rafraîchissement et le rapport dans lequel vous souhaitez l’intégrer :

17

12

Une fois la mise a disposition de l’élément sur Power BI réalisé.

L’écran suivant s’affiche :

13

Attention : Au moment ou j’écris cet article, le multi langue n’est pas correctement supporté et des bug d’affichage peuvent subsister pour éviter cela il est préférable de mettre tout vos paramètres régionaux dans la langue de Shakespeare.

Un peu d’aide à ce propos : http://windows.microsoft.com/fr-fr/windows/change-system-locale#1TC=windows-7

Une fois cette étape réalisé vous pouvez vous rendre sur le site Power BI pour vérifier le bon « pin » de votre partie de rapport sur le site « On Premise »  :

https://powerbi.microsoft.com/en-us/?WT.srch=1&WT.mc_ID=SEM_TUTXQCC8

14

Il faut savoir que pour pouvoir réaliser cette opération l’agent SQL Server doit être activé pour la raison suivante :

A chaque élément ajouté, une tache est créé permettant d’aller rafraichir les données dans power BI voici un exemple de jobs créé lors de cette opération et que l’on retrouve dans l’agent :

15

 

Le défaut c’est que le nom ne correspond pas clairement à une tache. De plus, après suppression d’un élément dans Power BI la tache n’est pas supprimé automatiquement.

Vous en conviendrez qu’il est difficile de faire du ménage dans ces conditions !  Il y a de quoi faire perdre ses cheveux à un administrateur de bases de données !

Pour votre parfaite information voici à quoi ressemble le script de mise a jour d’un élément :

16

Celui ci va lancer le rafraichissement de la partie de rapport définie lors d’un créneau horaire spécifique.

Conclusion :

Nous sommes dans un système en cours d’élaboration avec quelques limites  mais qui semble intéressant d’utiliser, il ne vous reste plus qu’a essayer 🙂

Je tiens à remercier mes confrères: Mohamed Ismail BEN LAMINE et Frédéric Brossard pour l’aide qu’ils m’ont apportés lors de la réalisation de cette session et de cet article.

Pour aller un peu plus loin :

Julien PIERRE

Consultant MSBI

#SQL Server 2016 | nouveautés POWER BI | CTP 3.0 | nouveautés SSRS

 

 

Introduction aux commposants SSIS inclus dans le Azure Feature Pack SQL Server 2016

Bonjour,

Suite à notre session au JSS en date  01/12/2015 avec Mohamed Ismail BEN LAMINE @Sam_Tun ou nous avons présentés les nouveautés SSIS et SSRS SQL 2016, je vais vous exposer une partie intéressante : Introduction aux commposants SSIS inclus dans le Azure Feature Pack SQL Server 2016

Pour information la vidéo de notre session est disponible ici :

Dans ce tutoriel nous allons voir 2 parties intéressantes :

Partie 1 : Introduction a Azure avec la création du Blob nécessaire pour l’utilisation des composants SSIS

Partie 2 : Utilisation des composants inclus dans le Azure Feature Pack

Point 1 : Créer un blob de stockage sur Azure :

On va ajouter un blob : pour cela : suivre les étapes suivantes :

  • Se rendre dans New:
    • Data + Storage
    • Storage Account
    • Affecter un nom de stockage et un lieu de stockage

1

2

Une fois le blob de stockage créer on doit arriver sur cet écran :

3

Vérification des blobs existants

4

Génération d’une clé de cryptage pour la connexion à Azure :

5

Notre premier point est réalisé. Maintenant nous allons nous connecter à ce blob Azure via SSIS et importer / exporter des données vers et depuis ce blob.

Pré requis nécessaires pour la suite :

Si vous souhaitez réaliser les mêmes opérations vous avez besoins d’installer le azure Feature pack et une base de donnée type contoso ou AdventureWorks :

https://www.microsoft.com/en-us/download/details.aspx?id=49492

https://www.microsoft.com/en-us/download/details.aspx?id=49502

Voici le scénario préparé  :

  1. Récupération des données a partir d’une source de données local que l’on va stocker dans un fichier plat localement (fichier local d’un magasin)
  2. Envoi des fichiers dans le Blob Azure
  3. Suppression des fichiers locaux
  4. Téléchargement des fichiers situés dans le blob Azure pour les mettre en local
  5. Réalisation d’un lookup pour mettre à jour la base de données centrale avec les données du magasin depuis Azure

Voici l’issue du package :

6

Création d’un container:

7

Création du dataflow Task pour récupérer les données du magasin pour les mettre dans un fichier plat :

8

 

9

Création d’une connexion vers Azure pour nous connecter à notre Blob

21

10

Upload des fichiers créés :

22

11

Suppression des fichiers crées :

23

12

Téléchargement des fichiers depuis Azure :

24

13

Création du lookup permettant de mettre à jour les données du site centrale a partir des données du magasin.

14

Connexion à notre source Azure :

25

15

Transformation des données :

26

16

Requête permettant de connaitre les clés des clients :

17

Mapping :

18

Redirection des lignes correspondantes et création d’un fichier d’interface issu du siège pour intégration et mis à disposition de tout le monde sur Azure :

27

19

Redirection des lignes en erreurs et création d’un fichier d’erreurs

20

Conclusion :

Voici un bon scénario pour vous initier au Azure Feature pack et à l’utilisation d’Azure …

A vous de jouer 🙂

Pour aller un peu plus loin :

Je tiens à remercier mes confrères: Mohamed Ismail BEN LAMINE et Frédéric Brossard pour l’aide qu’ils m’ont apportés lors de la réalisation de cette session et de cet article.

Julien PIERRE

Consultant MSBI