Sonntag , 25 August 2019

Umzug von Windows Azure HDInsight ins Management Portal

Windows Azure HDInsightGestern war es endlich soweit:
Die Windows Azure HDInsight Preview wurde ins Windows Azure Management Portal integriert. 
Somit können die Apache Hadoop Dienste jetzt direkt über das Portal erstellt und konfiguriert werden.

Durch die Integration der Windows Azure HDInsight Preview, lassen sich mit wenigen Mausklicks im Handumdrehen ein Hadoop-Cluster erstellen.

Somit kann im Bedarfsfall schnell ein passendes Hadoop-Cluster erstellt, die Daten analysiert und das Cluster dann wieder herunterfahren werden. So ergeben sich Kosteneinsparungen, die nur in einer Cloudumgebung möglich sind.

Dank der Integration mit der Microsoft-Datenplattform können die in Hadoop befindlichen Daten mit PowerPivot, Power View und anderen BI-Tools von analysiert werden.

Anmelden an der Preview

Über das Menü im Management Portal steht ein neuer Menüpunkt für die HDInsight Preview zur Verfügung:

Windows Azure Management Portal Menü - HDInsight

Auch wer sich bereits an der vorherigen Hadoop-On-Azure Preview angemeldet hatte, muss dies erneut tun.

Dazu kann der Link im Menü oder der Preview Features Bereich in der Kontoverwaltung genutzt werden:

Anmeldung zur Azure HDInsight Preview

 

Hadoop-Cluster erstellen

Sobald man für die Preview die Bestätigungsemail erhalten hat, kann auch schon losgelegt werden.

Ein Windows Azure Storage Account erstellen

Zu Beginn benötigt mein ein Storage Account in der Region East US:

Windows Azure Management Portal Menü - Ein Storage Account anlegen

Wozu dieses benötigt man dieses Storage Account?

Normalerweise wird bei Hadoop das eigene verteilte Dateisystem HDFS (Hadoop Distributed File System) eingesetzt, um die Daten auf allen Serverknoten zur Verfügung zu stellen.

Microsoft geht mit Windows Azure HDInsight allerdings einen eigenen Weg.

Bereits in der Hadoop-On-Azure Preview konnte man auf den Windows Azure Blob Storage zugreifen.

Dazu musste man im Dashboard die Kachel "Manage Cluster" auswählen …

Hadoop-On-Azure Preview - Dashboard

… und im Menüpunkt "Set up ASV" die Storage Account Zugangsdaten hinterlegen.

Hadoop-On-Azure Preview - Manage Cluster

Somit konnte man über den asv:// Prefix auf den Windows Azure Blob Storage zugreifen, um beispielsweise die dort hinterlegten Daten für einen MapReduce-Job zu verwenden.

Die Abkürzung ASV steht für Azure Storage Vault

In der neuen Preview ist die Verwendung eines Storage Accounts die Voraussetzung für die Nutzung von Azure HDInsight.

Der große Vorteil dieser Architektur ist erneut die Kostenersparnis:
Da die Daten vom eigentlichen Hadoop-Cluster getrennt sind, wird das Cluster nur für die Analyse benötigt.
Nach der Analyse kann dieses wieder freigegeben werden, um so Kosten für Rechenzeit zu sparen.

HDInsight Servers anlegen

Über New -> Data Services -> HDInsight -> Quick Create kann anschließend ein neues Hadoop-Cluster erstellt werden:

Windows Azure Management Portal Menü - Ein Hadoop-Cluster anlegen

 

Alternativ kann über New -> Data Services -> HDInsight -> Custom Create der Wizard gestartet werden. Hierbei können detailliertere Angaben für Installation vorgenommen werden, wie beispielsweise eine genauere Angabe der Data Nodes …

Windows Azure HDInsight Installation Wizard - Step 1

… oder der Benutzername des Administratorkontos.

Windows Azure HDInsight Installation Wizard - Step 2

Zu guter Letzt kann noch ein Speicherkonto und – wenn bereits vorhanden – ein Blob Storage Container ausgewählt werden.

Windows Azure HDInsight Installation Wizard - Step 2

Nachdem die Bereitstellung des Dienstes abgeschlossen ist, kann das HDInsight Dashboard über das Management Portal erreicht werden:

Windows Azure HDInsight Dienst im Management Portal