Microsoft HDInsight Podcast (Folge 02)

Im zweiten Teil dieser Video-Podcast Serie dreht sich alles um die Installation von HDInsight.
Dabei zeige ich einerseits wie man den lokalen Microsoft HDInsight Emulator mittels Web Platform Installer installiert.
Andererseits stelle ich vor wie der Windows Azure HDInsight Dienst via Management Portal, PowerShell Skript oder Windows Azure CLI Tool erstellt werden kann.

Verwendete Windows Azure Skripte

Erstellen des Windows Azure Blog Storages

Mit diesem Powershell-Skript wird sowohl ein Storage Account wie auch ein Container angelegt:

$storageAccountName = "hdinsightacct" # Name des Storage Accounts
$containerName = "hdinsightcontainer" # Name des Container
$location = "West Europe" # Region / Rechenzentrum

New-AzureStorageAccount -StorageAccountName $storageAccountName -Location $location

$storageAccountKey = Get-AzureStorageKey $storageAccountName | %{ $_.Primary }
$destContext = New-AzureStorageContext -StorageAccountName $storageAccountName `
  -StorageAccountKey $storageAccountKey  

New-AzureStorageContainer -Name $containerName -Context $destContext

 

Das Gleiche wird wie folgt mit dem Windows Azure Cross-Platform Command-Line Interface umgesetzt:

azure storage account create -l "West Europe" hdinsightacct

REM Anzeigen der Storage Account Keys
REM azure storage account keys list hdinsightacct

azure storage container create -a hdinsightacct -k <StorageAcctKey> hdinsightcontainer

 

Erstellen des Windows Azure HDInsight Dienstes

Mit diesem Powershell-Skript wird ein Windows Azure HDInsight Dienst (mit 4 Data-Nodes) angelegt, der den oben erstellten Blog Storage verwendet:

$storageAccountName = "hdinsightacct" # Name des Storage Accounts
$containerName = "hdinsightcontainer" # Name des Container
$clusterName = "hdinsightcluster" # Name des HDInsight Clusters
$location = "West Europe" # Region / Rechenzentrum
$clusterNodes = 4 # Anzahl der Data-Nodes

$storageAccountKey = Get-AzureStorageKey $storageAccountName | %{ $_.Primary }

$secpasswd = Get-Content "HDInsightPassword.txt" | ConvertTo-SecureString
$creds = New-Object System.Management.Automation.PSCredential ("Admin", $secpasswd)

New-AzureHDInsightCluster -Name $clusterName `
   -Location $location `
   -ClusterSizeInNodes $clusterNodes `
   -DefaultStorageAccountName "$storageAccountName.blob.core.windows.net" `
   -DefaultStorageAccountKey $storageAccountKey `
   -DefaultStorageContainerName $containerName `
   -Credential $creds

 

Die Windows Azure Cross-Platform Command-Line Interface Umgesetzung:

azure hdinsight cluster create 
  --clusterName hdinsightcluster
  --location "West Europe"
  --nodes 4
  --storageAccountName hdinsightacct
  --storageAccountKey <Storage Account Key>
  --storageContainer hdinsightcontainer
  --username Admin
  --clusterPassword <Passwort>

 

---

---