Sonntag , 19 Mai 2019

Schlagwörter Archiv: Hadoop

Hadoop on Linux mit Azure VMs (2) – Basis Image erstellen

Am Montag hatte ich bereits aufgezeigt, wie man ein Storage Account, den Cloud Service, sowie das Virtuelle Netzwerk für ein manuell erstelltes Hadoop on Linux Cluster anlegt. In diesem Teil meiner dreiteiligen Serie stelle ich vor, wie man ein Basis-Image für die Cluster-Knoten erstellen kann... Mehr lesen »

Hadoop on Linux mit Azure VMs (1) – Vorbereitungen

Vor kurzem benötigte ich ein Hadoop on Linux Test-Cluster, welches relativ nah an eine lokale Produktionsumgebung rankommen sollte. Somit fielen leider HDInsight (inkl. der Hadoop on Linux Preview), durch die Nutzung des Blob Storages aus. Grund genug, um einmal aufzuzeigen, wie man ein Hadoop on Linux Cluster mit Azure VMs aufsetzen kann. Mehr lesen »

Apache HBase mit Microsoft Azure HDInsight (Teil 2)

Apache HBase

Nachdem ich bei meinem letzten Blog-Post über Apache HBase mit Microsoft Azure HDInsight eine grobe Einführung in das Thema gegeben habe, möchte ich diesmal auf ein paar Grundlegende Konzepte eingehen. Mehr lesen »

Apache HBase mit Microsoft Azure HDInsight (Teil 1)

Apache HBase

Durch ein aktuelles Projekt, beschäftige ich mich intensiver mit Apache HBase, was eine hervorragenden Gelegenheit bietet meinem Blog mal wieder etwas Leben einzuhauchen. Mehr lesen »

MapReduce Entwurfsmuster – Numerische Aggregation (Standardabweichung 2/2)

MapReduce Entwurfsmuster - Durchschnittswerte

Im heutigen Teil meiner kleinen Serie der MapReduce Entwurfsmustern für Microsoft HDInsight dreht es sich erneut um die Berechnung der Standardabweichung und des Medians. Diesmal werde ich den vorhandenen Algorithmus dahingehend erweitern, dass die Nutzung eines Combiners ermöglicht wird... Mehr lesen »

MapReduce Entwurfsmuster – Numerische Aggregation (Average)

MapReduce Entwurfsmuster - Durchschnittswerte

Im zweiten Teil meiner kleinen Serie der MapReduce Entwurfsmustern für Microsoft HDInsight möchte ich ein weiteres Beispiel für eine Numerische Aggregation vorstellen. Diesmal geht es um die Berechnung von Durchschnittswerten... Mehr lesen »

MapReduce Entwurfsmuster – Numerische Aggregation (Min/Max/Count)

MapReduce Entwurfsmuster - Einfache Aggregation

In den letzten Monaten ist es leider etwas ruhig auf meinem Blog geworden, was zum größten Teil an meinem neuen Freizeitprojekt - den Azure Management Apps - lag. Um diese Stille zu durchbrechen, möchte ich eine kleine Serie mit MapReduce Entwurfsmustern für Microsoft HDInsight starten... Mehr lesen »

Microsoft HDInsight Podcast (Folge 02)

Microsoft HDInsight Podcast

Im zweiten Teil dieser Video-Podcast Serie dreht sich alles um die Installation von HDInsight. Dabei zeige ich einerseits wie man den lokalen Microsoft HDInsight Emulator mittels Web Platform Installer installiert. Andererseits stelle ich vor wie der Windows Azure HDInsight Dienst via Management Portal, PowerShell Skript oder Windows Azure CLI Tool erstellt werden kann. Mehr lesen »

Microsoft HDInsight Podcast (Folge 01)

Microsoft HDInsight Podcast

In den vergangenen 1-2 Jahren durfte ich auf verschiedenen Konferenzen, und bei einigen User Groups, einen Überblick über Microsoft HDInsight bzw. Apache Hadoop geben. Das Hadoop Ecosystem ist allerdings so umfangreich, dass man diesem weder innerhalb eines Session Slots, noch an einem User Group Abend, gerecht werden kann. Deshalb möchte ich dem Wunsch einiger Teilnehmer nachkommen und dazu eine Podcast Serie starten. Mehr lesen »