In der IT-Branche gibt es momentan 3 dominierende Themen, die auf der Agenda eines jeden Unternehmens stehen und die nahezu in jeder Pr\u00e4sentation heutzutage eine Rolle spielen oder zumindest referenziert werden:<\/p>\n
Dieser Artikel besch\u00e4ftigt sich mit Hadoop, einem der Schlagworte, dass eigentlich immer im Zusammenhang mit Big Data genannt wird und derzeit eine regelrechte Euphorie ausl\u00f6st.<\/p>\n
Um Hadoop zu verstehen, empfiehlt es sich auf die IT-Vergangenheit der letzten 20 Jahre zu schauen:<\/p>\n
Im Jahr 1995<\/strong> gab es eine Reihe von Programmen, die helfen sollten, Informationen im schnellwachsenden Internet zu indizieren und durchsuchbar zu machen: AltaVista, Lycos, Fireball, Infoseek, eXcite und Webcrawler waren sog. Suchmaschinen. Jedes dieser Unternehmen erzielte beachtliche Erfolge im schnellwachsenden Internet und war zu seiner\u00a0Zeit unbestrittener Marktf\u00fchrer.<\/p>\n Heutzutage sind viele dieser damals erfolgreichen\u00a0Marken entweder verschwunden, wurden \u00fcbernommen oder sind nur noch in Marktnischen des Internets erfolgreich und vertreten.<\/p>\n Wie kam es aber dazu? Warum sind die vielen einstigen Pioniere des heutigen Internets verschwunden oder nahezu bedeutungslos?<\/p>\n Die Antwort auf die Frage gibt das Jahr 2000<\/strong>, in dem eine neue Suchmaschine die Spielwiese des Internets betrat: Google.<\/p>\n Aus heutiger Sicht ist Google aus dem Internet nicht mehr wegzudenken – wie aber kam es dazu?<\/p>\n Der Erfolg von Google war die Qualit\u00e4t der Suchergebnisse (Google PageRank), die Schnelligkeit der Suche und das wahnsinnig schnelle Indizieren neuer Inhalte.<\/p>\n Google ging hierbei komplett neue Wege; man beschloss das gesamte Internet als Kopie im eigenen Rechenzentrum vorzuhalten und alle Daten des Internets zu analysieren. Schnell wurde offensichtlich, dass eine derartige Massenspeicherung von Daten mit einer traditionellen Architektur (Relationale Datenbanken, Enterprise-Storage, Enterprise-Server) aus Kosten- und Technologiegr\u00fcnden nicht umsetzbar war und man erfand zwei revolution\u00e4re, neue Ans\u00e4tze:<\/p>\n Das Google File System ist in der Lage riesige Datenmengen auf Clustern von Commodity-Hardware (LowCost) zu speichern und Hardware-Fehler zu tolerieren.<\/p>\n Um diese riesigen Datenmengen berechnen und auswerten zu k\u00f6nnen, erfand Google den Alghoritmus MapReduce, der im Gegensatz zu bisherigen Methoden, entwickelt wurde einen Nutzen aus den verteilten Dateien auf dem Google File System zu ziehen.<\/p>\n Im Wesentlichen vereinfacht MapReduce die Programmierung von distribuierten Systemen, in dem es die Rechenoperationen (Compute) zu den Daten schickt; jedes System im Filesystem-Cluster berechnet gleichzeitig einen Teilbereich der Gesamtdaten (Map) und die Ergebnisse werden am Ende aufsummiert auf Basis von Key-Value-Paaren (Reduce).<\/p>\n Google ver\u00f6ffentliche entsprechende Papiere \u00fcber das Design von GFS und MapReduce in 2003 und 2004: daraus wurde das Apache-Projekt Hadoop geboren, das im Grundsatz ebenfalls aus 2 Komponenten besteht:<\/p>\n\n