Unterschied zwischen Map Reduce und Yarn
Yarn steht für Yet Another Resource Negotiator, es ist das neue Framework zum Verwalten von Ressourcen (Speicher und CPU). Es hilft uns bei der Entwicklung verteilter Anwendungen jeglicher Art und stellt uns die erforderlichen Daemons und APIs zur Verfügung. Ein weiteres wichtiges Merkmal von YARN ist, dass es Ressourcenanforderungen von der Anwendung verarbeitet und plant und dem Prozess hilft, die Anforderung auszuführen. YARN ist eine allgemeine Plattform zum Ausführen einer beliebigen verteilten Anwendung. Map Reduce Version 2 ist die verteilte Anwendung, die auf YARN ausgeführt wird. Während Map Reduce die Verarbeitungseinheit der Hadoop-Komponente ist, werden Daten in der verteilten Umgebung parallel verarbeitet. Im Grunde genommen wird die Arbeit an riesigen Datenkomponenten kartenreduziert, die Daten werden verarbeitet und in HDFS gespeichert, sodass das Abrufen einfacher ist als das herkömmliche Speichern.
Head to Head Vergleich zwischen MapReduce und Yarn (Infografik)
Unten ist der Top 10 Vergleich zwischen dem MapReduce vs Garn
Der Hauptunterschied zwischen MapReduce und Yarn
- In Hadoop 1 hat es zwei Komponenten: die erste ist HDFS (Hadoop Distributed File System) und die zweite ist Map Reduce. Während es in Hadoop 2 auch zwei Komponenten hat, HDFS und YARN / MRv2 (wir haben YARN normalerweise als Map Reduce Version 2 bezeichnet).
- Wenn Map-Reduce in Map Reduce nicht mehr funktioniert, werden alle Slave-Knoten automatisch angehalten. Dies ist das einzige Szenario, in dem die Jobausführung unterbrochen werden kann und dies als Single Point of Failure bezeichnet wird. YARN überwindet dieses Problem aufgrund seiner Architektur. YARN hat das Konzept des aktiven Namensknotens sowie des Standby-Namensknotens. Wenn der aktive Knoten für einige Zeit nicht mehr funktioniert, beginnt der passive Knoten als aktiver Knoten zu arbeiten und setzt die Ausführung fort.
- Map Reduce verfügt über eine Single-Master- und eine Multiple-Slave-Architektur. Wenn Master-Slave ausfällt, funktioniert der gesamte Slave nicht mehr. Dies ist die einzige Fehlerquelle in HADOOP1. Wenn ein Master ausfällt, nimmt ein anderer seinen Prozess wieder auf und setzt die Ausführung fort.
- Wie wir im folgenden Diagramm sehen können, unterscheiden sich die beiden Ökosysteme HADOOP1 und HADOOP2. Komponentenweise interagiert YARN Resource Management mit Map-Reduce und HDFS.
Grundsätzlich ist YARN für das Ressourcenmanagement verantwortlich, dh, welcher Job von welchem System ausgeführt wird, und YARN entscheidet, wohingegen Map Reduce das Programmiergerüst ist, das für die Ausführung eines bestimmten Jobs zuständig ist. Map Reduce verfügt also im Wesentlichen über zwei Komponenten, Mapper und Reducer zur Ausführung eines Programms.
- In Map Reduce wird jeder Datenknoten einzeln ausgeführt, während in Yarn jeder Datenknoten von einem Knotenmanager ausgeführt wird.
- Map Reduce verwendet Job Tracker zum Erstellen und Zuweisen einer Aufgabe zu Task Tracker, da die Verwaltung der Ressource nicht beeindruckend ist, da einige der Datenknoten im Leerlauf bleiben und keinen Nutzen haben, während YARN für jeden einen Ressourcenmanager hat Cluster, und auf jedem Datenknoten wird ein Knoten-Manager ausgeführt. Für jeden Job fungiert ein Slave-Knoten als Application Master und überwacht Ressourcen / Aufgaben.
MapReduce vs Yarn Vergleichstabelle
| Vergleichsbasis | GARN | Karte verkleinern |
| Bedeutung | YARN steht für einen weiteren Resource Negotiator. | Map Reduce ist selbstdefiniert. |
| Ausführung | In Hadoop 2.0 einführen | In Hadoop 1.0 einführen |
| Verantwortung | Jetzt ist YARN für das Ressourcenmanagement verantwortlich. | Zuvor war Map Reduce für das Ressourcenmanagement sowie die Datenverarbeitung verantwortlich |
| Ausführungsmodell | Das Garnausführungsmodell ist im Vergleich zu Map Reduce allgemeiner | Weniger generisch als im Vergleich zu YARN. |
| Anwendungsausführung | YARN kann auch Anwendungen ausführen, die dem Map Reduce-Modell nicht folgen | Map Reduce kann eine eigene modellbasierte Anwendung ausführen. |
| Die Architektur | YARN wird in MR2 zusätzlich zu Job Tracker und Task Tracker eingeführt. Anstelle von Job Tracker und Task Tracker Application kommt der Master ins Spiel. | In der früheren Version von MR1 war YARN nicht vorhanden. Anstelle von YARN waren Job-Tracker und Task-Tracker vorhanden, die bei der Ausführung von Anwendungen oder Jobs helfen |
| Flexibilität | YARN ist isolierter und skalierbarer | Weniger skalierbar als bei YARN. |
| Daemons | YARN verfügt über Name Node, Data Node, Secondary Name Node, Resource Manager und Node Manager. | Map Reduce verfügt über den Knoten Name, den Datenknoten, den Knoten Sekundärer Name, den Job-Tracker und den Task-Tracker. |
| Verjährung | Es gibt kein Konzept für einen einzelnen Fehlerpunkt in YARN, da er mehrere Master hat. Wenn einer ausgefallen ist, wird er von einem anderen Master aufgenommen und die Ausführung fortgesetzt. | Single Point of Failure, geringe Ressourcenauslastung (maximal 4200 Cluster von YAHOO) und geringere Skalierbarkeit im Vergleich zu YARN |
| Größe | Standardmäßig beträgt die Größe eines Datenknotens in YARN 128 MB | Standardmäßig beträgt die Größe eines Datenknotens in Map Reduce 64 MB. |
Fazit - MapReduce gegen Garn
In Hadoop 1, das auf Map Reduce basiert, gibt es mehrere Probleme, die in Hadoop 2 mit Yarn behoben wurden. Wie in Hadoop 1 ist Job Tracker für das Ressourcenmanagement verantwortlich, aber YARN hat das Konzept des Ressourcenmanagers sowie des Knotenmanagers, der das Ressourcenmanagement übernimmt. Map Reduce hat einen einzigen Fehlerpunkt, dh Job Tracker. Wenn der Job Tracker nicht mehr funktioniert, müssen wir unseren gesamten Cluster neu starten und unseren Job von Anfang an erneut ausführen. In einem realen Szenario möchte keines der Unternehmen ein solches Risiko eingehen, insbesondere in einem Bankverteidigungssektor. Eine solche Organisation, die Daten rationalisiert, ist nicht bereit, ein solches Risiko einzugehen. Innerhalb weniger Minuten verlieren sie ihre Daten und können kritische geschäftliche Auswirkungen haben. YARN hat also ein besseres Ergebnis als Map-Reduce.
Empfohlener Artikel
Dies war ein Leitfaden für MapReduce vs Yarn, deren Bedeutung, Kopf-an-Kopf-Vergleich, Hauptunterschiede, Vergleichstabelle und Schlussfolgerung. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -
- Die besten 15 Dinge, die Sie über MapReduce vs Spark wissen sollten
- Beste 5 Unterschiede zwischen Hadoop und MapReduce
- 10 Nützlicher Unterschied zwischen Hadoop und Redshift
- Apache Hadoop gegen Apache Spark | Top 10 Vergleiche, die Sie kennen müssen!
- Wie funktioniert MapReduce?