Einführung in Apache PIG Interview Fragen und Antworten
Sie haben also endlich Ihren Traumjob in Apache PIG gefunden, aber wir fragen uns, wie Sie das Apache PIG-Interview 2019 knacken und was die wahrscheinlichen Fragen für ein Apache PIG-Interview sein könnten. Jedes Apache PIG-Interview ist anders und der Umfang eines Jobs ist auch anders. Vor diesem Hintergrund haben wir die häufigsten Fragen und Antworten zu Apache PIG-Vorstellungsgesprächen erstellt, um Ihnen dabei zu helfen, in Ihrem Apache PIG-Vorstellungsgespräch erfolgreich zu sein.
Im Folgenden finden Sie die Liste der Fragen, die 2019 im Zusammenhang mit Apache PIG-Vorstellungsgesprächen häufig gestellt werden
1. Was sind die Hauptunterschiede zwischen MapReduce und Apache Pig?
Antworten:
Im Folgenden sind die Hauptunterschiede zwischen Apache Pig und MapReduce aufgeführt, aufgrund derer Apache Pig auf das Bild gekommen ist:
• MapReduce ist ein Low-Level-Datenverarbeitungsmodell, während Apache Pig eine High-Level-Datenflussplattform ist
• Ohne die komplexen Java-Implementierungen in MapReduce zu schreiben, können Programmierer mit Pig Latin problemlos dieselben Implementierungen erzielen.
• Apache Pig bietet verschachtelte Datentypen wie Taschen, Tupel und Karten, da diese in MapReduce fehlen.
• Pig unterstützt die Datenoperationen wie Filter, Verknüpfungen, Ordnen, Sortieren usw. mit vielen eingebauten Operatoren. Die gleiche Funktion in MapReduce auszuführen, ist eine immense Aufgabe.
2. Erläutern Sie die Verwendung von MapReduce in Pig.
Antworten:
Apache Pig-Programme sind in einer Abfragesprache namens Pig Latin geschrieben, die der SQL-Abfragesprache ähnelt. Zum Ausführen einer Abfrage ist eine Ausführungsengine erforderlich. Die Pig-Engine konvertiert die Abfragen in MapReduce-Jobs. MapReduce fungiert daher als Ausführungs-Engine und wird zum Ausführen der Programme benötigt.
3. Erklären Sie die Verwendung von Pig.
Antworten:
Wir können das Schwein in drei Kategorien einsetzen:
• ETL-Daten-Pipeline: Sie hilft beim Auffüllen unseres Data Warehouse. Pig kann die Daten an eine externe Anwendung weiterleiten, es wartet, bis sie fertig sind, damit es die verarbeiteten Daten empfangen hat, und fährt von dort fort. Es ist der häufigste Anwendungsfall für Pig.
• Recherche zu Rohdaten.
• Iterative Verarbeitung.
4. Vergleichen Sie Apache Pig und SQL.
Antworten:
• Apache Pig unterscheidet sich von SQL in der Verwendung für ETL, verzögerte Auswertung, Speicherung von Daten zu einem bestimmten Zeitpunkt in der Pipeline, Unterstützung für Pipeline-Splits und explizite Deklaration von Ausführungsplänen. SQL (Structural Query Language) orientiert sich an Abfragen, die ein einziges Ergebnis liefern. SQL hat keinen eingebauten Mechanismus zum Aufteilen des Datenverarbeitungsstroms und Anwenden verschiedener Operatoren auf jeden Substrom.
• Mit Apache Pig kann an jedem Punkt der Pipeline Benutzercode eingefügt werden. Wenn jedoch SQL als Verwendungszweck für Daten zuerst in die Datenbank importiert werden muss, beginnt der Bereinigungs- und Transformationsprozess.
5. Erläutern Sie die verschiedenen komplexen Datentypen in Pig.
Antworten:
Apache Pig unterstützt drei komplexe Datentypen:
• Karten: Dies sind Schlüsselwertspeicher, die mit # verbunden sind.
Beispiel: ('city' # 'pune', 'pin' # 411045) • Tupel - Entspricht genau der Zeile in einer Tabelle, in der verschiedene Elemente durch ein Komma getrennt sind. Tupel können mehrere Attribute haben.
• Taschen - Eine ungeordnete Sammlung von Tupeln. Die Tasche erlaubt mehrere doppelte Tupel.
Beispiel: (('Mumbai', 022), ('New Delhi', 011), ('Kolkata', 44))
6. Erläutern Sie die verschiedenen in Pig verfügbaren Ausführungsmodelle.
Antworten:
In Pig stehen drei verschiedene Ausführungsmodi zur Verfügung:
• Interaktiver Modus oder Grunzmodus.
Interaktiver Modus oder Grunzen-Modus: Die interaktive Hülle des Schweins wird als Grunzen-Hülle bezeichnet. Wenn keine Datei zum Ausführen in Pig angegeben ist, wird sie gestartet.
• Stapelmodus oder Skriptmodus.
Pig führt die angegebenen Befehle in der Skriptdatei aus.
• Eingebetteter Modus
Wir können Pig-Programme in Java einbetten und die Programme von Java aus ausführen.
7. Erläutern Sie die Ausführungspläne (logischer und physischer Plan) eines Pig-Skripts
Antworten:
Logische und physische Pläne werden während der Ausführung eines Pig-Skripts erstellt. Pig-Skripte basieren auf der Interpreterprüfung. Der logische Plan wird durch semantische Prüfung und grundlegende Analyse erstellt, und während der Erstellung eines logischen Plans findet keine Datenverarbeitung statt. Für jede Zeile im Pig-Skript wird die Syntaxprüfung für Operatoren durchgeführt und ein logischer Plan erstellt. Immer wenn im Skript ein Fehler auftritt, wird eine Ausnahme ausgelöst und die Programmausführung beendet. Andernfalls verfügt jede Anweisung im Skript über einen eigenen logischen Plan.
Ein logischer Plan enthält die Auflistung von Operatoren im Skript, jedoch nicht die Kanten zwischen den Operatoren.
Nachdem der logische Plan generiert wurde, wechselt die Skriptausführung zum physischen Plan, in dem eine Beschreibung der physischen Operatoren enthalten ist, mit denen Apache Pig das Pig-Skript ausführt. Ein physischer Plan ähnelt mehr oder weniger einer Reihe von MapReduce-Jobs, hat jedoch keinen Bezug darauf, wie er in MapReduce ausgeführt wird. Während der Erstellung eines physischen Plans wird der logische cogroup-Operator in drei physische Operatoren konvertiert, nämlich "Lokale Neuanordnung", "Globale Neuanordnung" und "Paket". Lade- und Speicherfunktionen werden normalerweise im physischen Plan aufgelöst.
8. Welche Debugging-Tools werden für Apache Pig-Skripte verwendet?
Antworten:
Beschreiben und erläutern Sie die wichtigen Debugging-Dienstprogramme in Apache Pig.
• Das Hilfsprogramm "Explain" ist hilfreich für Hadoop-Entwickler, wenn sie versuchen, Fehler zu debuggen oder PigLatin-Skripte zu optimieren. EXPLAIN kann auf einen bestimmten Alias im Skript oder auf das gesamte Skript in der interaktiven Grunt-Shell angewendet werden. Das EXPLAIN-Dienstprogramm erstellt mehrere Diagramme im Textformat, die in eine Datei gedruckt werden können.
• Das Hilfsprogramm zum Beschreiben des Debuggens ist für Entwickler beim Schreiben von Pig-Skripten hilfreich, da es das Schema einer Beziehung im Skript anzeigt. Anfängern, die versuchen, Apache Pig zu erlernen, kann das Beschreibungsdienstprogramm verwendet werden, um zu verstehen, wie jeder Operator Änderungen an Daten vornimmt. Ein Schweinskript kann mehrere Beschreibungen haben.
9. Welche Anwendungsfälle für Apache Pig können Sie sich vorstellen?
Antworten:
• Das Big-Data-Tool Apache Pig wird insbesondere für die iterative Verarbeitung, die Erforschung von Rohdaten und für herkömmliche ETL-Daten-Pipelines verwendet. Da Pig unter Umständen arbeiten kann, bei denen das Schema nicht bekannt, inkonsistent oder unvollständig ist, wird es häufig von Forschern verwendet, die die Daten nutzen möchten, bevor sie bereinigt und in das Data Warehouse geladen werden.
• Um beispielsweise Verhaltensvorhersagemodelle zu erstellen, kann sie von einer Website verwendet werden, um die Reaktion der Besucher auf verschiedene Arten von Anzeigen, Bildern, Artikeln usw. zu verfolgen.
10. Markieren Sie den Unterschied zwischen Gruppen- und Cogroup-Operatoren in Pig.
Antworten:
Beide Operatoren können mit einer oder mehreren Relationen arbeiten. Gruppen- und Cogroup-Operatoren sind identisch. Der Gruppenbetreiber sammelt alle Datensätze mit demselben Schlüssel. Cogroup ist eine Kombination aus Gruppe und Join. Es handelt sich um eine Verallgemeinerung einer Gruppe, anstatt dass Datensätze einer Eingabe abhängig von einem Schlüssel erfasst werden. Es werden Datensätze von n Eingaben basierend auf einem Schlüssel erfasst. Zu einer Zeit können wir bis zu 127 Relationen gruppieren.
Empfohlene Artikel
Dies ist eine Anleitung zu den Fragen und Antworten in Bezug auf das Apache PIG-Vorstellungsgespräch, damit der Kandidat diese Fragen in Bezug auf das Apache PIG-Vorstellungsgespräch problemlos durchgreifen kann. Dieser Artikel enthält alle nützlichen Fragen und Antworten zu Apache PIG-Vorstellungsgesprächen, die Ihnen bei einem Vorstellungsgespräch helfen. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -
- Apache Pig gegen Apache Hive
- Top 10 schwierige Interview-Fragen
- 8 effektive Schritte zur Vorbereitung auf ein internes Interview
- Wichtige Tipps zum Überleben Panel Interview (Nützlich)