Einführung in Sqoop-Befehle
In Sqoop-Befehlen wird jede Zeile als Datensatz behandelt und die Aufgaben werden von Map Task Intern in Unteraufgaben unterteilt. Die von sqoop unterstützten Datenbanken sind MYSQL, Oracle, IBM und PostgreSQL. Sqoop bietet eine einfache Befehlszeile, mit der wir Daten aus den verschiedenen Datenbanken mit sqoop-Befehlen abrufen können. Sie sind in Java geschrieben und verwenden JDBC für die Verbindung zu anderen Datenbanken.
Es steht für "SQL to Hadoop" und "Hadoop to SQL" und ein Open-Source-Tool. Es ist ein Application-Com-Connectivity-Tool, das Massendaten zwischen dem relationalen Datenbanksystem und Hadoop überträgt (Hive, Map Reduce, Mahout, Pig, HBase). Sie ermöglichen Benutzern, den Zielspeicherort innerhalb von Hadoop anzugeben und sqoop zum Verschieben von Daten von RDMS auf das Ziel zu veranlassen. Sie bieten optimierte MySQL-Konnektoren, die eine datenbankspezifische API verwenden, um Massenübertragungen vollständig durchzuführen. Der Benutzer importiert Daten aus externen Quellen wie Hive oder Hbase. Der sqoop hat zwei Dateiformate: Textdateiformat mit Trennzeichen und Sequenzdateiformat.
Hier sind die grundlegenden Befehle von Sqoop-Befehlen:
-
Listentabelle:
Dieser Befehl listet die bestimmte Tabelle der Datenbank in MYSQL Server auf.
Beispiel:
-
Zielverzeichnis:
Dieser Befehl importiert die Tabelle in ein bestimmtes Verzeichnis in HDFS. -m steht für ein Mapper-Argument. Sie haben einen ganzzahligen Wert.
Beispiel:
-
Passwortschutz:
Beispiel:
-
sqoop-eval:
Dieser Befehl führt schnell SQL-Abfragen der jeweiligen Datenbank aus.
Beispiel:
-
sqoop - Version:
Dieser Befehl zeigt die Version von sqoop an.
Beispiel:
-
sqoop-job
Mit diesem Befehl können wir einen Job erstellen, die erstellten Parameter können jederzeit aufgerufen werden. Sie nehmen Optionen wie (–create, –delete, –show, –exit).
Beispiel:
-
Laden der CSV-Datei in SQL:
Beispiel:
-
Verbinder:
Beispiel:
-
Code Gen:
Dieser Sqoop-Befehl erstellt Java-Klassendateien, in denen die importierten Datensätze gekapselt sind. Alle Java-Dateien werden neu erstellt und neue Versionen einer Klasse werden generiert. Sie generieren Code für die Interaktion mit Datenbankeinträgen. Ruft eine Liste aller Spalten und ihrer Datentypen ab.
Beispiel:
10.Listendatenbank:
Diese Sqoop-Befehlslisten enthalten alle verfügbaren Datenbanken auf dem RDBMS-Server.
Beispiel:
Zwischenbefehle von Sqoop-Befehlen:
1.sqoop -meta store:
Dieser Befehl hostet ein freigegebenes Metadaten-Repository. Mehrere / entfernte Benutzer können mehrere Jobs ausführen.
Befehl:
$ sqoop .metastore.client.autoconnect.url
Beispiel: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop-Hilfe:
Dieser Befehl listet die in sqoop verfügbaren Tools und deren Zweck auf.
Befehl:
$ sqoop-Hilfe
Import von $ bin / sqoop-Hilfe
3. Exportieren:
Dieser Befehl exportiert Daten von HDFS in die RDMS-Datenbank. In HDFS werden Daten als Datensätze gespeichert.
Befehl:
$ sqoop export \ –connect jdbc: mysql: // localhost / inventory - Benutzername jony –table lib –export -dir / user / jony / inventory.
4. Fügen Sie ein:
Dieser Befehl fügt einen neuen Datensatz aus HDFS in die RDBMS-Tabelle ein.
Befehl
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - Tabelle emp_exported –export -dir / sqoop / newemp -m -000
5. Update:
Dieser Sqoop-Befehl aktualisiert die Datensätze im RDBMS aus HDFS-Daten.
Befehl
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - Tabelle emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Batch-Option:
Dieser Befehl fügt mehrere Zeilen zusammen ein und optimiert die Einfügegeschwindigkeit mithilfe des Sqoop JDBC-Treibers.
Befehl
$ sqoop export \ -connect JDBC: MySQL: // Hostname / –Benutzername -Passwort -export -dir
7. Split:
Bei Verwendung dieses Befehls wird die where-Klausel auf die gesamte SQL angewendet.
Befehl
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK –where “rownum <= 12”
8. AVRO-Datei in HDFS:
Sie speichern RDBMS-Daten als Avro-Datei.
Befehl
$ sqoop import - JDBC verbinden: MySQL: // localhost / Acadgild - Benutzername root - Kennwort S.34 - Tabelle payment -m1 - Ziel -dir / sqoop_data / payment / avro / == as -avrodatfile.
Erweiterte Befehle von Sqoop-Befehlen:
Befehle importieren:
Importbefehle haben Importsteuerungsargumente. Die verschiedenen Argumente lauten wie folgt:
- Grenze: Wird zum Erstellen von Teilungen verwendet.
- as - text file: Importiert reine Textdaten
- -columns (: Spalten für Tabelle importieren
- -m, - num: um parallele Mapping-Aufgaben zu importieren
- split-by: Teilt die Spalte der Tabelle
- -z, - compress: Die Komprimierung der Daten ist aktiviert.
Inkrementeller Import Argumente:
- check - column: Gibt Spalten an, um zu bestimmen, welche Zeilen importiert werden sollen.
- inkrementell (Modus): Zeigt neue Zeilen an (einschließlich Anhängen und letzte Änderung von Zeilen)
Ausgabezeilenargumente:
- Zeilen -terminated -by: Sie setzen den EOL-Charakter
- MySQL - Trennzeichen: Sie setzen \ n Felder: Zeilen:
In Hive importieren
-hive - import: Sie importieren Tabellen in den Hive
-hive - Partitionsschlüssel: Der Name der Partition wird geteilt.
-hive - overwrite: Sie überschreiben die Daten in der vorhandenen Tabelle.
In Hbase-Argumente importieren:
-accumulo-table: Bestimmt die Zieltabelle in HBase.
-accumulo -column: Zum Importieren wird die Zielspalte festgelegt.
-accumulo -: Um den Namen des Akkus zu importieren
–Accumulo -: Passwort des Akkus importieren
Speichern in Sequenzdateien:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventory \ - Klassenname com.foo.com.Inventory -as - sequencefile
Abfrageimport:
Dieser Befehl gibt die SQL-Anweisung mit dem Argument -query an.
$ sqoop import \ –query 'SELECT a. *, b. * from a JOIN b on (a.id = b.id) wobei $ conditions' \ -split - by / target-dir / user
Inkrementelle Exporte:
$ sqoop export –connect –table –username –password –incremental –check-row –last-value
Importieren aller Tabellen in HDFS:
$ sqoop import -all-tables –connect jdbc: mysql: // localhost / sale_db - Benutzername root.
Daten in Hive importieren:
$ sqoop import –connect –table –username –password –hive -import - hive -table
Daten in HBase importieren:
Befehl:
$ sqoop import –connect –table –username –password –hive -import - HBase -table
Nullwerte codieren:
Befehl:
$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ –password sqoop \ –table lib \ –null -string '
Tipps und Tricks zur Verwendung von Sqoop-Befehlen:
Wenn wir die Datenoperationen effektiv ausführen möchten, müssen wir sqoop verwenden. Über eine einzige Befehlszeile können wir viele Aufgaben und Unteraufgaben ausführen. Sqoop stellt über Connectors eine Verbindung zu verschiedenen relationalen Datenbanken her. Für die Interaktion mit Sqoop wird der JDBC-Treiber verwendet. Da sqoop auf einer eigenen Quelle läuft, können wir sqoop ohne einen Installationsprozess ausführen. Die Ausführung von sqoop ist einfach, da die Daten parallel ausgeführt werden. Mit Map Reduce können wir Daten importieren und exportieren, was wiederum eine parallele Ausführung ermöglicht.
Fazit - Sqoop-Befehle:
Abschließend regelt Sqoop Commands den Import und Export der Daten. Sqoop bietet die Möglichkeit, die Teile der Tabelle durch das inkrementelle Laden zu aktualisieren. Der Datenimport in sqoop ist nicht ereignisgesteuert. Und es gibt sqoop2 mit aktivierter GUI für den einfachen Zugriff zusammen mit der Befehlszeile. Die Datenübertragung ist schnell, da sie parallel übertragen werden. Sie spielen eine wichtige Rolle in der Hadoop-Umgebung. Sie erledigen ihre Arbeit alleine, nicht notwendig beim Import kleiner Datenmengen.
Empfohlene Artikel
Dies war ein Leitfaden für Sqoop-Befehle. Hier haben wir grundlegende sowie erweiterte Sqoop-Befehle und einige unmittelbare Sqoop-Befehle besprochen. Sie können auch den folgenden Artikel lesen, um mehr zu erfahren -
- Sqoop Interview Fragen und Antworten
- Spickzettel SQL (Befehle, kostenlose Tipps und Tricks)
- Wichtige VBA-Befehle
- Tableau-Befehle