Talend-Tools - Verschiedene Tools oder Komponenten von Talend für die Datenintegration

Einführung in Talend Tools

Talend Open Studio verfügt über mehr als 700 Komponenten in Bereichen wie Big Data, Datenbanken, Cloud usw. Talend Open Studio kann in viele Bereiche wie Talend Open Studio für Datenintegration und Talend Open Studio für Big Data usw. unterteilt werden Ich werde die verschiedenen Werkzeuge von Talend im Detail sehen.

Talend Open Studio-Komponenten / -Tools

Talend Open Studio für Datenintegration deckt die folgenden Bereiche / Technologien mit einigen integrierten Komponenten ab, die die Verarbeitung erleichtern.

Big Data-Komponenten
Geschäftskomponenten
Business Intelligence-Komponenten
Cloud-Komponenten
Benutzerdefinierte Code-Komponenten
Datenqualitätskomponenten
Datenbanken - traditionelle Komponenten
Datenbanken - Appliance- / Data Warehouse-Komponenten
Datenbanken - andere Komponenten
DotNET-Komponenten
ELT-Komponenten
ESB-Komponenten
Dateikomponenten
Internet-Komponenten
Logs & Errors-Komponenten
Verschiedene Gruppenkomponenten
Orchestrierungskomponenten
Komponenten bearbeiten
Systemkomponenten
Talend MDM-Komponenten
Technische Komponenten
XML-Komponenten

Hier werden einige Komponenten von Talend Open Studio für Datenintegration besprochen.

1. tS3Connection: Diese Komponente wird für die Verbindung mit Amazon S3 verwendet. Komponenten können diese Verbindung für die einfache Einrichtung der Verbindung zu Amazon S3 verwenden.

2. tS3Input: Hiermit wird eine Datei aus dem S3-Dateisystem gelesen. Es verfügt über ähnliche Funktionen wie tfileinputdelimited, verwendet jedoch den Amazon Simple Storage-Dienst.

3. tS3Output: Hiermit werden Daten in ein S3-Dateisystem geschrieben. Es verfügt über ähnliche Funktionen wie tfileoutputdelimited, verwendet jedoch den Amazon Simple Storage-Dienst.

4. ts3Put: Hiermit wird eine Datei von einem lokalen System in ein S3-Dateisystem gestellt.

5. ts3Get: Diese Komponente wird verwendet, um eine Datei von S3 in ein lokales System abzurufen.

6. tS3BucketCreate: Mit dieser Komponente wird in S3 ein Bucket erstellt.

7. tS3BucketDelete: Mit dieser Komponente wird ein Bucket in S3 gelöscht.

8. tS3BucketExist: Mit dieser Komponente wird geprüft, ob der angegebene Bucket in S3 vorhanden ist. Es gibt das Ergebnis in einem wahren oder falschen booleschen Wert zurück, der als globale Zuordnung verwendet werden kann.

9. tS3BucketList: Mit dieser Komponente werden alle Buckets in S3 aufgelistet .

10. tS3Copy: Mit dieser Komponente wird das S3-Objekt von einem Bucket in einen anderen Bucket kopiert. Es ist ähnlich wie tFileCopy.

11. tS3Delete: Mit dieser Komponente wird das S3-Objekt aus einem Bucket gelöscht. Es ist ähnlich wie tFileDelete.

12. tS3Close: Mit dieser Komponente wird die mit tS3Connection erstellte S3-Verbindung geschlossen.

13. tCreateTemporaryFile: Diese Komponente erstellt eine temporäre Datei wie tFileOutputDelimited. Diese temporäre Datei kann jedoch entweder nach Abschluss des Jobs automatisch gelöscht oder beibehalten werden.

14. tFileArchive: Mit dieser Komponente wird eine komprimierte Datei aus einer oder mehreren Dateien erstellt. Die Verschlüsselung kann auch in komprimierter Form angewendet werden.

15. tFileCompare: Mit dieser Komponente werden zwei Dateien verglichen und die Vergleichsdaten zurückgegeben.

16. tFileUnarchive: Mit dieser Komponente wird eine komprimierte Datei dekomprimiert .

17. tFileCopy: Mit dieser Komponente wird eine Datei oder ein Ordner in ein Zielverzeichnis kopiert.

18. tFileDelete: Diese Komponente dient zum Löschen einer Datei oder eines Ordners.

19. tFileExist: Mit dieser Komponente wird geprüft, ob eine Datei existiert oder nicht. Es gibt das Ergebnis in einem wahren oder falschen booleschen Wert zurück, der als globalMap verwendet werden kann.

20. tFileInputExcel: Mit dieser Komponente wird eine Excel-Datei basierend auf dem definierten Schema gelesen.

21. tMsgBox: Mit dieser Komponente wird ein Dialogfeld mit einer OK-Schaltfläche angezeigt.

22. tRowGenerator: Diese Komponente wird verwendet, um eine beliebige Anzahl von Zeilen mit Spalten zu erstellen, die bestimmte Werte oder Zufallswerte aufweisen. Es wird hauptsächlich zu Testzwecken und zum Erstellen von Beispieltestdateien verwendet.

23. tIterateToFlow: Es wird verwendet, um eine Liste von Flows in den Hauptfluss umzuwandeln, dh iterate-> row-> main.

24. tFlowToIterate: Es wird verwendet, um den Hauptfluss in eine Liste von Flüssen umzuwandeln, dh main- > row-> iterate.

25. tLoop: Hiermit wird eine bestimmte Aufgabe wiederholt.

26. tReplizieren: Es wird verwendet, um das eingehende Schema in zwei Ausgabeflüsse zu replizieren.

27. tRunJob: Dient zum Ausführen eines anderen Talend-Jobs innerhalb des aktuellen Jobs nach dem Subjob ok.

28. tSchlaf: Mit dieser Option können Sie die Jobausführung oder einen bestimmten Subjob für eine bestimmte Zeit in Sekunden anhalten.

29. tWaitForFile: Es wird nach einem bestimmten Verzeichnis gesucht und die nächste Komponente basierend auf der Bedingung ausgelöst.

30.tMysqlBulkExec: Diese Komponente wird verwendet, um Leistungssteigerungen beim Ausführen der Einfügevorgänge in einer MySQL-Datenbank zu erzielen.

31. tMysqlClose: Diese Komponente wird verwendet, um die von tMysqlConnection erstellte MySQL-Verbindung zu schließen.

32. tMysqlRow: Mit dieser Komponente wird die SQL-Abfrage direkt in der MySQL-Datenbank ausgeführt.

33. tMysqlTableList: Mit dieser Komponente werden die Namen einer Tabelle aufgelistet.

34. tMysqlColumnList: Mit dieser Komponente werden alle Spalten einer Tabelle durchlaufen .

35. tMysqlCommit: Mit dieser Komponente werden die in der MySQL-Datenbank vorgenommenen Änderungen festgeschrieben.

36. tMysqlLastInsertId: Diese Komponente wird verwendet, um den zuletzt eingefügten Schlüsselwert abzurufen

37. tMysqlOutputBulk: Diese Komponente wird verwendet, um eine Datei mit Spalten zu schreiben, die auf dem Trennzeichen basieren

38. tMysqlOutputBulkExec: Diese Komponente wird verwendet, um eine Datei mit Spalten zu schreiben, die auf dem Trennzeichen basieren, und führt dann die Datei in der MySQL-Datenbank aus.

39. tContextLoad: Diese Komponente wird zum Laden von Werten aus einem Eingabefluss in den Kontext verwendet. Die Kontextvariablen sollten erstellt werden, bevor die Werte in Kontextvariablen geladen werden. Wenn die Kontextvariablen nicht erstellt werden, wird eine Warnung angezeigt.

40. tHiveClose: Mit dieser Komponente wird die mit tHiveConnection erstellte Verbindung geschlossen.

41. tHiveConnection: Diese Komponente wird zum Erstellen einer Hive-Verbindung verwendet und kann von anderen Hive-Komponenten wiederverwendet werden.

42. tHiveRow: Mit dieser Komponente werden die Hive-Abfragen direkt ausgeführt.

Fazit

HDFS-Komponenten sind in Talend Open Studio für Big Data zu sehen.
thdfsinput, thdfsoutput sind einige der Komponenten und ähneln den Dateikomponenten.
tHDFSInput - Liest eine Datei, die sich auf einem bestimmten Hadoop Distributed File System (HDFS) befindet. Es verfügt über ähnliche Funktionen wie tfileinputdelimited, verwendet jedoch ein verteiltes Hadoop-Dateisystem.
tHDFSOutput - Schreibt Dateien in das Hadoop Distributed File System (HDFS).
Es verfügt über ähnliche Funktionen wie tfileoutputdelimited, verwendet jedoch ein verteiltes Hadoop-Dateisystem.
tHDFSPut- Dies wird verwendet, um eine Datei von einem lokalen System in das HDFS-Dateisystem zu kopieren.
tHDFSGet- Diese Komponente dient zum Abrufen einer Datei von HDFS in ein lokales System.

Empfohlene Artikel

Dies ist eine Anleitung zu Talend Tools. Hier besprechen wir die Einführung und Talente von Open Studio-Komponenten oder -Tools für die Datenintegration, einschließlich tS3Connection, tS3Input, tS3Output und ts3Put usw. Sie können auch die folgenden Artikel lesen, um mehr zu erfahren -