Einführung in PySpark SQL
Einige der unerfahrenen Programmierer würden PySpark SQL nicht kennen. Bevor wir uns mit PySpark SQL befassen, sollten wir uns zunächst ein Bild von Spark SQL machen. Beginnen wir mit dem Spark-SQL. Es ist ein Modul von Apache Spark. Spark SQL verwendet, um mit strukturierten Daten zu arbeiten. PySpark SQL wurde entwickelt, um Python in the Spark zu unterstützen.
PySpark SQL ist die Zusammenarbeit von Python mit dem Spark SQL. Es wird hauptsächlich für die Verarbeitung strukturierter und halbstrukturierter Daten verwendet. Die von ihm bereitgestellte API kann Daten aus einer großen Anzahl von Quellen lesen. Diese Datenquellen können in verschiedenen Datenformaten vorliegen.
Was ist PySpark SQL?
Es ist ein Tool zur Unterstützung von Python mit Spark SQL. Es wurde entwickelt, um Python in Spark zu unterstützen. Für das richtige Verständnis des PySparks sind Kenntnisse in Python, Big Data und Spark erforderlich. PySpark SQL gewinnt aufgrund seiner wichtigen Funktionen langsam an Popularität bei den Datenbankprogrammierern.
PySpark SQL funktioniert auf dem verteilten System und es ist auch skalierbar, weshalb es in der Datenwissenschaft häufig verwendet wird. In PySpark SQL wird maschinelles Lernen von der Python-Bibliothek bereitgestellt. Diese Python-Bibliothek wird als maschinelles Lernen bezeichnet.
Funktionen von PySpark SQL
Einige der wichtigsten Funktionen von PySpark SQL sind nachfolgend aufgeführt:
- Geschwindigkeit: Es ist viel schneller als herkömmliche Frameworks für die Verarbeitung großer Datenmengen wie Hadoop.
- Leistungsstarkes Zwischenspeichern : PySpark bietet eine einfache Programmierschicht, die beim Zwischenspeichern hilft als das Zwischenspeichern anderer Frameworks.
- Echtzeit: Die Berechnung in PySpark SQL findet im Speicher statt, daher erfolgt die Berechnung in Echtzeit.
- Bereitstellung: Die Bereitstellung kann über Hadoop oder einen eigenen Cluster-Manager erfolgen.
- Polyglot: Es unterstützt die Programmierung in Scala, Java, Python und R.
Es wird in Big Data verwendet und umfasst dort, wo es Big Data gibt, Datenanalysen. Es ist das heißeste Tool auf dem Markt für Big Data Analytics.
Hauptanwendungen von PySpark SQL
Nachfolgend sind einige der Sektoren aufgeführt, in denen Pyspark in der Mehrzahl verwendet wird:
E-Commerce-Industrie
In der E-Commerce-Branche spielt PySpark eine wichtige Rolle. Es wird verwendet, um die Zugänglichkeit für Benutzer zu verbessern, Angebote für die Zielkunden bereitzustellen und Werbung für echte Kunden zu schalten. Verschiedene E-Commerce-Branchen wie eBay, Alibaba, Flipkart, Amazon usw. verwenden es, um echte Daten für Marketingzwecke zu erhalten.
Medien
Verschiedene Medienbranchen wie Youtube, Netflix, Amazon usw. verwenden PySpark in der Mehrzahl zur Verarbeitung großer Datenmengen, um sie den Benutzern zur Verfügung zu stellen. Diese Datenverarbeitung erfolgt in Echtzeit zu den serverseitigen Anwendungen.
Banking
Banking ist ein weiterer wichtiger Sektor, in dem PySpark auf einer sehr breiten Ebene eingesetzt wird. Es unterstützt den Finanzsektor bei der Verarbeitung von Echtzeittransaktionen für die Verarbeitung von Millionen von Datensätzen, bei der Werbung für echte Kunden, bei der Beurteilung des Kreditrisikos usw.
PySpark-Module
Einige der wichtigsten Klassen und ihre Eigenschaften sind nachfolgend aufgeführt:
- pyspark.sql.SparkSession: Mit dieser Klasse können Programmierer in Spark mit DataFrame- und SQL-Funktionen programmieren. Mit SparkSession werden DataFrame erstellt, DataFrame als Tabellen registriert, Tabellen zwischengespeichert und SQL über Tabellen ausgeführt.
- pyspark.sql.DataFrame: Die DataFrame-Klasse spielt eine wichtige Rolle bei der verteilten Datenerfassung. Diese Daten sind in benannten Spalten zusammengefasst. Spark SQL DataFrame ähnelt einer relationalen Datentabelle. Ein DataFrame kann mit SQLContext-Methoden erstellt werden.
- pyspark.sql.Columns: Mit dieser Klasse kann eine Spalteninstanz in DataFrame erstellt werden.
- pyspark.sql.Row: Mit dieser Klasse kann eine Zeile in DataFrame erstellt werden.
- pyspark.sql.GroupedData: Die GroupedData-Klasse stellt die von groupBy () erstellten Aggregationsmethoden bereit.
- pyspark.sql.DataFrameNaFunctions: Diese Klasse bietet die Funktionalität, um mit den fehlenden Daten zu arbeiten.
- pyspark.sql.DataFrameStatFunctions: Mit den DataFrames von Spark SQL stehen Statistikfunktionen zur Verfügung. Die Funktionalität der Statistikfunktionen wird von dieser Klasse bereitgestellt.
- pyspark.sql.functions: Viele im Spark integrierte Funktionen stehen für die Arbeit mit den DataFrames zur Verfügung. Einige der eingebauten Funktionen sind nachfolgend aufgeführt:
| Eingebaute Methoden | Eingebaute Methoden |
| abs (col) | locate (substr, str, pos = 1) |
| acos (col) | log (arg1, arg2 = Keine) |
| add_months (Start, Monate) | log10 (col) |
| approxCountDistinct (col, res = none) | log1p (col) |
| array ((cols)) | log2 (col) |
| array_contains (col, value) | niedriger (col) |
| asc (col) | ltrim (col) |
| ASCII (col) | max (col) |
| Asin (col) | md5 (col) |
| eine Lohe | Mittelwert (col) |
| atan2 | min (col) |
| durchschn | Minute (col) |
| base64 | monoton steigende_id () |
| Behälter | Monat (col) |
| bitweiseNicht | months_between (date1, date2) |
| Übertragung | nanvl (col1, col2) |
| Bround | nächster_Tag (Datum, Wochentag) |
| cbrt | ntile (n) |
| Ceil | percent_rank () |
| verschmelzen ((col)) | posexplode (col) |
| col (col) | pow (col1, col2) |
| collect_list (col) | viertel (col) |
| collect_set (col) | Bogenmaß (col) |
| Spalte (col) | rand (seed = Keine |
| concat (* cols) | randn (seed = keine) |
| concat_ws (sep, * col) | Rang() |
| conv (col, fromBase, toBase) | regexp_extract (str, pattern, idx) |
| corr (col1, col2) | regexp_replace (str, pattern, replacement) |
| cos (col) | wiederholen (col, n) |
| cosh (col) | rückwärts (col) |
| count (col) | rint (col) |
| countDistinct (col, * cols) | rund (col, scale = 0) |
| covar_pop (col1, col2) | Zeilennummer() |
| covar_samp (col1, col2) | rpad (col, len, pad) |
| crc32 (col) | rtrim (col) |
| create_map (* cols) | zweite (col) |
| cume_dist () | sha1 (col) |
| aktuelles Datum() | sha2 (col, numBits) |
| Aktueller Zeitstempel() | shiftLeft (col, numBits) |
| date_add (Start, Tage) | shiftRight (col, numBits) |
| Datumsformat (Datum, Format) | shiftRightUnsigned (col, numBits) |
| date_sub (Start, Tage) | signum (col) |
| datiert (Ende, Beginn) | Sünde (col) |
| Tag von Monat (col) | sinh (col) |
| Tag des Jahres (col) | Größe (col) |
| dekodieren (col, charset) | Schiefe (col) |
| grad (col) | sort_array (col, asc = True) |
| dense_rank () | soundex (col) |
| desc (col) | spark_partition_id () |
| encode (col, charset) | split (str, pattern) |
| exp (col) | sqrt (col) |
| explodieren (col) | stddev (col) |
| expm1 (col) | stddev_pop (col) |
| Ausdruck (str) | stddev_samp (col) |
| Fakultät (col) | struct (* cols) |
| first (col, ignorenulls = False) | Teilzeichenfolge (str, pos, len) |
| Etage (col) | substring_index (str, delim, count) |
| format_number (col, d) | sum (col) |
| format_string (format, * cols) | sumDistinct (col) |
| from_json (col, schema, options = ()) | Bräune (col) |
| from_unixtime (Zeitstempel, Format = 'JJJJ-MM-TT HH: MM: SS') | toDegrees (col) |
| from_utc_timestamp (timestamp, tz) | toRadians (col) |
| get_json_object (col, path) | to_date (col) |
| größte (* cols) | to_json (col, options = ()) |
| Gruppierung (col) | to_utc_timestamp (timestamp, tz) |
| grouping_id (* cols) | übersetzen (srcCol, abgleichen, ersetzen) |
| hash (* cols) | trimmen (col) |
| hex (cols) | Abschneiden (Datum, Format) |
| Stunde (col) | udf (f, returnType = StringType) |
| hypot (col1, col2) | unbase64 (col) |
| Initcap (col) | unhex (col) |
| eingabedateiname () | unix_timestamp (timestamp = None, format = 'yyyy-MM-dd HH: mm: ss') |
| instr (str, substr) | obere (col) |
| isnan (col) | var_pop (col) |
| isnull (col) | var_samp (col) |
| json_tuple (col, * fields) | Varianz (col) |
| Kurtosis (col) | einwöchiges (col) |
| lag (col, count = 1, default = None) | wann (Bedingung, Wert) |
| last (col, ignorenulls = False) | window (timeColumn, windowDuration, slideDuration = None, startTime = None) |
| last_day (Datum) | Jahr (col) |
| lead (col, count = 1, default = None) | least (* cols), lit (col) |
| Länge (col) | levenshtein (links, rechts) |
pyspark.sql.types: Diese Klassentypen werden bei der Datentypkonvertierung verwendet. Mit dieser Klasse kann ein SQL-Objekt in ein natives Python-Objekt konvertiert werden.
- pyspark.sql.streaming: Diese Klasse behandelt alle Abfragen, die im Hintergrund ausgeführt werden. Alle diese im Streaming verwendeten Methoden sind zustandslos. Die oben angegebenen integrierten Funktionen stehen für die Arbeit mit den Datenrahmen zur Verfügung. Diese Funktionen können unter Bezugnahme auf die Funktionsbibliothek verwendet werden.
- pyspark.sql.Window: Alle von dieser Klasse bereitgestellten Methoden können zum Definieren und Arbeiten mit Fenstern in DataFrames verwendet werden.
Fazit
Es ist eines der Werkzeuge im Bereich Künstliche Intelligenz und Maschinelles Lernen. Es wird von immer mehr Unternehmen für Analysen und maschinelles Lernen eingesetzt. Erfahrene Fachkräfte werden in Zukunft stärker gefragt sein.
Empfohlene Artikel
Dies ist eine Anleitung zu PySpark SQL. Hier diskutieren wir, was Pyspark SQL ist, seine Funktionen, Hauptverwendungen, Module und eingebauten Methoden. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -
- Spark DataFrame
- Fragen in Vorstellungsgesprächen bei Spark
- SQL-Datumsfunktion
- SQL HAVING-Klausel
- Apache Spark-Architektur mit zwei Implementierungen
- Wie verwende ich DISTINCT in Oracle?