Wie installiere ich Kafka?
Kafka ist eine verteilte Streaming-Plattform. Es hilft beim Veröffentlichen und Abonnieren von Datenströmen. Kafka wird normalerweise zum Aufbau von Echtzeit-Streaming-Daten-Pipelines verwendet, mit denen Daten zuverlässig zwischen verschiedenen Systemen und Anwendungen übertragen werden. Es kann auch beim Erstellen von Echtzeit-Streaming-Anwendungen hilfreich sein, die beim Transformieren oder Ändern von Datenströmen hilfreich sind. Kafka ermöglicht das Speichern von Datenströmen in verschiedenen Kategorien, die als Themen bezeichnet werden. Jeder Datensatz besteht aus einem Schlüssel, einem Wert und einem Zeitstempel. Es verfügt über vier Hauptkomponenten wie Producer-API, Consumer-API, Streams-API und Connector-API. Es verwendet das TCP-Protokoll, das eine gute Kommunikation zwischen Clients und Servern mit hoher Leistung ermöglicht. Um Kafka zu installieren, können folgende Schritte ausgeführt werden.
Installieren Sie Kafka unter Windows
Um Kafka unter Windows zu installieren, gehen Sie wie folgt vor:
Schritt 1. Laden Sie Zookeeper von folgendem Link herunter: HTTP: //zookeeper.apache.org/releases.html
Sobald dies erledigt ist, laden Sie Kafka über den folgenden Link herunter: http://kafka.apache.org/downloads.html
Laden Sie JRE auch gemäß Ihrem Betriebssystem und Ihrer CPU-Architektur von folgendem Link herunter: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Schritt 2. JDK Setup-
Starten Sie die JRE-Installation und klicken Sie dann auf das Kontrollkästchen "Zielordner ändern". Klicken Sie nun auf Installieren.
Ändern Sie anschließend das Verzeichnis in einen beliebigen Pfad ohne Leerzeichen im Ordnernamen.
Schritt 3. Öffnen Sie anschließend die Umgebungsvariablen in der Systemsteuerung -> System -> Erweiterte Systemeinstellungen -> Umgebungsvariablen.
Schritt 4. Klicken Sie auf der Registerkarte Benutzervariable auf Neue Benutzervariable und geben Sie JAVA_HOME als Variablennamen ein. Geben Sie Ihren JRE-Pfad im Abschnitt Variablenwert ein. Es sollte wie folgt sein:
Schritt 5. Klicken Sie nun auf OK.
Schritt 6. Suchen Sie eine Pfadvariable im Abschnitt 'Systemvariable' im Dialogfeld 'Umgebungsvariable', das geöffnet wird.
Schritt 7. Bearbeiten Sie den Pfad und geben Sie ";% JAVA_HOME% \ bin" am Ende des bereits dort geschriebenen Textes ein, genau wie im folgenden Bild:
Schritt 8. Um zu überprüfen, ob Java ordnungsgemäß installiert ist, rufen Sie die Eingabeaufforderung auf und geben Sie "Java - Version" ein. Die installierte Java-Version wird auf dem Bildschirm angezeigt.
Wenn Sie die obigen Details in der Eingabeaufforderung sehen, sind Sie auf Java-Seite gut.
Sobald Java installiert ist, können Sie mit der Installation von Zookeeper fortfahren.
Führen Sie die folgenden Schritte aus, um Zookeeper auf Ihrem System zu installieren:
- Öffnen Sie das Verzeichnis, in dem sich das Zookeeper-Konfigurationsverzeichnis befindet. Es kann C: \ zookeeper-3.4.7 \ conf sein.
- Benennen Sie nun die Datei "zoo_sample.cfg" in "cfg" um
- Öffnen Sie diese umbenannte Datei in Editor.
- Suchen und bearbeiten Sie Folgendes: dataDir = / tmp / zookeeper to \ zookeeper-3.4.7 \ data
- Genau wie wir die Umgebungsvariable für Java hinzugefügt haben, fügen Sie eine Umgebungsvariable für Zookeeper hinzu.
- Setzen Sie den Systemvariablenpfad wie folgt: dataDir = / tmp / zookeeper auf: \ zookeeper-3.4.7 \ data
- Bearbeiten Sie die Systemvariable 'Path' und fügen Sie hinzu; % ZOOKEEPER_HOME% \ bin;
- Der Standardport für Zookeeper ist 2181. Sie können ihn in einen anderen Port ändern, indem Sie die Datei zoo.cfg aufrufen.
- Führen Sie Zookeeper aus, indem Sie ein neues Cmd öffnen und 'zkserver' eingeben. Sie sehen die folgenden Details.
Sobald Sie diesen Bildschirm sehen, sollten Sie sicher sein, dass Zookeeper erfolgreich installiert wurde.
Kafka einrichten
Sobald Sie Java und Zookeeper auf Ihrem System installiert haben, können Sie Kafka einrichten.
- Gehe in das Kafka Konfigurationsverzeichnis.
- Bearbeiten Sie die Datei "server.properties".
- Sobald dies erledigt ist, können Sie die folgende Zeile finden und bearbeiten: dirs = / tmp / kafka-logs to log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Wenn Ihr Zookeeper auf einem anderen Computer ausgeführt wird, können Sie diesen Pfad in "zookeeper.connect: 2181" in eine benutzerdefinierte IP- und Port-ID ändern.
- Der Standardport für Kafka ist Port 9092 und für die Verbindung mit Zookeeper ist es 2181.
Einen Kafka Server betreiben
Sobald die Ersteinrichtung abgeschlossen ist, können Sie problemlos einen Kafka-Server ausführen
Bevor Sie den Kafka-Server ausführen, müssen Sie sicherstellen, dass die Zookeeper-Instanz aktiv ist.
1. Wechseln Sie in das Kafka-Installationsverzeichnis: C: /kafka_2.11-0.9.0.0
2. Öffnen Sie die Eingabeaufforderung, drücken Sie die Umschalttaste und die rechte Maustaste und wählen Sie die Option "Befehlsfenster hier öffnen".
3. Geben Sie nun. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties ein und drücken Sie die Eingabetaste.
Sobald Sie dies ausgeführt haben und alles in Ordnung ist, sollte Ihr Bildschirm wie folgt aussehen:
4. Jetzt ist Ihr Kafka-Server in Betrieb. Sie können eigene Themen erstellen, um verschiedene Nachrichten zu speichern. Sobald dies erledigt ist, können Sie Daten aus Java- oder Scala-Code erstellen und verarbeiten oder direkt über die Eingabeaufforderung ausführen.
Installieren Sie Kafka unter Linux
Führen Sie die folgenden Schritte aus, um Kafka unter Linux zu installieren:
Schritt 1. Laden Sie die Kafka-Binärdateien herunter, extrahieren Sie sie und speichern Sie sie in Verzeichnissen.
Schritt 2. Extrahieren Sie das heruntergeladene Archiv mit dem Befehl tar.
Schritt 3. Um Kafka zu konfigurieren, gehen Sie zu server.properties. Öffnen Sie diese Datei mit dem Befehl nano und fügen Sie am Ende der Datei Folgendes hinzu.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Schritt 4. Sobald dies erledigt ist, muss der Benutzer System-Unit-Dateien für Kafka-Services erstellen. Auf diese Weise können allgemeine Dienstaktionen wie das Starten, Stoppen und Neustarten von Kafka auf konsistente Weise mit anderen Linux-Diensten durchgeführt werden. Zookeeper ist ein Dienst, der von Kafka verwendet wird, um seine Cluster und Konfigurationen zu verwalten.
Schritt 5. Um eine Unit-Datei für Zookeeper zu erstellen, gehen Sie wie folgt vor:
sudo nano /etc/systemd/system/zookeeper.service
Schritt 6. Sobald diese Zookeeper-Datei erstellt wurde, fügen Sie sie unten ein:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
In diesem Abschnitt (Unit) wird angegeben, dass Zookeeper Netzwerk- und Dateisysteme benötigt, um gestartet werden zu können.
Im Abschnitt (Service) wird das System darüber informiert, dass die Dateien zookeeper-server-start.sh und zookeeper-server-stop.sh zum Starten und Stoppen der Services vorhanden sind.
Schritt 7. Nun sollte der Benutzer eine Systemdatei für Kafka wie folgt erstellen:sudo nano /etc/system/system/Kafka.service
Schritt 8. In diese Datei einfügen:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Hier gibt die (Unit) an, dass die Unit-Datei von zookeeper.service abhängig ist. Dies stellt sicher, dass der Tierpfleger gestartet wird, bevor Kafka startet.
Schritt 9. Sie müssen nun Kafka aktivieren und den Server neu starten. Führen Sie Folgendes aus: sudo systemctl enable Kafka
Schritt 10. Installation testen:
Sie können Ihre Kafka-Installation testen, indem Sie ein Thema erstellen und es dann für die Verbraucher veröffentlichen.
Erstellen Sie ein Thema mit : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Durch das Posten dieses Benutzers können Produzenten und Konsumenten erstellt und anschließend Daten zu bestimmten Themen veröffentlicht werden.
Empfohlene Artikel
Dies war eine Anleitung zur Installation von Kafka. Hier haben wir verschiedene Schritte zur Installation von Kafka unter Windows und Linux besprochen. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -
- Schritt zur Installation von Java 8
- So installieren Sie C
- Anleitung zur Installation von Ruby
- Kafka-Anwendungen
- JRE vs JVM | Top 8 Unterschiede zu (Infografiken)