Einführung in die Kernel-Methoden
Kernel oder Kernel-Methoden (auch Kernel-Funktionen genannt) sind Sätze verschiedener Arten von Algorithmen, die für die Musteranalyse verwendet werden. Sie werden verwendet, um ein nichtlineares Problem mit einem linearen Klassifikator zu lösen. Kernel-Methoden werden in SVM (Support Vector Machines) eingesetzt, die bei Klassifizierungs- und Regressionsproblemen eingesetzt werden. Der SVM verwendet einen sogenannten "Kernel-Trick", bei dem die Daten transformiert werden und eine optimale Grenze für die möglichen Ausgaben gefunden wird.
Die Notwendigkeit der Kernel-Methode und ihre Funktionsweise
Bevor wir uns mit den Kernel-Methoden befassen, ist es wichtiger, Support Vector Machines oder die SVMs zu verstehen, da die Kernel in SVM-Modellen implementiert sind. Support Vector Machines sind überwachte Algorithmen für maschinelles Lernen, die bei Klassifizierungs- und Regressionsproblemen verwendet werden, z.
Im Folgenden wird gezeigt, wie Support-Vektor-Maschinen aussehen:
Hier sehen wir eine Hyperebene, die grüne Punkte von den blauen trennt. Eine Hyperebene ist eine Dimension kleiner als die Umgebungsebene. In der obigen Abbildung haben wir beispielsweise zwei Dimensionen, die den Umgebungsraum darstellen, aber die einzige, die den Raum unterteilt oder klassifiziert, ist eine Dimension kleiner als der Umgebungsraum und wird als Hyperebene bezeichnet.
Aber was ist, wenn wir so etwas eingegeben haben:
Es ist sehr schwierig, diese Klassifizierung mit einem linearen Klassifizierer zu lösen, da es keine gute lineare Linie gibt, die in der Lage sein sollte, die roten und grünen Punkte zu klassifizieren, da die Punkte zufällig verteilt sind. Hier kommt die Verwendung der Kernelfunktion, die die Punkte in höhere Dimensionen bringt, das Problem dort drüben löst und die Ausgabe zurückgibt. Stellen Sie sich das so vor, dass wir sehen können, dass die grünen Punkte in einem Umfangsbereich eingeschlossen sind, während der rote außerhalb davon liegt. Ebenso könnte es andere Szenarien geben, in denen grüne Punkte in einem trapezförmigen Bereich verteilt sein könnten.
Wir konvertieren also die zweidimensionale Ebene, die zuerst durch eine eindimensionale Hyperebene („oder eine gerade Linie“) klassifiziert wurde, in den dreidimensionalen Bereich. Hier ist unser Klassifikator, dh die Hyperebene, keine gerade Linie, sondern eine zwei -dimensionale Ebene, die den Bereich schneidet.
Um ein mathematisches Verständnis des Kernels zu erhalten, lassen Sie uns die Kernelgleichung von Lili Jiang verstehen, die lautet:
K (x, y) = wo,
K ist die Kernelfunktion,
X und Y sind die dimensionalen Eingaben,
f die Abbildung vom n-dimensionalen zum m-dimensionalen Raum ist und
ist das Skalarprodukt.
Illustration anhand eines Beispiels.
Nehmen wir an, wir haben zwei Punkte, x = (2, 3, 4) und y = (3, 4, 5)
Wie wir gesehen haben, ist K (x, y) =.
Berechnen wir zuerst
f (x) = (x1x1, x1x2, x1x3, x2x1, x2x2, x2x3, x3x1, x3x2, x3x3)
f (y) = (y1y1, y1y2, y1y3, y2y1, y2y2, y2y3, y3y1, y3y2, y3y3)
so,
f (2, 3, 4) = (4, 6, 8, 6, 9, 12, 8, 12, 16) und
f (3, 4, 5) = (9, 12, 15, 12, 16, 20, 15, 20, 25)
so das Skalarprodukt,
f (x). f (y) = f (2, 3, 4). f (3, 4, 5) =
(36 + 72 + 120 + 72 + 144 + 240 + 120 + 240 + 400) =
1444
Und,
K (x, y) = (2 · 3 + 3 · 4 + 4 · 5) 2 = (6 + 12 + 20) 2 = 38 · 38 = 1444.
Wie wir herausfinden, liefern f (x) .f (y) und K (x, y) dasselbe Ergebnis, aber die erstere Methode erforderte viele Berechnungen (da 3 Dimensionen in 9 Dimensionen projiziert wurden), während die Kernel, es war viel einfacher.
Kernel-Typen und Methoden in SVM
Sehen wir uns einige der Kernelfunktionen oder Typen an, die in SVM verwendet werden:
1. Liner Kernel - Nehmen wir an, wir haben zwei Vektoren mit den Namen x1 und Y1, dann wird der lineare Kernel durch das Skalarprodukt dieser beiden Vektoren definiert:
K (x1, x2) = x1. x2
2. Polynomkern - Ein Polynomkern wird durch die folgende Gleichung definiert:
K (x1, x2) = (x1, x2 + 1) d,
Wo,
d ist der Grad des Polynoms und x1 und x2 sind Vektoren
3. Gaußscher Kern - Dieser Kern ist ein Beispiel für einen Kern mit radialen Basisfunktionen. Unten ist die Gleichung dafür:
Das angegebene Sigma spielt eine sehr wichtige Rolle für die Leistung des Gaußschen Kernels und sollte weder überschätzt noch unterschätzt werden. Es sollte sorgfältig auf das Problem abgestimmt werden.
4. Exponentieller Kernel - Dies steht in enger Beziehung zum vorherigen Kernel, dh zum Gaußschen Kernel, mit dem einzigen Unterschied, dass das Quadrat der Norm entfernt wird.
Die Funktion der Exponentialfunktion ist:
Dies ist auch eine radiale Basiskernfunktion.
5. Laplace-Kernel - Dieser Typ von Kernel ist weniger anfällig für Änderungen und entspricht vollständig dem zuvor diskutierten Kernel mit Exponentialfunktion. Die Gleichung des Laplace-Kernels lautet:
6. Hyperbolischer oder Sigmoid-Kern - Dieser Kern wird in Bereichen des maschinellen Lernens mit neuronalen Netzen verwendet. Die Aktivierungsfunktion für den Sigmoidkern ist die bipolare Sigmoidfunktion. Die Gleichung für die hyperbolische Kernfunktion lautet:
Dieser Kernel wird sehr häufig verwendet und ist bei Support-Vektor-Maschinen sehr beliebt.
7. Anova-Radialbasis-Kernel - Dieser Kernel ist dafür bekannt, dass er bei mehrdimensionalen Regressionsproblemen sehr gut funktioniert, genau wie der Gaußsche und der Laplace-Kernel. Dies fällt auch unter die Kategorie des radialen Basiskerns.
Die Gleichung für den Anova-Kernel lautet:
Es gibt viel mehr Arten von Kernel-Methoden und wir haben die am häufigsten verwendeten Kernel besprochen. Es hängt nur von der Art des Problems ab, welches die zu verwendende Kernelfunktion bestimmt.
Fazit
In diesem Abschnitt haben wir die Definition des Kernels und seine Funktionsweise gesehen. Wir haben versucht, anhand von Diagrammen zu erklären, wie Kernel funktionieren. Wir haben dann versucht, mit Mathematik ein einfaches Beispiel für die Kernelfunktion zu geben. Im letzten Teil haben wir verschiedene Arten von Kernelfunktionen gesehen, die heute weit verbreitet sind.
Empfohlene Artikel
Dies ist eine Anleitung zu Kernel-Methoden. Hier diskutieren wir eine Einführung, den Bedarf, die Funktionsweise und die Arten von Kernel-Methoden mit der entsprechenden Gleichung. Sie können auch unsere anderen Artikelvorschläge durchgehen, um mehr zu erfahren -
- Data Mining-Algorithmen
- K - bedeutet Clustering-Algorithmus
- Brute-Force-Algorithmus
- Entscheidungsbaum-Algorithmus
- Kernel-Methoden im maschinellen Lernen
- Entscheidungsbaum im maschinellen Lernen