Überblick über Verlustfunktionen beim maschinellen Lernen
Genauso wie Lehrer uns leiten, ob wir in unseren Akademikern gute Leistungen erbringen oder nicht, leisten Verlustfunktionen die gleiche Arbeit. Es ist eine Methode, um zu bewerten, wie gut unser Algorithmus die Daten modelliert. Verlustfunktionen sind die Hauptbewertungsquelle im modernen maschinellen Lernen. Wenn Sie Ihren Algorithmus ändern, um Ihr Modell zu verbessern, zeigt der Wert der Verlustfunktion an, ob Sie Fortschritte erzielen oder nicht. Unser primäres Ziel sollte es sein, die Verlustfunktion durch Optimierung zu reduzieren. In diesem Artikel werden wir diskutieren, wie Verlustfunktionen und verschiedene Arten von Verlustfunktionen funktionieren.
Wie funktionieren Verlustfunktionen?
Das Wort 'Loss' gibt die Strafe für das Nichterreichen der erwarteten Leistung an. Wenn die Abweichung des vorhergesagten Werts vom erwarteten Wert in unserem Modell groß ist, gibt die Verlustfunktion die höhere Zahl als Ausgabe aus und wenn die Abweichung klein und viel näher am erwarteten Wert liegt, gibt sie eine kleinere Zahl aus.
Hier ist ein Beispiel, wenn wir versuchen, den Verkaufspreis von Häusern in Metropolen vorherzusagen.
| Vorausgesagt
Verkaufspreis (in lakh) | Tatsächlich
Verkaufspreis (in lakh) | Abweichung (Verlust) |
| Bangalore: 45 | 0 (Alle Vorhersagen sind korrekt) | |
| Pune: 35 | ||
| Chennai: 40 | ||
| Bangalore: 40 | Bangalore: 45 | 5 Lakh für Bangalore, 2 Lakh für Chennai |
| Pune: 35 | Pune: 35 | |
| Chennai: 38 | Chennai: 40 | |
| Bangalore: 43 | 2 lakh für Bangalore, 5 lakh für, Pune2 lakh für Chennai, | |
| Pune: 30 | ||
| Chennai: 45 |
Es ist wichtig zu beachten, dass es nicht auf das Ausmaß der Abweichung ankommt, sondern darauf, ob der von unserem Modell vorhergesagte Wert richtig oder falsch ist. Die Verlustfunktionen unterscheiden sich je nach der Problemstellung, auf die das maschinelle Lernen angewendet wird. Die Kostenfunktion ist ein anderer Begriff, der synonym für die Verlustfunktion verwendet wird, aber eine etwas andere Bedeutung hat. Eine Verlustfunktion bezieht sich auf ein einzelnes Trainingsbeispiel, während die Kostenfunktion den durchschnittlichen Verlust über den gesamten Zugdatensatz darstellt.
Arten von Verlustfunktionen beim maschinellen Lernen
Nachfolgend sind die verschiedenen Arten der Verlustfunktion beim maschinellen Lernen aufgeführt:
1) Regressionsverlustfunktionen:
Die lineare Regression ist ein grundlegendes Konzept dieser Funktion. Regressionsverlustfunktionen stellen eine lineare Beziehung zwischen einer abhängigen Variablen (Y) und einer unabhängigen Variablen (X) her, daher versuchen wir, die beste Linie im Raum auf diese Variablen abzustimmen.
Y = X0 + X1 + X2 + X3 + X4 … + Xn
X = unabhängige Variablen
Y = abhängige Variable
- Mittlerer Fehlerquadratverlust:
MSE (L2-Fehler) misst die durchschnittliche quadratische Differenz zwischen den tatsächlichen und vorhergesagten Werten des Modells. Die Ausgabe ist eine einzelne Zahl, die einer Reihe von Werten zugeordnet ist. Unser Ziel ist es, MSE zu reduzieren, um die Genauigkeit des Modells zu verbessern.
Betrachten wir die lineare Gleichung y = mx + c, so können wir MSE ableiten als:
MSE = 1 / N Ni = 1 bis n (y (i) - (mx (i) + b)) 2
Hier ist N die Gesamtzahl der Datenpunkte, 1 / N ∑i = 1 bis n ist der Mittelwert und y (i) ist der tatsächliche Wert und mx (i) + b ist sein vorhergesagter Wert.
- Mittlerer quadratischer logarithmischer Fehlerverlust (MSLE):
MSLE misst das Verhältnis zwischen aktuellem und vorhergesagtem Wert. Es führt eine Asymmetrie in die Fehlerkurve ein. MSLE kümmert sich nur um die prozentualen Unterschiede zwischen tatsächlichen und vorhergesagten Werten. Als Verlustfunktion kann dies eine gute Wahl sein, wenn wir die Verkaufspreise von Häusern, die Verkaufspreise von Backwaren und die Daten kontinuierlich vorhersagen möchten.
Hier kann der Verlust als Mittelwert der beobachteten Daten der quadrierten Differenzen zwischen den logarithmisch transformierten tatsächlichen und vorhergesagten Werten berechnet werden, die wie folgt angegeben werden können:
L = 1nn∑i = 1 (log (y (i) +1) - log (y (i) +1)) 2
- Mittlerer absoluter Fehler (MAE):
MAE berechnet die Summe der absoluten Differenzen zwischen tatsächlichen und vorhergesagten Variablen. Das heißt, es misst die durchschnittliche Fehlergröße in einer Reihe von vorhergesagten Werten. Die Verwendung des mittleren quadratischen Fehlers ist einfacher zu lösen, die Verwendung des absoluten Fehlers ist jedoch für Ausreißer robuster. Ausreißer sind solche Werte, die extrem von anderen beobachteten Datenpunkten abweichen.
MAE kann berechnet werden als:
L = 1nn∑i = 1∣∣y (i) - y (i) ∣∣
2) Binäre Klassifikationsverlustfunktionen:
Diese Verlustfunktionen dienen dazu, die Leistungen des Klassifizierungsmodells zu messen. Datenpunkten wird dabei eine der Bezeichnungen 0 oder 1 zugewiesen. Außerdem können sie wie folgt klassifiziert werden:
- Binäre Kreuzentropie
Dies ist eine Standardverlustfunktion für Binärklassifizierungsprobleme. Der Cross-Entropy-Verlust berechnet die Leistung eines Klassifizierungsmodells, das einen Wahrscheinlichkeitswert zwischen 0 und 1 ausgibt. Der Cross-Entropy-Verlust steigt, wenn der vorhergesagte Wahrscheinlichkeitswert vom tatsächlichen Etikett abweicht.
- Scharnierverlust
Der Gelenkverlust kann als Alternative zur Kreuzentropie verwendet werden, die ursprünglich für die Verwendung mit einem Support-Vektor-Maschinenalgorithmus entwickelt wurde. Scharnierverlust funktioniert am besten mit Klassifizierungsproblemen, da sich die Zielwerte in der Menge von (-1, 1) befinden. Sie können mehr Fehler zuweisen, wenn zwischen tatsächlichen und vorhergesagten Werten ein Vorzeichenunterschied besteht. Dies führt zu einer besseren Leistung als eine Kreuzentropie.
- Quadratischer Scharnierverlust
Eine Erweiterung des Scharnierverlusts, die einfach das Quadrat der Scharnierverlustbewertung berechnet. Es reduziert die Fehlerfunktion und erleichtert die numerische Bearbeitung. Es wird die Klassifizierungsgrenze gefunden, die den maximalen Abstand zwischen den Datenpunkten verschiedener Klassen angibt. Der quadratische Scharnierverlust eignet sich perfekt für JA ODER NEIN Art von Entscheidungsproblemen, bei denen die Wahrscheinlichkeitsabweichung keine Rolle spielt.
3) Multi-Class-Classification-Loss-Funktionen:
Die Mehrklassenklassifizierung ist das Vorhersagemodell, bei dem die Datenpunkte mehr als zwei Klassen zugeordnet werden. Jeder Klasse wird ein eindeutiger Wert von 0 bis (Number_of_classes - 1) zugewiesen. Es wird dringend empfohlen, wenn bei der Klassifizierung von Bildern oder Texten Probleme auftreten, bei denen ein einzelnes Papier mehrere Themen enthalten kann.
- Multiklassen-Cross-Entropie
In diesem Fall liegen die Zielwerte in der Menge von 0 bis n, dh (0, 1, 2, 3… n). Es wird eine Punktzahl berechnet, die eine durchschnittliche Differenz zwischen tatsächlichen und vorhergesagten Wahrscheinlichkeitswerten ergibt, und die Punktzahl wird minimiert, um die bestmögliche Genauigkeit zu erzielen. Die Kreuzentropie mehrerer Klassen ist die Standardverlustfunktion für Textklassifizierungsprobleme.
- Sparse Multi-Class Cross-Entropy
Ein Hot-Encoding-Prozess erschwert die Verarbeitung einer großen Anzahl von Datenpunkten durch Kreuzentropie mehrerer Klassen. Sparse Cross-Entropy löst dieses Problem, indem die Fehlerberechnung ohne One-Hot-Codierung durchgeführt wird.
- Kullback Leibler Divergenzverlust
Der KL-Divergenzverlust berechnet die Divergenz zwischen Wahrscheinlichkeitsverteilung und Basislinienverteilung und ermittelt, wie viel Information in Form von Bits verloren geht. Die Ausgabe ist ein nicht negativer Wert, der angibt, wie eng zwei Wahrscheinlichkeitsverteilungen sind. Um die KL-Divergenz in Bezug auf die Wahrscheinlichkeitssicht zu beschreiben, wird das Wahrscheinlichkeitsverhältnis verwendet.
In diesem Artikel haben wir zunächst die Funktionsweise von Verlustfunktionen verstanden und anschließend eine umfassende Liste von Verlustfunktionen anhand von Fallbeispielen untersucht. Es ist jedoch nützlicher, es praktisch zu verstehen. Versuchen Sie also, mehr zu lesen und es umzusetzen. Es wird Ihre Zweifel gründlich klären.
Empfohlene Artikel
Dies ist eine Anleitung zu Verlustfunktionen beim maschinellen Lernen. Hier diskutieren wir, wie Verlustfunktionen funktionieren und welche Arten von Verlustfunktionen beim maschinellen Lernen auftreten. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -
- Methoden des maschinellen Lernens
- Einführung in das maschinelle Lernen
- Big Data-Technologien
- Big Data Analytics-Software
- Lerne die Kategorien von Hyperparameter
- Lebenszyklus des maschinellen Lernens | Top 8 Bühnen