Überblick über Hyperparameter Machine Learning

Für jedes Modell benötigen wir einige Parameter, die als Grundlage für die Lösung von Problemen / Analysen und die Bewertung des Modells dienen. Einige dieser Parameter sind aus den Daten zu lernen, andere müssen wir von uns aus explizit definieren. Die Parameter, die aus den Daten gelernt werden können, ohne explizit definiert zu werden, werden als Modellparameter bezeichnet. Der vom Benutzer explizit festgelegte Parameter heißt Hyperparameter. Hyperparameter sind ebenfalls nur Parameter des Modells, aber der Begriff Hyperparameter wird beim maschinellen Lernen verwendet, damit sie leicht unterschieden werden können und nicht mit Modellparametern verwechselt werden dürfen, die aus dem Datensatz gelernt werden.

Was ist Hyperparameter Maschinelles Lernen?

Für die meisten Frameworks des maschinellen Lernens gibt es keine strenge Definition von Hyperparametern. Diese Hyperparameter bestimmen das zugrunde liegende System eines Modells, das die primären (modalen) Parameter des Modells steuert. Versuchen wir, die Hyperparameter anhand des folgenden Beispiels zu verstehen.

  • Das Stimmen Ihrer Geige ist sehr wichtig, wenn Sie gerade lernen, weil Sie zu diesem Zeitpunkt Verbindungen zwischen verschiedenen Sinnen herstellen. Ohren, Finger und Augen lernen gleichzeitig Geige. Jetzt zu Beginn Wenn man sich an den Klang der Geige gewöhnt, entsteht ein schlechter Klanggeschmack, der die gesamte Erfahrung eines Verliebens in den Lernprozess der Geige zunichte macht.
  • Deshalb kann das Stimmen der Geige einen beim Erlernen der Geige wirklich unterstützen. Ebenso ist Hyperparameter eine Art Abstimmung für das Modell des maschinellen Lernens, um die richtige Richtung anzugeben.
  • Hyperparameter werden im Allgemeinen definiert, bevor ein Algorithmus zum maschinellen Lernen auf einen Datensatz angewendet wird.
  • Die nächste Aufgabe ist nun, was der Hyperparameter sein soll und was sein Wert sein soll. Denn man muss wissen, welche Saiten gestimmt werden müssen und wie man die Violine stimmt, bevor man sie stimmt. Gleiches gilt für Hyperparameter. Wir müssen definieren, welche Hyperparameter und welcher Wert verwendet werden sollen. Grundsätzlich hängt dies von jeder Aufgabe und jedem Datensatz ab.
  • Um dies zu verstehen, nehmen wir die Perspektive der Modelloptimierung ein.
  • Bei der Implementierung des maschinellen Lernmodells spielt die Modelloptimierung eine entscheidende Rolle. Es gibt eine ganze Reihe von Zweigen des maschinellen Lernens, die sich ausschließlich der Optimierung des maschinellen Lernmodells widmen. Es wird allgemein angenommen, dass zur Optimierung des Modells der Code so geändert werden muss, dass der Fehler minimiert werden kann.
  • Es gibt jedoch versteckte Elemente, die sich auf die Optimierung des maschinellen Lernens auswirken, die sich außerhalb des Modells befinden und einen großen Einfluss auf das Modellverhalten haben. Diese versteckten Elemente werden als Hyperparameter bezeichnet und sind wichtige Komponenten für die Optimierung eines jeden maschinellen Lernmodells.
  • Hyperparameter sind Feinabstimmungen / Einstellungen, die das Verhalten eines Modells steuern. Diese Hyperparameter werden außerhalb des Modells definiert, haben jedoch eine direkte Beziehung zur Modellleistung. Hyperparameter können als orthogonal zum Modell betrachtet werden.
  • Die Kriterien zur Definition eines Hyperparameters sind sehr flexibel und abstrakt. Sicher gibt es einige Hyperparameter wie die Anzahl der ausgeblendeten Ebenen, die Lernrate eines Modells, die gut etabliert sind, und auch einige Einstellungen, die als Hyperparameter für ein bestimmtes Modell behandelt werden können, z. B. die Steuerung der Kapazität des Modells.
  • Es besteht die Möglichkeit, dass der Algorithmus ein Modell überarbeitet, wenn Algorithmen direkt durch Einstellungen lernen. Da es klar ist, dass Hyperparameter nicht durch das Trainingsset gelernt / abgestimmt werden, wird das Test- oder Validierungsset für die Auswahl von Hyperparametern verwendet. In Broadway stellen wir verschiedene Hyperparameter-Werte ein. Derjenige, der am besten mit einem Test- oder Validierungssatz funktioniert, wird als unser bester Hyperparameter angesehen.

Kategorien von Hyperparametern

Für verschiedene Arten von Datensätzen und je nach Modell können unterschiedliche Hyperparameter verwendet werden, um die Leistung des Modells zu steigern. Allgemein können die Hyperparameter in zwei Kategorien eingeteilt werden.

  • Hyperparameter zur Optimierung
  • Hyperparameter für bestimmte Modelle

Lassen Sie uns jeden dieser Punkte besprechen.

1. Hyperparameter zur Optimierung

Wie der Name schon sagt, werden diese Hyperparameter zur Optimierung des Modells verwendet.

  • Lernrate

Dieser Hyperparameter bestimmt, um wie viel die neu erfassten Daten die alten verfügbaren Daten überschreiben. Wenn der Wert dieses Hyperparameters hoch ist und die Lernrate höher ist, wird das Modell nicht richtig optimiert, da die Wahrscheinlichkeit besteht, dass es über die Minima springt. Wenn andererseits die Lernrate sehr niedrig ist, ist die Konvergenz sehr langsam.

Die Lernrate spielt eine entscheidende Rolle bei der Optimierung der Modellleistung, da Modelle in einigen Fällen Hunderte von Parametern (Modellparameter) mit Fehlerkurve aufweisen. Die Lernrate bestimmt die Häufigkeit der Gegenprüfung mit allen Parametern. Außerdem ist es schwierig, die lokalen Minima von Fehlerkurven zu finden, da sie im Allgemeinen unregelmäßige Kurven aufweisen.

  • Batch-Größe

Um den Lernprozess zu beschleunigen, ist das Trainingsset in verschiedene Gruppen unterteilt. Im Falle eines stochastischen Trainingsverfahrens für das Modell wird eine kleine Charge trainiert, ausgewertet und rückpropagiert, um die Werte aller Ihrer Hyperparameter anzupassen. Dies wird für den gesamten Trainingssatz wiederholt.

Wenn die Stapelgröße größer ist als die Lernzeit, wird mehr Speicher für die Matrixmultiplikation benötigt. Wenn die Chargengröße kleiner als ist, treten bei der Fehlerberechnung mehr Störungen auf.

  • Anzahl der Epochen

Die Epoche stellt einen vollständigen Zyklus für Daten dar, die beim maschinellen Lernen gelernt werden sollen. Epochen spielen im iterativen Lernprozess eine sehr wichtige Rolle.

Ein Validierungsfehler wird zur Bestimmung der richtigen Anzahl von Epochen berücksichtigt. Man kann die Anzahl der Epochen erhöhen, solange sich ein Validierungsfehler verringert. Wenn sich der Validierungsfehler in aufeinanderfolgenden Epochen nicht verbessert, ist dies ein Signal zum Stoppen einer zunehmenden Anzahl von Epochen. Es ist auch als frühes Anhalten bekannt.

2. Hyperparameter für bestimmte Modelle

Einige Hyperparameter sind an der Struktur des Modells selbst beteiligt. Einige davon sind wie folgt.

  • Anzahl versteckter Einheiten

Es ist wichtig, eine Reihe von versteckten Einheiten für neuronale Netze in Deep-Learning-Modellen zu definieren. Dieser Hyperparameter wird zur Definition der Lernfähigkeit des Modells verwendet. für komplexe funktionen müssen wir eine reihe von versteckten einheiten definieren, aber denken sie daran, dass sie nicht über das modell passen sollten.

  • Anzahl der Schichten

Es ist offensichtlich, dass ein neuronales Netzwerk mit 3 Schichten eine bessere Leistung als das von 2 Schichten ergibt. Mehr als 3 zu erhöhen, hilft in neuronalen Netzen nicht viel. Im Fall von CNN verbessert eine zunehmende Anzahl von Schichten das Modell.

Fazit

Hyperparameter werden explizit definiert, bevor ein Algorithmus zum maschinellen Lernen auf einen Datensatz angewendet wird. Hyperparameter werden verwendet, um die Komplexität des Modells und die Lernkapazität auf höherer Ebene zu definieren. Hyperparameter können auch Einstellungen für das Modell sein. Einige Hyperparameter dienen zur Optimierung der Modelle (Stapelgröße, Lernrate usw.), andere sind modellspezifisch (Anzahl der ausgeblendeten Ebenen usw.).

Empfohlene Artikel

Dies ist eine Anleitung zum maschinellen Lernen mit Hyperparametern. Hier diskutieren wir die Übersicht und was ist hyperparameter maschinelles Lernen mit seinen Kategorien. Sie können sich auch die folgenden Artikel ansehen, um mehr zu erfahren -

  1. Einführung in das maschinelle Lernen
  2. Unüberwachtes maschinelles Lernen
  3. Arten von Algorithmen für maschinelles Lernen
  4. Anwendungen des maschinellen Lernens
  5. Implementierung neuronaler Netze
  6. Top 6 Vergleiche zwischen CNN und RNN

Kategorie:

Große Daten