Einführung in den Gradientenverstärkungsalgorithmus

Die Technik, Wochenlerner in einen starken Lernenden zu verwandeln, wird als Boosting bezeichnet. Der Gradientenverstärkungsalgorithmus arbeitet mit dieser Theorie der Ausführung. Ein Boosting-Algorithmus kann dargestellt werden, um den Prozess, durch den Boosting in die Datensätze injiziert wird, zu erklären und leicht zu verstehen.

Entscheidungsbaum

Ein Entscheidungsbaum ist ein Urteilsunterstützungsinstrument, mit dem Entscheidungen bestimmt werden, indem baumartige und ihre wahrscheinlichen Folgen sowie mögliche Ereignisergebnisse, Ressourcenkosten usw. impliziert werden. Mit dieser Technik können Steueranweisungen angezeigt werden, die auf bedingten Ergebnissen basieren.

Forschungsbetriebe verwenden diese Entscheidungsbäume in großem Umfang speziell für die Entscheidungsanalyse. Sie ermöglichen es ihnen auch, ein Ziel zu erreichen, und sind auch ein bewundertes Werkzeug beim maschinellen Lernen.

AdaBoost-Algorithmus

Der AdaBoost-Algorithmus beginnt mit der Erstellung eines Entscheidungsbaums, in dem jeder Beobachtung ein Äquivalentgewicht zugewiesen wird. Nachdem wir den Primärbaum bewertet haben, erhöhen wir die Gewichtung dieser Interpretation, deren Kategorisierung kompliziert ist, und ordnen die Gewichtung denjenigen unter, deren Kategorisierung mühelos möglich ist. Der zweite Baum wird infolgedessen auf diesen vorurteilsvollen Daten entwickelt. Hier geht es darum, die Prophezeiung des Primärbaums zu verbessern.

Berechnen Sie dann den Kategorisierungsfehler aus diesem innovativen 2-Baum-Erfassungsmodell und kultivieren Sie den dritten Baum, um die geänderten Residuen vorauszusehen. Die obige Prozedur wird in einigen Fällen wiederholt. Die Beobachtungen, die in vorhergehenden Bäumen nicht gut definiert sind, werden unter Verwendung nachfolgender Bäume bestimmt. Vorhersagen des abschließenden Assemblierungsmodells sind folglich die vorurteilsfreie Zahl der Vorhersagen, die durch die früheren Baummodelle beendet wurden.

Training GBM-Modell

Um ein GBM-Modell in R-Sprache zu instruieren, muss die GBM-Bibliothek installiert sein und ein Aufruf dieser installierten GBM-Bibliothek aus dem aufrufenden Programm wird instanziiert. Außerdem müssen die erforderlichen Argumente angegeben werden. Die wichtigsten Argumente sind unten aufgeführt.

1. Die Formel

2. Verteilung der Antwortvariablen

3. Prädiktorvariable

4. Antwortvariable

Die in GBM-Modellen üblichen Verteilungen sind Bernoulli, Poisson usw.

Endlich werden die Daten und die n.trees-Argumente angegeben. Standardmäßig wird das gbm-Modell 100 Bäume als gegeben voraussetzen, was eine gute Annäherung an das Konzert unserer gbm darstellt.

Beispielcode # 1

install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)

Hier ist ein nächster Schritt, bei dem der tatsächliche Datensatz in Zug- und Testdatensatz aufgeteilt wird. Dies wird mithilfe der Funktion createDataPartition () erreicht. Diese Art der Aufteilung wird im späteren Teil sehr hilfreich sein, um das Test-Set mit dem trainierten Zug-Set zu trainieren und darüber hinaus die tatsächlichen Vorhersagen für die Originaldaten zu ermitteln.

Beispielcode # 2

TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)

Der nächste Schritt ist, ein GBM-Modell mit Hilfe unseres Trainingsprofessors zu coachen. Während alle zusätzlichen Argumente genau das sind, was in den obigen Abschnitten mitgeteilt wurde. Zwei weitere zusätzliche Argumente werden erwähnt - Interaktion, Tiefe und Schrumpfung.

1. Interaktionstiefe Geben Sie die äußerste Tiefe jedes Baums an

2. Die Messung der Intelligenzrate wird mit dem Shrinkage durchgeführt. hier werden alle ergänzenden Werte in den Grundlernbäumen durch diese Schrumpfung verringert.

Darüber hinaus können mit dieser Technik Steueranweisungen angezeigt werden, die auf bedingten Ergebnissen basieren. Forschungsbetriebe verwenden diese Entscheidungsbäume in großem Umfang speziell für die Entscheidungsanalyse. Sie ermöglichen es uns auch, ein Ziel zu erreichen und sind auch ein bewundertes Werkzeug beim maschinellen Lernen.

GBM-Modell Ausgabe

Die Ausgabe des GBM-Modells enthält Details zur Gesamtzahl der für die Ausführung implizierten Bäume. Dies hilft dabei, den Einfluss der Prädiktorvariablen im Modell vorherzusagen. Aus der Zusammenfassungsfunktion der GBM-Ausgabe können auch die Variablenwichtigkeitstabelle und die Modelldarstellung abgeleitet werden.

Predict () -Methode unter Verwendung des GBM-Modells

Um die Vorhersagen über den hier angegebenen Schlüsseldaten zu machen, wird das GBM-Modell wie andere Modelle auch als Vorhersagemethode bezeichnet. Außerdem muss die Anzahl der insgesamt verwendeten Entscheidungsbäume im Argumentabschnitt der Methode manuell angegeben werden.

Beispielcode

predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)

GBM-Modellverbesserungen

Baumbeschränkungen

  • Es ist bezeichnend, dass die schwachen Lernenden Geschicklichkeit mitbringen, aber schwach bleiben.

Gewichtete Updates

  • Die sequentielle Addition wird aus den Vorhersagen jedes Baums angewendet
  • Die Spende eines jeden Baums in dieser Höhe muss in großen Mengen erfolgen, um das Lernen des Algorithmus zu verlangsamen. Dieser Prozess ist das Schrumpfen von Aufrufen.

Stochastischer Gradienten-Boosting-Algorithmus

Dieser äquivalente Gewinn kann verwendet werden, um die von Bäumen flankierte Assoziation zu verringern.

Algorithmus für bestraftes Gradienten-Boosting

Parametrisierte Bäume können mit zusätzlichen Einschränkungen gefüllt werden, der klassische Entscheidungsbaum kann nicht als schwacher Lernender verwendet werden. Stattdessen wird ein benutzerdefinierter Regressionsbaum mit numerischen Werten in den Blattknoten verwendet.

Empfohlene Artikel

Dies war eine Anleitung zum Gradienten-Boosting-Algorithmus. Hier diskutieren wir eine Einführung, den Entscheidungsbaum, den AdaBoost-Algorithmus, das GBM-Trainingsmodell und Verbesserungen des GBM-Modells sowie einige Beispiele für Code. Sie können auch unsere anderen Artikelvorschläge durchgehen, um mehr zu erfahren -
  1. Entscheidungsbaum-Algorithmus
  2. Algorithmen für maschinelles Lernen
  3. XGBoost-Algorithmus
  4. Datenwissenschaftliche Algorithmen
  5. C ++ Algorithmus | Beispiele für den C ++ - Algorithmus
  6. Implementierung der Poisson-Regression in R

Kategorie:

Große Daten