🎯 In dieser Reihe erfährst du, wie ein Computer mithilfe von Daten lernen kann.

In den Teilen 1 und 2 hast du gelernt, dass mit Machine Learning Probleme gelöst werden können, welche näherungsweise durch eine Stellvertreter-Funktion $f_{ML}(x)$ mit mehreren Gewichten $w$ und deren Lösung näherungsweise durch das Minimieren einer Fehlerfunktion $J(w)$ beschrieben werden können.

Das Ziel besteht nun darin, mithilfe von einem Datensatz (endlich vielen Datenpunkten) die Gewicht-Einstellung $w*$, für welche $e_{min}=J(w^*)$ gilt, möglichst gut anzunähern. Im Teil 2 hattest du dazu drei Strategien kennengelernt. In diesem dritten Teil geht es darum, eine dieser Strategien, die iterativen Verfahren, besser kennenzulernen. Konkret wirst du das sogenannte „Gradientenverfahren“ etwas genauer unter die Lupe zu nehmen. Das Gradientenverfahren ist das gebräuchlichste Verfahren zum Trainieren von neuronalen Netzen.

Im folgenden Auftrag wirst du den wichtigen Begriff „Steigung“ einer Funktion kennenlernen und selbst herausfinden, wie damit das Minimum einer Funktion gefunden werden kann.

💡 Grob gesagt, bei einer Funktion, die so aussieht: ᑌ , ist die Steigung unten beim Minimum gleich null.

⚠️ Bei einer Funktion, die so aussieht: ᑎ , ist die Steigung oben beim Maximum gleich null. Und bei einer Funktion die so aussieht: ⸺ , ist die Steigung überall null.

ℹ️ Es kann durchaus sein, dass eine Fehlerfunktion $J(w)$ eher so aussieht: ᑌᐡ⸺ᑎ , d.h. dass diese mehrere Minima, Maxima und flache Passagen (Sattelpunkte) beinhaltet, bei welchen die Steigung jeweils gleich null ist. Wie damit in der Praxis umgegangen wird, erfährst du im Kapitel 3 weiter unten.

In der Mathematik gibt es ein Hilfsmittel, mit welchem die Steigung in einem Punkt einer Funktion gefunden werden kann. Dieses Hilfsmittel wird „Differenzialrechnung“ oder kurz „Ableiten“ genannt. Die damit berechnete Steigung wird als „Ableitung“ bezeichnet. Bei einer Funktion der Form ᑌ (mit einem eindeutigen Minimum) ist das Finden dieses Minimums gleichbedeutend mit dem Lösen der Gleichung: Ableitung gleich null.

Die Ableitung für einen gegebenen Punkt auf einer Funktion lässt sich meist mit einem vertretbaren Aufwand berechnen. Das Umgekehrte, aus der Gleichung „Ableitung gleich null“ den zugehörigen Punkt auf der Funktion zu berechnen, ist für die gebräuchlichen Machine-Learning-Verfahren jedoch sehr aufwändig. Daher wird bei den iterativen Verfahren diese Lösung nicht direkt berechnet, sondern schrittweise angenähert.

Falls du genauer wissen willst, warum das so ist, hier klicken!

⚠️ Für die folgenden Überlegungen tun wir so, als würde unsere Fehlerfunktion $J(w)$ so aussehen: ᑌ (d.h. eine Funktion mit einem eindeutigen Minimum).

Gradient

Der Gradient in einem Punkt einer Funktion kann als „Pfeil“ entlang der Steigung in diesem Punkt dargestellt werden. Er wird mit dem Zeichen $\nabla$ gekennzeichnet. Die Länge des Pfeils entspricht dem Wert der Steigung. In Abb.2 ist der Gradient für den Punkt $J(w^♡)$ als grüner Pfeil dargestellt.

💡 Achtung, durch das Vorzeichen der Steigung zeigt der Gradient immer in diejenige Richtung, in welcher die Funktion grösser wird. Der negative Gradient $-\nabla$ zeigt dagegen immer in diejenige Richtung, in welcher die Funktion kleiner wird (blauer Pfeil in der Abbildung).

Gradientenverfahren I

Grundidee: Um auf der Fehlerfunktion „nach unten“ zu gelangen, werden die Gewichte $w$ in Richtung negativer Gradient $-\nabla$ verschoben. Damit dabei kontrolliert werden kann, wie weit verschoben wird, wird der negative Gradient mit einer Zahl multipliziert, der sogenannten Lernrate $\mu$. Somit wird jeweils um $- \mu \cdot \nabla$ verschoben.

💡 Bisher hatten wir den Gradienten der Fehlerfunktion $J(w)$ kurz als $\nabla$ bezeichnet. Im Folgenden werden wir den Gradienten der Fehlerfunktion $J(w)$ wie sonst üblich als $\nabla J(w)$ schreiben.

Gradientenverfahren II

Beim Gradientenverfahren wird die erste Gewicht-Einstellung $w[0]$ zufällig gewürfelt. Im ersten Lernschritt wird die neue Gewicht-Einstellung mit $w[1] = w[0] -\mu \cdot \nabla J(w[0])$ berechnet. Im zweiten Lernschritt mit $w[2] = w[1] -\mu \cdot \nabla J(w[1])$, danach $w[3] = w[2] -\mu \cdot \nabla J(w[2])$ usw. Allgemein ausgedrückt, eine neue Gewicht-Einstellung $w[k+1]$ wird aus der alten Gewicht-Einstellung $w[k]$ berechnet durch:

$w[k+1] = w[k] -\mu \cdot \nabla J(w[k])\quad$ (Gradientenverfahren),

wobei $k$ die Lernschritte durchnummeriert.

Dass dieses Verfahren funktioniert, lässt sich mathematisch beweisen. Es kann gezeigt werden, dass für eine genügend kleine Lernrate $\mu$ für jede Epoche folgendes gilt:

$J(w[k+1]) \le J(w[k])$

D.h. der Fehler $J(w[k])$ wird mit fortschreitenden $k$ entweder kleiner oder bleibt im schlimmsten Fall gleich. Für grosse Lernraten $\mu$ gilt $J(w[k+1]) \le J(w[k])$ jedoch nicht zwingend und es kann sein, dass beim Training der Fehler wild hin und her springt.

Falls du den Beweis sehen willst, hier klicken!

Du kennst die Funktionsweise des Gradientenverfahrens und hast bereits Erfahrung im Umgang damit gesammelt. Im 🤖 Teil 4 erfährst du, wie genau ein neuronales Netz aufgebaut ist und wie mit dem Gradientenverfahren der Fehler eines neuronalen Netzes schrittweise minimiert werden kann.

Loading ⌛