🎯 In dieser Reihe erfährst du, wie ein Computer mithilfe von Daten lernen kann.

ℹ️ In den Teilen 1 - 3 wurden die Machine-Learning-Verfahren als „Black Box“ dargestellt. In diesem Kapitel erfährst du, was in dieser Black Box drin ist und wie diese im Detail funktioniert. Um diese Frage zu beantworten, wirst du dich mit einer weit verbreiteten Variante eines neuronalen Netzes befasssen, dem sogenannten „Feedforward Neural Network (FNN)“. Konkret stecken in der Machine-Learning-Black-Box Zahlen, Formeln und viele Konzepte drin. Daher werden in diesem Kapitel nicht nur Konzepte genannt, es werden auch die entsprechenden Formeln gezeigt. Je nach deinem mathematischen Wissen kannst du die Formeln verstehen oder diese einfach als gegeben ansehen.

ℹ️ Abb.1 zeigt ein neuronales Netz vom Typ „Feedforward Neural Network (FNN)“. Ein FNN ist aus mehreren miteinander verbundenen Neuronen (die Kreise ◯) aufgebaut, welche in mehreren Spalten angeordnet sind. Diese Spalten werden als Schichten (layers) bezeichnet. Die Spalte ganz links ist der Input Layer, die Spalte ganz rechts ist der Output Layer und alle Spalten dazwischen sind Hidden Layers. Die schwarzen Kreise ● bezeichnen spezielle Neuronen, welche immer den Ausgangswert $1$ haben. Sie werden als „Bias“ bezeichnet. Jede Verbindungslinie, welche zwei Neuronen ◯ (oder Bias ● und Neuron ◯) miteinander verbindet, stellt ein Gewicht dar. Im Training werden diese Gewichte angepasst. Der Input Layer ist zwar mit Kreisen ◯ eingezeichnet, jedoch wird in diesen Neuronen nichts verarbeitet, sie leiten die Eingangswerte direkt weiter.

• Input Layer: Besteht aus mehreren Input-Neuronen, die mit dem Index $h$ von $0$ bis $n_i$ (der Anzahl Input-Neuronen) durchnummeriert werden. Jedes Input-Neuron gibt den zugehörigen Eingangswert $x_h$ weiter. Das Input-Neuron $0$ ist das Bias und gibt stets den Wert $1$ weiter.
• Hidden Layer: Besteht aus mehreren Hidden-Neuronen, die mit dem Index $i$ von $0$ bis $n_h$ (der Anzahl Hidden-Neuronen) durchnummeriert werden. Jedes Hidden-Neuron gibt den Funktionswert der zugehörigen Aktivierungsfunktion $\phi_i$ weiter. Das Hidden-Neuron $0$ ist das Bias und gibt stets den Wert $1$ weiter.
• Output Layer: Besteht aus mehreren Output-Neuronen, die mit dem Index $j$ von $1$ bis $n_o$ (der Anzahl Ouput-Neuronen) durchnummeriert werden. Jedes Output-Neuron gibt den Funktionswert der zugehörigen Aktivierungsfunktion $\varphi_j$ als Ausgangswert $y_j$ aus. Im Output Layer gibt es kein Bias.
• Gewichte: Das Gewicht vom Input-Neuron $h$ zum Hidden-Neuron $i$ ist: $v_{hi}$ . Das Gewicht vom Hidden-Neuron $h$ zum Ouput-Neuron $j$ ist: $w_{ij}$.

Abb.1 FNN mit einem Hidden Layer1)	Abb.2 Das Neuron in der Mitte des Hidden Layers2)

• Neuron: Das Neuron in der Mitte des Hidden Layers ist in Abb.2 abgebildet. Jedes Neuron (abgesehen von den Input-Neuronen und dem Bias) empfängt als „Aktivierung“ die Summe aller Eingänge multipliziert mit den zugehörigen Gewichten. D.h. für das Neuron in der Abb.2 ist die Aktivierung $a = v_{02} \cdot 1 + v_{12} \cdot x_1 + v_{22} \cdot x_2$ . Danach wird die Aktivierung $a$ mit der Aktivierungsfunktion $\phi_2(a)$ verrechnet und der Funktionswert den rechts angeschlossenen Neuronen übergeben.
• Aktivierungsfunktion: Es kommen in der Praxis verschiedene Aktivierungsfunktionen $\phi(.)$ und $\varphi(.)$ zum Einsatz. Wichtig ist, dass zumindest in einem Layer eine nicht-lineare Funktion verwendet wird (sonst kann das neuronale Netz nicht viel lernen). Ein Beispiel für eine nicht-lineare Aktivierungsfunktion ist die „logistische Funktion“ $f_{\textrm{logistic}}(z) = \frac{1}{1 + e^{-z}}$ . Für die Output-Neuronen kommen manchmal auch lineare Aktivierungsfunktionen zum Einsatz, z.B. die „lineare Funktion“ $f_{\textrm{linear}}(z) = z$ .

ℹ️ Alles kombiniert ergibt sich für jeden Ausgang $y_j$ folgende Formel für ein FNN mit einem Hidden Layer:

$y_j = \varphi_j \left[ \displaystyle\sum_{i=0}^{n_h} w_{ij} \cdot \phi_i \left( \displaystyle\sum_{h=0}^{n_i} v_{hi} \cdot x_h \right) \right]\enspace ,\quad \phi_0(.) = x_0 = 1 , \quad$ (FNN mit einem Hidden Layer).

Dabei bezeichnet das Zeichen $\sum$ eine Summe. Z.B. ist $\sum_{h=0}^{n_i} v_{hi} \cdot x_h$ die Summe aller $v_{hi} \cdot x_h$ mit einem Index $h$ von $0$ bis $n_i$. Für $i = 1$ wird die Summe zu $\sum_{h=0}^{n_i} v_{h1} \cdot x_h = v_{01}\cdot x_0 + v_{11}\cdot x_1 +v_{21}\cdot x_2$. Wird in dieser Formel berücksichtigt, dass das Bias $x_0 = 1$ ist, ergibt sich $\sum_{h=0}^{n_i} v_{h1} \cdot x_h = v_{01} + v_{11}\cdot x_1 +v_{21}\cdot x_2$ .

ℹ️ Um das neuronale Netz zu trainieren, braucht es eine Fehlerfunktion $J[k]$ (da zwei verschiedene Buchstaben $v$ und $w$ für die Gewichte verwendet werden, wird nicht $J(w[k])$ geschrieben, sondern nur $J[k]$. Für das FNN in Abb.1 verwenden wir die einfache Fehlerfunktion „squared error (SE)“. Diese wird für jedes Sample (Trainingsbeispiel) einzeln berechnet, und gleich danach (d.h. nach jedem Sample) werden die Gewichte angepasst. Das ist ein anderes Vorgehen, als z.B. für die gebräuchlichere Fehlerfunktion „mean squared error (MSE)“. Beim MSE wird zuerst der Fehler über mehrere Samples gemittelt und erst danach die Gewichte angepasst. Die Formel für den SE ist

$J[k] = \frac{1}{2} \displaystyle\sum_{j=1}^{n_0} (y_j[k]-d_j)^2\quad$ (SE),

Dabei ist $d_j$ der gewünschte Ausgangswert (Desired Output) zum Ausgang $y_j$. Die Differenz zwischen erhaltenem Ausgang $y_j$ und Desired Output $d_j$ bildet die Basis für die Fehlerberechnung. Das Quadrat bei $(y_j[k]-d_j)^2$ sorgt dafür, dass der Fehler eine positive Zahl ist. Zudem werden grosse Differenzen $y_j[k]-d_j$ durch das Quadrat stärker bestraft als kleine. Der Faktor $\frac{1}{2}$ spielt für das Training selber keine Rolle. Er wird jedoch im Gebiet der neuronalen Netze häufig dazu genommen, weil damit die Gleichungen für das Gradientenverfahren vereinfacht werden³⁾.

Falls du wissen möchtest, wie die Formel für den "mean squared error (MSE)" aussieht, hier klicken!

Für das Update der Gewichte $v_{hi}$ und $w_{ij}$ wird das Gradientenverfahren verwendet:

$v_{hi}[k+1] = v_{hi}[k] - \mu \cdot \displaystyle\frac{\partial J[k]}{\partial v_{hi}};\quad w_{ij}[k+1] = w_{ij}[k] - \mu \cdot \displaystyle\frac{\partial J[k]}{\partial w_{ij}}\quad$ (Gradientenverfahren)

wobei $\frac{\partial J[k]}{\partial v_{hi}}$ und $\frac{\partial J[k]}{\partial w_{ij}}$ die (partiellen) Ableitungen der Fehlerfunktion $J[k]$ nach den Gewichten $v_{hi}$ und $w_{ij}$ bezeichnen und $\mu$ die Lernrate ist. Zusammen bilden alle $\frac{\partial J[k]}{\partial v_{hi}}$ und $\frac{\partial J[k]}{\partial w_{ij}}$ den Gradienten $\nabla$.

Werden als Modell $y_j = \dots$ die Formeln für das FNN mit einem Hidden Layer und als Fehlerfunktion $J[k]$ der SE verwendet, werden die partiellen Ableitungen zu:

$\displaystyle\frac{\partial J[k]}{\partial v_{hi}} = \displaystyle\sum_{j=1}^{n_0}(y_j[k] - d_j) \cdot \varphi'_j(.) \cdot w_{ij}[k] \cdot \phi'_i(.) \cdot x_h[k]; \quad \displaystyle\frac{\partial J[k]}{\partial w_{ij}} = (y_j[k] - d_j) \cdot \varphi'_j(.) \cdot \phi_i(.)\quad$ (partielle Ableitungen)

wobei

$\phi_i(.)= \phi_i\left( \displaystyle\sum_{h=0}^{n_i} v_{hi}[k] \cdot x_h \right); \quad \varphi_j(.) = \varphi_j\left( \displaystyle\sum_{i=0}^{n_h} w_{ij}[k] \cdot \phi_i(.)\right); \quad \phi_0(.) = x_0 = 1$

und $\phi'_i(.)$ und $\varphi'_j(.)$ die Ableitungen von $\phi_i(.)$ und $\varphi_j(.)$ sind.

ℹ️ Auch wenn du die Formeln nicht im Detail verstehen solltest. Für das Update der Gewichte wird ausgehend vom Fehler, welcher am Ausgang berechnet wird, „rückwärts“ (von rechts nach links) durch das neuronale Netz gegangen. Das wird in den Formeln für $\frac{\partial J[k]}{\partial v_{hi}}$ und $\frac{\partial J[k]}{\partial w_{ij}}$ ersichtlich. Dort steht zuerst der Ausgang, d.h. $y_j$ und $d_j$, dann folgt der Output Layer $\varphi_j(.)$, dann allenfalls die Gewichte zwischen Hidden- und Output Layer $w_{ij}$, dann der Hidden Layer $\phi_i(.)$ und allenfalls noch der Input Layer ($x_h$).

ℹ️ Wird ein neuronales Netz mit mehr als einem Hidden Layer verwendet, wird von „Deep Learning“ gesprochen. Bei mehreren Hidden Layern werden alle Formeln entsprechend länger. Da jedoch der Rechenschritt von einem Layer zum nächsten vom Prinzip her immer derselbe ist, können die Berechnungen mit einer Schleife (über alle Hidden Layer) oder mit einer Rekursion programmiert werden.

Falls du wissen willst, wie die Formeln für die partiellen Ableitungen hergeleitet werden, hier klicken!

ℹ️ Der Name Feedforward Neural Network (zu Deutsch: „vorwärtsgerichtetes neuronales Netz“) kommt daher, dass in der Anwendungsphase die Information „vorwärts“ von links nach rechts verarbeitet wird. Eine kompakte (rekursive) Formulierung des Gradientenverfahrens für FNN mit mehreren Hidden Layern stellt der sogenannte Backpropagation Algorithmus dar (zu Deutsch: „Rückwärtsverarbeitung“). Der Name weist darauf hin, dass beim Gradientenverfahren, für das Updaten der Gewichte, die Information „rückwärts“ von rechts nach links verarbeitet wird.

ℹ️ In diesem Kapitel geht es darum, einmal von Hand ein ganz einfaches neuronales Netz durchzurechnen. D.h. einen Vorwärtsschritt und den Fehler zu berechnen, anschliessend neue Gewicht-Einstellungen auszurechnen, um am Ende, nach einem zweiten Vorwärtsschritt, einen tieferen Fehler zu erhalten. Dafür verwenden wir das sehr einfache FNN aus Abb.3⁵⁾ und passen die Formeln aus dem letzten Kapitel an dieses FNN an (dadurch werden die Formeln vereinfacht).

Abb.3 Einfaches FNN6)

Als Aktivierungsfunktion $\phi(.)$ wird die logistische Funktion verwendet:

$\phi(z) = \displaystyle\frac{1}{1 + e^{-z}}$

und als Aktivierungsfunktion $\varphi(.)$ die lineare Funktion:

$\varphi(z) = z$ .

Da der Output Layer nur ein Neuron enthält, fällt das Summenzeichen für die Output-Neuronen weg. Und da als Aktivierungsfunktion $\varphi(.)$ die lineare Funktion verwendet wird, kann $\varphi(.)$ ebenfalls weggelassen werden. Somit vereinfacht sich die allgemeine Formel für ein FNN mit einem Hidden Layer (zum Sehen anklicken)


Kopie der Formel für das FNN mit einem Hidden Layer aus dem letzten Kapitel zum Vergleich:
$y_j = \varphi_j \left[ \displaystyle\sum_{i=0}^{n_h} w_{ij} \cdot \phi_i \left( \displaystyle\sum_{h=0}^{n_i} v_{hi} \cdot x_h \right) \right]\enspace ,\quad \phi_0(.) = x_0 = 1$


zu:

$y_1 = \displaystyle\sum_{i=0}^{n_h} w_{i1} \cdot \phi_i \left( \displaystyle\sum_{h=0}^{n_i} v_{hi} \cdot x_h \right) \enspace ,\quad \phi_0(.) = x_0 = 1$

Die Formel für den SE


Kopie der Formel für den SE aus dem letzten Kapitel zum Vergleich:
$J[k] = \frac{1}{2} \displaystyle\sum_{j=1}^{n_0} (y_j[k]-d_j)^2$


vereinfacht sich zu:

$J[k] = \displaystyle\frac{1}{2} (y_1[k]-d_1)^2$

Die Formeln für das Gradientenverfahren bleiben bis auf den Umstand, dass es nur ein Hidden- und ein Output-Neuron gibt, gleich ($v_{hi}$ wird zu $v_{h1}$ und $w_{ij}$ zu $w_{i1}$):

$v_{h1}[k+1] = v_{h1}[k] - \mu \cdot \displaystyle\frac{\partial J[k]}{\partial v_{h1}}\enspace ;\quad w_{i1}[k+1] = w_{i1}[k] - \mu \cdot \displaystyle\frac{\partial J[k]}{\partial w_{i1}}$

Da für die Aktivierungsfunktion $\varphi(.)$ die lineare Funktion verwendet wird und deren Ableitung $\varphi'(.) = 1$ ist, vereinfachen sich die Formel für die partiellen Ableitungen


Kopie der Formel für die partiellen Ableitungen aus dem letzten Kapitel zum Vergleich:
$\displaystyle\frac{\partial J[k]}{\partial v_{hi}} = \displaystyle\sum_{j=1}^{n_0}(y_j[k] - d_j) \cdot \varphi'_j(.) \cdot w_{ij}[k] \cdot \phi'_i(.) \cdot x_h[k]\enspace ; \quad \displaystyle\frac{\partial J[k]}{\partial w_{ij}} = (y_j[k] - d_j) \cdot \varphi'_j(.) \cdot \phi_i(.)$
mit
$\phi_i(.)= \phi_i\left( \displaystyle\sum_{h=0}^{n_i} v_{hi}[k] \cdot x_h \right); \quad \varphi_j(.) = \varphi_j\left( \displaystyle\sum_{i=0}^{n_h} w_{ij}[k] \cdot \phi_i(.)\right)\enspace ; \quad \phi_0(.) = x_0 = 1$


zu:

$\displaystyle\frac{\partial J[k]}{\partial v_{h1}} = (y_1[k] - d_1) \cdot w_{11}[k] \cdot \phi'_1[k](.) \cdot x_h[k]\enspace ; \quad \displaystyle\frac{\partial J[k]}{\partial w_{i1}} = (y_1[k] - d_1) \cdot \phi_i[k](.)$

mit

$\phi_1(.)= \phi_1\left( \displaystyle\sum_{h=0}^{n_i} v_{h1}[k] \cdot x_h \right)\enspace ; \quad x_0 = 1$

Da für $\phi_1(.)$ die logistische Funktion gewählt wurde, wird die Ableitung $\phi'_1(.)$ zu: (für die Herleitung hier klicken)


$\phi(z) = \displaystyle\frac{1}{1 + e^{-z}}$

$\displaystyle\frac{d}{dz}\phi(z)= \frac{d}{dz}\left[\frac{1}{1+e^{-z}}\right] = -1 \cdot \frac{1}{(1+e^{-z})^2} \cdot \frac{d}{dz}\left[1+e^{-z}\right] = \frac{e^{-z}}{(1+e^{-z})^2}=$

$\displaystyle\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}} = \frac{1}{1+e^{-z}}\cdot \frac{1+e^{-z}-1}{1+e^{-z}}=$

$\displaystyle\frac{1}{1+e^{-z}} \cdot \left( \frac{1+e^{-z}}{1+e^{-z}}-\frac{1}{1+e^{-z}} \right) = \frac{1}{1+e^{-z}} \cdot \left( 1-\frac{1}{1+e^{-z}} \right) =$

$\phi_1(.) \cdot (1-\phi_1(.))$

$\phi'_1(.)= \phi_1(.) \cdot (1 - \phi_1(.))$

Loading ⌛