🤖 Wie funktioniert maschinelles Lernen 2

🎯 In dieser Reihe erfährst du, wie ein Computer mithilfe von Daten lernen kann.

Im Teil 1 hast du gelernt, dass mit Machine Learning Probleme gelöst werden können, bei welchen eine Eingabe in eine Ausgabe überführt werden soll. Dabei müssen Ein- und Ausgabe mit Zahlen dargestellt werden können. Mathematisch formuliert geht es darum, für ein gegebenes Problem die Funktion $f(x)$ zu finden, welche die Ausgabe $y$ für die Eingabe $x$ produziert, d.h. für welche gilt: $y = f(x)$.

Beim Machine Learning wird die „wahre“ Funktion $f(x)$ durch eine „Stellvertreter-Funktion“ $f_{ML}(x)$ ersetzt („$_{ML}$“ steht hier für Machine Learning). Die Stellvertreter-Funktion $f_{ML}(x)$ beinhaltet mehrere Parameter, welche als Gewichte $w$ bezeichnet werden²⁾. Das Ziel besteht darin, die Gewichte $w$ so einzustellen, dass $y=f_{ML}(x)$ möglichst gut für alle „echten“ Eingaben $x$ und Ausgaben $y$ gilt, d.h. dass $f_{ML}(x)$ der wahren Funktion $f(x)$ möglichst nahekommt.

Dem Computer muss mit einer Zahl gesagt werden, ob die Gewichte $w$ gut eingestellt sind oder nicht. Häufig wird dafür ein Fehler $e$ berechnet³⁾. Je nach Einstellung der Gewichte $w$ wird dieser Fehler kleiner oder grösser. Abb.1 zeigt den Zusammenhang zwischen dem Fehler $e$ und den Einstellungen der Gewichte $w$. Die rote Kurve wird als Fehlerfunktion bezeichnet und trägt üblicherweise den Buchstaben $J$. Somit ist $e = J(w)$. Beim Machine Learning wird diejenige Gewicht-Einstellung $w^{*}$ gesucht, für welche der Fehler $e$ minimal wird, d.h. für welche gilt: $e_{min} = J(w^{*})$.

⚠️ Beim Machine Learning wird nicht das Problem selbst gelöst. Das Problem wird näherungsweise mit einer Stellvertreter-Funktion beschrieben. Die Lösung des Problems wird näherungsweise durch das Minimieren einer Fehlerfunktion ersetzt. Nur wenn Stellvertreter-Funktion und Fehlerfunktion gut zum Problem passen, kann das Problem in guter Näherung gelöst werden. Passen diese schlecht, dann wird zwar auch ein Problem gelöst, aber vermutlich nicht das gesuchte.

Im vorangehenden Kapitel haben wir als Näherung das Problem durch $f_{ML}(x)$ und die Problemlösung durch $e_{min}=J(w^*)$ ersetzt. Um die Gewicht-Einstellung $w^*$ finden zu können, müssen wir zumindest in der Lage sein, für eine beliebige, gegebene Gewicht-Einstellung $w^♡$ den Fehlerwert $e^♡ = J(w^♡)$ zu berechnen. Der Fehlerwert $e^♡$ soll dabei nicht nur für ein einzelnes Datenbeispiel ausgerechnet werden, sondern am besten für alle möglichen Datenbeispiele hinweg. Z.B. sollte bei einer Gesichtserkennung der Fehlerwert nicht nur mit dem Gesicht von Peter bestimmt werden, sondern basierend auf allen möglichen Gesichtern.

🫣 In der Vergangenheit wurden Gesichtserkennungsverfahren relativ unkritisch mit Bildern aus dem Internet trainiert. Da es im Internet viel mehr Bilder von hellhäutigen Männern als von dunkelhäutigen Frauen gibt, wurden in der Folge Gesichter von dunkelhäutigen Frauen deutlich schlechter erkannt – eine unbeabsichtigte, algorithmische Diskriminierung. Seit dem wird versucht, mit Gesichtern zu trainieren, welche möglichst alle Alter, Ethnien etc. abdecken. Für die perfekte Gesichtserkennung müsste man eigentlich mit unendlich vielen Gesichtern trainieren, welche alle denkbaren Gesichtsvarianten abdecken.

😭 Jetzt die schlechte Nachricht, wir können nur schon aus praktischen Gründen nie unendlich viele Daten berücksichtigen und wir werden kaum je alle denkbaren Datenvarianten für ein Problem zusammentragen können. Somit können wir die wahren Fehlerwerte nur mit den Daten annähern, die wir haben. Je mehr Daten verfügbar sind (und je besser diese alle denkbaren Varianten abdecken), desto besser kann der wahre Fehlerwert $e^♡ = J(w^♡)$ angenähert werden. Da $f_{ML}(x)$ und $J(w)$ selbst nur Näherungen der Wirklichkeit darstellen, wird damit „nur“ eine Näherung der Näherung berechnet.

In den beiden vergangenen Kapitel wurde als Näherung das Problem durch $f_{ML}(x)$ und die Problemlösung durch $e_{min}=J(w^*)$ ersetzt und gezeigt, dass der wahre Fehlerwert $e^♡$ für eine gegebene Gewicht-Einstellung $w^♡$ mit einer beschränkten Anzahl Datenpunkte nur näherungsweise berechnet werden kann. Jetzt geht es darum, für eine gegebene Fehlerfunktion $J(w)$ diejenige Gewicht-Einstellung $w^*$ zu finden, für welche $e_{min} = J(w^*)$ gilt.

🫣 Leider lässt sich die Gewicht-Einstellung $w^*$ in den wenigsten Fällen exakt berechnen, d.h. das wahre $w^*$ kann nur angenähert werden. Somit kann Machine Learning im Endeffekt nur Näherungen der Näherungen eines Problems annähern. Erstaunlicherweise führt das Ganze trotzdem meist zu bemerkenswerten Resultaten.

Im Folgenden werden drei gängige Strategien vorgestellt, mit welchen die gesuchte Gewicht-Einstellung $w^*$ angenähert werden kann. Jedes dieser Verfahren basiert dabei auf einer durch mehrere Gewichte $w$ anpassbaren Funktion $f_{ML}(x)$ und einer Fehlerfunktion $J(w)$.

💡 Manche Fehlerfunktionen $J(w)$ brauchen für die Berechnung des Fehlers Datenpaare $(x, d)$, wobei $x$ die Eingabe darstellt und $d$ den zugehörigen „desired Output“ (die zugehörige „erwünschte Ausgabe“). Bei solchen Fehlerfunktionen wird von „supervised Learning“ (überwachten Lernen) gesprochen. Andere Fehlerfunktionen kommen nur mit den Eingangswerten $x$ aus. Hierbei wird von „unsupervised Learning“ (unüberwachten Lernen) gesprochen. Alle der nachfolgenden Beispiele beziehen sich auf supervised Learning.

Bei den iterativen Verfahren wird ausgehend von einer zufällig erzeugten Gewicht-Einstellung $w_0$ versucht, die Gewichte in mehreren Schritten in Richtung $w^*$ zu verändern. Iterativ bedeutet in mehreren Wiederholungen. Für die iterativen Verfahren eignen sich viele Stellvertreter-Funktionen $f_{ML}(x)$ und Fehlerfunktionen $J(w)$, jedoch nicht alle. Damit eine gezielte, schrittweise Verbesserung berechnet werden kann, müssen $f_{ML}(x)$ und $J(w)$ gewissen mathematischen Bedingungen genügen ⁴⁾.

Neuronale Netze werden meist mit iterativen Verfahren trainiert. Dabei wird als anpassbare Funktion $f_{ML}(x)$ eine neuronale Netz-Funktion verwendet. Als Fehlerfunktion $J(w)$ wird mehrheitlich eine Funktion verwendet, welche für jeden Dateneingang $x$ den Ausgangswert des neuronalen Netzes $y$ mit dem desired Output $d$ vergleicht. Um von einer Einstellung der Gewichte zu einer besseren zu kommen, wird häufig ein „Gradientenverfahren“ genutzt. Was das genau ist und wie das genau funktioniert, wird in den Teilen 3 und 4 dieser Reihe erklärt.

Bei den statistischen Verfahren wird ermittelt, wie die Daten wertmässig verteilt sind. Dabei wird eine bestimmte, vorgegebene „Form“ der Verteilung als Funktion $f_{ML}(x)$ genutzt und diese mithilfe der Einstellung mehrerer Gewichte $w$ möglichst gut an die Daten angepasst. Für die Anpassung der Gewichte $w$ werden in der Regel die Eingangsgrössen $x$ jedes Datenpunktes und die zugehörigen desired Outputs $d$ berücksichtigt. Die statistischen Verfahren sind so konstruiert, dass durch die Hinzunahme aller Daten direkt die Gewicht-Einstellung $w^*$ geschätzt wird, für welche $e_{min}=J(w^*)$ gilt, wobei $J(w)$ eine verfahrensspezifische, statistische Fehlerfunktion ist ⁶⁾.

Da die wahre Verteilung der Daten normalerweise nicht bekannt ist, stellt die Wahl einer vorgegebenen „Form“ für die Verteilung eine Näherung dar. Weiter treffen die gängigen statistischen Verfahren für ihre Berechnungen zusätzliche vereinfachende Annahmen, welche ebenfalls als Näherungen angesehen werden können.

Ein einfaches statistisches Verfahren ist der Naive Bayes Klassifikator, welcher verschiedene Klassen unterscheiden kann. Dabei wird für jede Klasse deren Häufigkeit ermittelt und für jede Klasse und jede Eingangsgrösse ein eigenes Histogramm aus den Daten erstellt. Ein Beispiel ist in Abb.2 illustriert. Es geht darum, mit zwei Eingangsgrössen $x_1$ und $x_2$ die beiden Klassen $A$ und $B$ zu unterscheiden. Das Histogramm in der Abbildung oben zeigt die Eingangsgrösse $x_1$ für die Datenpunkte, welche zur Klasse $A$ gehören. Ebenso (aber hier nicht abgebildet) werden drei weitere Histogramme für die Eingangsgrössen der Datenpunkte der Klasse $A$ sowie für die Eingangsgrössen $x_1$ und $x_2$ der Datenpunkte der Klasse $B$ erstellt. Die Abbildung unten zeigt, wie der Datenraum durch die Histogramme in „Zellen“ unterteilt wird. Für jede Zelle wird basierend auf den Histogrammen Auftretenswahrscheinlichkeiten der Klassen $A$ und $B$ berechnet. Daraufhin wird jede Zelle derjenigen Klasse zugeordnet, welche den höheren Wahrscheinlichkeitswert aufweist.

Die Häufigkeit der Klassen und die Höhen der einzelnen Histogramm-Balken stellen im Naive Bayes Klassifikator die Gewichte $w$ dar. Durch „Zählen“ der Daten wird so direkt die Gewicht-Einstellung $w^*$ geschätzt, für welche $e_{min}=J(w^*)$ gilt, wobei $J(w)$ den sogenannten „Bayes Fehler (EPE)“ bezeichnet⁷⁾. Für das Zählen genügt es, alle Trainingsdaten einmal anzusehen, d.h. es genügt eine Epoche für das Training.

Falls du wissen möchtest, wie der Naive Bayes Klassifikator genau aufgebaut ist, klicke hier!

Bei den stochastischen Verfahren werden die Werte aller Gewichte $w$ zufällig gewürfelt (Zufallszahlen) und anschliessend der Fehler mit den verfügbaren Daten berechnet. Dies wird viele Male wiederholt und am Ende die Gewichte-Einstellung mit dem kleinsten erzielten Fehler verwendet. Somit wird die Gewichte-Einstellung $w^*$ für welche $e_{min}=J(w^*)$ gilt, durch Zufall angenähert.

Mit dieser Vorgehensweise können, im Gegensatz zu den in den Kapiteln 3.1 und 3.2 vorgestellten Verfahren, alle Varianten von Stellvertreter-Funktionen $f_{ML}(x)$ und Fehlerfunktionen $J(w)$ ohne Einschränkung verwendet werden.

Bekannte stochastische Verfahren sind

• Monte-Carlo: Hier werden alle Gewichte rein zufällig gewürfelt.
• Simulated Annealing: Hier wird eine vereinfachte Variante beschrieben: In einer ersten Runde werden alle Gewichte mehrfach, ohne Einschränkung zufällig gewürfelt. In mehreren weiteren Runden wird jeweils die beste Gewicht-Einstellung aus der vorangehenden Runde als Grundeinstellung genommen. Im Vergleich zur vorangehenden Runde wird jedoch nur noch ein kleinerer Teil der Gewichte neu gewürfelt, die anderen werden unverändert belassen.
• Genetische Algorithmen: Das funktioniert ähnlich wie simulated Annealung mit dem Unterschied, dass nach jeder Runde nicht nur mit der besten Gewicht-Einstellung weitergefahren wird, sondern mit mehreren. Zusätzlich werden immer wieder zwei solcher guten Einstellungen zufällig miteinander kombiniert.

Jetzt hast du schon einiges über die Funktionsweise, Umsetzungsvarianten, Möglichkeiten und Grenzen maschinellen Lernens gelernt. Im 🤖 Teil 3 erfährst du detaillierter, wie mit einem iterativen Verfahren schrittweise Gewichte so angepasst werden können, dass der Fehler im Mittel über mehrere Schritte hinweg abnimmt.

Loading ⌛