🌪️ Stürme sind zum Glück relativ selten. Jedoch stellt ihre Seltenheit für die Vorhersage eine grosse Herausforderung dar. Wenn ein Sturmereignis im Mittel nur alle 100 Tage einmal auftritt, so liegt ein Verfahren, das nie Stürme vorhersagt, an 99 von 100 Tagen richtig. Trotzdem ist es unbrauchbar.

🤔 Was kann man tun?

💡 Dieses Thema setzt Grundwissen bezüglich neuronaler Netze und Klassifikation voraus (dieses Grundwissen wird z.B. in Künstliche Intelligenz für echte Fische vermittelt).

💡 Für die folgenden Betrachtungen schauen wir 500 Tage an und gehen davon aus, dass sich 5 Sturmereignisse darin befinden (d.h. im Mittel 1 Sturmereignis alle 100 Tage). Uns interessieren die beiden Klassen „Sturmtag“ und „Normaler Tag“.

🙁 Die Klassifikationsrate beschreibt, wie viele Tage richtig klassifiziert werden. Ein Verfahren, dass nie einen Sturm voraussagt, hat in unserem Fall eine Klassifikationsrate von 99%, ist jedoch unbrauchbar. Somit eignet sich die Klassifikationsrate nicht dafür um festzustellen, wie gut seltene Ereignisse vorhergesagt werden.

🩺 Wie stelle ich aber fest, ob ein Sturmprognoseverfahren gut oder schlecht ist? Da müssen wir genauer hinschauen. Bewährt hat sich das Zählen der Grössen $A$, $B$, $C$ und $D$ in der nachfolgenden Tabelle. Z.B. ist $A$ die Anzahl Tage, für die ein Sturm vorhergesagt und dann auch beobachtet wurde. Die anderen Grössen werden analog gezählt.

😎 Aus der Tabelle lassen sich die folgenden beiden Grössen Hit Rate und False Alarm Rate berechnen. Mit diesen kann tatsächlich geprüft werden kann, ob ein Sturmprognoseverfahren gut oder schlecht ist. Wie das genau funktioniert erfährst du im nachfolgenden Auftrag.

Hit Rate (HIT)

Die Hit Rate $HIT = \frac{A}{A + C} \cdot 100$ beschreibt in % Prozent, wie viele der insgesamt $A + C$ beobachteten Stürme korrekt vorausgesagt wurden.

False Alarm Rate (FAR)

Die False Alarm Rate $FAR = \frac{B}{A + B} \cdot 100$ beschreibt in % Prozent, wie viele der insgesamt $A + B$ ausgesprochenen Sturmwarnungen falsch waren.

💡 Nachfolgend trainierst du ein neuronales Netz mit zwei geeigneten Eingangsgrössen für die Sturmprognose. Um es dem neuronalen Netz einfacher zu machen und um schneller trainieren zu können, betrachten wir nur 50 Tage, von welchen 5 Sturmtage sind (d.h. 1 Sturm alle 10 Tage).

💡 Erklärung der Ausgabe des Programms

• Das neuronale Netz, das im Programm trainiert wird, besitzt zwei Input Neuronen, d.h. zwei Eingänge (die X- und Y-Koordinaten in der Grafik) und ein einziges Output Neuron, d.h. einen einzigen Ausgang.
• Der Ausgang des neuronalen Netzs produziert Ausgangswerte zwischen 0 und 1. Die Desired Outputs für die rote Klasse (Sturm) sind 1 und für die grüne Klasse (normaler Tag) 0. Der Threshold für die Klassifikation ist 0.5. D.h. alle Ausgangswerte > 0.5 werden als Stürme erkannt, alle Ausgangswerte ≤ 0.5 als normale Tage.
• In der Grafik und in der Console werden alle 500 Epochen der Trainingsfehler (Loss) ausgegeben. Zur Berechnung des Trainingsfehlers wird der sogennannte „Mean Squared Error (MSE)“ verwendet. Je kleiner der Loss desto besser.
• In der Console werden die Hit Rate (HIT) und False Alarm Raten (FAR) für die seltene Klasse (rote Kreuze, Stürme) ausgegeben.

🤩 Kapitel für Schnelle oder Interessierte

💡 Für die bisherigen Betrachtungen hatten wir den Threshold 0.5 verwendet, um die häufige Klasse „normaler Tag“ (Desired Output 0) von der seltenen Klasse „Sturmtag“ (Desired Output 1) zu unterscheiden. Die Idee besteht nun darin, die seltene Klasse bereits anzuzeigen (d.h. eine Sturmwarnung auszugeben), wenn das neuronale Netz z.B. einen Ausgangswert > 0.1 produziert. So erhalten wir ein „hypersensibles Netzwerk“ für die seltene Klasse. Das erhöht in der Regel die Hit Rate, aber leider auch die False Alarm Rate.

💡 Erklärung der Ausgabe des Programms

• Wenn das Training beendet ist, wird ganz unten in der Console die Tabelle „Final Results“ angezeigt. Dort sind für verschiedene Thresholds die Hit und False Alarm Raten angegeben. Z.B. der Threshold 0.2 bedeutet, dass alle Ausgangswerte > 0.2 als Sturm angesehen werden; die HIT und FAR Werte in derselben Zeile geben an, wie gut die Sturmprognose mit dem Threshold 0.2 ist. Entsprechend sind alle Zeilen in dieser Tabelle zu interpretieren.
• Das Liniendiagramm (Grafik rechts) ist eine Darstellung aller Zeilen in dieser Tabelle. Auf der horizontalen Achse sind die Hit Rate (HR) Werte und auf der vertikalen Achsen die False Alarm Rate (FR) Werte aller Thresholds eingetragen (die kleinen roten Punkte) und durch Geraden miteinander verbunden.

Receiver Operator Curve (ROC)

Das HIT-FAR-Diagramm in der Grafik rechts wird als Receiver Operator Curve (ROC) bezeichnet. Damit können die für den jeweiligen Einsatzzweck optimalen Hit und False Alarm Raten mit dem zugehörigen Threshold herausgelesen werden.

🤩 Kapitel für Schnelle oder Interessierte

💡 Das Erkennen oder Vorhersagen von seltenen Ereignissen ist nach wie vor ein sehr schwieriges Problem und somit auch Gegenstand der aktuellen Forschung.

Seltene Ereignisse lassen sich nur ungenügend statistisch beschreiben. Verfahren zur Erkennung oder Vorhersage zeigen immer die Tendenz, die seltenen Ereignisse zu ignorieren. In der Praxis wird versucht durch einige „Tricks“ die seltenen Ereignisse dennoch sichtbar zu machen (was aber nur selten genügend gut gelingt). Zu diesen Tricks gehören die folgenden Ansätze, welche häufig miteinander kombiniert werden:

• Thresholding: Die Wahl geeigneter Grenzwerte für die Erkennung der seltenen Ereignisse. Das führt häufig zu höheren Hit, aber auch zu höheren False Alarm Raten.
• Resampling: Die Samples der seltenen Klasse werden mehrfach in die Trainingsdaten eingefügt oder / und die Samples der häufigen Klasse werden reduziert, um den Häufigkeitsunterschied zu verringern. Das erleichtert den Verfahren das Erkennen der seltenen Klasse. Die Gefahr besteht darin, dass die Samples der seltenen Klasse auswendig gelernt werden. Häufig werden die Kopien der seltenen Klasse nicht exakt, sondern mit leichten Abweichungen erstellt, um das Auswendiglernen zu verhindern. Dabei stiegt jedoch die Gefahr, dass diese Kopien mit häufigen Ereignissen „überlappen“ oder die hinzugefügten Abweichungen auch „mitgelernt“ werden.
• Input Feature Selection: Es wird versucht durch das Finden geeigneter Eingangsgrössen (durch Nutzung von Fachwissen und viel Ausprobieren) das Erkennen der seltenen Klasse zu vereinfachen. Manchmal kann das tatsächlich eine grosse Verbesserung bewirken, häufig ist die Verbesserung jedoch relativ gering.
• Alternative Loss-Funktionen: Es werden andere Loss-Funktionen genutzt, welche die seltene Klasse stärker gewichten. Dieses Vorgehen weist ähnliche Vor- und Nachteile auf wie das Resampling.
• Alternative Verfahren: Es wird versucht neue, spezielle Verfahren für ein gegebenes Problem zu entwickeln oder mehrere der hier angeführten Techniken zu kombinieren. Das kann bessere Resultate bringen, weist häufig aber auch die gleichen Nachteile wie das Resampling auf und ist in der Regel sehr aufwändig umzusetzen.
• Aufgeben: Kommt häufiger vor als man denkt. Das Problem wird dann entweder nur beschrieben oder manchmal leider auch schlicht ignoriert…

Loading ⌛