KI-Chatbot¹⁾

Nachdem du 👩‍🦰 Sigrún erfolgreich helfen konntest, erweiterst du deinen Horizont, indem du überlegst, was du aus der Fischklassifikation für künstliche Intelligenz im Allgemeinen lernen kannst. Dafür vergleichst du als Zwischenschritt das neuronale Netz für die Fischklassifikation (Fisch-NN) mit aktuellen KI-Chatbots.

💡 Eine KI besitzt zwei Betriebsmodi. In einem Modus wird die KI angewendet (dann verändern sich die Gewichte nicht) und im anderen Modus wird die KI trainiert (dann werden die Gewichte angepasst). In den nachfolgenden zwei Unterkapiteln werden beide Modi beschrieben.

Anwendung Fisch-NN ²⁾

🐟 Fisch-NN

Mit dem Fisch-NN können unbekannte Fische entweder als Hering oder Lodde klassifiziert werden.

Zuerst wird der unbekannte Fisch vermessen, um die Werte für die benötigten Eingangsgrössen zu erhalten. Diese Werte bilden die Eingabe in das neuronale Netz. Die Ausgabe des neuronalen Netzes ist ein einziger Ausgabewert. Je nach Grösse dieses Ausgabewerts wird der Fisch, wie in der Abbildung gezeigt, als Hering oder Lodde klassifiziert.

💬 KI-Chatbot

Ein KI-Chatbot kann Antworten auf eingegebene Fragen generieren.

Du gibst einen Fragetext ein. Der KI-Chatbot besitzt ein Wörterbuch mit sogenannten „Tokens“ (das sind kurze Wörter oder Wortteile). In einem Vorverarbeitungsschritt wird in Zahlen ausgedrückt, wie gut dein Eingabetext zu welchen Tokens aus dem Wörterbuch passt, in welcher Reihenfolge die Tokens darin vorkommen und welche dieser Tokens von ihrer Bedeutung her zusammengehören. Alle Zahlen zusammen bilden die Eingangswerte, welche von mehreren (nacheinander geschalteten) neuronale Netzen verarbeitet werden. Am Ende dieser Verarbeitungskette wird eine Zahl für jedes Token im Wörterbuch berechnet. Das Token mit der grössten Zahl stellt aus Sicht der neuronalen Netze diejenige Eingabetext-Fortsetzung dar, welche am besten zu den Texten passt, mit welchen trainiert wurde.

Je nach gewähltem Zufallsgrad (Temperatur) wird für die Fortsetzung des Eingabetexts das Token mit der grössten, zweitgrössten, drittgrössten etc. Zahl gewählt. Der so verlängerte Eingabetext wird erneut in den KI-Chatbot eingegeben, wieder gleich verarbeitet, das nächste Token für die Fortsetzung ausgewählt und dem Eingabetext hinzugefügt. Der Eingabetext wird in der Folge immer länger, bis das Token „Textende“ eine so grosse Zahl bekommt, dass es ausgewählt und somit der Vorgang abgebrochen wird. Am Ende wird der auf diese Art erweiterte Eingabetext ohne deine ursprüngliche Frage als „Antwort“ ausgegeben. Wird die Temperatur auf null gesetzt (kein Zufall) antwortet der KI-Chatbot jedes Mal genau gleich, wenn dieselbe Frage eingegeben wird. Wird die Temperatur erhöht (mehr Zufall) bekommst du jedes Mal eine andere Antwort auf deine Frage.

🤖 KI im Allgemeinen

Die Aussage im Auftrag ist für neuronale Netze formuliert, trifft aber auch für die meisten anderen KI-Systeme zu.

Training Fisch-NN ³⁾

🐟 Fisch-NN

Für das Training des Fisch-NN werden sogenannte „Samples“ verwendet. Jedes Sample bezeichnet einen Fisch. Ein Sample besteht aus den Eingangswerten des Fischs und seinem desired Output, d.h. dem gewünschten Ausgangswert, welchen das Fisch-NN idealerweise produzieren sollte. Das Fisch-NN berechnet für jeden Fisch im Training Set einen Ausgangswert und vergleicht diesen mit dem zugehörigen desired Output. Aus der Differenz wird ein Fehler berechnet und basierend darauf werden die Gewichte angepasst.

Das Fisch-NN lernt dabei nicht die einzelnen Samples im Training Set auswendig, es erlernt einen ungefähren Zusammenhang zwischen den Eingangsgrössen und dem desired Output (die rote decison Boundary in der Abbildung).

💬 KI-Chatbot

Ein KI-Chatbot wird mit öffentlichen Texten aus dem Internet, redaktionellen Texten (Zeitschriften, Büchern etc.) und vergangenen Nutzerdialogen sowie Eingaben und Textbeurteilungen von Menschen trainiert. Das Training wird in mehreren unterschiedlichen Phasen durchgeführt.

In der ersten Trainingsphase (dem Pre-Training) werden so viele Textdaten verwendet, wie möglich. Es wird jeweils eine Textpassage dem KI-Chatbot eingegeben. Daraufhin schlägt der KI-Chatbot das nächste Token vor. Basierend auf der Abweichung vom vorgeschlagenen Token zum Token, das tatsächlich an dieser Stelle im Text vorkommt, werden die Gewichte angepasst. Diese Trainingsphase dauert lange (Monate) und macht den Löwenanteil des Stromverbrauchs für das Training eines KI-Chatbots aus.

Danach folgt die zweite Trainingsphase, das Fine-Tuning, welches in mehreren Schritten vollzogen wird. Das Fine-Tuning wird mit deutlich kleineren, von Menschen handverlesenen und speziell für diesen Zweck erstellten Text-Datensätzen durchgeführt. Es lässt sich daher schneller (Tage) mit geringerem Stromverbrauch realisieren. Jedoch ist das Erstellen dieser Datensets aufwändig und zeitintensiv.

Details zum Fine-Tuning (bei Interesse anklicken)

Schritt 1: Beim Fine-Tuning werden in einem ersten Schritt die Gewichte des KI-Chatbots aus dem Pre-Training mit einem handverlesenen Text-Datensatz nachtrainiert damit KI-Chatbot Antworten generiert werden, welche möglichst gut zu den eingegebenen Fragen passen und möglichst natürlich wirken.

Schritt 2: In einem zweiten Schritt werden mit dem KI-Chatbot aus Schritt 1 zu mehreren handverlesenen Eingabetexten jeweils mehrere Antworten zu generieren. All diese Antworten werden von Menschen mit einer Art Schulnote beurteilt. Mit den Antworten des KI-Chatbots und den Schulnoten wird ein zweites, zusätzliches neuronales Netz so trainiert, damit dieses am Ende die Antworten des KI-Chatbots möglichst genau so beurteilt, wie die Menschen das gemacht hatten.

Schritt 3: Im dritten und letzten Schritt werden die Gewichte des KI-Chatbots ein zweites Mal nachtrainiert, und zwar so, dass Antworten generiert werden, welche von der zuvor erstellten Benotungs-KI möglichst gute Noten bekommen⁴⁾. Dieser dritte Schritt sorgt dafür, dass möglichst plausible und möglichst wenige unerwünschte Antworten (Fluchwörter, rassistische Aussagen etc.) generiert werden.

🤖 KI im Allgemeinen

Die Aussage im Auftrag ist für neuronale Netze formuliert, trifft aber auch für die meisten anderen KI-Systeme zu.

💡 Das Konstruieren, Trainieren und Anwenden einer KI ist in der Praxis mit zahlreichen Herausforderungen verbunden. Diese werden in den folgenden vier Unterkapiteln genauer vorgestellt.

Fisch Datensatz ⁵⁾

🐟 Fisch-NN

Für das Training und das Beurteilen des Fisch-NN müssen Fische beider Fischsorten (Lodde und Hering) berücksichtigt werden, welche alle in der Natur vorkommenden Werte aller Eingangsgrössen abdecken (in der Abbildung sind einige Fische aus dem Fisch-NN Datensatz dargestellt).

💬 KI-Chatbot

Für das Training eines KI-Chatbots, der freundlich und qualitativ hochwertig antworten soll, werden freundliche und qualitativ hochwertige Texte benötigt. Wird ein KI-Chatbot mehrheitlich mit fremdenfeindlichen Texten trainiert, so wird er auf die meisten Fragen mit fremdenfeindlichen Aussagen antworten.

Für das Pre-Training so grosser neuronalen Netze wird eine Unmenge von Texten benötigt, damit das neuronale Netz die Trainingsdaten nicht auswendig lernt (Overfitting). Die benötigte Textmenge ist zu gross, um diese von Hand zusammenstellen oder aussortieren zu können. Daher kommen auch viele qualitativ schlechte Texte beim Pre-Training zum Einsatz. Es ist unklar, ob alle geeigneten, von Menschen verfassten digital verfügbaren Texte genügen, um in Zukunft weitere noch umfangreichere KI-Chatbots zu trainieren. Hinzu kommt, dass Menschen mittlerweile auch von KI-Chatbots verfasste Texte im Internet veröffentlichen, welche somit voraussichtlich auch für das Training zukünftiger KI-Chatbots berücksichtigt werden. Es ist ebenso unklar, inwieweit sich die Qualität der KI-Chatbots verringern würde, wenn für das Training zusätzlich eine grössere Menge KI-generierte Texte Verwendung fände.

Im Fine-Tuning Prozess wird versucht, den KI-Chatbots mit relativ wenigen, qualitativ hochwertigen Texten „nachträglich“ ein gewünschtes Verhalten einzuimpfen. Leider ist davon auszugehen, dass die Menschen, welche diese Daten zusammenstellen, häufig schlecht bezahlt (z.B. wenige Franken Stundenlohn) und leistungstechnisch unter Druck gesetzt werden. Seit der Veröffentlichung leistungsfähiger KI-Chatbots ist daher nicht auszuschliessen, dass KI-Chatbots von den Betroffenen genutzt werden, um die Arbeit in einer vernünftigen Zeit erledigen zu können. Das würde bedeuten, dass auch im Fine-Tuning die KI manchmal von einer KI trainiert wird.

🤖 KI im Allgemeinen

⚠️ Ein neuronales Netz kann nur so gut sein, wie die Daten, mit welchen es trainiert wurde. Wird ein neuronales Netz mit Müll trainiert, wird es Müll produzieren. In den meisten Fällen braucht es Fachwissen aus dem Anwendungsbereich, um gute Datensatze zusammen stellen zu können.

Mögliche Eingangsgrössen Fisch-NN ⁶⁾

🐟 Fisch-NN

Das Fisch-NN unterscheidet verschiedene Fischarten anhand von Eingangswerten (z.B. Gewicht und Lichtreflexivität, wie in der Abbildung). Wenn die Eingangsgrössen die Unterschiede zwischen den zu unterscheidenden Fischsorten gut abbilden, so sind die Eingangsgrössen gut gewählt. Sind die Eingangsgrössen unpassend gewählt, versagt jedes noch so gute Verfahren. (Z.B. können die Fische schlecht aufgrund der Uhrzeit den aktuellen Lottozahlen zum Zeitpunkt der Messung unterschieden werden.)

Welche und wie viele Eingangsgrössen es braucht, kann in der Regel nicht im Voraus gesagt werden. Die Eingangsgrössen sollten sich ergänzen, zu wenige führen zu schlechten Resultaten und zu viele können das Lernen erschweren.

💬 KI-Chatbot

Neuronale Netze können nur Zahlen verarbeiten. Dazu wird der Eingabetext in sogenannte „Tokens“ unterteilt. Das können kurze Wörter, Wortteile von längeren Wörtern und verbleibende Buchstaben oder Satzzeichen sein. Jedes Token wird durch eine andere Zahl um den Text vollständig in Zahlen zu verwandeln. Doch damit nicht genug, für jedes Token werden noch mehrere weitere Zahlen als Eingangwerte mit eingegeben (hierbei wird von „Embedding“ gesprochen). Diese zusätzlichen Zahlen teilen dem neuronalen Netz mit, welche Bedeutung die einzelnen Tokens haben und was somit das Thema des eingegebenen Texts sein könnte. Wie viele und welche Tokens es braucht und welche Embeddings geeignet sind, ist aktuelles Forschungsthema.

Details zu Tokens und Embedding (bei Interesse anklicken)

In einem ersten Schritt wird ein Wörterbuch erstellt aus kurzen, häufigen Wörtern, Wortteilen längerer Wörter, einzelnen Buchstaben und Satzzeichen sowie speziellen Zeichen z.B. für Textanfang, Textende und Kennzeichnungen für Wortteile, welche nicht am Anfang eines Wortes stehen. Jeder Eintrag in diesem Wörterbuch wird als „Token“ bezeichnet und trägt eine eigene Nummer. Somit kann auch ein Text mit Schreibfehlern vollständig in Zahlen übersetzt werden. Token-Wörterbücher werden im Voraus automatisiert durch statistisches Auswerten grosser Textmengen erstellt und anschliessend für das Training und die Anwendung von KI-Chatbots verwendet.

In einem zweiten Schritt wird die Bedeutung eines jeden Tokens in Zahlen ausgedrückt. Vereinfacht kann man sich das so vorstellen, dass eine Liste mit allen möglichen Themen erstellt wird und für jedes Token und jedes Thema angegeben wird, wie häufig dieses Token in einem Text zu diesem Thema vorkommt. Diese zusätzlichen Zahlen zu jedem Token werden als „Embedding“ bezeichnet. Ähnliche Wörter weisen ein ähnliches Embedding auf, Wörter, die wenig miteindander zu tun haben, ein unterschiedliches. Ein Embedding kann mithilfe grosser Textmengen vor dem Training eines KI-Chatbots automatisiert „erlernt“ oder während des Trainings eines KI-Chatbots (Pre-Training und Fine Tuning) mitgelernt werden.

Moderne KI-Chatbots gehen noch einen Schritt weiter. Es werden nicht nur die Embeddings für die einzelnen Tokens als Eingabe für die neuronalen Netze berücksichtigt, es wird auch in Zahlen ausgedrückt, welche Tokens im Eingabetext wie zusammen gehören und welche Textbedeutungen sich daraus ergeben. Dieses zusätzliche Embedding wird während des Trainings des KI-Chatbots mitgelernt.

Warum können KI-Chatbots verschiedene Sprachen? (bei Interesse anklicken)

Für das Training von KI-Chatbots werden Texte verschiedener Sprachen verwendet. Da jedoch deutlich mehr Texte in Englisch digital verfügbar sind, als in allen anderen Sprachen, ist die englische Sprache im Trainingsprozess vorherrschend. Weiter werden Tokens verwendet, welche mehrere Sprachen abbilden können und die Mehrsprachigkeit wird auch beim Lernen der Embeddings berücksichtigt, welche die Bedeutung eines jeden Tokens in der Regel mit mehreren Hundert Zahlen ausdrücken. Durch diese Embeddings können verschiedene Sprachen erkannt und Wörter verschiedener Sprachen mit ähnlichen Bedeutungen einander zugeordnet werden. Es scheint so zu sein, dass wenn Embeddings für eine Sprache gut gelernt werden (Englisch), dass diese dann „relativ einfach“ für andere Sprachen erweitert werden können (d.h. mit relativ wenig Daten der anderen Sprachen). Trotzdem produzieren die KI-Chatbots im Endeffekt qualitativ bessere Antworten in Englisch als in allen anderen Sprachen.

🤖 KI im Allgemeinen

⚠️ Die Wahl guter Eingangsgrössen ist für den Erfolg einer KI entscheidend. In den meisten Fällen braucht es Fachwissen aus dem Anwendungsbereich dazu, um gute Eingangsgrössen finden zu können. Z.B. kann eine Fischfachperson sicherlich gute Hinweise geben, anhand von welchen Eigenschaften sich verschiedene Fischsorten unterscheiden lassen oder eine Person aus dem Bereich der Sprachwissenschaften kann wertvolles Fachwissen für das Finden von Tokens und Embeddings beisteuern.

Fisch-NN Fischklassifikation ⁷⁾

🐟 Fisch-NN

Das Fisch-NN wird aufgrund der Anzahl falsch klassifizierter Fische beurteilt, jedoch mit einer anderen Fehlerfunktion trainiert.⁸⁾.

Das Fisch-NN produziert eine Zahl zwischen 0 und 1 als Ausgangswert. Für die Beurteilung des Fisch-NN wurde zuerst festgelegt, dass alle Ausgangswerte < 0.5 als Hering und alle ≥ 0.5 als Lodde erkannt werden. Durch das Training konnte erreicht werden, dass rund 90 % aller Fische richtig erkannt werden, was jedoch als „unbrauchbar“ eingeschätzt wurde. Ein brauchbares Ergebnis wurde erst mit der Regel „< 0.3 ⇒ Hering, > 0.7 ⇒ Lodde und alles dazwischen ⇒ keine Ahnung“ erreicht. Diese Regel ist in der Abbildung dargestellt. Fische, welche in der blauen Region zu liegen kommen, werden fehlerfrei als Hering und in der grünen Region als Lodde erkannt. Fische in der weissen „keine Ahnung“ Region werden nicht klassifiziert (25% der Fische).

Für das Training wird der vom neuronalen Netz produzierte Ausgangswert mit dem gewünschten Ausgangswert (desired Output, für Hering 0, für Lodde 1) verglichen und daraus der Fehlerwert „MSE“ berechnet. Der MSE bestraft dabei grosse Abweichungen viel stärker als kleine. Inwieweit sich diese Fehlerfunktion wirklich zum Unterscheiden von Fischen eignet, ist eine berechtigte Frage.

💬 KI-Chatbot

Bei einem KI-Chatbot wird beurteilt, wie gut dieser Texte verstehen und Aufgaben richtig lösen kann. Trainiert wird dieser jedoch hauptsächlich mit anderen Fehlerfunktionen.

Die grossen KI-Chatbot-Hersteller testen und vergleichen ihre und andere KI-Chatbots mithilfe von verschiedenen „Benchmarks“ d.h. Sammlungen von Aufgaben, welche ein KI-Chatbot lösen muss. Es gibt Benchmarks, die aus Multiple-Choice Aufgaben aus verschiedenen Wissenschaften bestehen (z.B. der MMLU-Benchmark), solche, die Text-Aufgaben aus der Mathematik umfassen (z.B. der GSM8K-Benchmark) oder andere, die das Textverständnis verschiedener Texte prüfen (z.B. der DROP-Benchmark).

Wie und warum wird mit einer anderen Fehlerfunktion trainiert? (bei Interesse anklicken)

Trainiert werden die KI-Chatbots mit verschiedenen Fehlerfunktionen. Im Pre-Training geht es darum, das nächsten Token in einem Text vorherzusagen. Um das nächste Token zu bestimmen, wird vom KI-Chatbot eine Zahl für jeden Token im Token-Wörterbuch ausgegeben. Die Fehlerfunktion zielt daraufhin ab, dass das tatsächlich als Nächstes im Text vorkommende Token eine möglichst grosse Zahl bekommt und alle anderen eine möglichst kleine. Dieses Vorgehen führt in der Praxis jedoch noch nicht zu den gewünschten Textantworten. Im anschliessenden Fine-Tuning werden komplette, von KI-Chatbot erzeugte Textantworten mit einer zweiten KI beurteilt und der KI-Chatbot mithilfe einer komplexen Fehlerfunktion so nachtrainiert, dass dieser Texte mit einer möglichst hohen Beurteilung produziert. Obwohl diese Form von Fine-Tuning der Beurteilung mit Benchmarks schon relativ nahe kommt, kann damit das Pre-Training nicht ersetzt werden. Das scheitert nur schon daran, dass dafür ungleich mehr handverlesene Texte benötigt werden würden, als irgendwie zur Verfügung gestellt werden könnten.

🤖 KI im Allgemeinen

⚠️ Ein neuronales Netz löst kein Problem direkt. Um ein gewünschtes Problem zu lösen, wird während des Trainings stattdessen eine Fehlerfunktion minimiert. Passt die Fehlerfunktion zum Problem, kann ein gutes Resultat erzielt werden. Passt diese weniger, wird vielleicht irgendetwas anderes gelernt. Daher sollten die Resultate kritisch beurteilt werden. In den meisten Fällen braucht es Fachwissen aus dem Anwendungsbereich, um aussagekräftige Beurteilungskriterien und passende Fehlerfunktionen zu finden.

FischNN ⁹⁾

🐟 Fisch-NN

Als Fisch-NN wurde ein sogenanntes „Feedforward Neural Network“ mit zwei Input Neuronen, einem Output Neuron und einem Hidden Layer (eine Spalte Hidden Neuronen) verwendet (siehe Abbildung). Bereits mit drei Hidden Neuronen, was 11 Gewichten entspricht, konnten mit die besten Resultate erreicht werden. Das Training dauert auf einem normalen Laptop meist weniger als eine Minute.

Bei zu wenigen Hidden Neuronen (zwei oder eins) oder einem zu kurzen Training (zu wenige Epochen) kann der Zusammenhang nicht vernünftig erlernt werden. Bei zu vielen Hidden Neuronen kann speziell bei einem langen Training ein Overfitting d.h. „Auswendiglernen“ einzelner Fische beobachtet werden.

💬 KI-Chatbot

Auch für die grossen neuronalen Netze in einem KI-Chatbot werden typischerweise Feedforward Neural Networks wie beim Fisch-NN verwendet, einfach etwas grössere. Sie umfassen typischerweise mehrere Millionen Input und Output Neuronen (für die Darstellung aller Tokens im Wörterbuch mitsamt der zugehörigen Embeddings) und mehrere Hidden Layer. Insgesamt wird die Anzahl Gewichte grosser KI-Chatbots im Bereich von Milliarden geschätzt.

Eine Daumenregel besagt, dass rund 10 Mal mehr Trainingsbeispiele benötigt werden, als Gewichte, damit die Gefahr von Overfitting klein gehalten wird. Es wird vermutet, dass für die aktuellen, grossen KI-Chatbots bereits jetzt schon praktisch alle geeigneten digitalen Texte, welche die Menschheit bis dato produziert hat, benötigt wurden. Um solch grosse neuronale Netze mit so vielen Daten zu trainieren wird viel Rechengeschwindigkeit, Speicher, Strom und Zeit benötigt, was sehr teuer ist. Daher werden einerseits immer effizientere und günstigere Hardware entwickelt und andererseits für die Optimierung des Trainings tief in die Trickkiste gegriffen.

Details zum Training (bei Interesse anklicken)

Es gibt viele Tricks, um ein Training effizienter zu machen und Overfitting möglichst vermeiden zu können. Welche Tricks jeweils wie stark zum Einsatz kommen, variiert je nach KI-Chatbot. Zu diesen Tricks gehören unter anderem die Folgenden: In jedem Trainingsdurchgang nicht alle Trainingsdaten verwenden, sondern nur eine zufällige, aber jedes Mal andere Auswahl davon (schnelleres Training). Mit dem Training stoppen, bevor Overfitting auftritt (kürzeres Training, weniger Overfitting). Die möglichen Werte der Gewichte nach und nach einschränken, damit das neuronale Netz „dümmer“ wird und nicht mehr auswendig lernen kann (weniger Overfitting). Nach und nach Hidden Neuronen entfernen (schnelleres Training, weniger Overfitting).

🤖 KI im Allgemeinen

⚠️ Bei der Frage, welches neuronale Netz oder welches andere Verfahren erfolgversprechend ist und wie man das am besten trainiert, spielt neben Fachwissen aus dem Anwendungsbereich vor allem auch Fach- und Erfahrungswissen aus dem Bereich der KI eine entscheidende Rolle. Das Anwenden eines bereits trainierten neuronalen Netzes geht relativ schnell. Das Trainieren eines neuronalen Netzes ist deutlich aufwändiger und zeitintensiver, was vor allem bei sehr grossen neuronalen Netzen ist Gewicht fällt.

💡 Es scheint Limitationen für die KI zu geben, welche nicht von der Anzahl der verfügbaren Daten, Rechenpower oder der verfügbaren Zeit abhängen. In den folgenden beiden Unterkapiteln wird auf zwei davon genauer eingegangen.

Überlappende Klassen¹⁰⁾

🤖 KI im Allgemeinen

Es ist davon auszugehen, dass neuronale Netze (und KI im Allgmeinen) in vielen Bereichen relativ gute Resultate liefern werden, jedoch kaum je perfekte. Auch bei beliebig vielen Daten, Rechenpower und Trainingszeit, werden neuronale Netze in der Praxis ab und zu Fehler produzieren. Gründe dafür sind unter anderem die Folgenden.

• Näherungen: Neuronale Netze sind Modelle, welche die Wirklichkeit nur näherungsweise beschreiben können. Neuronale Netze berechnen keine Lösungen exakt, sie nähern diese, so gut als mögich an.
• Überlappende Klassen und Muster: Datensätze aus der realen Welt weisen praktisch immer Klassen oder Muster auf, welche zwar unterschiedlich sind, jedoch kaum voneinander getrennt werden können.
• Seltene Klassen und Muster: Alle bekannten KI-Verfahren tendieren dazu seltene Klassen und Muster zu ignorieren.

🐟 Fisch-NN

Die Abbildung zeigt eine Region überlappender Klassen für das Fisch-NN. Fische in dieser Region, lassen sich nicht fehlerfrei eine Klasse zuordnen. Das seltene Klassen ignoriert werden, prüfst du im nachfolgenden Auftrag.

💬 KI-Chatbot

Texte zu Themen, zu welchen verschiedene Meinungen vorherrschen (z.B. zu „KI Fluch oder Segen“), könnten als „überlappende Muster“ und somit als Herausforderung für das Pre-Training von KI-Chatbots angesehen werden. Die Wahrscheinlichkeit, dass seltene Aussagen oder Meinungen im Pre-Training unter gehen und somit nicht von einem KI-Chatbot ausgegeben werden ist gross. Es ist davon auszugehen, dass der Einfluss der für das Fine-Tuning verwendeten Texte auf solche herausfordende Themen relativ gross sein kann.

Neuronales Netz als Black Box ¹¹⁾

🤖 KI im Allgemeinen

Das Wissen eines neuronalen Netzes ist in seinen Gewichten gespeichert. Diese Gewichte sind im Wesentlichen mehrere, mehr oder weniger miteinander verbundene Zahlen. Damit lässt sich zwar gut aus einer Eingabe eine Ausgabe berechnen, jedoch lässt sich aufgrund dieser Gewichte kaum herausfinden, warum ein neuronales Netz ausgerechnet diese Ausgabe ausgegeben hat. Somit sind neuronale Netze nicht für jeden Anwendungsbereich geeignet. Jedoch gibt es andere KI-Verfahren, wie z.B. statistische Verfahren, welche besser interpretiert werden können. Jedoch sind die neuronalen Netze aktuell vorherrschend in vielen Bereichen der KI.

🐟 Fisch-NN

Warum genau das Fisch-NN einen Fisch als Hering oder Lodde einordnet, lässt sich kaum aus den 11 Gewichten ablesen.

💬 KI-Chatbot

Neuronale Netze (mit sehr vielen Gewichten) bilden den Hauptbestandteil moderner KI-Chatbots. Somit erscheint es als unmöglich, aufgrund der Gewichte darauf schliessen zu können, warum zu einem gegebenen Eingabetext gerade der tatsächlich ausgegebene Ausgabetext ausgegeben wird.

⚠️ Natürlich lassen sich noch ganz andere Fazits zu KI im Allgemeinen ziehen und weitere, interessante Fragen aufwerfen. Hier eine kleine Auswahl.

• Nachhaltigkeit: Wird der enorme Energiebedarf grosser neuronaler Netze eher dazu führen, den Planeten zu „verbrennen“ oder kann die erhöhte Effizienz der KI den globalen Energiebedarf senken?
• Entwicklung: Werden uns KIs uns soviel abnehmen, dass wir kaum mehr selbst etwas lernen und in der Folge „verdummen“ oder befreien uns die KIs von allem Lästigen, sodass wir uns noch positiver entwickeln können?
• Entscheidungsfreiheit: Werden wir künftig entscheiden können, ob wir etwas selbst machen können (weil es uns z.B. Freude macht), auch wenn das eine KI viel besser und schneller als bewerkstelligen könnte?

Loading ⌛