| Beide Seiten der vorigen RevisionVorhergehende Überarbeitung | |
| p:ki:fische_ki [2025/04/13 15:20] – [2.4 Modell wählen und trainieren] Ralf Kretzschmar | p:ki:fische_ki [2025/04/13 17:01] (aktuell) – [4. Fazit] Ralf Kretzschmar |
|---|
| ; 💬 KI-Chatbot\\ \\ | ; 💬 KI-Chatbot\\ \\ |
| : Bei einem KI-Chatbot wird beurteilt, wie gut dieser Texte verstehen und Aufgaben richtig lösen kann. Trainiert wird dieser jedoch hauptsächlich mit anderen Fehlerfunktionen.\\ \\ | : Bei einem KI-Chatbot wird beurteilt, wie gut dieser Texte verstehen und Aufgaben richtig lösen kann. Trainiert wird dieser jedoch hauptsächlich mit anderen Fehlerfunktionen.\\ \\ |
| : Die grossen KI-Chatbot-Hersteller testen und vergleichen ihre und andere KI-Chatbots mithilfe von verschiedenen "Benchmarks" d.h. Sammlungen von Aufgaben, welche ein KI-Chatbot lösen muss. Es gibt Benchmarks, die aus Multiple-Choice Aufgaben aus verschiedenen Wissenschaften bestehen (z.B. der [[https://huggingface.co/datasets/cais/mmlu|MMLU-Benchmark]]), solche, die Text-Aufgaben aus der Mathematik umfassen (z.B. der [[https://huggingface.co/datasets/gsm8k|GSM8K-Benchmark]]) oder andere, die das Textverständnis verschiedener Texte prüfen (z.B. der [[https://leaderboard.allenai.org/drop/submissions/about|DROP-Benchmark]]). Da diese Benchmarks jedoch mittlerweile fast schon zu einfach sind, für die immer besser werdenden KIs, gilt (aktuell) das [[https://agi.safe.ai/|Humanity's Last Exam]] als ultimative Herausforderung. Dieser Benchmark besteht ausschliesslich aus Fragen, an welchen sich auch menschliche Experten schnell einmal die Zähne ausbeissen.\\ \\ Beliebt ist auch das [[https://lmarena.ai?leaderboard|Chatbot Arena Leaderboard]], welche eine stets aktuelle "Hitparade" der KI-Chatbots aufgrund von Nutzerwertungen zeigt. Wenn du selber zum Leaderboard beitragen möchtest, gehe in die [[https://lmarena.ai/|Chatbot Arena]] und geben einen Prompt ein. Dieser wird dann von zwei zufällig gewählten KI-Chatbots beantwortet. Danach wählst aus, welche Antwort du besser findest. Am Ende wird aufgelöst, welche zwei KI-Chatbots du befragt hattest.\\ \\ | : Die grossen KI-Chatbot-Hersteller testen und vergleichen ihre und andere KI-Chatbots mithilfe von verschiedenen "Benchmarks" d.h. Sammlungen von Aufgaben, welche ein KI-Chatbot lösen muss. Es gibt Benchmarks, die aus Multiple-Choice Aufgaben aus verschiedenen Wissenschaften bestehen (z.B. der [[https://huggingface.co/datasets/cais/mmlu|MMLU-Benchmark]]), solche, die Text-Aufgaben aus der Mathematik umfassen (z.B. der [[https://huggingface.co/datasets/gsm8k|GSM8K-Benchmark]]) oder andere, die das Textverständnis verschiedener Texte prüfen (z.B. der [[https://leaderboard.allenai.org/drop/submissions/about|DROP-Benchmark]]). Da diese Benchmarks jedoch mittlerweile fast schon zu einfach sind, für die immer besser werdenden KIs, gilt (aktuell) das [[https://agi.safe.ai/|Humanity's Last Exam]] als ultimative Herausforderung. Dieser Benchmark besteht ausschliesslich aus Fragen, an welchen sich auch menschliche Experten schnell einmal die Zähne ausbeissen.\\ \\ Beliebt ist auch das [[https://lmarena.ai?leaderboard|Chatbot Arena Leaderboard]], welche eine stets aktuelle "Hitparade" der KI-Chatbots aufgrund von Nutzerwertungen zeigt. Wenn du selber zum Leaderboard beitragen möchtest, gehe in die [[https://lmarena.ai/|Chatbot Arena]] und gib einen Prompt ein. Dieser wird dann von zwei zufällig gewählten KI-Chatbots beantwortet. Danach wählst aus, welche Antwort du besser findest. Am Ende wird aufgelöst, welche zwei KI-Chatbots du befragt hattest.\\ \\ |
| : ++Wie und warum wird mit einer anderen Fehlerfunktion trainiert? (bei Interesse anklicken)|\\ \\ Trainiert werden die KI-Chatbots mit verschiedenen Fehlerfunktionen. Im Pre-Training geht es darum, das nächsten Token in einem Text vorherzusagen. Um das nächste Token zu bestimmen, wird vom KI-Chatbot eine Zahl für jeden Token im Token-Wörterbuch ausgegeben. Die Fehlerfunktion zielt daraufhin ab, dass das tatsächlich als Nächstes im Text vorkommende Token eine möglichst grosse Zahl bekommt und alle anderen eine möglichst kleine. Dieses Vorgehen führt in der Praxis jedoch noch nicht zu den gewünschten Textantworten. Im anschliessenden Fine-Tuning werden komplette, von KI-Chatbot erzeugte Textantworten mit einer zweiten KI beurteilt und der KI-Chatbot mithilfe einer komplexen Fehlerfunktion so nachtrainiert, dass dieser Texte mit einer möglichst hohen Beurteilung produziert. Obwohl diese Form von Fine-Tuning der Beurteilung mit Benchmarks schon relativ nahe kommt, kann damit das Pre-Training nicht ersetzt werden. Das scheitert nur schon daran, dass dafür ungleich mehr handverlesene Texte benötigt werden würden, als irgendwie zur Verfügung gestellt werden könnten.++ | : ++Details zu den verwendeten Fehlerfunktionen (bei Interesse anklicken)|\\ \\ Trainiert werden die KI-Chatbots mit verschiedenen Fehlerfunktionen. Im Pre-Training geht es darum, das nächsten Token in einem Text vorherzusagen. Dazu wird für vom zugrundeliegenden neuronalen Netz für jedes Token im Token-Wörterbuch eine Zahl ausgegeben, die sogenannte Auswahl-Wahrscheinlichkeit. Die verwendete Fehlerfunktion ist so konstruiert, dass das neuronale Netz lernt, dem tatsächlich als Nächstes im Text vorkommenden Token eine möglichst grosse Auswahl-Wahrscheinlichkeit zu geben und alle anderen Tokens eine möglichst kleine. Dieses Vorgehen führt in der Praxis jedoch noch nicht zu den gewünschten Textantworten. Im darauf folgenden Fine-Tuning werden komplette, von KI-Chatbot erzeugte Textantworten mit einer zweiten KI beurteilt und der KI-Chatbot mithilfe einer komplexen Fehlerfunktion so nachtrainiert, dass dieser Texte mit einer möglichst hohen Beurteilung produziert. Obwohl diese Form von Fine-Tuning der Beurteilung mit Benchmarks schon relativ nahe kommt, kann damit das Pre-Training nicht ersetzt werden. Das scheitert nur schon daran, dass dafür ungleich mehr handverlesene Texte benötigt werden würden, als irgendwie zur Verfügung gestellt werden könnten.++ |
| |
| ; 🤖 KI im Allgemeinen\\ \\ | ; 🤖 KI im Allgemeinen\\ \\ |
| ===== - Limitationen ===== | ===== - Limitationen ===== |
| |
| 💡 Es scheint Limitationen für die KI zu geben, welche nicht von der Anzahl der verfügbaren Daten, Rechenpower oder der verfügbaren Zeit abhängen. In den folgenden beiden Unterkapiteln wird auf zwei davon genauer eingegangen. | 💡 Es scheint Limitationen für KIs zu geben, welche nicht von der Anzahl der verfügbaren Daten, Rechenpower oder der verfügbaren Zeit abhängen. In den folgenden beiden Unterkapiteln wird auf zwei davon genauer eingegangen. |
| |
| ==== - Nicht Fehlerfrei ==== | ==== - Nicht Fehlerfrei ==== |
| ; 🤖 KI im Allgemeinen\\ \\ | ; 🤖 KI im Allgemeinen\\ \\ |
| : Es ist davon auszugehen, dass neuronale Netze (und KI im Allgmeinen) in vielen Bereichen relativ gute Resultate liefern werden, jedoch kaum je perfekte. Auch bei beliebig vielen Daten, Rechenpower und Trainingszeit, werden neuronale Netze in der Praxis ab und zu Fehler produzieren. Gründe dafür sind unter anderem die Folgenden. | : Es ist davon auszugehen, dass neuronale Netze (und KI im Allgmeinen) in vielen Bereichen relativ gute Resultate liefern werden, jedoch kaum je perfekte. Auch bei beliebig vielen Daten, Rechenpower und Trainingszeit, werden neuronale Netze in der Praxis ab und zu Fehler produzieren. Gründe dafür sind unter anderem die Folgenden. |
| * **Näherungen:** Neuronale Netze sind Modelle, welche die Wirklichkeit nur näherungsweise beschreiben können. Neuronale Netze berechnen keine Lösungen exakt, sie nähern diese, so gut als mögich an. | * **Näherungen:** Neuronale Netze sind Modelle, welche die Wirklichkeit nur näherungsweise beschreiben können, sie berechnen keine Lösungen exakt, sie nähern diese, so gut als mögich an. Die für das Training verwendeten Fehlerfunktionen, welche entscheiden, was gut und was schlecht ist, könnnen die wahre Natur der zu lösenden Probleme auch nur näherungsweise darstellen. Und schliesslich können die neuronalen Netze nicht mit unendlich vielen perfekten Daten trainiert werden, sondern nur mit endlich vielen Daten, meisst von nicht perfekter Qualität. Somit kann eine KI kein Problem direkt lösen, sondern nur die Näherung einer Lösung näherungsweise annähern. |
| * **Überlappende Klassen und Muster:** Datensätze aus der realen Welt weisen praktisch immer Klassen oder Muster auf, welche zwar unterschiedlich sind, jedoch kaum voneinander getrennt werden können. | * **Überlappende Klassen und Muster:** Datensätze aus der realen Welt weisen praktisch immer Klassen oder Muster auf, welche zwar unterschiedlich sind, jedoch kaum voneinander getrennt werden können. |
| * **Seltene Klassen und Muster:** Alle bekannten KI-Verfahren tendieren dazu seltene Klassen und Muster zu ignorieren. | * **Seltene Klassen und Muster:** Alle bekannten KI-Verfahren tendieren dazu seltene Klassen und Muster zu ignorieren. |
| |
| ; 💬 KI-Chatbot\\ \\ | ; 💬 KI-Chatbot\\ \\ |
| : Texte zu Themen, zu welchen verschiedene Meinungen vorherrschen (z.B. zu "KI Fluch oder Segen"), könnten als "überlappende Muster" und somit als Herausforderung für das Pre-Training von KI-Chatbots angesehen werden. Die Wahrscheinlichkeit, dass seltene Aussagen oder Meinungen im Pre-Training unter gehen und somit nicht von einem KI-Chatbot ausgegeben werden ist gross. | : Texte zu Themen, zu welchen verschiedene Meinungen vorherrschen (z.B. zu "KI Fluch oder Segen"), könnten als "überlappende Muster" und somit als Herausforderung für das Training von KI-Chatbots angesehen werden. Es kann durchaus sein, dass seltene Aussagen oder Meinungen im Training unter gehen und somit nicht von einem KI-Chatbot ausgegeben werden können. |
| |
| <WRAP center round box > | <WRAP center round box > |
| |
| ; 🤖 KI im Allgemeinen\\ \\ | ; 🤖 KI im Allgemeinen\\ \\ |
| : Das Wissen eines neuronalen Netzes ist in seinen Gewichten gespeichert. Diese Gewichte sind im Wesentlichen mehrere, mehr oder weniger miteinander verbundene Zahlen. Damit lässt sich zwar gut aus einer Eingabe eine Ausgabe berechnen, jedoch lässt sich aufgrund dieser Gewichte kaum herausfinden, warum ein neuronales Netz ausgerechnet diese Ausgabe ausgegeben hat. Somit sind neuronale Netze nicht für jeden Anwendungsbereich geeignet. Jedoch gibt es andere KI-Verfahren, wie z.B. statistische Verfahren, welche besser interpretiert werden können. Jedoch sind die neuronalen Netze aktuell vorherrschend in vielen Bereichen der KI. | : Das Wissen eines neuronalen Netzes ist in seinen Gewichten gespeichert. Diese Gewichte sind im Wesentlichen mehrere, mehr oder weniger miteinander verbundene Zahlen. Damit lässt sich zwar gut aus einer Eingabe eine Ausgabe berechnen, jedoch lässt sich aufgrund dieser Gewichte kaum herausfinden, warum ein neuronales Netz eine bestimmte Ausgabe ausgibt. Nur schon deswegen sind neuronale Netze nicht für jeden Anwendungsbereich geeignet. Es gibt zwar andere KI-Verfahren, wie z.B. statistische Verfahren, welche besser interpretiert werden können, jedoch zeigen diese in einigen Anwendungsgebieten deutlich schlechtere Resultate. |
| |
| ; 🐟 Fisch-NN\\ \\ | ; 🐟 Fisch-NN\\ \\ |
| |
| ; 💬 KI-Chatbot\\ \\ | ; 💬 KI-Chatbot\\ \\ |
| : Neuronale Netze (mit sehr vielen Gewichten) bilden den Hauptbestandteil moderner KI-Chatbots. Somit erscheint es als unmöglich, aufgrund der Gewichte darauf schliessen zu können, warum zu einem gegebenen Eingabetext gerade der tatsächlich ausgegebene Ausgabetext ausgegeben wird. | : Neuronale Netze (mit Milliarden oder gar Billionen von Gewichten) bilden den Hauptbestandteil moderner KI-Chatbots. Somit erscheint es als unmöglich, aufgrund der Gewichte darauf schliessen zu können, warum zu einem gegebenen Eingabetext gerade der tatsächlich ausgegebene Ausgabetext ausgegeben wird. |
| |
| <WRAP center round box > | <WRAP center round box > |
| * **Nachhaltigkeit:** Wird der enorme Energiebedarf grosser neuronaler Netze eher dazu führen, den Planeten zu "verbrennen" oder kann die erhöhte Effizienz der KI den globalen Energiebedarf senken? | * **Nachhaltigkeit:** Wird der enorme Energiebedarf grosser neuronaler Netze eher dazu führen, den Planeten zu "verbrennen" oder kann die erhöhte Effizienz der KI den globalen Energiebedarf senken? |
| * **Entwicklung:** Werden KIs uns soviel abnehmen, dass wir kaum mehr selbst etwas lernen und in der Folge "verdummen" oder befreien uns die KIs von allem Lästigen, sodass wir uns noch positiver entwickeln können? | * **Entwicklung:** Werden KIs uns soviel abnehmen, dass wir kaum mehr selbst etwas lernen und in der Folge "verdummen" oder befreien uns die KIs von allem Lästigen, sodass wir uns noch positiver entwickeln können? |
| * **Entscheidungsfreiheit:** Werden wir künftig entscheiden können, ob wir etwas selbst machen (weil es uns z.B. Freude macht), auch wenn das eine KI viel besser und schneller als bewerkstelligen könnte? | * **Entscheidungsfreiheit:** Werden wir künftig entscheiden können, ob wir etwas, dass eine KI viel schneller und besser erledigen kann, trotzdem selbst machen können (z.B. weil es uns Freude macht) oder dürfen wir nur noch das machen, was die KI für uns übrig lässt? |
| |
| <WRAP center round box > | <WRAP center round box > |
| * Welche KI-Anwendungen sollten verboten werden? | * Welche KI-Anwendungen sollten verboten werden? |
| * Wie sieht ein wünschenswertes "Zusammenleben" von KI und Menschen aus? | * Wie sieht ein wünschenswertes "Zusammenleben" von KI und Menschen aus? |
| | * Wie sieht ein Lernen mit KI aus, bei dem dich die KI "dümmer" macht? Wie sieht ein Lernen mit KI aus, bei dem dich die KI "schlauer" macht? |
| {{gem/plain?0=N4XyA#ee030270129b18a1}} | {{gem/plain?0=N4XyA#ee030270129b18a1}} |
| </WRAP> | </WRAP> |
