Ein LLM wird nicht „programmiert“ im klassischen Sinne (mit Wenn-Dann-Regeln), sondern es lernt durch Mustererkennung. Man kann es sich wie ein Kind vorstellen, das Milliarden von Büchern liest, bis es versteht, wie Sprache funktioniert.

1. Mit was werden LLMs trainiert? (Die Daten)

Bevor das Modell rechnen kann, braucht es Nahrung in Form von Daten. Man unterscheidet hier zwischen verschiedenen „Diäten“:

1. Das Fundament: Rohtexte (Prä-Training Daten)

In der ersten Phase bekommt das Modell gigantische Mengen an unstrukturiertem Text. Es gibt keine Lehrer und keine richtigen/falschen Antworten – das Modell lernt rein aus der Statistik.

• Web-Dumps (z.B. Common Crawl): Milliarden von Webseiten, Blogposts und Foren (wie Reddit). Hier lernt die KI, wie Menschen im Alltag sprechen.
• Wikipedia & Online-Enzyklopädien: Liefern strukturiertes Wissen und Fakten.
• Digitale Bücher (z.B. BookCorpus): Helfen dem Modell, lange Zusammenhänge, Erzählstrukturen und komplexere Grammatik zu verstehen.
• Programmiercode (z.B. GitHub): Durch das Lesen von Python, Java oder C++ lernt die KI nicht nur Code, sondern vor allem logisches Denken und strikte Syntax.

2. Die Verfeinerung: Kuratierte Daten (Fine-Tuning Daten)

Nachdem das Modell die Sprache gelernt hat, bekommt es kleinere, handverlesene Datensätze.

• Instruktionspaare: Listen aus „Frage → Ideale Antwort“. (Beispiel: „Fasse diesen Text zusammen“ → [perfekte Zusammenfassung]).
• Menschliche Bewertungen: Menschen vergleichen zwei Antworten der KI und sagen: „Antwort A ist hilfreicher und höflicher als Antwort B“.

2. Wie genau werden LLMs trainiert? (Der Prozess)

Das Training erfolgt in drei großen Stufen, die wie eine Ausbildung aufgebaut sind.

Stufe 1: Das Prä-Training (Die „Grundschule“)

Ziel: Ein allgemeines Sprachverständnis aufbauen. Methode: Self-Supervised Learning. Das Modell spielt im Alleingang ein Spiel: „Rate das nächste Wort“.

1. Forward Pass: Das Modell bekommt einen Satz: „Die Hauptstadt von Deutschland ist…“ und rät: „Berlin“ (mit einer bestimmten Wahrscheinlichkeit).
2. Loss-Funktion (Der Fehler): Das System vergleicht den Tipp mit dem echten Text. Hat das Modell „Hamburg“ geraten, ist der „Loss“ (Fehlerwert) hoch.
3. Backward Pass (Backpropagation): Das ist der magische Moment. Der Fehler wird rückwärts durch das gesamte Netzwerk geschickt. Die Milliarden von Parametern (Gewichte) werden minimal angepasst, damit die Vorhersage beim nächsten Mal näher an „Berlin“ liegt.
4. Wiederholung: Das passiert Billionen Male, bis das Modell die statistischen Zusammenhänge der menschlichen Sprache fast perfekt beherrscht.

Stufe 2: Das Fine-Tuning (Die „Fachausbildung“)

Nach dem Prä-Training ist das Modell ein „Autocomplete-Monster“, aber noch kein Assistent. Wenn man es fragt: „Wie backe ich einen Kuchen?“, würde es vielleicht antworten: „Welche Zutaten brauche ich für einen Kuchen?“ (weil es im Internet oft Fragen nach Fragen gibt).

Beim Instruction Tuning lernt es: „Wenn eine Frage kommt, soll ich eine hilfreiche Antwort liefern, nicht den Text fortsetzen.“ Hier wird es gezielt auf Aufgaben wie Zusammenfassen, Übersetzen oder Programmieren trainiert.

Stufe 3: RLHF (Das „Mentoring“)

RLHF steht für Reinforcement Learning from Human Feedback. Hier greifen Menschen ein, um die „Persönlichkeit“ und Sicherheit der KI zu formen:

1. Die KI generiert drei verschiedene Antworten auf eine Frage.
2. Ein Mensch rankt diese: (1. Beste, 2. Okay, 3. Schlecht/Gefährlich).
3. Ein separates Belohnungsmodell lernt diese menschlichen Vorlieben.
4. Das LLM wird so optimiert, dass es Antworten generiert, die das Belohnungsmodell als „hochwertig“ bewerten würde.

💡 Die Analogy: Der Musikstudent

Um den Unterschied der Phasen zu verstehen, nutzen wir die Analogie eines Musikers:

1. Prä-Training ≈ Passives Hören: Ein Schüler hört jahrelang Millionen von Songs aller Genres. Er weiß nun, welche Note meistens auf welche folgt und wie ein Song aufgebaut ist. Er kann Musik „nachahmen“, weiß aber nicht, was ein „Konzert“ oder eine „Bestellung“ ist.
2. Fine-Tuning ≈ Musikunterricht: Ein Lehrer gibt ihm gezielte Aufgaben: „Spiele jetzt eine traurige Melodie“ oder „Spiele dieses Stück im Jazz-Stil“. Der Schüler lernt, auf Anweisungen zu reagieren.
3. RLHF ≈ Auftritte & Applaus: Der Schüler spielt vor Publikum. Das Publikum klatscht bei schönen Passagen und pfeift bei falschen Tönen. Der Musiker passt sein Spiel an, um die Menschen glücklich zu machen (die „Belohnung“ zu maximieren).

📚 Zusammenfassung

Phase	Datenquelle	Lernziel	Analogie
Prä-Training	Das ganze Internet (Rohtext)	Sprachmuster & Wissen	Passives Hören
Fine-Tuning	Gezielte Frage-Antwort-Paare	Aufgaben lösen (Instruktionen)	Musikunterricht
RLHF	Menschliche Rankings	Hilfsbereitschaft & Sicherheit	Applaus des Publikums

Alle Antworten sind von der KI erstellt. Sie wurden von mir nochmal durchgelesen und nach meinem Wissensstand kontrolliert.
Zur Hauptseite: Wie funktionieren eigentlich LLMs?
Vorherige Seite: ⚡ NPUs – Die Spezialisten für lokale KI
Nächste Seite: 🔬 Wie sieht die Parameter-Datei eines LLM aus?