Einleitung: Was ist ein LLM eigentlich?

Ein Large Language Model (LLM) ist ein KI-System, das darauf trainiert wurde, menschliche Sprache zu verstehen und zu generieren. Das „Large“ bezieht sich dabei auf zwei Dinge: die riesige Menge an Trainingsdaten (fast das gesamte öffentliche Internet) und die Milliarden von Parametern (internen „Stellschrauben“), die das Modell während des Lernens optimiert hat.

Das wichtigste Grundprinzip: Ein LLM ist im Kern ein extrem fortschrittliches System zur Vorhersage des nächsten Tokens. Man kann es sich wie eine hochintelligente „Autovervollständigung“ vorstellen.

1. Die Grundbausteine: Tokens, Prompts und Kontextlänge

Bevor wir uns die Mathematik ansehen, müssen wir verstehen, wie die KI Daten „sieht“.

🧩 Was sind Tokens?

KI-Modelle lesen keinen Text in Buchstaben oder ganzen Wörtern, sondern in Tokens. Ein Token ist die kleinste Einheit, die ein Modell verarbeiten kann.

• Warum nicht Wörter? Manche Wörter sind sehr selten, andere sehr häufig. Würde man jedes Wort einzeln speichern, wäre das Vokabular zu riesig.
• Warum nicht Buchstaben? Buchstaben allein tragen kaum Bedeutung.
• Die Lösung: Sub-Word-Tokenisierung. Häufige Wörter sind ein einzelner Token (z.B. "Haus"), seltene Wörter werden in Teile zerlegt (z.B. "Donaudampfschifffahrt" → "Donau", "dampf", "schiff", "fahrt").

Faustregel: 1.000 Tokens entsprechen im Englischen/Deutschen etwa 750 Wörtern.

✍️ Was ist ein Prompt?

Ein Prompt ist die Eingabe des Nutzers. Er dient als „Startsignal“ und Kontext für die Vorhersage.

• Zero-Shot Prompting: Man stellt eine Frage ohne Beispiele („Schreibe ein Gedicht über Katzen.“).
• Few-Shot Prompting: Man gibt dem Modell erst ein paar Beispiele, um den gewünschten Stil zu etablieren („Hund → Bellt; Katze → Miaut; Kuh → …“).

📏 Was ist die Kontextlänge (Context Window)?

Die Kontextlänge ist das „Kurzzeitgedächtnis“ des Modells. Sie gibt an, wie viele Tokens das Modell gleichzeitig „im Kopf behalten“ kann, während es eine Antwort generiert.

• Die Grenze: Wenn ein Gespräch die maximale Kontextlänge überschreitet, „vergisst“ das Modell die ersten Teile der Konversation.
• Rechenaufwand: Je länger der Kontext, desto mehr Rechenleistung wird benötigt, da das Modell jedes neue Wort in Beziehung zu allen vorherigen Wörtern setzen muss.

2. Die Funktionsweise: Wie wird das nächste Wort gewählt?

Wenn du eine Frage stellst, passiert im Hintergrund ein komplexer statistischer Prozess. Das Modell „weiß“ nicht, was wahr ist, sondern berechnet, was wahrscheinlich ist.

Schritt 1: Embedding (Übersetzung in Zahlen)

Da Computer nicht mit Wörtern rechnen können, wird jeder Token in einen Vektor (eine lange Liste von Zahlen) umgewandelt. Diese Zahlen repräsentieren die „Bedeutung“ des Wortes in einem mehrdimensionalen Raum. Beispiel: Die Vektoren für „König“ und „Königin“ liegen im mathematischen Raum sehr nah beieinander, während „König“ und „Toaster“ weit voneinander entfernt liegen.

Schritt 2: Attention (Die Aufmerksamkeit)

Hier kommt die Transformer-Architektur ins Spiel. Durch den sogenannten Attention-Mechanismus entscheidet das Modell, welche Tokens im Prompt gerade wichtig sind.

• Satz: „Die Bank am Flussufer war nass.“
• Das Modell erkennt durch die Attention, dass das Wort „Flussufer“ die Bedeutung von „Bank“ bestimmt (Sitzgelegenheit, nicht Finanzinstitut).

Schritt 3: Die Wahrscheinlichkeitsverteilung

Nachdem das Modell den Kontext analysiert hat, erstellt es für alle Tokens in seinem Vokabular (oft 50.000 bis 100.000 verschiedene Tokens) eine Liste mit Wahrscheinlichkeiten.

Beispiel-Satz: „Der Himmel ist heute …“ Das Modell berechnet nun:

• blau: 85%
• bewölkt: 10%
• grün: 0.1%
• Pizza: 0.0001%

Schritt 4: Sampling (Die Auswahl)

Das Modell wählt nun einen Token aus dieser Liste aus. Hier gibt es verschiedene Strategien:

1. Greedy Search: Es wird immer das Wort mit der höchsten Wahrscheinlichkeit gewählt (blau). Das führt oft zu sehr repetitiven, langweiligen Texten.
2. Temperature (Temperatur): Ein Regler, der die Kreativität steuert.
   • Niedrige Temperatur (z.B. 0.2): Das Modell bleibt sicher und wählt fast nur die Top-Kandidaten. Ideal für Fakten und Code.
   • Hohe Temperatur (z.B. 0.8): Das Modell gibt auch unwahrscheinlicheren Tokens eine Chance. Das macht den Text „kreativer“, erhöht aber das Risiko für Fehler (Halluzinationen).

📚 Zusammenfassung

Begriff	Einfache Erklärung	Analogie
Token	Die kleinsten Textbausteine (Wortteile).	Legosteine aus denen Wörter gebaut werden.
Prompt	Die Anweisung des Nutzers.	Das Steuerrad, das die Richtung vorgibt.
Kontextlänge	Die Menge an Text, die gleichzeitig verarbeitet wird.	Die Größe des Schreibtischs, auf dem alle Notizen liegen.
Attention	Gewichtung der Relevanz einzelner Wörter.	Ein Textmarker, der wichtige Wörter hervorhebt.
Wahrscheinlichkeit	Vorhersage des wahrscheinlichsten nächsten Tokens.	Ein extrem schlaues Ratespiel.

⚠️ Wichtiger Hinweis zum Schluss: Halluzinationen

Da LLMs auf Wahrscheinlichkeiten und nicht auf einer Datenbank mit Fakten basieren, „erfinden“ sie manchmal Informationen, die statistisch plausibel klingen, aber faktisch falsch sind. Das nennt man Halluzination. Das Modell versucht nicht zu lügen, es berechnet lediglich eine Sequenz von Wörtern, die „richtig aussieht“.

Alle Antworten sind von der KI erstellt. Sie wurden von mir nochmal durchgelesen und nach meinem Wissensstand kontrolliert.
Zur Hauptseite: Wie funktionieren eigentlich LLMs?
Nächste Seite: 📉 Quantisierung bei LLMs