Wenn du eine Modell-Datei (z.B. eine .bin, .safetensors oder .gguf Datei) öffnest, wirst du keinen Text, keine Wörter und keine Verknüpfungen finden. Du findest nur eine gigantische Abfolge von Binärzahlen. 1. Die Datei ist eine Sammlung von Matrizen (Tensoren) Stell dir die Parameter-Datei nicht als Datenbank vor, sondern als ein riesiges Paket aus Tabellen (Matrizen).…
Ein LLM wird nicht „programmiert“ im klassischen Sinne (mit Wenn-Dann-Regeln), sondern es lernt durch Mustererkennung. Man kann es sich wie ein Kind vorstellen, das Milliarden von Büchern liest, bis es versteht, wie Sprache funktioniert. 1. Mit was werden LLMs trainiert? (Die Daten) Bevor das Modell rechnen kann, braucht es Nahrung in Form von Daten. Man…
1. Was ist eine NPU? Eine NPU (Neural Processing Unit) ist ein Hardware-Beschleuniger, der von Grund auf nur für eine einzige Sache entwickelt wurde: die mathematischen Operationen von neuronalen Netzen (also der Basis von LLMs) extrem effizient auszuführen. Während CPUs und GPUs „Allrounder“ sind (die CPU für alles, die GPU für Grafik und Parallelrechnen), ist…
1. Warum wird so viel Arbeitsspeicher benötigt? Wenn man von „Speicher“ bei LLMs spricht, muss man zwischen zwei Arten von Speicherbedarf unterscheiden: dem statischen (das Modell an sich) und dem dynamischen (die Arbeit während der Antwortgenerierung). 1. Der statische Speicher: Die Modell-Gewichte Ein LLM besteht aus Milliarden von Parametern (Gewichten). Jeder dieser Parameter ist eine…
1. Was ist Quantisierung eigentlich? Stell dir vor, ein LLM ist wie ein riesiges mathematisches Rezeptbuch. Jedes „Gewicht“ (Parameter) in diesem Buch ist eine Zahl, die extrem präzise geschrieben ist – zum Beispiel als FP32 (32-Bit-Fließkommazahl). Eine solche Zahl sieht etwa so aus: 3,141592653589793 Das Problem: Wenn ein Modell 70 Milliarden solcher Zahlen hat, verbraucht…
Einleitung: Was ist ein LLM eigentlich? Ein Large Language Model (LLM) ist ein KI-System, das darauf trainiert wurde, menschliche Sprache zu verstehen und zu generieren. Das „Large“ bezieht sich dabei auf zwei Dinge: die riesige Menge an Trainingsdaten (fast das gesamte öffentliche Internet) und die Milliarden von Parametern (internen „Stellschrauben“), die das Modell während des…