Wie funktionieren eigentlich LLMs?

Da ich mir momentan die Software Hermes Agent anschaue und allgemein einen Beitrag dazu vorbereite, dachte ich mir komm probierst du doch mal aus, was die LLM zu sich „selbst“ sagt. In der Hoffnung, dass die LLM mit ihrer eigenen Funktion ordentlich angelernt wurde.

Die Beiträge sind nach den Fragen, die ich gestellt habe, und den hauptsächlich unbearbeiteten Antworten der LLMs aufgebaut. Die Fragen sind meinem eigenen Wissensstands ausgewählt und kontrolliert. Das einzige was ich entfernt habe sind vor jeder Lerneinheit die Anweisungen an den Tutor. Zudem wurden kleine Unstimmigkeiten bereinigt und der Text teilweise neu formatiert.

Für die Antworten wurde folgende Software und LLM-Konstellation verwendet:

  • Hermes Agent (Toolset für Agentic AI)
  • Infomaniak API für AI Anfragen
  • Als LLMs wurden verwendet:
    • google/gemma-4-31B-it
    • nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8
    • mistralai/Ministral-3-14B-Instruct-2512

Die LLMs wurden im MoA (Mixture of Agents) Design verwendet. Nemotron 3 Nano und Ministral 3 haben hier als Reference LLMs agiert und Gemma 4 hat die Antworten dann aggregiert und zusammengefasst.

Die Referenzmodelle bekommen hier einen Teil der bereits geführten Konversation übergeben, aber nicht alles. Der Aggregator kennt den gesamten Kontext des Chats und verarbeitet dann die Ausgaben der Referenzmodelle im Kontext des gesamten Chats. Die LLMs hatten selbst keine Informationen aus dem Internet bezogen. Die Antworten basieren auf das antrainierte Wissen der jeweiligen LLMs.

Die Fragen und Antworten der LLMs

Schreibe eine ausführliche Erklärung als Lernmaterial über LLM.
Wie funktionieren Sie?
Was sind Tokens, Prompts und Kontextlängen?
Wie suchen LLM nach Wahrscheinlichkeit welches Wort als nächste geschrieben werden soll?

📘 Wie funktionieren Large Language Models (LLMs)?

Was ist Quantisierung bei LLMs?

📉 Quantisierung bei LLMs

Beschreibe genauer warum so viel Arbeitsspeicher benötigt wird.
Warum werden vorallem VRAM und GPUs statt normaler RAM und CPUs verwendet?

🧠 Speicherbedarf und Hardware bei LLMs

Was sind NPUs?

⚡ NPUs – Die Spezialisten für lokale KI

Wie genau werden LLMs trainiert?
Mit was werden LLMs trainiert?

🎓 Das Training von LLMs

Wie genau ist die LLM-Parameter-Datei mit den Gewichtungen aufgebaut?
Ist es wie eine Art Hash-Tabelle für Wörter, welche in einer Mindmap gegliedert sind?

🔬 Wie sieht die Parameter-Datei eines LLM aus?

Weiß eine LLM genau die Bedeutung eines Satzes?

🔍 Versteht eine KI wirklich, was sie sagt?

Warum sind LLMs so trainiert, dass sie den Benutzern immer über freundlich und hilfsbereit erscheinen, aber bei Fehlern teilweise auf ihren fehlerhaften Text beharren?

🎭 Das Paradoxon des höflichen KI-Assistenten

Ist es sinnvoll bei fehlerhaften Antworten der LLM ein neuen Chat zu starten?
Ist es allgemein sinnvoll mit neuen LLM-Chats den Kontextinhalt des Chats klein zu halten?

🧹 Chat-Hygiene – Strategien für maximale Genauigkeit

Was sind KI-Agenten? Wie sollte man KI-Agenten einrichten? Welche Agenten-Prompt-Struktur sollte man verwenden?

🤖 KI-Agenten – Von der Antwort zur Aktion

Was ist bei KI-Agenten ein MCP-Server?
Was sind KI-Agenten wie OpenClaw oder Hermes Agent?

⚙️ Die Infrastruktur von Agenten – MCP & Frameworks

Warum kann eine LLM konkret das Framework so steuern, um beispielsweise ein Befehl in der Shell auszuführen oder eine DOCX-Datei mit Inhalt zu füllen und zu speichern?

🛠️ Wie die Steuerung konkret funktioniert (Tool-Calling)

Welche Grenzen sollte man bei der Benutzung von LLMs kennen?
Beispielsweise kann eine LLM von sich aus rechnen?

⚠️ Die Grenzen von LLMs – Was die KI (nicht) kann

Gibt es gesellschaftliche Folgen für den Menschen?

🌍 Gesellschaftliche Folgen von LLMs

Bonus-Modul
Wie funktioniert das Erstellen von generativen Bildern und Videos?

🎨 Bonus: Generative KI für Bilder & Videos

Eine Endkommunikation zwischen User und LLM. Darin weißt der User auf das Unvermögen des Denkens der KI hin und bedankt sich dennoch. Die LLM antwortet mit einem überaus höfflichen und positiven Text, welches das Gelernte in den Vordergrund stellt und das diese Erkenntnis auf Grund der Wissensvermittlung stattfand.

15 Gedanken zu “Wie funktionieren eigentlich LLMs?

  1. Pingback: 📉 Quantisierung bei LLMs | LierschIT

  2. Pingback: 🧠 Speicherbedarf und Hardware bei LLMs | LierschIT

  3. Pingback: ⚡ NPUs – Die Spezialisten für lokale KI | LierschIT

  4. Pingback: 🎓 Das Training von LLMs | LierschIT

  5. Pingback: 🔬 Wie sieht die Parameter-Datei eines LLM aus? | LierschIT

  6. Pingback: 🔍 Versteht eine KI wirklich, was sie sagt? | LierschIT

  7. Pingback: 🎭 Das Paradoxon des höflichen Assistenten | LierschIT

  8. Pingback: 🧹 Chat-Hygiene – Strategien für maximale Genauigkeit | LierschIT

  9. Pingback: 🤖 KI-Agenten – Von der Antwort zur Aktion | LierschIT

  10. Pingback: ⚙️ Die Infrastruktur von Agenten – MCP & Frameworks | LierschIT

  11. Pingback: 🛠️ Wie die Steuerung konkret funktioniert (Tool-Calling) | LierschIT

  12. Pingback: ⚠️ Die Grenzen von LLMs – Was die KI (nicht) kann | LierschIT

  13. Pingback: 🌍 Gesellschaftliche Folgen von LLMs | LierschIT

  14. Pingback: 🎨 Bonus: Generative KI für Bilder & Videos | LierschIT

  15. Pingback: 📘 Wie funktionieren Large Language Models (LLMs)? | LierschIT

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert