Lokale Tools

Hier nur mal grob angeschnitten, was es für lokale Möglichkeiten gibt, wenn ihr eine Grafikkarte mit mindesten 16 GB RAM habt. Es geht auch weniger oder über die CPU, aber die Geschwindigkeit ist dann stark eingeschränkt.

Mit AnythingLLM oder LM Studio kann man eine lokale LLM laufen lassen. Ganz hilfreich für einen privaten Assistenten. Die lassen sich dann auch mit Skills erweitern, so dass dann gewisse Aufgaben besser oder überhaupt abgearbeitet werden können. Websuche beispielsweise. Wie auch bei den Cloud-Varianten können auch Referenzdokumente hinterlegt werden, worauf sich das Modell dann beziehen tut.

Unter den lokalen Assistenten kann man dann auch OpenClaw dazu schreiben. Dieser ist aber deutlich umfangreicher was seine Möglichkeiten mit Skills umzugehen betrifft. Theoretisch könnt ihr damit auch Programme installieren lassen oder andere Tätigkeiten freigeben. Achtet auf ordentliche Zugriffsberechtigungen und auch auf die Token-Kosten über die API-Schnittstellen.

Eine einfache PDF über das Thema PoE hat 16€ Token-Kosten bei Infomaniak generiert.
Das Problem war, dass er wegen einer Grafik erst das gesamte Internet abgesucht hat. Dann, auf Grund von Bot Beschränkungen, versucht hat die Grafik über ein Markdown-Mermaid-Diagramm selbst zu erstellen und dafür eigenständig versucht hat eine Software zu installieren. Das führte dazu, dass der Assistent hunderte Mal sudo aufgerufen hat – also eine Bruteforce Attacke. Daraufhin war sudo erstmal für 10 Minuten gesperrt. Nach dem ich die benötigten Anwendungen installiert habe, hat er dann noch weitere Versuche unternommen diese Grafik zu zeichnen. Als letzten Ausweg hat er dann den Browser mit dem Mermaid-Diagramm geöffnet und versucht ein Screenshot zu erstellen um es als PNG abzuspeichern. Die PNG war defekt und die PDF sah wie folgt aus:

Dafür sieht es erstmal nicht schlecht aus. Problem, das hätte ich in einer Stunde besser hinbekommen. Das ganze Ding hat an zwei Abenden zusammen ungefähr 2 1/2 bis 3 Stunden gedauert. Und die Grafik ist immer noch nicht drin.

Ollama könnt ihr verwenden, wenn ihr Modelle als Dienst im Netzwerk zur Verfügung stellen wollt. OpenClaw könnt ihr dann auch komplett im LAN betreiben ohne auf die APIs der AI Service Provider zurückgreifen zu müssen.

Falls ihr Bilder, Videos oder Audiodateien erstellen wollt bietet sich ComfyUI an. In der Oberfläche könnt ihr eure eigenen Flows erstellen oder sehr gute vordefinierte Vorlagen herunterladen. Anschließend schreibt ihr einfach was ihr haben möchtet.

Wenn man gemini-cli unter Linux installiert, kann man in der Shell mit der Gemini-KI kommunizieren und Projekte und separate Agenten erstellen. Vorteil hier ist, dass man bei der Kommunikation mit einem kostenpflichtigen Abo von Gemini Token sparen kann, da auf diese Projekte zurückgegriffen werden kann. Es ist vor allem für Entwickler gedacht, die dann ihren Quellcode in die Projekte ablegen und diesen analysieren und assistieren lassen.

⬇️ Hier geht es zur nächsten Seite!