Lokale KI: So läuft ein Chatbot auf deinem eigenen Rechner

ChatGPT und Co. laufen auf den Servern der Anbieter. Alles, was du eintippst, wird also übers Internet geschickt. Für viele Aufgaben ist das kein Problem. Wenn du aber mit privaten Notizen, Kundendaten oder internen Dokumenten arbeitest, ist eine andere Lösung spannend: ein Sprachmodell, das direkt auf deinem eigenen Rechner läuft.

Das klingt kompliziert, ist es heute aber kaum noch. Wir stellen dir vier Programme vor, mit denen du in wenigen Minuten startest. Alle Angaben stammen von den offiziellen Seiten, aufgerufen am 1. November 2026.

Warum überhaupt lokal?

• Privatsphäre: Deine Eingaben müssen den Rechner nicht verlassen.
• Offline: Ist das Modell einmal geladen, brauchst du für den Chat kein Internet.
• Keine laufenden Kosten: Die vier Hauptprogramme in diesem Beitrag lassen sich kostenlos nutzen. Du zahlst höchstens mit Strom und Speicherplatz.

Der Haken: Lokale Modelle brauchen Leistung. Je größer das Modell, desto mehr Arbeitsspeicher und Grafikleistung braucht dein Rechner. Für einfache Aufgaben wie Zusammenfassen, Umformulieren oder Brainstorming reichen aber oft schon kleinere Modelle.

Ollama: der Klassiker für Technikfans

Ollama ist ein Werkzeug, um offene Sprachmodelle zu laden und zu starten, wahlweise lokal oder in der Cloud. Das Projekt steht unter der MIT-Lizenz und ist auf GitHub zu finden. Installieren lässt es sich auf macOS, Windows und Linux. Ollama schreibt auf seiner Startseite, dass Prompts weder gespeichert noch zum Training verwendet werden.

Ollama richtet sich eher an Leute, die keine Angst vor der Kommandozeile haben. Dafür ist es die Grundlage für viele andere Programme, die Ollama im Hintergrund nutzen.

• Lizenz: MIT (Open Source)
• Zu Ollama

LM Studio: bequem mit Oberfläche

LM Studio ist eine Desktop-App, in der du lokale Modelle direkt herunterlädst und nutzt. Unter der Haube arbeiten laut Hersteller llama.cpp und MLX. Der kostenlose Plan „Free“ umfasst das Ausführen lokaler Modelle auf deinem Rechner. Dazu gibt es einen Agenten namens Bionic, der beim Schreiben, Programmieren und bei Automatisierungen hilft. Wer mehr will, kann optional bezahlte Cloud-Modelle dazubuchen.

Gut zu wissen: LM Studio ist kostenlos, aber kein Open-Source-Projekt im engeren Sinn.

• Zu LM Studio

Jan: die offene ChatGPT-Alternative

Jan beschreibt sich auf GitHub als Open-Source-Alternative zu ChatGPT, die zu 100 Prozent offline auf deinem Computer läuft. Der Code steht unter der Apache-2.0-Lizenz. Die Oberfläche erinnert an bekannte Chat-Apps, deshalb ist Jan ein guter Start für alle, die einfach loslegen wollen.

• Lizenz: Apache 2.0 (Open Source)
• Zu Jan

AnythingLLM: Chat mit deinen Dokumenten

AnythingLLM geht einen Schritt weiter. Neben dem Chat kannst du eigene Dokumente einbinden, die dann zum Wissen deines Assistenten werden, ohne dass Daten das Gerät verlassen. Laut Hersteller braucht die App kein Konto und keinen API-Schlüssel. Sie läuft auf macOS, Windows und Linux und steht unter der MIT-Lizenz.

• Lizenz: MIT (Open Source)
• Zu AnythingLLM

Bonus: Open WebUI für Selbsthoster

Wenn du einen eigenen Server betreibst, ist Open WebUI interessant. Es ist eine Weboberfläche, die du selbst hostest und mit Ollama oder mit Cloud-Anbietern wie OpenAI und Anthropic verbindest. So nutzt die ganze Familie oder das Team dieselbe KI über den Browser. Zu Open WebUI

So startest du in drei Schritten

• Programm herunterladen, für Einsteiger am einfachsten Jan oder LM Studio.
• Ein kleines Modell auswählen und laden. Die Apps zeigen dir an, welche Modelle es gibt.
• Lostippen und testen, ob die Antworten für deine Aufgaben reichen.

Fazit

Lokale KI ist kein Ersatz für die stärksten Cloud-Modelle, aber eine sehr gute Ergänzung. Für private Texte, Notizen und Dokumente bist du damit auf der sicheren Seite. Mehr Open-Source-Tools findest du in unserem Tool-Verzeichnis.