Eine KI, die auf dem eigenen Rechner läuft: ohne Abo, ohne Werbung und ohne dass deine Fragen auf fremden Servern landen. Das geht inzwischen erstaunlich einfach. Die entscheidende Frage ist nur, wie viel Speicher dein Gerät hat, denn davon hängt ab, wie groß das Sprachmodell sein darf.
Gerade weil bei ChatGPT jetzt Werbung kommt, lohnt sich ein Blick auf die Alternative. Hier steht, welche Hardware für welche lokale KI reicht, vom Raspberry Pi bis zur KI-Workstation.
Das Wichtigste in Kürze
- Entscheidend ist der Speicher, nicht der Prozessor: Das Modell muss komplett in den Arbeits- oder Grafikspeicher passen, sonst wird es sehr langsam.
- Faustregel für gängige 4-Bit-Modelle: rund 0,6 GB pro Milliarde Parameter, dazu 1 bis 2 GB Reserve.
- Mit 16 GB laufen kleine und mittlere Modelle, zum Beispiel gpt-oss-20b von OpenAI.
- Grafikkarten sind am schnellsten, Geräte mit gemeinsamem Speicher (Mac, Ryzen AI, DGX Spark) schaffen dafür größere Modelle.
- Zum Ausprobieren reicht das kostenlose Programm Ollama, es läuft unter Windows, macOS und Linux.
Die Faustregel: Wie viel Speicher braucht ein Modell?
Sprachmodelle werden nach ihrer Größe in Milliarden Parametern benannt, kurz B. Ein „8B“-Modell hat acht Milliarden Parameter. Für den Heimgebrauch werden die Modelle fast immer komprimiert (quantisiert), meist auf 4 Bit. Dann gelten ungefähr diese Werte:
| Modellgröße | Speicherbedarf (4 Bit, ca.) | Typisch für |
|---|---|---|
| 3 bis 4 B | 3 GB | einfache Fragen, Zusammenfassungen |
| 7 bis 8 B | 5 GB | Chat, Texte umformulieren |
| 13 bis 14 B | 9 bis 10 GB | bessere Texte, einfacher Code |
| 27 bis 32 B | 18 bis 20 GB | anspruchsvoller Chat, Programmieren |
| 70 B | 40 bis 45 GB | nah an großen Cloud-Modellen |
| 120 B (gpt-oss-120b) | rund 80 GB | Experten-Niveau, viel Kontext |
Zum Modell kommt noch Speicher für den Gesprächsverlauf (Kontext) und das Betriebssystem. Wer knapp plant, merkt das an einer KI, die plötzlich im Schneckentempo antwortet, weil Teile des Modells in den langsameren Arbeitsspeicher oder auf die Festplatte ausweichen.
Welche Hardware schafft welche KI?
| Gerät | Speicher | Was realistisch läuft |
|---|---|---|
| Raspberry Pi 5 | bis 16 GB Arbeitsspeicher | kleine Modelle (3 bis 4 B), langsam, gut zum Basteln |
| Mini-PC mit Intel N100 | laut Intel höchstens 16 GB | kleine Modelle bis etwa 8 B, eher langsam |
| Mac mini mit M6 | 16, 24 oder 32 GB gemeinsamer Speicher | mit 16 GB Modelle bis 8 B, mit 32 GB bis etwa 30 B |
| Mac mini mit M5 Pro | 24, 48 oder 64 GB | mit 64 GB auch 70-B-Modelle |
| PC mit GeForce RTX 5090 | 32 GB Grafikspeicher | Modelle bis etwa 30 B, sehr schnell |
| Framework Desktop (Ryzen AI Max+ PRO 495) | bis 192 GB gemeinsamer Speicher | laut Hersteller Modelle der 300-B-Klasse in 4 Bit |
| NVIDIA DGX Spark | 64 oder 128 GB | laut NVIDIA bis 100 bzw. 200 Milliarden Parameter |
Ein Unterschied ist wichtig: Eine Grafikkarte wie die RTX 5090 rechnet sehr schnell, hat aber nur 32 GB eigenen Speicher. Macs, der Framework Desktop und die DGX Spark teilen sich einen großen gemeinsamen Speicher zwischen Prozessor und Grafik. Sie sind pro Antwort meist langsamer, können dafür aber deutlich größere Modelle laden.
Mein Rechner hat 16 GB, was nun?
Mit 16 GB bist du gut dabei. OpenAI gibt für sein offenes Modell gpt-oss-20b an, dass es mit 16 GB Speicher läuft. Auch die vielen Modelle zwischen 7 und 14 B passen. Für 70-B-Modelle oder gpt-oss-120b reicht das nicht, dafür braucht es 48 GB und mehr.
So probierst du es aus
- Ollama von ollama.com herunterladen und installieren (Windows, macOS, Linux).
- Ein kleines Modell laden, zum Beispiel mit dem Befehl
ollama run gpt-oss:20bbei 16 GB oder ein 3-B-Modell bei weniger Speicher. - Klappt es flüssig, kannst du dich Stück für Stück an größere Modelle herantasten.
Ein Hinweis zur Erwartung: Auch die großen lokalen Modelle sind nicht ganz auf dem Stand der neuesten Cloud-KIs. Für Texte, Zusammenfassungen, Ideen und einfache Programmieraufgaben reichen sie aber gut, und deine Daten bleiben bei dir.
Quellen
- OpenAI: Model Card gpt-oss-20b und gpt-oss-120b (Speicherbedarf, Lizenz)
- Ollama: Programm und unterstützte Systeme
- Raspberry Pi 5: technische Daten
- Intel: Prozessor N100, technische Daten
- Apple: Mac mini, technische Daten
- NVIDIA: GeForce RTX 5090
- Framework: Desktop
- NVIDIA: DGX Spark
- Local AI Master: RAM-Bedarf lokaler Modelle (Richtwerte)
- Serverman: Speicherbedarf von Ollama-Modellen (Richtwerte)
Stand: 4. November 2026. Speicherwerte sind Richtwerte für 4-Bit-Modelle, Gerätedaten laut Herstellern.
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.