Octopi / Ratgeber / KI lokal auf dem Mac
Ratgeber
KI lokal auf dem Mac ausführen: So geht’s
Ja, das geht: Ein Mac mit Apple Silicon kann ein leistungsfähiges KI-Modell vollständig auf dem Gerät ausführen — ohne Gebühren pro Nachricht. Hier lesen Sie, was Sie dafür brauchen, wie viel Arbeitsspeicher jede Modellgröße belegt und welche zwei Wege zur Einrichtung es gibt: von Hand mit dem kostenlosen Tool Ollama oder mit einer App, die das für Sie erledigt.
Hinweis: Die Programmoberfläche von Octopi ist auf Englisch.
Warum ein KI-Modell lokal ausführen?
Ein lokales Modell ist ein großes Sprachmodell (LLM, Large Language Model), das auf Ihrem eigenen Computer läuft statt auf den Servern eines Unternehmens. Sie laden es einmal herunter, und jede Antwort wird auf Ihrem Mac berechnet.
Ihre Eingaben bleiben auf Ihrem Mac
Was Sie fragen und einfügen, wird auf Ihrem eigenen Computer verarbeitet. Kein KI-Anbieter erhält es, und keiner bewahrt es nach seinen eigenen Bedingungen auf.
Keine Gebühren pro Nachricht
Die Software und viele Modelle können Sie kostenlos herunterladen, und ein Modell zu nutzen, das auf Ihrem Mac liegt, kostet nichts zusätzlich.
Das Modell Ihrer Wahl
Sie bestimmen Modell, Größe und den Zeitpunkt von Updates — oder Sie behalten mehrere Modelle und vergleichen sie.
Niemand ändert es hinter Ihrem Rücken
Ein Modell auf Ihrem Mac arbeitet weiter wie gewohnt, auch wenn ein Anbieter seine Preise, Bedingungen oder sein Modellangebot ändert.
Die ehrlichen Grenzen. Lokale Modelle sind kleiner als die größten Cloud-Modelle und daher schwächer bei komplexen, mehrstufigen Denkaufgaben und bei Spezialwissen. Chip und Arbeitsspeicher Ihres Macs begrenzen Tempo und Modellgröße, und ein Modell kann nichts nachschlagen, solange die App drumherum das nicht übernimmt. Den direkten Vergleich finden Sie unter lokale KI vs. Cloud-KI; für Organisationen lohnt sich ein Blick darauf, was souveräne KI bedeutet.
Was brauchen Sie, um ein LLM lokal auf dem Mac zu betreiben?
Ein Mac mit M-Chip
Jeder Mac mit einem Apple-M1-Chip oder einem neueren Chip der M-Serie. So prüfen Sie es: Wählen Sie Apple-Menü ▸ Über diesen Mac — dort sehen Sie Chip und Arbeitsspeicher.
Warum diese Macs gut geeignet sind
Prozessor und Grafikchip teilen sich einen gemeinsamen Arbeitsspeicher (Unified Memory), sodass der Grafikchip ein geladenes Modell direkt nutzen kann. Der Haken: Das Modell muss neben allem anderen, was Sie geöffnet haben, in den Speicher passen.
Nicht gut geeignet
Intel-Macs haben keinen gemeinsamen Arbeitsspeicher, deshalb führen lokale KI-Tools Modelle dort in der Regel nur auf dem Prozessor aus — deutlich langsamer. Manche Apps, darunter Octopi, unterstützen nur Apple Silicon.
Platz für den Download
Jedes Modell ist ein großer Download — von etwa 2 GB für ein kleines Modell bis zu 20 GB oder mehr für ein großes — plus etwas freier Speicherplatz als Reserve.
Wie viel RAM brauchen Sie für lokale KI?
Am wichtigsten ist der Arbeitsspeicher. Die Größe eines Modells wird in Parametern angegeben („7B“ steht für etwa sieben Milliarden), und größere Modelle brauchen mehr Speicher. Eine grobe Orientierung für die 4-Bit-Versionen, die die meisten nutzen:
| Arbeitsspeicher Ihres Macs | Modellgröße, die bequem passt | Download, ungefähr (4 Bit) | Beispielmodelle |
|---|---|---|---|
| 8 GB | Etwa 3B | Etwa 2 GB | Qwen2.5 3B, Llama 3.2 3B |
| 16 GB | 7B–8B | Etwa 4,5–5 GB | Qwen2.5 7B, Llama 3.1 8B, Mistral 7B |
| 32 GB | Etwa 14B | Etwa 9 GB | Qwen2.5 14B |
| 64 GB oder mehr | Etwa 32B und größer | Etwa 20 GB für 32B; 40 GB oder mehr für 70B | Qwen2.5 32B; Modelle der 70B-Klasse wie Llama 3.1 70B auf Macs mit dem meisten Arbeitsspeicher |
Eine grobe Orientierung, keine Garantie. Planen Sie Reserven ein: macOS und Ihre anderen Apps brauchen ebenfalls Speicher, und ein langes Gespräch oder Dokument belegt mehr. Liegt Ihr Mac zwischen zwei Zeilen, richten Sie sich nach der kleineren.
Was ist Quantisierung?
Ein Modell besteht größtenteils aus einer riesigen Liste von Zahlen, den sogenannten Gewichten. Bei der Quantisierung wird jedes Gewicht mit weniger Bits gespeichert — meist 4 —, sodass die Datei auf einen Bruchteil ihrer veröffentlichten Größe schrumpft und in den Arbeitsspeicher eines Laptops passt. Der Preis ist ein moderater Qualitätsverlust, auf dem eigenen Rechner meist ein lohnender Kompromiss. Bezeichnungen wie „4-Bit“ oder „Q4“ kennzeichnen diese Versionen, und die Standard-Downloads von Ollama sind in der Regel bereits 4-Bit-Versionen.
Option 1: Ollama auf dem Mac selbst einrichten
Ollama ist ein kostenloses Open-Source-Tool, das Modelle herunterlädt und auf Ihrem Mac ausführt — im Terminal oder für Apps, die sich damit verbinden.
Ollama installieren
Laden Sie Ollama für macOS von ollama.com herunter, ziehen Sie es in den Ordner „Programme“ und öffnen Sie es. Es läuft im Hintergrund, mit einem Symbol in der Menüleiste, und stellt im Terminal den Befehl ollama bereit.
Ein Modell starten
Öffnen Sie das Terminal und geben Sie ollama run qwen2.5:7b ein. Beim ersten Mal wird dabei das Modell heruntergeladen — etwa 4,7 GB —, danach öffnet sich eine Chat-Eingabe. Bei späteren Starts wird die Kopie auf Ihrem Mac verwendet.
Chatten, dann aufräumen
Tippen Sie eine Frage ein und drücken Sie die Eingabetaste; die Antwort erscheint, während sie geschrieben wird. Mit /bye beenden Sie den Chat. Mit den Befehlen unten listen Sie Modelle auf, fügen neue hinzu und entfernen sie.
| Befehl | Was er bewirkt |
|---|---|
ollama run qwen2.5:7b | Lädt das Modell bei Bedarf herunter und startet dann einen Chat im Terminal |
ollama pull llama3.1:8b | Lädt ein Modell herunter, ohne einen Chat zu starten |
ollama list | Listet die Modelle auf Ihrem Mac mit ihrer Größe auf |
ollama ps | Zeigt, welche Modelle gerade im Arbeitsspeicher geladen sind |
ollama rm qwen2.5:7b | Löscht ein Modell und gibt seinen Speicherplatz frei |
/bye | Beendet den Chat |
Die Modellnamen stammen aus der Bibliothek auf ollama.com. Der Teil nach dem Doppelpunkt legt meist die Größe fest, etwa qwen2.5:3b oder qwen2.5:14b.
Ollama ist nicht der einzige Weg. LM Studio ist eine Desktop-App mit grafischer Oberfläche, in der Sie Modelle per Mausklick finden, herunterladen und mit ihnen chatten. llama.cpp ist eine Open-Source-Engine, die Modelle über die Kommandozeile ausführt, und der Ursprung des GGUF-Modellformats, das viele lokale Tools verwenden. Wählen Sie die Oberfläche, die Ihnen am besten liegt.
Unsere App · ein Beispiel
Option 2: Eine App übernimmt die Einrichtung (so macht es Octopi)
Wenn Sie das Terminal lieber auslassen, kann eine App die Einrichtung übernehmen. Octopi, die kostenlose Mac-App, die diesen Ratgeber veröffentlicht, ist ein Beispiel dafür. Die App macht aus Aufgaben, die Sie in einfachem Englisch beschreiben, fertige Tabellen, und ihr Chat führt über Ollama ein Open-Weight-Modell auf Ihrem Mac aus.
Nutzt Ollama oder installiert es
Läuft Ollama bereits auf Ihrem Mac, verwendet Octopi es. Wenn nicht, kann Octopi eine fest vorgegebene, per Prüfsumme verifizierte Ollama-Version installieren und beendet sie, wenn Sie Octopi beenden.
Ein Modell, das zu Ihrem Arbeitsspeicher passt
Das Fenster „Models“ bietet vier Qwen-Größen (siehe unten) sowie Llama 3.1, Mistral, Gemma 2 und jedes Modell, das bereits in Ihrem Ollama liegt. Die Prompts von Octopi sind auf Qwen abgestimmt, das Standardmodell.
Dokumente, Web und CRM
Hängen Sie eine PDF-, Word-, RTF- oder Textdatei an (auf Ihrem Mac gelesen, nie hochgeladen), oder lassen Sie Octopi im Web oder in Salesforce, HubSpot oder Pipedrive nachschlagen. Das Gespräch wird nicht gespeichert.
Online für das, worum Sie bitten
Octopi geht online für Abfragen, um die Sie bitten, für den einmaligen Modell-Download, für die Suche nach Updates sowie für Nutzungsstatistiken und Fehlerberichte (standardmäßig an; abschaltbar unter Settings ▸ Privacy).
| Größe in Octopi | Modell | Download | Empfohlen für |
|---|---|---|---|
| Light | qwen2.5:3b-instruct | ~1,9 GB | Unter 12 GB Arbeitsspeicher |
| Balanced | qwen2.5:7b-instruct | ~4,7 GB | Standard ab 12 GB |
| Newest | qwen3.5:9b | ~6,6 GB | Ab 16 GB; spürbar langsamer |
| Advanced | qwen2.5:14b-instruct | ~9,0 GB | Braucht etwa 32 GB |
Beim Wechsel zwischen den Octopi-eigenen Modellen wird das ersetzte Modell entfernt. Der Chat lehnt Modelle ab, die Ollama in seiner eigenen Cloud ausführt.
Kostenlos, kein Konto nötig, macOS 13 oder neuer auf Apple Silicon. Mehr dazu: Mit Open-Source-KI-Modellen auf dem Mac chatten (Englisch).
Tipps und Fehlerbehebung
Die erste Antwort dauert länger
Das Modell muss zuerst in den Arbeitsspeicher geladen werden. Deshalb dauert die erste Antwort nach dem Start länger — oder nach einer Pause, falls es zwischendurch entladen wurde.
Wenn Ihr Mac kaum noch reagiert
Ein Modell, das nicht passt, zwingt macOS, Arbeitsspeicher auf die SSD auszulagern. Schließen Sie speicherhungrige Apps; zeigt die Aktivitätsanzeige ▸ Speicher danach immer noch einen gelben oder roten Speicherdruck, wählen Sie eine kleinere Größe.
Überlassen Sie Ollama die Dateien
Ollama legt Modelle in einem eigenen Ordner ab (standardmäßig ein versteckter Ordner .ollama in Ihrem Benutzerordner). Verwenden Sie ollama rm, statt Dateien von Hand zu löschen.
Prüfen Sie, ob ein Modell lokal läuft
Die Bibliothek von Ollama führt auch einige Modelle, die auf Ollamas eigenen Servern laufen statt auf Ihrem Mac. Wenn es Ihnen um Datenschutz geht, wählen Sie Modelle, die heruntergeladen und lokal ausgeführt werden.
Welches lokale Modell sollten Sie wählen?
Beginnen Sie mit einem bekannten Instruct-Modell (auf Chats abgestimmt) in der Größe, die Ihr Arbeitsspeicher zulässt, testen Sie es an echten Aufgaben und gehen Sie dann eine Größe hoch oder runter.
| Ihr Schwerpunkt | Empfohlener Einstieg | Warum |
|---|---|---|
| Allgemeiner Chat und Entwürfe | Ein Instruct-Modell mit 7–8B: Qwen2.5 7B, Llama 3.1 8B, Mistral 7B oder Gemma 2 9B | Solide Antworten für fast alles; passt auf einen Mac mit 16 GB |
| Fragen zu langen Dokumenten | Das größte Modell, das Ihr Arbeitsspeicher zulässt | Lange Texte brauchen zusätzlichen Speicher, und größere Modelle behalten Details meist besser im Blick |
| Strukturierte Daten: Tabellen, Felder, JSON | Ein Instruct-Modell ab 7B | Kleinere Modelle weichen häufiger vom Format ab; testen Sie zuerst mit eigenen Beispielen |
| Das Beste aus einem Mac mit 8 GB | Ein 3B-Modell | Gut für kurze Fragen und schnelle Entwürfe |
Prüfen Sie die Lizenz. Lizenzen unterscheiden sich sogar innerhalb einer Modellfamilie: Qwen2.5 7B und 14B sowie Mistral 7B stehen unter Apache 2.0, Qwen2.5 3B dagegen unter der Qwen Research License, die nur die Nutzung zu Forschungs- oder Evaluierungszwecken erlaubt. Llama 3.1 von Meta hat eine eigene Community-Lizenz mit Bedingungen; für Gemma von Google gelten die Gemma Terms of Use. Lesen Sie die Modellkarte (Model Card) und die Lizenz genau des Modells und der Größe, die Sie verwenden. Mehr dazu im Ratgeber Open-Source- vs. Open-Weight-KI. Dies sind allgemeine Informationen, keine Rechtsberatung.
Häufige Fragen
Kann ich ein lokales LLM auf einem Mac mit 8 GB Arbeitsspeicher nutzen?
Ja, ein kleines. Ein Modell mit rund 3B Parametern (ein Download von etwa 2 GB) passt und bewältigt kurze Fragen und schnelle Entwürfe. Schließen Sie vorher speicherhungrige Apps und rechnen Sie bei komplexen Aufgaben mit schwächeren Antworten.
Ist Ollama kostenlos?
Ja. Ollama ist kostenlose Open-Source-Software, mit der Sie Modelle auf Ihrem eigenen Computer ausführen. Viele Modelle lassen sich ebenfalls kostenlos herunterladen, aber jedes hat seine eigene Lizenz.
Funktioniert ein lokales KI-Modell ohne Internet?
Das Modell selbst, ja: Einmal heruntergeladen, führt ein Tool wie Ollama es ganz ohne Verbindung aus. Für den Download brauchen Sie Internet, und Apps, die auf einem Modell aufbauen, gehen für Funktionen wie die Websuche unter Umständen online.
Ist ein lokales Modell so gut wie ein KI-Assistent aus der Cloud?
Nicht für alles. Die größten Cloud-Modelle sind stärker bei komplexen Denkaufgaben und Fachfragen. Ein gutes lokales Modell bewältigt Alltagsfragen, Entwürfe und Zusammenfassungen, behält Ihre Eingaben auf Ihrem Mac und kostet nichts pro Nachricht.
Wie lösche ich ein Modell, um Speicherplatz freizugeben?
Mit Ollama: Führen Sie ollama list aus, um Ihre Modelle und deren Größe zu sehen, dann ollama rm mit dem Namen des Modells — zum Beispiel ollama rm qwen2.5:7b.
Weiterlesen
Ein lokales Modell auf Ihrem Mac, fertig eingerichtet
Octopi nutzt oder installiert Ollama, schlägt eine passende Modellgröße für Ihren Mac vor und gibt Ihnen einen Chat, der darauf läuft — kostenlos, ohne Konto, die Cloud ist rein optional.
Octopi kostenlos laden