Über dieses Blog Blog-Beiträge Tags Impressum Datenschutz E-Book
Befreiung vom (digitalen) Überfluss

Lokale KI-Modelle als Alternative zur Cloud-Abhängigkeit

Wenn KI-Dienste immer teurer und schlechter werden, können sich lokale, quelloffene Sprachmodelle zu echten Alternativen entwickeln. Ein Blick auf Enshittification, das rechte Maß und erste praktische Schritte.

Die Enshittification1 bei KI-Diensten ist bereits in vollem Gange: sie werden teurer und schlechter. GitHub Copilot ist im Juni 2026 komplett auf tokenbasierte2 Abrechnung umgestiegen, Anthropic und OpenAI bewegen sich in dieselbe Richtung, weil die 20-Dollar-Flatrate strukturell unhaltbar ist. Beide Firmen geben immer noch viel mehr für Training und Betrieb ihrer Modelle aus, als sie einnehmen und es ist zweifelhaft, ob sie jemals kostendeckend arbeiten können. Parallel beginnt die Werbung: OpenAI schaltet sie bereits in den Gratis-Tarifen von ChatGPT, Google in den KI-Übersichten der Suche. Wer wenig zahlt, bekommt zunehmend Werbung und/oder schlechtere Qualität. Wer KI professionell einsetzen will, muss entweder viel zahlen, oder sich Alternativen überlegen.

Außerdem halte ich das Ziel der Unternehmen, möglichst schnell eine AGI3 zu entwickeln und agentische, selbstverbessernde System zu erschaffen, für äußerst fragwürdig. Die Entwicklung ist mittlerweile vollkommen losgelöst von der Frage, wozu wir KI-Systeme eigentlich brauchen und in welchem Verhältnis Nutzen zu Ressourcen- und Energieverbrauch stehen.

Genau hier setzt die Überlegung zu lokalen LLMs an.4 Noch lohnt sich der Einsatz eines schwächeren lokalen Modells kaum, solange leistungsfähige Cloud-Modelle kostenlos verfügbar sind. Aber das dreht sich gerade: Offene Open-Source-Modelle laufen inzwischen auf normalen PCs und halten in vielen Alltagsaufgaben mit, unterstützt durch Quantisierung (ein Verfahren, das Modelle rechnerisch verschlankt) und stetig kleinere, leistungsfähigere Modelle. Für 2026/27 wird erwartet, dass 1-3B-Modelle5 bereits leisten, wofür 2023 noch deutlich größere Modelle nötig waren.

Damit entsteht – anders als bei sozialen Netzwerken, wo Nutzer wegen der Netzwerkeffekte gefangen blieben – eine echte Alternative: Ein lokales oder spezialisiertes Modell kann Alltagsaufgaben wie Zusammenfassen, Textentwürfe oder Unterstützung beim Programmieren fast vollständig übernehmen, ohne Abhängigkeit von einem Cloud-Anbieter.

Das ermöglicht ein zweigleisiges Vorgehen: teure, tokenbasiert abgerechnete Spitzenmodelle für komplexe Spezialaufgaben, lokale, selbstgehostete LLMs für die Alltagsarbeit. Neben der Kostenfrage kommen ethische Gründe hinzu: Datenschutz, Klimaschutz, und eine bewusste Beschränkung, die davor schützt, ein Werkzeug gedankenlos einzusetzen und das Selberdenken aufzugeben. Man könnte auch sagen: das rechte Maß finden – eine benediktinische Tugend, die auch im Umgang mit KI ihren Sinn hat.

Einfach mal ausprobieren

Anders, als man eigentlich erwarten könnte, ist der Einstieg in die Nutzung lokaler LLMs ziemlich einfach. Auf PC-Hardware kann man LM Studio installieren, dort ein Sprachmodell herunterladen und direkt loslegen. Auf dem Smartphone geht es mit der App PocketPal.

Es versteht sich von selbst, dass ein High-End-Gaming-PC mit leistungsfähiger GPU6 oder ein aktuelles Spitzen-Smartphone leistungsfähiger ist als ältere Geräte. Sinnvoll testen kann man ab 16 GB Arbeitsspeicher und einem Prozessor der letzten fünf Jahre. Damit laufen dann kleinere Modelle (3 bis 8 Milliarden Parameter5) brauchbar. Eine Grafikkarte ist kein Muss, beschleunigt die Antworten aber deutlich; schon eine gebrauchte RTX 3060 mit 12 GB VRAM für 200–250 € macht aus einer zähen eine flüssige Angelegenheit. Wer einen Mac mit Apple-Silicon-Chip (M1 oder neuer) besitzt, ist gut aufgestellt, da dessen Arbeitsspeicher direkt für die Modelle mitgenutzt wird.

Auf dem Smartphone gilt Ähnliches: PocketPal empfiehlt mindestens 6 GB RAM für kleinere Modelle, ab 8 GB wird es richtig nutzbar. Das entspricht etwa einem iPhone 16 oder einem Galaxy S24 sowie vergleichbaren Mittelklasse-Geräten der letzten zwei bis drei Jahre.

Wichtig ist die Auswahl geeigneter LLM-Modelle, die auf der eigenen Hardware ein Optimum von Leistung zu vertretbaren Antwortzeiten herausholen. Hierfür kann ich keine pauschalen Empfehlungen geben. Ich rate dazu, die eigenen Hardware-Kenndaten und Erwartungen bei einem der großen Cloud-Chatbots (ChatGPT, Claude, Gemini, …) zu posten und nach konkreten Modell-Empfehlungen zu fragen und dann einfach mal mit ein paar Test-Prompts7 aus der eigenen Alltagspraxis zu beginnen. So bekommt man schnell ein Gefühl dafür, ob ein Modell für die eigenen Zwecke taugt oder nicht.

Perspektivisch kann man darüber nachdenken, ggf. den eigenen Arbeitsspeicher aufzurüsten oder sich leistungsfähigere Hardware anzuschaffen (wie einen Gaming-PC). Als Firma oder Organisation könnte es Sinn machen, sich einen leistungsfähigen Server anzuschaffen oder bei einem Provider zu mieten und die lokalen LLMs im eigenen Netzwerk mehreren Usern zugänglich zu machen. Damit bliebe man auch bei sensiblen Daten – etwa in der Beratung oder in der Verwaltung kirchlicher und diakonischer Einrichtungen – unabhängig von externen Cloud-Diensten.

Feintuning

Neben einer halbwegs leistungsfähigen Hardware und der Auswahl geeigneter Sprachmodelle hat die Qualität der Antworten viel mit der Qualität der Fragen zu tun. Bei lokalen Sprachmodellen ist richtiges, gutes Prompting7 wichtiger als bei den großen Chatbots, die auch noch mit unpräzisen oder vagen Anfragen sinnvoll umgehen können. Ein eigener System-Prompt (ggf. je nach Sprachmodell und Einsatzgebiet) kann nützlich sein, und es gibt ein paar Parameter wie Temperatur8 und Kontextfenster9, die großen Einfluss auf die Antwort haben. Auch hierbei lohnt es sich, die eigenen Bedürfnisse und Rahmenbedingungen mit einem großen Cloud-Chatbot zu diskutieren und dann Einstellungen auszuprobieren. Pauschale Empfehlungen machen hier nicht viel Sinn – zu unterschiedlich sind Hardware, Modell und Einsatzzweck.

Wer über die erste Testphase hinaus ist, wird vielleicht mal Ollama mit Open WebUI ausprobieren wollen, das mehr individuelle Einstellungen ermöglicht und auch kostenpflichtige Sprachmodelle der großen Anbieter per API10 einbinden kann. Dann hat man alle Use-Cases in einer Oberfläche: vom kostenlosen lokalen Modell für Alltägliches bis zum teuren Spitzenmodell für die anspruchsvolle Ausnahme.

  1. Der Begriff stammt vom Autor Cory Doctorow und beschreibt einen dreistufigen Verfall: Anbieter locken zunächst mit einem attraktiven Angebot, verschlechtern es dann zugunsten von Werbe- und Geschäftskunden und beuten am Ende auch diese aus. Übrig bleibt ein Angebot, dessen Bedingungen bei bei Preisen, Werbung und Qualität die Anbieter einseitig diktieren. ↩︎

  2. Jede Anfrage wird dabei in kleine Texteinheiten, sogenannte “Token”, zerlegt – vergleichbar mit Silben oder kurzen Wortteilen – und zunehmend nach deren Anzahl abgerechnet statt über eine Monatspauschale. ↩︎

  3. AGI (Artificial General Intelligence) bezeichnet KI-Systeme, die menschliche kognitive Fähigkeiten in jedem beliebigen Aufgabengebiet weit übertreffen. ↩︎

  4. “LLM” steht für “Large Language Model”, ein auf großen Textmengen trainiertes Sprachmodell, das sich, anders als ChatGPT oder Claude, auch auf dem eigenen Rechner betreiben lässt ↩︎

  5. Die Größenangaben wie “3B” oder “7B” stehen für die Anzahl der Modellparameter in Milliarden (“B” wie “billion”) – grob ein Maß dafür, wie viel Rechenleistung ein Modell braucht. ↩︎ ↩︎

  6. GPU: die Grafikkarte des Rechners. Sie übernimmt bei lokalen Sprachmodellen den Großteil der Rechenarbeit und ist meist der entscheidende Flaschenhals für Geschwindigkeit und Modellgröße. ↩︎

  7. Prompt: die Eingabe bzw. Anfrage, die man an das Sprachmodell schickt. “Prompting” meint die Kunst, diese Anfrage so zu formulieren, dass eine brauchbare Antwort dabei herauskommt. ↩︎ ↩︎

  8. Temperatur: ein Einstellwert, der bestimmt, wie “kreativ” oder wie vorhersehbar das Modell antwortet. Niedrige Werte liefern eher nüchterne, konsistente Antworten, hohe Werte eher überraschende, aber auch unzuverlässigere. ↩︎

  9. Kontextfenster: die Menge an Text, die ein Modell gleichzeitig “im Blick” behalten und vom bisherigen Gespräch oder von einem eingefügten Dokument beim Antworten berücksichtigen kann. ↩︎

  10. API: eine Schnittstelle, über die ein Programm auf ein Sprachmodell zugreifen kann, ohne dass man dessen eigentliche Chat-Oberfläche benutzt. So lassen sich etwa kostenpflichtige Cloud-Modelle direkt in eine lokale Anwendung wie Open WebUI einbinden. ↩︎

« Home | Gehet barfuß! »