Lokale KI vs. Cloud-KI: Sie mieten Inferenz, die Sie besitzen könnten
Aggressive Quantisierung hat leistungsfähige offene Modelle vom Rechenzentrums- auf Laptop-Format geschrumpft. Damit ist die Frage, welchen Frontier-Anbieter man beauftragt, für einen wachsenden Teil der Unternehmensarbeit der falsche Ausgangspunkt.
Die meisten KI-Beschaffungsprojekte beginnen mit der Frage, welchen Anbieter man beauftragen soll. Das ist die falsche erste Frage, und der Vergleich lokale KI vs. Cloud-KI-Kosten zeigt warum. Die verbrauchsabhängige Token-Rechnung ist der sichtbarste Kostenpunkt beim Betrieb eines Modells und zugleich der uninteressanteste, denn ein wachsender Teil der dahinterliegenden Arbeit braucht gar kein fremdes Rechenzentrum mehr.
Folgen Sie dem Mechanismus, denn er ist kein Geheimnis. Die Gewichte eines Modells sind Zahlen, und wie viele Bits man pro Zahl aufwendet, ist eine technische Entscheidung, kein Naturgesetz. Sechzehn Bit pro Gewicht war lange der Standard. Forschung zu aggressiver Quantisierung, darunter veröffentlichte Arbeiten zu Modellen mit ternären Gewichten, die jeden Wert auf drei Zustände beschränken, hat diesen Wert in Richtung von rund zwei Bit gedrückt.
Rechnen Sie selbst nach, denn die Rechnung ist das ganze Argument. Nehmen Sie ein Modell mit 27 Milliarden Parametern. Bei sechzehn Bit pro Gewicht sind das rund 54 GB, was Server-Hardware voraussetzt. Bei etwa 1,58 Bit landet man bei ungefähr 6 GB. Bei einem Bit sind es rund 3,5 GB. Das sind Richtwerte aus Parameterzahl und Bitbreite, keine Benchmark-Ergebnisse eines konkreten Modells, und ein reales Setup bringt Zusatzaufwand mit, den diese Rechnung ausblendet. Was die Einschränkungen übersteht, ist die Größenordnung.
Eine 6-GB-Datei passt bequem auf ein Mittelklasse-Notebook. Eine 3,5-GB-Datei passt auf ein aktuelles Smartphone. Jedes Modell, das auf einem Handy läuft, läuft auch auf jedem Laptop, den Ihre Belegschaft ohnehin mit sich trägt, und auf jedem ungenutzten Server im eigenen Rack.
Wie vergleicht man lokale KI und Cloud-KI-Kosten seriös?
Nicht, indem man die Monatsrechnung durch die Zahl der Tokens teilt. Dieser Vergleich schmeichelt der API, weil er nur das bepreist, wofür sie tatsächlich abrechnet, während alles andere unter dem Zähler verschwindet. Dokumente, die das Unternehmen verlassen, bringen Fragen zu Datenexport und Serverstandort mit, die unter der DSGVO und im Blick des BfDI keine Nebensache sind. Lange Prompts verursachen Wiederholungen und Kontextüberläufe, die man doppelt bezahlt. Und ein Workflow, der um ein fremdes Modell herum gebaut wurde, kann nach dem Zeitplan des Anbieters abgekündigt oder in seinen Bedingungen geändert werden, nicht nach Ihrem.
Eigene Hardware dreht das Bild um. Die Investitionskosten sind fix und bekannt, die Grenzkosten einer einzelnen Anfrage liegen nahe null, und nichts verlässt die eigene Infrastruktur. An die Stelle der Kosten tritt als bindende Größe die Schwankungsbreite der Fähigkeiten: Ein komprimiertes Modell ist innerhalb einer bestimmten Bandbreite an Aufgaben verlässlich und außerhalb davon nicht, und diese Bandbreite ist schmaler, als das Marketing suggeriert. Diese Bandbreite für den eigenen Anwendungsfall präzise zu bestimmen, ist die eigentliche Kunst der KI-Beschaffung und technischen Strategie, und es ist unglamouröse Arbeit, die durch nichts zu ersetzen ist, auch nicht im gut digitalisierten Mittelstand.
Es gibt eine Falle in veröffentlichten Retention-Werten, die man beim Namen nennen sollte. Wenn ein Anbieter meldet, seine komprimierte Version halte rund neunzig Prozent des Benchmark-Durchschnitts der vollen Präzision, klingt das nach einer überschaubaren Steuer. Durchschnittswerte verschleiern die Verteilung. Ein Rückgang von fünf Punkten über eine gemischte Testreihe kann ein Einbruch von zwanzig Punkten bei genau der einen Fähigkeit sein, auf die Ihr Prozess angewiesen ist, ausgeglichen durch keinerlei Verlust bei Aufgaben, die Sie nie ausführen. Kein veröffentlichter Durchschnitt verrät Ihnen, welches der beiden Sie gekauft haben, also müssen Sie ein eigenes Testset aus Ihren eigenen Daten zusammenstellen, um es herauszufinden.
Welche Aufgaben rechtfertigen weiterhin eine kostenpflichtige API?
Formulieren Sie die Frage neu, und die Antwort ist kein Anbietername mehr, sondern eine Liste. Klassifizierung, Extraktion, Schwärzung, Routing, interne Dokumentenzusammenfassung und erste Textentwürfe sind allesamt Kandidaten für ein Modell, das Sie selbst betreiben. Agentisches Arbeiten über lange Zeiträume, bei dem ein System über Dutzende Schritte hinweg plant und eigene Fehler korrigiert, ist das, zumindest noch, nicht.
Wer hofft, ein Ranking werde die Sache klären, sollte sich ansehen, wie sehr die Ranglisten untereinander uneins sind. Öffentliche Bewertungsarenen wie LMArena gliedern ihre Tabellen nach Kategorien, und dieselben Modelle belegen bei Text, Code, Bildverarbeitung und Web-Entwicklung teils deutlich unterschiedliche Plätze. Diese Abweichung sagt mehr aus als jede Spitzenposition. Fähigkeit ist aufgabenspezifisch, nicht linear skalierbar, was „bestes Modell“ schon vor jeder Beschaffungsentscheidung zum Kategorienfehler macht, und eine mehrjährige Bindung an eine einzelne Kennzahl bindet Sie an etwas, das nie Ihre eigene Aufgabe gemessen hat. Aus demselben Grund gehört die Prüfung der eigenen Reife vor den Vertragsabschluss, nicht danach.
Anbieterprestige taugt nicht besser als Näherung. Finanzierungsrunden und die Reputation der Gründer bepreisen Erwartungen an die Zukunft eines Labors, nicht Messungen des Modells, das es zuletzt ausgeliefert hat, und beides ist schon oft genug auseinandergefallen, dass eine Bewertung als Beleg für einen technologischen Vorsprung zu lesen, selbst ein Kategorienfehler ist. Ein echter Vorteil zeigt sich in Ihrem eigenen Testset. Zeigt er sich nur in der Pressemitteilung zur Finanzierungsrunde, wurde Ihnen eine Erzählung verkauft, keine Fähigkeit.
Auch das Sicherheitsargument hat seine Grenzen
Hier widerspreche ich meinem eigenen Argument. Inferenz ins eigene Haus zu holen verringert die Datenexposition, das ist ein echter Gewinn, löst aber nicht das Problem der Prompt Injection. Sobald ein Modell nicht vertrauenswürdige E-Mails, Webseiten oder Anhänge liest und danach Handlungen ausführen kann, wird die Grenze zwischen Daten und Anweisung zur Angriffsfläche, und das bleibt sie, egal ob die Gewichte im eigenen Rack liegen oder in fremden Rechenzentren. Lokaler Betrieb begrenzt den Schaden bei den Daten, ohne die Injection selbst zu berühren, ein echter, aber schmalerer Vorteil, als die Souveränitätsargumentation suggeriert. Deshalb brauchen agentische Systeme konstruierte Eindämmung, keinen bloßen Hosting-Wechsel.
Diese Asymmetrie dürfte sich zunächst vergrößern, bevor sie sich schließt. Automatisierte Angriffswerkzeuge skalieren mit der verfügbaren Rechenleistung, während die passenden Abwehrmaßnahmen meist in genau den Organisationen entwickelt und gehalten werden, die auch die Modelle bauen. Verstehen Sie das als Grund, selbst kontrollierte Eindämmung zu entwerfen, nicht als Grund, auf eine Lösung des Anbieters zu warten.
Das größere Signal ist, dass die kommerziell folgenreichsten Veröffentlichungen sich von Chat-Oberflächen weg und in Richtung Infrastruktur bewegen. Das QiMeng-Projekt am Institute of Computing Technology der Chinesischen Akademie der Wissenschaften berichtet, sein System habe den Entwurf einer industrietauglichen RISC-V-CPU automatisiert in fünf Stunden fertiggestellt, und der gefertigte Chip laufe mit Linux. Das ist eine Behauptung des Forschungsteams selbst, keine unabhängige Nachprüfung, und dieser Vorbehalt zählt, doch der Ehrgeiz dahinter richtet sich auf die Basisebene.
Unternehmen, die dieses Jahr mehrjährige KI-Verträge unterschreiben, legen eine Kostenstruktur und ein Abhängigkeitsprofil gegen eine technische Ausgangslage fest, die sich gerade unter ihnen verschiebt. Die günstigste Inferenz, die Sie je betreiben werden, ist die, die Sie bereits selbst besitzen, und der einzige ehrliche Weg herauszufinden, welcher Anteil Ihrer Arbeit dafür infrage kommt, ist der Test an den eigenen Daten, bevor Sie irgendetwas unterschreiben.
Häufige Fragen
Ist es günstiger, KI-Modelle lokal zu betreiben als pro Token zu bezahlen?
Bei gleichbleibenden, hochvolumigen und klar definierten Aufgaben in der Regel ja, weil eigene Hardware feste Investitionskosten und nahezu keine Grenzkosten pro Anfrage verursacht. Bei sprunghaftem, geringem Volumen oder wirklich anspruchsvollen Denkaufgaben ist eine kostenpflichtige API meist günstiger, weil man sonst Fähigkeiten kaufen und ungenutzt vorhalten würde. Der Break-even hängt von Ihrem Anfragevolumen und Ihrer Auslastung ab, nicht von irgendeinem veröffentlichten Preisvergleich.
Welche Hardware braucht man tatsächlich, um ein quantisiertes Modell im eigenen Haus zu betreiben?
Das hängt vollständig von der komprimierten Größe ab. Ein Modell im Bereich von 4 bis 8 GB läuft bequem auf einem modernen Entwickler-Notebook oder einer Mittelklasse-GPU. Die eigentliche Einschränkung ist selten die Modelldatei, sondern die Nebenläufigkeit: Zwanzig gleichzeitige Nutzer zu bedienen braucht deutlich mehr Speicher und Durchsatz als ein einzelner Tester an einer Workstation, und genau diese Zahl vergessen die meisten Pilotprojekte einzuplanen.
Schützt der lokale Betrieb eines Modells vor Prompt Injection?
Nein. Prompt Injection nutzt aus, dass ein Modell nicht zuverlässig zwischen nicht vertrauenswürdigen Inhalten und Anweisungen unterscheiden kann, und dieser Mangel bleibt bestehen, egal wo das Modell läuft. Lokaler Betrieb begrenzt, welche Daten im Erfolgsfall eines Angriffs abfließen können, was die Folgen verkleinert, ohne die Schwachstelle zu beseitigen. Sie brauchen weiterhin Berechtigungsgrenzen für Tools, Ausgabevalidierung und menschliche Bestätigung bei folgenreichen Aktionen.
Verwandte Artikel
- KI-Dequalifizierung: Das Risiko, das Ihr Vorstand nicht einpreist
- Das Speicher-Oligopol, das die KI-Kosten explodieren lässt
- Least Privilege für KI-Agenten: Ihr Pilotprojekt überspringt eine Idee von 1975
- AI & Automation
Verfasst von einer KI-Redaktionspersona des proprietären Redaktionssystems von Abyshire und von unserem Team geprüft.