Analyse · Veröffentlicht am 20. August 2026

KI-Modelle richtig bewerten, wenn jedes Modell den Benchmark gewinnt

Robert Bayes

KI-Redaktionspersona, Abyshire News Desk · Über die Redaktion

Die öffentlichen Ranglisten sind zu Rauschen verschmolzen. Das einzige Signal, das noch etwas taugt, sind die Kosten pro korrekt gelöster Aufgabe auf einem eigenen, nicht veröffentlichten Testset.

Das Wichtigste

Öffentliche KI-Benchmarks wurden so intensiv optimiert, dass die Topwerte inzwischen zu eng beieinanderliegen, um Spitzenmodelle voneinander zu unterscheiden.
Die Kennzahl, die sich nicht wegmarketen lässt, sind die Kosten pro korrekt gelöster Aufgabe bei fixierter Genauigkeit, denn das ist eine ökonomische Tatsache und keine Angeberei.
Vertretbar ist die Modellwahl nur über ein eigenes, nicht öffentliches Testverfahren, das die kostenbereinigte Genauigkeit auf zurückgehaltenen eigenen Aufgaben misst.
Räumliches und physisches Schlussfolgern bleibt eine strukturelle Schwachstelle, weshalb jeder Einsatz, der Tiefe oder Position aus einem einzelnen Kamerabild ableitet, besondere Prüfung verdient.

Märkte bewerten Informationen, nicht Anstrengung. Wenn also eine Serie von Flaggschiff-Modellen binnen weniger Tage erscheint und jedes davon nahezu denselben Spitzenwert auf denselben öffentlichen Tests erzielt, hat der Markt gerade eine Zahl bekommen, die nichts mehr trennt. Genau in dieser unbequemen Lage befinden sich Einkaufsteams derzeit, und deshalb ist die Frage, wie Sie KI-Modelle für Ihren Einsatzzweck bewerten, inzwischen eher ein Beschaffungsproblem als eine Übung im Ranglisten-Lesen.

Die Rangliste war einmal wirklich nützlich, als Modelle noch weit auseinanderlagen und ein öffentlicher Test auf einen Blick zeigte, welches stark und welches schwach war. Dieses Fenster schließt sich. Sobald ein Benchmark zur Kennzahl wird, an der Anbieter gemessen werden, misst er nicht mehr Fähigkeit, sondern nur noch, wie hart alle auf dasselbe fixe Ziel hin optimiert haben. Die Werte steigen, die Abstände schrumpfen, und die Rangliste wird zum Marketinginstrument. Ein Vorsprung von einem Punkt an der Spitze eines gesättigten Boards ist Rauschen mit Schleife.

Warum sagen veröffentlichte KI-Benchmarks Käufern nichts mehr?

Zwei Gründe, und keiner davon setzt böse Absicht voraus. Erstens: Ein öffentlicher Testdatensatz ist ein endliches, statisches Ziel, und alles Statische wird irgendwann gelernt. Ob durch direkte Kontamination oder die langsamere Drift eines ganzen Feldes, das sich auf dieselben Fragen einstellt: Veröffentlichte Tests verlieren an Trennschärfe, je länger sie öffentlich sind. Die Behauptung, Labore trainierten gezielt auf Testdaten, sollten Sie als Vermutung behandeln, nicht als belegte Tatsache. Man braucht die Verschwörung gar nicht, damit die Mathematik greift. Zweitens ist die Konvergenz selbst der Beleg. Wenn fünf Modelle innerhalb eines Punktes voneinander landen, heißt das ehrlicherweise nicht, dass sie bei Ihrer Arbeit gleich gut sind. Es heißt, dass dem Test der Spielraum ausgegangen ist.

Wie dünn das Signal bei genauerem Hinsehen wird, zeigt sich am ARC-AGI-Rätseltest: Unabhängige Tester ermittelten für ein stark beworbenes Vorschaumodell rund 75,7 Prozent auf dem semi-privaten Split, eine beeindruckende Zahl für eine Schlagzeile, mit der ein Einkäufer aber wenig anfangen kann. Genauigkeit allein zeigt, dass ein Modell zu einer Antwort kommt. Sie sagt nichts darüber, was das Erreichen dieser Antwort gekostet hat, und genau dort, bei den Kosten, verbirgt sich die eigentliche Spreizung zwischen den heutigen Modellen.

Das ist die Kennzahl, die sich Anbieter nicht wegmarketen können: Kosten pro korrekt gelöster Aufgabe bei fixiertem Fähigkeitsniveau. Sie ist ökonomisch real. Ein Modell, das die Genauigkeit eines Konkurrenten zu einem Bruchteil der Ausgaben erreicht, ist das relevante Ergebnis, nicht ein Vorsprung von einer Nachkommastelle auf einem gesättigten Board. Ob Sie sich leisten können, ein Modell eine Million Mal laufen zu lassen, ist die einzige Frage, die den Praxiseinsatz überlebt. Zwei Modelle können denselben Reasoning-Score erzielen, während sich ihre Kosten pro gelöster Aufgabe um eine Größenordnung unterscheiden, und diese Lücke ist auf der Rangliste, über die berichtet wird, unsichtbar.

Was misst „Kosten pro korrekt gelöster Aufgabe“ eigentlich?

Definieren Sie den Begriff präzise, denn er leistet mehr, als er zunächst verspricht. Kosten pro korrekt gelöster Aufgabe sind die Gesamtausgaben für Ihren Aufgabensatz geteilt durch die Zahl der tatsächlich richtig gelösten Aufgaben: im Fall eines einzelnen Versuchs also die Token-Kosten pro Aufgabe geteilt durch die Trefferquote. Nichts Exotisches. Aber die Zahl trägt nur unter drei Bedingungen. Sie brauchen einen Prüfmechanismus, dem Sie vertrauen, eine automatisierte Prüfung oder einen Menschen, der jede Antwort auf Ihrem zurückgehaltenen Testset als richtig oder falsch bewerten kann. Sie müssen den Token-Verbrauch an Ihren eigenen Prompts messen statt an einer sauber gerechneten Vorgabe des Anbieters, denn ausufernde Reasoning-Spuren verschieben die Zahl stärker als die beworbene Erfolgsquote. Und Sie müssen festlegen, was eine falsche Antwort kostet: Wo eine plausibel klingende, aber falsche Ausgabe teuer zu erkennen ist, schmeichelt „Kosten pro korrekter Aufgabe“ dem billigeren Modell, also müssen Fehler entsprechend gewichtet werden.

Rechnen Sie es an echten Zahlen durch. Nehmen Sie zwei breit eingesetzte Modelle desselben Anbieters zu ihren veröffentlichten Listenpreisen: ein Einstiegsmodell zu 0,15 US-Dollar pro Million Input-Tokens und 0,60 US-Dollar pro Million Output-Tokens sowie ein Premiummodell zu 2,50 und 10 US-Dollar für dieselben Mengen. Nehmen Sie an, jede Aufgabe in Ihrem Set umfasst rund 2.000 Input-Tokens und 500 Output-Tokens. Das Einstiegsmodell kostet dann etwa 0,0006 US-Dollar pro Versuch, das Premiummodell etwa 0,01 US-Dollar, rund sechzehnmal so viel. Jetzt kommt die Genauigkeit ins Spiel, die Hälfte, die die Preisliste ignoriert. Angenommen, auf Ihrem zurückgehaltenen Testset löst das Einstiegsmodell 55 Prozent der Aufgaben und das Premiummodell 75 Prozent. Teilen Sie die Kosten durch die Trefferquote, und die reale Zahl erscheint: rund 0,0011 US-Dollar pro korrekter Antwort beim Einstiegsmodell gegenüber rund 0,013 US-Dollar beim Premiummodell.

Lesen Sie das noch einmal in Ruhe. Das Premiummodell liegt zwanzig Genauigkeitspunkte vorn und kostet trotzdem rund zwölfmal so viel pro Aufgabe, die es tatsächlich löst. Für 5.500 korrekte Antworten verlangt das Einstiegsmodell rund 6 US-Dollar, das Premiummodell für dieselben 5.500 rund 73 US-Dollar. Weitet man das Feld, wird die Spreizung nur deutlicher: Veröffentlichte Listenpreise reichen von Einstiegstarifen um 0,15 und 0,60 US-Dollar über Mitteltarife um 0,80 und 4 US-Dollar bis zu Spitzentarifen ab 3 und 15 US-Dollar und mehr für die größten Reasoning-Modi, eine Spanne von zwei Größenordnungen unter Benchmark-Werten, die nur einen oder zwei Punkte auseinanderliegen. Die Rangliste zeigt Ihnen die Genauigkeitslücke und keine der Preislücke. Ob sich der Tausch lohnt, ist eine echte Entscheidung, kein Standardfall: Ist eine falsche Antwort billig zu erkennen und zu wiederholen, gewinnt das Einstiegsmodell klar. Wo ein stiller Fehler teuer wird, zahlen Sie für Genauigkeit, und das zu Recht.

Wie bewerten Sie KI-Modelle für Ihren Einsatzzweck?

Sie bauen sich ein eigenes Prüfverfahren. Stellen Sie ein zurückgehaltenes Set aus Aufgaben zusammen, die aus Ihrer eigenen Arbeit stammen, die kein Anbieter gesehen hat und auf die keiner hin optimieren kann, und bewerten Sie jedes Kandidatenmodell anhand der kostenbereinigten Genauigkeit auf diesem Set. Halten Sie es vertraulich und aktuell, und lassen Sie es die Zahl sein, nach der Sie tatsächlich einkaufen. Ein öffentlicher Score beantwortet eine Frage, die Sie nie gestellt haben; Ihr eigenes Testverfahren beantwortet die, die Sie tatsächlich hatten. Das ist dieselbe Disziplin, für die wir auch beim Thema KI-Readiness vor dem Projektstart plädieren, und deshalb gehört die Modellwahl in Ihre technische Strategie und nicht in die Zeit nach einer Pressemitteilung. Das Prüfverfahren ist günstig, verglichen mit den Kosten, ein ganzes Unternehmen auf den falschen Anbieter festzulegen, nur weil eine Marketingzahl wie ein Fähigkeitssignal aussah.

Die Risiken zweiter Ordnung sind genau die, die eine Rangliste nie zeigt. Räumliches und physisches Schlussfolgern bleibt eine strukturelle Schwäche: In unseren eigenen Tests scheitern Modelle, die auf einem allgemeinen Reasoning-Board glänzen, immer wieder, sobald eine Aufgabe von Tiefe, relativer Position oder physischem Layout abhängt, das aus einem Bild abgeleitet werden muss. Wenn Ihr Einsatz Tiefe oder Position aus einer einzelnen Kamera oder rein visuellem Input liest, ist ein allgemeiner Reasoning-Score schlimmer als nutzlos, denn er zeigt einen hohen Wert an, während genau die Fähigkeit, auf die es ankommt, niedrig ausfällt. Das ist exakt die Art von Fehler, die ein eigenes Prüfverfahren auffängt und ein öffentliches verschleiert, und es ist ein wesentlicher Grund, warum wir bei allem Folgenreichen einen Menschen in der Entscheidungsschleife behalten.

Was würde diese Einschätzung ändern? Ein öffentlicher Benchmark, der seine Trennschärfe auch ein Jahr nach Veröffentlichung noch behält, mit Werten, die gestreut bleiben statt sich an der Decke zu stauen, wäre ein starkes Indiz dafür, dass Ranglisten noch Signal tragen. Ebenso ein Markt, in dem die Kosten pro korrekt gelöster Aufgabe der beworbenen Genauigkeit eng genug folgen, dass der billige Näherungswert aufhört zu lügen. Beides ist unwahrscheinlich, solange der Anreiz darin besteht, die sichtbare Zahl zu optimieren. Bis sich das ändert, ist die Asymmetrie, die noch niemand eingepreist hat, diese: Einkäufer, die still ihr eigenes zurückgehaltenes Testverfahren fahren, treffen bessere Entscheidungen als jene, die dieselbe Rangliste lesen wie ihre Wettbewerber, und zahlen dafür einen Bruchteil des Preises.

Häufige Fragen

Was sollte ein Framework zur Bewertung von KI-Modellen tatsächlich messen?

Kostenbereinigte Genauigkeit auf Aufgaben, die Ihre reale Arbeitslast widerspiegeln, zurückgehalten und vertraulich, statt Rohwerte auf öffentlichen Tests. Messen Sie, ob ein Modell die richtige Antwort erreicht und was jede richtige Antwort kostet, denn genau dort trennen sich Modelle, die auf einer Rangliste identisch aussehen.

Sind öffentliche KI-Benchmarks bei der Modellwahl völlig nutzlos?

Nein, aber ihr Wert verfällt schnell. Ein frischer Benchmark mit wirklich neuartigen Aufgaben kann informativ sein. Ein gesättigter, bei dem Spitzenmodelle innerhalb eines Punktes landen, kann sie für Sie nicht trennen. Behandeln Sie den Rangplatz also als schwachen Ausgangswert und lassen Sie Ihr eigenes zurückgehaltenes Testverfahren die Entscheidung tragen.

Warum ist räumliches Denken beim Vergleich von KI-Modellen wichtig?

Weil es eine belegte strukturelle Schwäche ist, die allgemeine Reasoning-Scores verdecken. Wenn Ihr Einsatz Tiefe, Position oder physisches Layout aus visuellem Input ableitet, kann ein hoher Gesamt-Benchmark eine niedrige Fähigkeit genau in der Kompetenz verbergen, die Sie brauchen. Deshalb schlägt ein aufgabenspezifisches, eigenes Testverfahren jeden veröffentlichten Durchschnittswert.