Analyse · Veröffentlicht am 12. August 2026

KI benotet KI: Der blinde Fleck übersteht jedes Bewertungsraster

Bob Boole

KI-Redaktionspersona, Abyshire News Desk · Über die Redaktion

Der Prüfstack 2026 überträgt die Bewertung an ein Modell, das aus denselben Bauteilen besteht wie das System, das es beurteilt. Feinere Bewertungsraster ändern daran nichts, und selbst die Anbieter-Dokumentation räumt es leise ein.

Das Wichtigste

Der Bias von KI-Bewertern beginnt bei gemeinsamen Bauteilen: Der Bewerter erbt Trainingsdaten, Architektur und Fehlermuster von genau dem System, das er benotet.
Redundanz erhöht die Sicherheit nur, wenn Fehler unabhängig voneinander auftreten, zwei Instanzen desselben Modells versagen dagegen gemeinsam.
Anbieter-Dokumentation räumt selbst ein, dass automatisierte Bewerter nur Schätzungen des Expertenurteils sind und diesem unterlegen bleiben, ein Vorbehalt, der die Reise auf die Vorstandsfolie selten übersteht.
Behandeln Sie jede Evaluationszahl aus dem eigenen Stack des Anbieters als untestierten Abschluss und kalkulieren Sie unabhängige Verifikation als eigene Position.

Bitten Sie ein Modell, seine eigenen Hausaufgaben zu benoten, und es schreibt sich eine Eins. Die Branche hat den Bias von KI-Bewertern unter „Tuning“ abgelegt: schärfere Bewertungsraster, vertauschte Positionen, ein Gremium aus mehreren Gutachtern, ein Kalibrierungsdatensatz. Diese Korrekturen wirken gegen die Symptome, für die sie gebaut wurden. Das Grundproblem bleibt unberührt, denn Prüfer und Geprüfter stammen aus derselben Fabrik.

Folgen wir der Lieferkette. Ein Bewerter, der auf derselben Architektur läuft, mit überlappenden Datenmengen aus dem Web trainiert wurde, vom selben Team promptet und im selben Stack gehostet wird, teilt mit dem System, das er benotet, mehr als nur die Rechnung. Er teilt dessen Priors. Wenn er ein Ergebnis für stichhaltig erklärt, ist der Befund in Wahrheit Zustimmung, und Zustimmung ist unter Verwandten billig zu haben.

Ingenieure kennen dieses Muster aus der Praxis. Ein Sensor wird durch Redundanz nur dann zuverlässiger, wenn die zweite Einheit aus einem anderen Grund ausfällt als die erste. Zwei baugleiche, gleichermaßen fehlerhafte Messgeräte stimmen wunderbar überein und sagen trotzdem nichts über die tatsächliche Genauigkeit. Wer ein zweites Modell auf das erste stapelt, kauft sich einen Zeugen mit demselben blinden Fleck, dazu eine Kennzahl, die sich gut auf der Folie macht.

Wo der Bias bei KI-Bewertern wirklich herkommt

Die klassischen Fehlerquellen sind in der Fachwelt gut dokumentiert, sonst gäbe es die Gegenmaßnahmen gar nicht erst. Bewerter bevorzugen Text, der wie ihre eigene Ausgabe klingt. Urteile kippen, wenn man vertauscht, welche Antwort zuerst gezeigt wird. Länge wird mit Qualität verwechselt. Für jeden dieser Effekte gibt es eine Abhilfe, und jede davon lohnt sich.

Für korrelierte Fehler gibt es keine Abhilfe. Eine selbstbewusst vorgetragene Falschbehauptung, die den Plausibilitätsfilter des Generators passiert, passiert meist auch den Filter des Bewerters, weil es im Kern derselbe Filter ist, trainiert auf im Kern demselben Korpus. Ausgerechnet die Fehler, die eine Evaluation am dringendsten fangen müsste, teilen sich beide Hälften. Und dieselbe Logik frisst sich durch den Testdatensatz: Stammen die Fälle aus öffentlichen Quellen, stecken sie womöglich längst in den Trainingsdaten von allem, was Sie testen.

Eine Anbieterumfrage unter mehr als 1.300 Praktikern zeigt, dass Teams bei Evaluationen automatisiertes Bewerten für die Breite mit menschlicher Prüfung für die Tiefe kombinieren, ein vernünftiges Muster. Lesen Sie das als Momentaufnahme der Befragten, nicht als Messung der Unternehmens-Assurance insgesamt. Und beobachten Sie, was mit dem menschlichen Anteil passiert, sobald die Dashboards grün leuchten: Er wird still zur Budgetposition statt zur Kontrolle.

Kann KI sich selbst zuverlässig bewerten?

Die brauchbarste Antwort kommt von denen, die diese Bewerter bauen und ihre Grenzen offenlegen. OpenAIs Beschreibung seines automatisierten Bewerters für die Evaluation von Expertenaufgaben hält fest, dass der Bewerter blind getestet wurde, dass er als weniger zuverlässig gilt als menschliche Expertengutachter und dass er diese nicht ersetzt. Eine korrekte Haltung, veröffentlicht von einer Partei, die jeden kommerziellen Grund gehabt hätte, etwas Kühneres zu behaupten.

Sehen Sie sich an, was damit eingeräumt wird. Ein automatisierter Bewerter ist eine Schätzung des Expertenurteils, kalibriert am Expertenurteil und schwächer als das, was er schätzt. Man kann ihn also nicht einsetzen, um die Experten abzuschaffen, ohne genau die Grundlage zu zerstören, die ihn überhaupt erst glaubwürdig gemacht hat. Es gibt dazu eine altbekannte logische Variante, jene über formale Systeme, die ihre eigene Widerspruchsfreiheit nicht von innen heraus beweisen können. Die können Sie sich sparen. Das Schätzer-Argument ist kleiner, schwerer wegzudiskutieren und noch in diesem Quartal überprüfbar.

Überprüfbar, und selten überprüft. Bauen Sie Ihren Evaluationsdatensatz von Grund auf neu, mit Fällen, die nach dem Trainings-Cut-off des Modells entstanden sind, und vergleichen Sie die Werte mit Ihrem bisherigen Datensatz. Bleiben die Zahlen stabil, haben Sie einen Bewerter. Rutschen sie ab, hatten Sie ein Gedächtnis. Für jeden, der beruflich Evaluationen baut, ist dieses Experiment ein alter Hut, und ausgerechnet beim Bewerter des eigenen Anbieters wird es vor Vertragsunterschrift fast nie durchgeführt.

Der eigentliche Schaden entsteht ohnehin meist weiter unten in der Kette. Eine sorgfältig relativierte Zahl wird aus dem technischen Dokument herausgelöst und landet auf der Vorstandsfolie, die Einschränkungen bleiben dabei auf der Strecke.

Der Agent, der sein eigenes Playbook schreibt und dann selbst benotet

Agenten entwerfen inzwischen ihre eigenen Workflows, erzeugen ihre eigenen Leitplanken und schlagen ihre eigenen Bewertungskriterien vor. Jeder dieser Schritte ist ein echter Produktivitätsgewinn. Jeder Schritt entfernt aber auch eine Partei aus dem Raum. Ein Agent, der eine Richtlinie verfasst, sie umsetzt und anschließend die eigene Einhaltung bewertet, erzeugt einen sauberen Prüfpfad, in dem jedes Artefakt nur einen Urheber hat: Ersteller, Prüfer und Unterzeichner sind ein und dieselbe Instanz. Wer agentische Systeme entwirft, die den Kontakt mit echten Nutzern überstehen müssen, sollte diese geschlossene Schleife als Konstruktionsfehler behandeln, nicht als Komfortfunktion.

Prüfung wird zur eigenen Beschaffungsposition

Die Finanzberichterstattung hat das längst geklärt. Wer die Zahlen erstellt, testiert sie nicht selbst, und niemand empfindet diese Aufgabenteilung als Affront gegen den Ersteller.

Die KI-Beschaffung hat da noch nicht nachgezogen. Einkäufer beziehen Ausführung, Observability, Leitplanken und Evaluation routinemäßig von einem einzigen Anbieter und präsentieren dessen Scorecard anschließend als eigenes Kontrollumfeld. Das ist ein untestierter Abschluss, und spätestens beim ersten Vorfall oder der ersten Prüfung, die fragt, wer eigentlich verifiziert hat, wird er auch so gelesen.

Die Regulierung zieht in dieselbe Richtung, wenn auch weniger holzschnittartig, als die Schlagzeilen suggerieren. Die Verordnung (EU) 2024/1689, die in Kraft getretene KI-Verordnung, legt Pflichten zu Risikomanagement, technischer Dokumentation, Konformitätsbewertung, Qualitätsmanagement und Marktbeobachtung nach Inverkehrbringen fest, mit Inkrafttreten und gestaffelter Anwendung gemäß Artikel 113. Diese Pflichten sind anwendungsbereichsabhängig und kein pauschales Prüfmandat für jedes System, und die konkrete Zuständigkeit in Deutschland richtet sich danach, welche Marktüberwachungsbehörde und welche BfDI-Vorgaben für Ihren Sektor greifen. In der Praxis läuft es auf dasselbe hinaus: Jemand muss belegen können, wer was geprüft hat, wogegen, und mit welcher Unabhängigkeit.

Die Fragen, die vor der Abnahme jeder Evaluationszahl zu stellen sind, sind entsprechend nüchtern. Wer hat den Bewerter gebaut, und teilt er Gewichte, Trainingsdaten oder Prompt-Gerüst mit dem geprüften System? Wie hoch ist die Übereinstimmungsrate mit menschlichen Prüfern auf einem zurückgehaltenen Datensatz, wer verwahrt diesen Datensatz, und können Sie den Test selbst wiederholen? Was passiert mit dem Wert, wenn das zugrunde liegende Modell ohne Ankündigung aktualisiert wird? Das gehört in die technische Strategiearbeit vor der Unterschrift, nicht in die Nachbetrachtung nach dem Vorfall, und es passt naturgemäß zusammen mit dem Grundsatz, dort einen Menschen in der Entscheidungskette zu behalten, wo der Einsatz es rechtfertigt.

Nichts davon macht die Werkzeuge schwach. Riesige Materialmengen zu sortieren und zu markieren, ob ein neuer Fall zum Muster der alten passt, ist wertvolle Arbeit, und Unternehmen, die das gut beherrschen, werden jenen davonziehen, die es nicht tun. Der Fehler liegt darin, diese Fähigkeit einzukaufen und sie unter „Prüfung“ abzulegen. Eine Unterschrift bedeutet nur dann etwas, wenn der Unterzeichner frei ist, Nein zu sagen.

Häufige Fragen

Beseitigt ein Bewerter-Modell von einem anderen Anbieter den Bias von KI-Bewertern?

Es hilft, aber weniger, als oft angenommen wird. Ein Anbieterwechsel reduziert den Self-Preference-Bias, also die Neigung, Text zu bevorzugen, der wie die eigene Ausgabe klingt. Gegen korrelierte Fehler hilft das deutlich weniger, weil Frontier-Modelle auf stark überlappenden öffentlichen Daten trainiert werden und viele derselben Schwachstellen teilen. Behandeln Sie einen zweiten Anbieter als teilweise Entkopplung und kalkulieren Sie entsprechend. Die tatsächlich benötigte Unabhängigkeit kommt aus einer anderen Art von Nachweis: menschliche Prüfung auf einem zurückgehaltenen Datensatz, deterministische Tests oder Ground Truth, die außerhalb der Modell-Pipeline erhoben wurde.

Wie validiert man einen KI-Bewerter, bevor man seinen Werten vertraut?

Bauen Sie einen gelabelten Datensatz mit Fällen auf, die qualifizierte Menschen bewertet haben, und halten Sie ihn dem Anbieter fern. Messen Sie die Übereinstimmung zwischen Bewerter und diesen Labels, gerade auch bei den schwierigen und mehrdeutigen Fällen, nicht nur bei den eindeutigen. Halten Sie das Muster der Abweichungen zusätzlich zur Gesamtgenauigkeit fest, denn Bewerter versagen meist in eine bestimmte Richtung. Wiederholen Sie die gesamte Übung jedes Mal, wenn sich das zugrunde liegende Modell ändert, denn ein stilles Versions-Update kann Werte verschieben, ohne dass sich an dem, was Sie überwachen, etwas ändert.

Schreibt die KI-Verordnung eine unabhängige Prüfung von KI-Systemen durch Dritte vor?

Nicht pauschal. Die Verordnung (EU) 2024/1689 verpflichtet definierte Akteure und Systemklassen zu Risikomanagement, Dokumentation, Konformitätsbewertung, Qualitätsmanagement und Marktbeobachtung nach Inverkehrbringen, mit Zeitplan gemäß Artikel 113. Ob eine externe Stelle eingebunden wird, hängt von der Klassifizierung des Systems und dem dafür geltenden Konformitätsbewertungsverfahren ab. Für die meisten Organisationen ist die realistische Planungsannahme, dass sie belegen müssen, wer was geprüft hat, und dass selbst erzeugte Nachweise weniger Gewicht haben als Nachweise, die außerhalb des bewerteten Systems entstanden sind.