ModelVerdict

Methodik

Methodik: So messen wir

Jede Zahl auf dieser Website lässt sich auf ein konkretes Dokument, eine Modellausgabe und die Kosten eines Laufs zurückführen. So entstehen sie.

Was wir messen

Sechs alltägliche Geschäftsaufgaben: 13 Felder aus einer Rechnung extrahieren (Lieferant, Kennungen, Rechnungsnummer, Zahlungsreferenz, Daten, Netto und Steuer je Satz, Gesamtbetrag, Währung, Konto); Kunden-E-Mails sortieren (Kategorie, Priorität, Stimmung, Kunde, Bestell- und Rechnungsnummer, Betrag, Währung, Frist); personenbezogene Daten in Geschäftstexten finden, z. B. bevor sie an einen KI-Dienst gehen (Namen, E-Mail-Adressen, Telefonnummern, Anschriften, Geburtsdaten, nationale Kennnummern, Konten); die wesentlichen Bedingungen eines Vertrags extrahieren (Parteien, Vertragsart, Preis und Abrechnungszeitraum, Beginn und Ende, Kündigungsfrist, Verzugsstrafe, anwendbares Recht); ein Dokument zusammenfassen, wobei die Zusammenfassung die wichtigen Beträge, Termine und Verantwortlichen enthalten, abgelehnte Beträge und überholte Termine weglassen und ein Wortlimit einhalten muss; und Fragen zu einem Dokument beantworten, auch solche, auf die das Dokument keine Antwort gibt. Wir geben den Anteil richtiger Felder und den Anteil fehlerfreier Dokumente an, denn für ein Unternehmen zählt oft Letzteres mehr. Die Dokumente liegen auf Tschechisch, in US-Englisch, auf Deutsch, Französisch und Spanisch vor.

Der Testdatensatz

Alle Dokumente sind synthetisch: aus zufälligen, aber gültigen Daten erzeugt (tschechische Firmen- und Geburtsnummern mit Prüfsumme, Bankkonten nach den Regeln der Tschechischen Nationalbank, EINs, ABA-Routingnummern). Die richtige Antwort sind also die Quelldaten selbst, keine manuelle Abschrift – und damit frei von Tippfehlern. Keine echten Personen- oder Firmendaten: E-Mail-Adressen nutzen .example-Domains, US-Telefonnummern den fiktiven Bereich 555-01xx, SSNs einen nie vergebenen Bereich. Dokumente in verschiedenen Sprachen bilden Paare mit gleicher Struktur; so messen wir die Sprachlücke.

Rechnungen gibt es in acht Layouts mit realistischen Varianten (Kleinunternehmer ohne USt, Anzahlungsrechnung, Gutschrift, Fremdwährung) und in vier Stufen: 30 % PDF-Text, 30 % sauberes Bild, 30 % Scan (Drehung, Rauschen, JPEG), 10 % Foto (Perspektive, Schatten). Ein Drittel jedes Datensatzes ist nicht öffentlich; davon veröffentlichen wir nur Gesamtwerte, damit kein Modell gut abschneidet, nur weil es die Antworten schon kennt.

E-Mails gibt es als einzelne Nachricht, mit langer Signatur, als Verlauf mit zitierten früheren Nachrichten und als von einem Kollegen weitergeleitete E-Mail; Fristen sind auch relativ („bis Freitag“). Die Priorität folgt festen Regeln im Prompt und ist daher keine Ansichtssache. Texte mit personenbezogenen Daten (Personalakten, Support-Tickets, Protokolle, E-Mails) enthalten bewusst auch nicht personenbezogene Angaben: Firmennamen aus Nachnamen, Firmennummern, allgemeine Adressen wie info@, Bestellnummern und Daten, die keine Geburtsdaten sind.

So funktioniert ein Lauf

Alle Modelle rufen wir über OpenRouter mit demselben Prompt in der Sprache des Dokuments und Temperatur 0 auf, jedes Modell bei einem fest gewählten Hosting-Anbieter, damit die Ergebnisse reproduzierbar sind. Unterstützt ein Modell strukturierte Ausgabe (JSON-Schema), nutzen wir sie; lehnt der Anbieter das Schema ab, fragen wir ohne Schema erneut und vermerken das. Ist die Antwort kein gültiges JSON, fragen wir noch einmal und vermerken auch das. Für jeden Aufruf speichern wir Modell, Prompt- und Datensatzversion, Tokens, Kosten, Latenz und Hosting-Anbieter. Ausgaben werden zwischengespeichert, daher zahlen wir jede Woche nur für neue Modelle, Dokumente und Prompts. Neue Modelle messen wir bei Textdokumenten über die Batch-API zum halben Preis. Die Antworten sind dieselben, nur die Latenz lässt sich dort nicht messen. Die Geschwindigkeit messen wir deshalb an 10 Dokumenten pro Sprache mit normalen Aufrufen, und die Kosten zeigen wir zum regulären Preis, damit sie mit den anderen Modellen vergleichbar bleiben.

So bewerten wir

Ein Feld ist richtig, wenn es nach Normalisierung des Formats exakt mit dem richtigen Wert übereinstimmt: Datumsangaben als JJJJ-MM-TT, Beträge als Zahl mit zwei Nachkommastellen (beide Trennzeichenkonventionen), Leerzeichen in Kennnummern und Kontonummern werden ignoriert. Diakritische Zeichen werden nicht normalisiert: „Horak“ statt „Horák“ ist ein Fehler. Fehler werden kategorisiert (fehlendes Feld, falscher Wert, fehlende Diakritika, verwechseltes Datum, Netto statt Gesamtbetrag, falscher Steuersatz, Zahlenformat, ungültiges JSON). Die Schwelle für Rechnungen liegt bei 95 % richtigen Feldern.

E-Mails: Kategorie, Priorität und Stimmung müssen exakt stimmen; relative Fristen müssen das richtige Datum ergeben. Personenbezogene Daten: Jedes Feld ist eine Liste und nur dann richtig, wenn sie vollständig ist und nichts zu viel enthält; eine als personenbezogen gemeldete Firmennummer zählt als zusätzlicher Wert. Die Schwelle liegt bei allen Aufgaben bei 95 % richtigen Feldern.

Kosten und Sprachsteuer

Die Kosten sind der reale Tokenverbrauch, wie ihn die API in USD zurückgibt, hochgerechnet auf 1.000 Dokumente. Die Umrechnung in andere Währungen erfolgt nur für die Anzeige, zum Kurs in der Fußzeile. Die Sprachsteuer messen wir an einem Parallelkorpus aus 50 Absätzen auf Tschechisch, Deutsch, Französisch, Spanisch, Polnisch und Englisch: Wir senden den Text mit einem minimalen Ausgabelimit, ziehen den Overhead eines leeren Prompts ab und vergleichen die Eingabe-Tokens mit Englisch.

Die echten Kosten enthalten zusätzlich die Arbeit einer Person, die jedes fehlerhafte Dokument finden und korrigieren muss: 3 Minuten pro Dokument zu 450 CZK / 35 EUR / 40 USD pro Stunde. Tempo ist der Median der Antwortzeit (90. Perzentil im Tooltip); „Gültige Antworten“ ist der Anteil der Dokumente mit gültigem JSON. Fehler durch Ratenbegrenzung der API rechnen wir keinem Modell an: Solche Anfragen wiederholen wir, bis jedes Dokument eine Antwort hat.

Der Kostenrechner nutzt gemessene Kosten, wo wir Dokumente in der jeweiligen Sprache haben. Für andere Sprachen schätzt er: den an Dokumenten in einer anderen Sprache gemessenen Aufschlag, umgerechnet mit der Sprachsteuer der gewählten Sprache (ein Rechnungsbild kostet in jeder Sprache gleich viel, daher würde das reine Token-Verhältnis die Kosten überzeichnen). Schätzungen sind mit ≈ markiert und enthalten keine Genauigkeitswerte.

Die Sprachlücke

Der Genauigkeitsunterschied zwischen tschechischen und englischen Dokumenten wird nur über Felder berechnet, die beide Versionen haben. US-Rechnungen haben keine USt-IdNr. und kein Leistungsdatum, daher fließen diese Felder nicht in den Vergleich ein.

Grenzen

Synthetische Dokumente decken nicht alles ab, was einem echten Unternehmen begegnet (handschriftliche Notizen, mehrseitige Rechnungen, ungewöhnliche Layouts). Bei rund 150 Dokumenten pro Sprache liegt die Unsicherheit der Genauigkeit bei etwa ±1 Prozentpunkt; kleinere Unterschiede zwischen Modellen sollten Sie nicht als entscheidend werten. Modelle und Preise ändern sich, daher zeigt jede Zahl das Datum des Laufs.

Alle Modelle erhalten denselben Prompt, einmal pro Aufgabe und Sprache geschrieben und für kein bestimmtes Modell optimiert: eine einzige Nachricht ohne System-Prompt und ohne Beispiele. Wir messen also, wie gut ein Modell mit einem vernünftigen Prompt auf Anhieb zurechtkommt, nicht wie viel sich durch Feinabstimmung herausholen lässt. Mit einem auf ein bestimmtes Modell und Ihre Dokumente angepassten Prompt können die Ergebnisse besser ausfallen, vor allem bei Formatfehlern (Schreibweise von Beträgen oder Kennungen). Kleine Unterschiede zwischen den besten Modellen sollten Sie daher eher als Gleichstand sehen. Den Prompt finden Sie bei jedem Ausgabebeispiel.

Unabhängigkeit

Ranglisten und Empfehlungen sind nicht käuflich. Kein Modellhersteller bezahlt uns für eine Platzierung. Wenn Sie einen Fehler in einem hinterlegten richtigen Wert oder in der Bewertung finden, geben Sie uns Bescheid; wir korrigieren ihn und vermerken die Änderung.

Aktueller Lauf: 20261010T220935Z-c30495 vom 10. Oktober 2026, Datensatzversion 0.1.0.

Anmeldung per E-Mail

Wir nutzen Ihre E-Mail nur für die Anmeldung (und die Übersicht, wenn Sie sie ankreuzen). Kein Spam.