ModelVerdict

Reinhart Plath, Franz-Peter Berger, Larissa Löffler

GermanDocument6 fields

Document de-p0003 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Von: Reinhart Plath <reinhart.plath@wulf.example>
Datum: 31.07.2025
Betreff: ERP-Umstellung – Budget und Termine

Hallo zusammen,

anbei mein Vorschlag für die nächste Phase des Projekts ERP-Umstellung. Der Leistungsumfang ist gegenüber dem ursprünglichen Auftrag gewachsen, daher schlage ich vor, 5.500 EUR für die Herbstkampagne im Marketing einzuplanen. Zum Vergleich: Im Vorjahr hat uns die Position „Mitarbeiterschulungen“ 6.500 EUR gekostet. Den Termin für den Zwischenbericht würde ich beim 07.10.2025 belassen.

Die Angebote der Anbieter liegen bei, das detaillierte Budget ergänze ich nach Ihren Anmerkungen. Bitte geben Sie mir bis Ende der Woche Rückmeldung.

Viele Grüße
Reinhart Plath

----------

Von: Anna-Maria Käster <anna-maria.kaester@wulf.example>
Datum: 01.08.2025
Betreff: AW: ERP-Umstellung – Budget und Termine

Hallo Herr Plath,

5.500 EUR kann ich nicht genehmigen, so viel haben wir im Projektbudget nicht. Auch den 07.10.2025 halte ich für unrealistisch, weil noch Zahlen aus der Buchhaltung fehlen. Bevor wir etwas bestätigen, brauche ich ein detaillierteres Budget. Lassen Sie uns das in der nächsten Teambesprechung klären; bitte bringen Sie die Zahlen und einen Angebotsvergleich mit.

Anna-Maria Käster

----------

Von: Anna-Maria Käster <anna-maria.kaester@wulf.example>
Datum: 06.08.2025
Betreff: AW: ERP-Umstellung – Budget und Termine

Hallo zusammen,

vielen Dank für die heutige Besprechung und die vorbereiteten Zahlen. Hier die Zusammenfassung dessen, worauf wir uns endgültig geeinigt haben:
- Marketingkampagne: 3.500 EUR
- Mitarbeiterschulungen: 11.500 EUR
- Neuer Termin für den Zwischenbericht: 27.10.2025

Der Vorschlag über 5.500 EUR ist damit vom Tisch, und der ursprüngliche Termin 07.10.2025 gilt nicht mehr.

Aufgaben:
- Reinhart Plath: Zwischenbericht für die Geschäftsleitung erstellen, Frist: 27.10.2025
- Franz-Peter Berger: Hardware bestellen und Installation organisieren, laufend
- Larissa Löffler: Kampagne starten und Inhalte für die Website vorbereiten, laufend

Falls ich etwas vergessen habe, geben Sie mir bitte Bescheid.

Viele Grüße
Anna-Maria Käster

Verdict

Cheapest with no errors: Gemma 4 31B at $0.17 per 1,000 documents.

  • Mistral Large 4 is also error-free, but 49.3× more expensive.

Prompt given to every model

Fassen Sie das unten stehende Dokument (Besprechungsprotokoll, Projektstatusbericht oder
E-Mail-Verlauf) in höchstens 80 Wörtern zusammen.

Regeln:
- Nennen Sie alle endgültigen Entscheidungen: die genehmigten Beträge, die geltenden Termine und
  die für die Aufgaben verantwortlichen Personen (mit vollem Namen).
- Erwähnen Sie keine abgelehnten Vorschläge und deren Beträge und keine Termine, die geändert
  wurden (die ursprünglichen Termine); nennen Sie nur die geltenden Termine.
- Übernehmen Sie Beträge und Daten genau wie im Dokument, runden Sie sie nicht.
- Schreiben Sie in der Sprache des Dokuments, sachlich und in formellem Stil, als Fließtext ohne
  Überschriften.
- Geben Sie nur JSON in der Form {"summary": "…"} zurück.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsMistral Small 46 / 6 fieldsGPT-6 Luna6 / 6 fieldsClaude Haiku 5.56 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsClaude Sonnet 56 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsMistral Large 46 / 6 fields
Amounts3500.0; 11500.03500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)
Deadlines2025-10-272025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)
Responsible peopleReinhart Plath; Franz-Peter Berger; Larissa LöfflerReinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)Reinhart Plath; Franz-Peter Berger; Larissa Löffler (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.5500.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2025-10-07— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8054 / 80 (correct)49 / 80 (correct)48 / 80 (correct)54 / 80 (correct)50 / 80 (correct)69 / 80 (correct)58 / 80 (correct)51 / 80 (correct)37 / 80 (correct)56 / 80 (correct)62 / 80 (correct)50 / 80 (correct)60 / 80 (correct)59 / 80 (correct)
Tokensinput / output840 / 123830 / 109762 / 1931,635 / 232926 / 478828 / 151815 / 1,333934 / 1,959830 / 95762 / 229828 / 1,2721,633 / 2171,635 / 232766 / 3,682
including hidden reasoningbilled as output0092035801,0901,84401161,138003,261
including cached inputinput billed at a discount2031650015400256000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0003$0.0005$0.0006$0.0008$0.0010$0.0020$0.0038$0.0054$0.0054$0.0056$0.0082
Per 1,000 documentsfor documents of this type$0.17$0.17$0.17$0.28$0.49$0.63$0.79$1.03$1.96$3.81$5.39$5.44$5.59$8.22
Latencythis run4.6 s1.2 s3.3 s2 s7 s1 s9.4 s26.3 s1 s5.9 s5.6 s2.9 s2.4 s51.4 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.