ModelVerdict

Antonietta Wende, Bernadette Adler, Martha Hölzenbecher

GermanDocument6 fields

Document de-p0024 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Von: Karl-Ernst Franke <karl-ernst.franke@doerschner.example>
Datum: 28. April 2026
Betreff: Kundenportal – Budget und Termine

Hallo zusammen,

anbei mein Vorschlag für die nächste Phase des Projekts Kundenportal. Der Leistungsumfang ist gegenüber dem ursprünglichen Auftrag gewachsen, daher schlage ich vor, 126.000 EUR für externe Berater zur Prozessanalyse einzuplanen. Zum Vergleich: Im Vorjahr hat uns die Position „Mitarbeiterschulungen“ 5.500 EUR gekostet. Den Termin für die Vertragsunterzeichnung mit dem Lieferanten würde ich beim 15. Juni 2026 belassen.

Die Angebote der Anbieter liegen bei, das detaillierte Budget ergänze ich nach Ihren Anmerkungen. Bitte geben Sie mir bis Ende der Woche Rückmeldung.

Viele Grüße
Karl-Ernst Franke

----------

Von: Wibke Textor <wibke.textor@doerschner.example>
Datum: 29. April 2026
Betreff: AW: Kundenportal – Budget und Termine

Hallo Herr Franke,

126.000 EUR kann ich nicht genehmigen, so viel haben wir im Projektbudget nicht. Auch den 15. Juni 2026 halte ich für unrealistisch, weil der Lieferant den überarbeiteten Vertragsentwurf noch nicht geschickt hat. Bevor wir etwas bestätigen, brauche ich ein detaillierteres Budget. Lassen Sie uns das in der nächsten Teambesprechung klären; bitte bringen Sie die Zahlen und einen Angebotsvergleich mit.

Wibke Textor

----------

Von: Wibke Textor <wibke.textor@doerschner.example>
Datum: 4. Mai 2026
Betreff: AW: Kundenportal – Budget und Termine

Hallo zusammen,

vielen Dank für die heutige Besprechung und die vorbereiteten Zahlen. Hier die Zusammenfassung dessen, worauf wir uns endgültig geeinigt haben:
- Externe Beratung: 90.000 EUR
- Mitarbeiterschulungen: 8.500 EUR
- Büroumbau: 67.000 EUR
- Neuer Termin für die Vertragsunterzeichnung mit dem Lieferanten: 12. Juli 2026

Der Vorschlag über 126.000 EUR ist damit vom Tisch, und der ursprüngliche Termin 15. Juni 2026 gilt nicht mehr.

Aufgaben:
- Antonietta Wende: Vertrag mit dem Lieferanten vorbereiten und unterzeichnen, Frist: 12. Juli 2026
- Bernadette Adler: Schulung organisieren und Einladungen verschicken, laufend
- Martha Hölzenbecher: Kampagne starten und Inhalte für die Website vorbereiten, laufend

Falls ich etwas vergessen habe, geben Sie mir bitte Bescheid.

Viele Grüße
Wibke Textor

Verdict

Cheapest with no errors: GPT-6 Luna at $0.17 per 1,000 documents.

  • Claude Sonnet 5.5 is also error-free, but 34.7× more expensive.

Prompt given to every model

Fassen Sie das unten stehende Dokument (Besprechungsprotokoll, Projektstatusbericht oder
E-Mail-Verlauf) in höchstens 80 Wörtern zusammen.

Regeln:
- Nennen Sie alle endgültigen Entscheidungen: die genehmigten Beträge, die geltenden Termine und
  die für die Aufgaben verantwortlichen Personen (mit vollem Namen).
- Erwähnen Sie keine abgelehnten Vorschläge und deren Beträge und keine Termine, die geändert
  wurden (die ursprünglichen Termine); nennen Sie nur die geltenden Termine.
- Übernehmen Sie Beträge und Daten genau wie im Dokument, runden Sie sie nicht.
- Schreiben Sie in der Sprache des Dokuments, sachlich und in formellem Stil, als Fließtext ohne
  Überschriften.
- Geben Sie nur JSON in der Form {"summary": "…"} zurück.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

Free with login

Every model's output for this document, field by field. The first three examples of each task are open.

Just your email, no password.

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.