Gesa Jäkel, Elenore Hübel
Document text (the model received exactly this text)
Protokoll der Projektbesprechung – Standort Leipzig Datum: 12.03.2025, 9:00–10:30 Uhr Ort: Besprechungsraum A101 Teilnehmende: Dorothe Rogner, Gesa Jäkel, Elenore Hübel Protokoll: Gesa Jäkel Seitenzahl: 4 Tagesordnung: TOP 1: Marketingkampagne TOP 2: Büroumbau TOP 3: Zeitplan TOP 4: Aufgaben und Sonstiges Frau Rogner eröffnete die Besprechung, begrüßte die Anwesenden und fasste den Projektstand kurz zusammen. Das Projekt liegt im Plan, kleinere Verzögerungen betreffen nur Lieferungen. TOP 1: Marketingkampagne Frau Hübel schlug vor, 66.000 EUR für die Herbstkampagne im Marketing einzuplanen, da der Leistungsumfang gegenüber dem ursprünglichen Auftrag gewachsen sei. Frau Rogner wies darauf hin, dass das Projektbudget einen so hohen Betrag nicht trägt. Der Vorschlag über 66.000 EUR wurde in der Abstimmung abgelehnt (2 dafür, 5 dagegen). Anschließend genehmigte das Team 50.000 EUR für die Herbstkampagne im Marketing. TOP 2: Büroumbau Frau Rogner stellte die Angebote von drei Anbietern vor und empfahl das wirtschaftlichste. Zum Vergleich: Im Vorjahr kostete dieselbe Position 23.000 EUR. Das Team genehmigte 33.000 EUR für den Umbau der Büros im zweiten Stock. TOP 3: Zeitplan Der ursprüngliche Termin für den Zwischenbericht, der 16.05.2025, ist nicht zu halten, weil noch Zahlen aus der Buchhaltung fehlen. Das Team einigte sich auf den neuen Termin 07.06.2025; der ursprüngliche Termin 16.05.2025 entfällt damit. Alle anderen Termine bleiben unverändert. Frau Rogner dankte Frau Jäkel für den Hinweis, dass die betroffenen Abteilungen informiert werden müssen. TOP 4: Aufgaben und Sonstiges Aufgaben: - Gesa Jäkel: Zwischenbericht für die Geschäftsleitung erstellen, Frist: 07.06.2025 - Elenore Hübel: Vertrag mit dem Lieferanten vorbereiten und unterzeichnen, Frist: 03.04.2025 Nächste Besprechung: 19.03.2025, gleicher Raum. Anmerkungen zum Protokoll bitte innerhalb von zwei Arbeitstagen.
Verdict
Cheapest with no errors: Gemma 4 31B at $0.16 per 1,000 documents.
- Claude Sonnet 5 is also error-free, but 43.3× more expensive.
Prompt given to every model
Fassen Sie das unten stehende Dokument (Besprechungsprotokoll, Projektstatusbericht oder
E-Mail-Verlauf) in höchstens 80 Wörtern zusammen.
Regeln:
- Nennen Sie alle endgültigen Entscheidungen: die genehmigten Beträge, die geltenden Termine und
die für die Aufgaben verantwortlichen Personen (mit vollem Namen).
- Erwähnen Sie keine abgelehnten Vorschläge und deren Beträge und keine Termine, die geändert
wurden (die ursprünglichen Termine); nennen Sie nur die geltenden Termine.
- Übernehmen Sie Beträge und Daten genau wie im Dokument, runden Sie sie nicht.
- Schreiben Sie in der Sprache des Dokuments, sachlich und in formellem Stil, als Fließtext ohne
Überschriften.
- Geben Sie nur JSON in der Form {"summary": "…"} zurück.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | GPT-6 Luna6 / 6 fields | Mistral Small 46 / 6 fields | Claude Haiku 5.56 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Mistral Large 46 / 6 fields | Claude Sonnet 5.56 / 6 fields | Gemini 3.8 Flash6 / 6 fields | Claude Sonnet 56 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 50000.0; 33000.0 | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) |
| Deadlines | 2025-06-07; 2025-04-03 | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) |
| Responsible people | Gesa Jäkel; Elenore Hübel | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) | Gesa Jäkel; Elenore Hübel (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 66000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2025-05-16 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 52 / 80 (correct) | 47 / 80 (correct) | 58 / 80 (correct) | 62 / 80 (correct) | 58 / 80 (correct) | 55 / 80 (correct) | 51 / 80 (correct) | 67 / 80 (correct) | 37 / 80 (correct) | 65 / 80 (correct) | 47 / 80 (correct) | 71 / 80 (correct) | 52 / 80 (correct) | 65 / 80 (correct) |
| Tokens | input / output | 813 / 125 | 744 / 243 | 783 / 143 | 1,575 / 676 | 801 / 142 | 894 / 627 | 901 / 1,248 | 794 / 1,785 | 783 / 101 | 744 / 238 | 731 / 2,339 | 1,575 / 250 | 801 / 1,571 | 1,573 / 395 |
| including hidden reasoning | billed as output | 0 | 133 | 0 | 448 | 0 | 508 | 1,122 | 1,471 | 0 | 94 | 2,004 | 0 | 1,454 | 152 |
| including cached input | input billed at a discount | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0005 | $0.0006 | $0.0006 | $0.0007 | $0.0010 | $0.0019 | $0.0039 | $0.0054 | $0.0057 | $0.0065 | $0.0071 |
| Per 1,000 documents | for documents of this type | $0.16 | $0.20 | $0.20 | $0.50 | $0.60 | $0.61 | $0.72 | $1.01 | $1.93 | $3.87 | $5.39 | $5.65 | $6.49 | $7.10 |
| Latency | this run | 4.6 s | 3.5 s | 1.4 s | 3.3 s | 0.9 s | 11.5 s | 20.1 s | 13.7 s | 1.6 s | 7.5 s | 70.2 s | 2.8 s | 6.1 s | 4.8 s |