Juan Hethur
Document text (the model received exactly this text)
Projektstatusbericht – ERP-Umstellung Berichtszeitraum: 27.05.2026 – 10.06.2026 Erstellt von: Gerlinde Kruschwitz, Projektleiterin Seite 1 von 3 1. Gesamtstatus Der Gesamtstatus ist gelb: Die Arbeiten laufen, aber ein Meilenstein verschiebt sich. Das Budget ist unter Kontrolle. Im Berichtszeitraum erledigt: - Anforderungsanalyse abgeschlossen und mit den Key Usern abgestimmt, - Testumgebung eingerichtet und erste Abnahmetests durchgeführt, - Risikoregister und Kommunikationsplan aktualisiert, - alle offenen Anfragen aus dem Vorzeitraum bis auf eine abgeschlossen. 2. Budget und Änderungen Der Lenkungsausschuss hat folgende Beträge genehmigt: - Hardwarebeschaffung: 11.500 € - Mitarbeiterschulungen: 24.000 € Änderungsantrag CR-16: Nuray Winkler beantragte eine Erhöhung des Betrags für Laptops und Monitore für die neuen Mitarbeitenden auf 16.000 €. Der Lenkungsausschuss hat den Antrag abgelehnt; es bleibt bei den genehmigten 11.500 €. Zum Vergleich: Im Vorjahr kostete die Position „Mitarbeiterschulungen“ 18.500 €. 3. Zeitplan Der ursprüngliche Termin für die Ausschreibung am 23.08.2026 verschiebt sich auf den 15.09.2026, weil die Rechtsabteilung die Unterlagen noch prüft. Der Lenkungsausschuss hat die Verschiebung genehmigt, der ursprüngliche Termin gilt nicht mehr. 4. Nächste Schritte - Ausschreibung für den Dienstleister veröffentlichen – verantwortlich: Juan Hethur, Frist: 15.09.2026 - Kampagne starten und Inhalte für die Website vorbereiten – verantwortlich: Juan Hethur, Frist: 26.07.2026 5. Risiken Ein Risiko ist die Auslastung der internen Kapazitäten. Die Geschäftsleitung ist informiert und hat zusätzliche Unterstützung zugesagt. 6. Kommunikation Die Key User wurden im regelmäßigen Anwendertreffen über die Änderungen informiert. Aktuelle Informationen zum Projekt stehen im Intranet, Fragen bitte an das Projektteam. Der nächste Statusbericht folgt nach der Sitzung des Lenkungsausschusses am 17.06.2026.
Verdict
Cheapest with no errors: Gemma 4 31B at $0.15 per 1,000 documents.
- Claude Sonnet 5.5 is also error-free, but 38.7× more expensive.
Prompt given to every model
Fassen Sie das unten stehende Dokument (Besprechungsprotokoll, Projektstatusbericht oder
E-Mail-Verlauf) in höchstens 80 Wörtern zusammen.
Regeln:
- Nennen Sie alle endgültigen Entscheidungen: die genehmigten Beträge, die geltenden Termine und
die für die Aufgaben verantwortlichen Personen (mit vollem Namen).
- Erwähnen Sie keine abgelehnten Vorschläge und deren Beträge und keine Termine, die geändert
wurden (die ursprünglichen Termine); nennen Sie nur die geltenden Termine.
- Übernehmen Sie Beträge und Daten genau wie im Dokument, runden Sie sie nicht.
- Schreiben Sie in der Sprache des Dokuments, sachlich und in formellem Stil, als Fließtext ohne
Überschriften.
- Geben Sie nur JSON in der Form {"summary": "…"} zurück.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | Mistral Small 46 / 6 fields | GPT-6 Luna6 / 6 fields | Claude Haiku 5.56 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | Gemini 3.8 Flash6 / 6 fields | GPT-6 Sol6 / 6 fields | Mistral Large 46 / 6 fields | Claude Sonnet 56 / 6 fields | Claude Sonnet 5.56 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 11500.0; 24000.0 | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) |
| Deadlines | 2026-09-15; 2026-07-26 | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) |
| Responsible people | Juan Hethur | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) | Juan Hethur (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 16000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2026-08-23 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 37 / 80 (correct) | 45 / 80 (correct) | 36 / 80 (correct) | 63 / 80 (correct) | 58 / 80 (correct) | 47 / 80 (correct) | 62 / 80 (correct) | 30 / 80 (correct) | 24 / 80 (correct) | 47 / 80 (correct) | 63 / 80 (correct) | 39 / 80 (correct) | 58 / 80 (correct) | 62 / 80 (correct) |
| Tokens | input / output | 777 / 105 | 763 / 126 | 710 / 250 | 1,545 / 776 | 765 / 147 | 867 / 663 | 771 / 1,235 | 868 / 2,038 | 763 / 84 | 765 / 1,149 | 710 / 375 | 695 / 2,265 | 1,543 / 251 | 1,545 / 275 |
| including hidden reasoning | billed as output | 0 | 0 | 160 | 527 | 0 | 535 | 1,057 | 1,944 | 0 | 1,036 | 226 | 1,994 | 0 | 0 |
| including cached input | input billed at a discount | 3 | 165 | 0 | 0 | 0 | 0 | 0 | 256 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0005 | $0.0006 | $0.0006 | $0.0007 | $0.0011 | $0.0018 | $0.0049 | $0.0052 | $0.0052 | $0.0056 | $0.0058 |
| Per 1,000 documents | for documents of this type | $0.15 | $0.17 | $0.20 | $0.54 | $0.60 | $0.63 | $0.73 | $1.05 | $1.77 | $4.88 | $5.17 | $5.21 | $5.60 | $5.84 |
| Latency | this run | 2.2 s | 1.3 s | 3.4 s | 5.2 s | 1.1 s | 8 s | 11.9 s | 28.3 s | 0.9 s | 5.1 s | 8.6 s | 54.2 s | 2.8 s | 3.4 s |