Reinhart Plath, Franz-Peter Berger, Larissa Löffler
Dokumenttext (das Modell hat genau diesen Text erhalten)
Von: Reinhart Plath <reinhart.plath@wulf.example> Datum: 31.07.2025 Betreff: ERP-Umstellung – Budget und Termine Hallo zusammen, anbei mein Vorschlag für die nächste Phase des Projekts ERP-Umstellung. Der Leistungsumfang ist gegenüber dem ursprünglichen Auftrag gewachsen, daher schlage ich vor, 5.500 EUR für die Herbstkampagne im Marketing einzuplanen. Zum Vergleich: Im Vorjahr hat uns die Position „Mitarbeiterschulungen“ 6.500 EUR gekostet. Den Termin für den Zwischenbericht würde ich beim 07.10.2025 belassen. Die Angebote der Anbieter liegen bei, das detaillierte Budget ergänze ich nach Ihren Anmerkungen. Bitte geben Sie mir bis Ende der Woche Rückmeldung. Viele Grüße Reinhart Plath ---------- Von: Anna-Maria Käster <anna-maria.kaester@wulf.example> Datum: 01.08.2025 Betreff: AW: ERP-Umstellung – Budget und Termine Hallo Herr Plath, 5.500 EUR kann ich nicht genehmigen, so viel haben wir im Projektbudget nicht. Auch den 07.10.2025 halte ich für unrealistisch, weil noch Zahlen aus der Buchhaltung fehlen. Bevor wir etwas bestätigen, brauche ich ein detaillierteres Budget. Lassen Sie uns das in der nächsten Teambesprechung klären; bitte bringen Sie die Zahlen und einen Angebotsvergleich mit. Anna-Maria Käster ---------- Von: Anna-Maria Käster <anna-maria.kaester@wulf.example> Datum: 06.08.2025 Betreff: AW: ERP-Umstellung – Budget und Termine Hallo zusammen, vielen Dank für die heutige Besprechung und die vorbereiteten Zahlen. Hier die Zusammenfassung dessen, worauf wir uns endgültig geeinigt haben: - Marketingkampagne: 3.500 EUR - Mitarbeiterschulungen: 11.500 EUR - Neuer Termin für den Zwischenbericht: 27.10.2025 Der Vorschlag über 5.500 EUR ist damit vom Tisch, und der ursprüngliche Termin 07.10.2025 gilt nicht mehr. Aufgaben: - Reinhart Plath: Zwischenbericht für die Geschäftsleitung erstellen, Frist: 27.10.2025 - Franz-Peter Berger: Hardware bestellen und Installation organisieren, laufend - Larissa Löffler: Kampagne starten und Inhalte für die Website vorbereiten, laufend Falls ich etwas vergessen habe, geben Sie mir bitte Bescheid. Viele Grüße Anna-Maria Käster
Fazit
Am günstigsten ohne Fehler: Gemma 4 31B für 0,15 € pro 1.000 Dokumente.
- Mistral Large 4 ist ebenfalls fehlerfrei, aber 49,3× teurer.
Prompt für alle Modelle
Fassen Sie das unten stehende Dokument (Besprechungsprotokoll, Projektstatusbericht oder
E-Mail-Verlauf) in höchstens 80 Wörtern zusammen.
Regeln:
- Nennen Sie alle endgültigen Entscheidungen: die genehmigten Beträge, die geltenden Termine und
die für die Aufgaben verantwortlichen Personen (mit vollem Namen).
- Erwähnen Sie keine abgelehnten Vorschläge und deren Beträge und keine Termine, die geändert
wurden (die ursprünglichen Termine); nennen Sie nur die geltenden Termine.
- Übernehmen Sie Beträge und Daten genau wie im Dokument, runden Sie sie nicht.
- Schreiben Sie in der Sprache des Dokuments, sachlich und in formellem Stil, als Fließtext ohne
Überschriften.
- Geben Sie nur JSON in der Form {"summary": "…"} zurück.
So bewerten wir
Exakte Übereinstimmung pro Feld nach Normalisierung von Datumsangaben, Beträgen und Leerzeichen. Fehlende diakritische Zeichen zählen als Fehler. Die Kosten sind der reale Tokenverbrauch dieses Laufs, umgerechnet zum Kurs in der Fußzeile.
Was jedes Modell extrahiert hat
| Feld | Richtiger Wert | Gemma 4 31B6 / 6 Felder | Mistral Small 46 / 6 Felder | GPT-6 Luna6 / 6 Felder | Claude Haiku 5.56 / 6 Felder | DeepSeek V4.1 Flash6 / 6 Felder | Gemini 3.5 Flash Lite6 / 6 Felder | GLM-5.3 Flash6 / 6 Felder | Qwen3.8 Flash6 / 6 Felder | Mistral Medium 3.56 / 6 Felder | GPT-6 Sol6 / 6 Felder | Gemini 3.8 Flash6 / 6 Felder | Claude Sonnet 56 / 6 Felder | Claude Sonnet 5.56 / 6 Felder | Mistral Large 46 / 6 Felder |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Beträge | 3500.0; 11500.0 | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) | 3500; 11500 (richtig) |
| Termine | 2025-10-27 | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) | 2025-10-27 (richtig) |
| Verantwortliche | Reinhart Plath; Franz-Peter Berger; Larissa Löffler | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) | Reinhart Plath; Franz-Peter Berger; Larissa Löffler (richtig) |
| Abgelehnte Vorschläge (dürfen nicht vorkommen)Beträge aus Vorschlägen, die das Dokument ablehnt. Sie dürfen nicht in der Zusammenfassung stehen, weil sie den Leser irreführen würden. | 5500.0 | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) |
| Verschobene Termine (dürfen nicht vorkommen)Termine, die das Dokument später verschiebt. In der Zusammenfassung darf nur der neue Termin stehen. | 2025-10-07 | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) | — (richtig) |
| Länge (max. Wörter)Die Zusammenfassung darf höchstens so viele Wörter haben wie das Limit in der Anweisung. | 80 | 54 / 80 (richtig) | 49 / 80 (richtig) | 48 / 80 (richtig) | 54 / 80 (richtig) | 50 / 80 (richtig) | 69 / 80 (richtig) | 58 / 80 (richtig) | 51 / 80 (richtig) | 37 / 80 (richtig) | 56 / 80 (richtig) | 62 / 80 (richtig) | 50 / 80 (richtig) | 60 / 80 (richtig) | 59 / 80 (richtig) |
| Tokens | Eingabe / Ausgabe | 840 / 123 | 830 / 109 | 762 / 193 | 1.635 / 232 | 926 / 478 | 828 / 151 | 815 / 1.333 | 934 / 1.959 | 830 / 95 | 762 / 229 | 828 / 1.272 | 1.633 / 217 | 1.635 / 232 | 766 / 3.682 |
| davon verborgenes Reasoning | als Ausgabe berechnet | 0 | 0 | 92 | 0 | 358 | 0 | 1.090 | 1.844 | 0 | 116 | 1.138 | 0 | 0 | 3.261 |
| davon aus dem Cache | Eingabe mit Rabatt | 203 | 165 | 0 | 0 | 154 | 0 | 0 | 256 | 0 | 0 | 0 | 0 | 0 | 0 |
| Kosten für dieses Dokument | dieser Lauf | 0,0002 € | 0,0002 € | 0,0002 € | 0,0003 € | 0,0004 € | 0,0006 € | 0,0007 € | 0,0009 € | 0,0018 € | 0,0035 € | 0,0050 € | 0,0050 € | 0,0051 € | 0,0076 € |
| Pro 1.000 Dokumente | für Dokumente dieser Art | 0,15 € | 0,15 € | 0,16 € | 0,26 € | 0,45 € | 0,58 € | 0,73 € | 0,94 € | 1,80 € | 3,51 € | 4,96 € | 5,00 € | 5,14 € | 7,56 € |
| Latenz | dieser Lauf | 4,6 s | 1,2 s | 3,3 s | 2 s | 7 s | 1 s | 9,4 s | 26,3 s | 1 s | 5,9 s | 5,6 s | 2,9 s | 2,4 s | 51,4 s |