Ladislav Holub, Květa Němcová, Lucie Králová
Document text (the model received exactly this text)
Od: Ladislav Holub <ladislav.holub@slavik-vankova.example> Datum: 31. 7. 2025 Předmět: Nový ERP – rozpočet a termíny Dobrý den, posílám návrh na další fázi projektu Nový ERP. Rozsah prací se oproti původnímu zadání rozšířil, proto navrhuji vyčlenit na podzimní marketingovou kampaň 120 000 CZK. Pro srovnání: loni nás položka „školení zaměstnanců“ stála 145 000 CZK. Termín odevzdání průběžné zprávy bych ponechal na 7. 10. 2025. Nabídky dodavatelů jsou v příloze, podrobný rozpočet doplním podle vašich připomínek. Prosím o vyjádření do konce týdne. S pozdravem Ladislav Holub ---------- Od: René Štěpánek <rene.stepanek@slavik-vankova.example> Datum: 1. 8. 2025 Předmět: Re: Nový ERP – rozpočet a termíny Dobrý den, částku 120 000 CZK neschvaluji, tolik v rozpočtu projektu nemáme. Termín 7. 10. 2025 je podle mě také nereálný, protože chybí podklady z účetnictví. Než cokoli potvrdíme, potřebuji vidět podrobnější rozpočet. Probereme to na nejbližší schůzce týmu, prosím připravte podklady a srovnání nabídek. René Štěpánek ---------- Od: René Štěpánek <rene.stepanek@slavik-vankova.example> Datum: 6. 8. 2025 Předmět: Re: Nový ERP – rozpočet a termíny Dobrý den všem, děkuji za dnešní schůzku a za připravené podklady. Posílám shrnutí toho, na čem jsme se definitivně dohodli: - Marketingová kampaň: 75 000 CZK - Školení zaměstnanců: 230 000 CZK - nový termín odevzdání průběžné zprávy: 27. 10. 2025 Návrh na 120 000 CZK tím padá a původní termín 7. 10. 2025 už neplatí. Úkoly: - Ladislav Holub: připravit průběžnou zprávu pro vedení, termín 27. 10. 2025 - Květa Němcová: objednat techniku a zajistit její instalaci, průběžně - Lucie Králová: spustit kampaň a připravit podklady pro web, průběžně Pokud jsem na něco zapomněl, dejte prosím vědět. S pozdravem René Štěpánek
Verdict
Cheapest with no errors: Gemma 4 31B at $0.20 per 1,000 documents.
- Mistral Large 4 is also error-free, but 32.6× more expensive.
Prompt given to every model
Shrňte níže uvedený dokument (zápis z porady, stavovou zprávu projektu nebo e-mailovou komunikaci)
v nejvýše 80 slovech.
Pravidla:
- Uveďte všechna konečná rozhodnutí: schválené částky, platné termíny a osoby odpovědné za úkoly
(celým jménem).
- Neuvádějte zamítnuté návrhy ani jejich částky a neuvádějte termíny, které byly změněny
(původní termíny); uveďte jen termíny, které platí.
- Částky a data přepište přesně podle dokumentu, nezaokrouhlujte je.
- Pište v jazyce dokumentu, věcně a ve formálním stylu, souvislým textem bez nadpisů.
- Vraťte pouze JSON ve tvaru {"summary": "…"}.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | GPT-6 Luna6 / 6 fields | Claude Haiku 5.56 / 6 fields | Mistral Small 46 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Claude Sonnet 5.56 / 6 fields | Claude Sonnet 56 / 6 fields | Gemini 3.8 Flash6 / 6 fields | Mistral Large 46 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 75000.0; 230000.0 | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) | 75000; 230000 (correct) |
| Deadlines | 2025-10-27 | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) | 2025-10-27 (correct) |
| Responsible people | Ladislav Holub; Květa Němcová; Lucie Králová | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) | Ladislav Holub; Květa Němcová; Lucie Králová (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 120000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2025-10-07 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 60 / 80 (correct) | 58 / 80 (correct) | 60 / 80 (correct) | 52 / 80 (correct) | 46 / 80 (correct) | 55 / 80 (correct) | 74 / 80 (correct) | 57 / 80 (correct) | 37 / 80 (correct) | 49 / 80 (correct) | 58 / 80 (correct) | 63 / 80 (correct) | 62 / 80 (correct) | 70 / 80 (correct) |
| Tokens | input / output | 979 / 153 | 942 / 233 | 1,420 / 188 | 990 / 147 | 1,045 / 694 | 1,099 / 1,170 | 967 / 189 | 990 / 1,258 | 990 / 122 | 942 / 122 | 1,420 / 198 | 1,418 / 211 | 967 / 1,490 | 1,027 / 2,761 |
| including hidden reasoning | billed as output | 0 | 84 | 0 | 0 | 524 | 1,010 | 0 | 973 | 0 | 0 | 0 | 0 | 1,332 | 1,922 |
| including cached input | input billed at a discount | 220 | 0 | 0 | 0 | 172 | 256 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0002 | $0.0007 | $0.0007 | $0.0008 | $0.0008 | $0.0024 | $0.0031 | $0.0048 | $0.0049 | $0.0063 | $0.0065 |
| Per 1,000 documents | for documents of this type | $0.20 | $0.21 | $0.24 | $0.24 | $0.65 | $0.68 | $0.76 | $0.78 | $2.40 | $3.10 | $4.82 | $4.95 | $6.31 | $6.47 |
| Latency | this run | 4 s | 3.5 s | 2.1 s | 1.6 s | 10.2 s | 17.2 s | 1 s | 8.1 s | 1.4 s | 4.2 s | 4.2 s | 3.6 s | 6.9 s | 59.8 s |