Jozef Müller, Ludmila Šmídová
Document text (the model received exactly this text)
Zápis z porady projektového týmu – Pobočka Brno Datum: 12. 3. 2025, 9:00–10:30 Místo: zasedací místnost A303 Přítomni: Světlana Navrátilová, Jozef Müller, Ludmila Šmídová, Erik Liška Zapisuje: Erik Liška Počet stran: 4 Program: 1. Marketingová kampaň 2. Úprava kanceláří 3. Harmonogram 4. Úkoly a různé Světlana Navrátilová zahájila poradu, přivítala přítomné a stručně shrnula stav projektu. Většina prací probíhá podle plánu, hlavním tématem porady byl rozpočet. 1. Marketingová kampaň Jozef Müller navrhl vyčlenit na podzimní marketingovou kampaň 1 300 000 Kč s odůvodněním, že rozsah prací se oproti původnímu zadání rozšířil. Světlana Navrátilová upozornila, že tak vysokou částku rozpočet projektu neunese. Návrh na 1 300 000 Kč byl hlasováním zamítnut (3 pro, 4 proti). Tým následně schválil částku 990 000 Kč na podzimní marketingovou kampaň. 2. Úprava kanceláří Světlana Navrátilová představila nabídky tří dodavatelů a doporučila tu nejvýhodnější. Pro srovnání: v loňském roce stála obdobná položka 460 000 Kč. Tým schválil částku 660 000 Kč na úpravu kanceláří ve druhém patře. 3. Harmonogram Původní termín odevzdání průběžné zprávy, 16. 5. 2025, nelze dodržet, protože chybí podklady z účetnictví. Tým se dohodl na novém termínu 7. 6. 2025; původní termín 16. 5. 2025 tím přestává platit. Ostatní termíny zůstávají beze změny. Erik Liška upozornil, že posun je třeba oznámit dotčeným oddělením. 4. Úkoly a různé Úkoly: - Jozef Müller: připravit průběžnou zprávu pro vedení, termín 7. 6. 2025 - Ludmila Šmídová: připravit a podepsat smlouvu s dodavatelem, termín 3. 4. 2025 Příští porada se koná 19. 3. 2025 ve stejné místnosti. Připomínky k zápisu zasílejte do dvou pracovních dnů. Zapsal: Erik Liška
Verdict
Cheapest with no errors: Gemma 4 31B at $0.19 per 1,000 documents.
- Gemini 3.8 Flash is also error-free, but 42.9× more expensive.
Prompt given to every model
Shrňte níže uvedený dokument (zápis z porady, stavovou zprávu projektu nebo e-mailovou komunikaci)
v nejvýše 80 slovech.
Pravidla:
- Uveďte všechna konečná rozhodnutí: schválené částky, platné termíny a osoby odpovědné za úkoly
(celým jménem).
- Neuvádějte zamítnuté návrhy ani jejich částky a neuvádějte termíny, které byly změněny
(původní termíny); uveďte jen termíny, které platí.
- Částky a data přepište přesně podle dokumentu, nezaokrouhlujte je.
- Pište v jazyce dokumentu, věcně a ve formálním stylu, souvislým textem bez nadpisů.
- Vraťte pouze JSON ve tvaru {"summary": "…"}.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | Mistral Small 46 / 6 fields | GPT-6 Luna6 / 6 fields | Claude Haiku 5.56 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Claude Sonnet 56 / 6 fields | Claude Sonnet 5.56 / 6 fields | Mistral Large 46 / 6 fields | Gemini 3.8 Flash6 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 990000.0; 660000.0 | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) | 990000; 660000 (correct) |
| Deadlines | 2025-06-07; 2025-04-03 | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) |
| Responsible people | Jozef Müller; Ludmila Šmídová | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) | Jozef Müller; Ludmila Šmídová (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 1300000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2025-05-16 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 58 / 80 (correct) | 53 / 80 (correct) | 55 / 80 (correct) | 76 / 80 (correct) | 51 / 80 (correct) | 48 / 80 (correct) | 67 / 80 (correct) | 63 / 80 (correct) | 38 / 80 (correct) | 59 / 80 (correct) | 71 / 80 (correct) | 69 / 80 (correct) | 61 / 80 (correct) | 62 / 80 (correct) |
| Tokens | input / output | 931 / 149 | 930 / 157 | 915 / 281 | 1,379 / 247 | 919 / 137 | 1,007 / 775 | 958 / 1,886 | 1,044 / 2,674 | 930 / 124 | 915 / 258 | 1,377 / 223 | 1,379 / 223 | 977 / 3,171 | 919 / 1,988 |
| including hidden reasoning | billed as output | 0 | 0 | 139 | 0 | 0 | 554 | 1,299 | 2,499 | 0 | 106 | 0 | 0 | 2,176 | 1,827 |
| including cached input | input billed at a discount | 3 | 197 | 0 | 0 | 0 | 0 | 0 | 256 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0003 | $0.0006 | $0.0007 | $0.0011 | $0.0014 | $0.0023 | $0.0044 | $0.0050 | $0.0050 | $0.0073 | $0.0081 |
| Per 1,000 documents | for documents of this type | $0.19 | $0.21 | $0.23 | $0.26 | $0.62 | $0.73 | $1.09 | $1.38 | $2.32 | $4.41 | $4.98 | $4.99 | $7.29 | $8.14 |
| Latency | this run | 2.8 s | 1.5 s | 4.2 s | 3.3 s | 0.9 s | 10.4 s | 12.4 s | 42.5 s | 1.4 s | 7.4 s | 3.3 s | 3.8 s | 43.8 s | 7.7 s |