ModelVerdict

Ladislav Holub, Květa Němcová, Lucie Králová

CzechDocument6 fields

Document cs-p0003 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Od: Ladislav Holub <ladislav.holub@slavik-vankova.example>
Datum: 31. 7. 2025
Předmět: Nový ERP – rozpočet a termíny

Dobrý den,

posílám návrh na další fázi projektu Nový ERP. Rozsah prací se oproti původnímu zadání rozšířil, proto navrhuji vyčlenit na podzimní marketingovou kampaň 120 000 CZK. Pro srovnání: loni nás položka „školení zaměstnanců“ stála 145 000 CZK. Termín odevzdání průběžné zprávy bych ponechal na 7. 10. 2025.

Nabídky dodavatelů jsou v příloze, podrobný rozpočet doplním podle vašich připomínek. Prosím o vyjádření do konce týdne.

S pozdravem
Ladislav Holub

----------

Od: René Štěpánek <rene.stepanek@slavik-vankova.example>
Datum: 1. 8. 2025
Předmět: Re: Nový ERP – rozpočet a termíny

Dobrý den,

částku 120 000 CZK neschvaluji, tolik v rozpočtu projektu nemáme. Termín 7. 10. 2025 je podle mě také nereálný, protože chybí podklady z účetnictví. Než cokoli potvrdíme, potřebuji vidět podrobnější rozpočet. Probereme to na nejbližší schůzce týmu, prosím připravte podklady a srovnání nabídek.

René Štěpánek

----------

Od: René Štěpánek <rene.stepanek@slavik-vankova.example>
Datum: 6. 8. 2025
Předmět: Re: Nový ERP – rozpočet a termíny

Dobrý den všem,

děkuji za dnešní schůzku a za připravené podklady. Posílám shrnutí toho, na čem jsme se definitivně dohodli:
- Marketingová kampaň: 75 000 CZK
- Školení zaměstnanců: 230 000 CZK
- nový termín odevzdání průběžné zprávy: 27. 10. 2025

Návrh na 120 000 CZK tím padá a původní termín 7. 10. 2025 už neplatí.

Úkoly:
- Ladislav Holub: připravit průběžnou zprávu pro vedení, termín 27. 10. 2025
- Květa Němcová: objednat techniku a zajistit její instalaci, průběžně
- Lucie Králová: spustit kampaň a připravit podklady pro web, průběžně

Pokud jsem na něco zapomněl, dejte prosím vědět.

S pozdravem
René Štěpánek

Verdict

Cheapest with no errors: Gemma 4 31B at $0.20 per 1,000 documents.

  • Mistral Large 4 is also error-free, but 32.6× more expensive.

Prompt given to every model

Shrňte níže uvedený dokument (zápis z porady, stavovou zprávu projektu nebo e-mailovou komunikaci)
v nejvýše 80 slovech.

Pravidla:
- Uveďte všechna konečná rozhodnutí: schválené částky, platné termíny a osoby odpovědné za úkoly
  (celým jménem).
- Neuvádějte zamítnuté návrhy ani jejich částky a neuvádějte termíny, které byly změněny
  (původní termíny); uveďte jen termíny, které platí.
- Částky a data přepište přesně podle dokumentu, nezaokrouhlujte je.
- Pište v jazyce dokumentu, věcně a ve formálním stylu, souvislým textem bez nadpisů.
- Vraťte pouze JSON ve tvaru {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsClaude Haiku 5.56 / 6 fieldsMistral Small 46 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsClaude Sonnet 56 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsMistral Large 46 / 6 fields
Amounts75000.0; 230000.075000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)75000; 230000 (correct)
Deadlines2025-10-272025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)
Responsible peopleLadislav Holub; Květa Němcová; Lucie KrálováLadislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)Ladislav Holub; Květa Němcová; Lucie Králová (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.120000.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2025-10-07— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8060 / 80 (correct)58 / 80 (correct)60 / 80 (correct)52 / 80 (correct)46 / 80 (correct)55 / 80 (correct)74 / 80 (correct)57 / 80 (correct)37 / 80 (correct)49 / 80 (correct)58 / 80 (correct)63 / 80 (correct)62 / 80 (correct)70 / 80 (correct)
Tokensinput / output979 / 153942 / 2331,420 / 188990 / 1471,045 / 6941,099 / 1,170967 / 189990 / 1,258990 / 122942 / 1221,420 / 1981,418 / 211967 / 1,4901,027 / 2,761
including hidden reasoningbilled as output084005241,010097300001,3321,922
including cached inputinput billed at a discount22000017225600000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0002$0.0007$0.0007$0.0008$0.0008$0.0024$0.0031$0.0048$0.0049$0.0063$0.0065
Per 1,000 documentsfor documents of this type$0.20$0.21$0.24$0.24$0.65$0.68$0.76$0.78$2.40$3.10$4.82$4.95$6.31$6.47
Latencythis run4 s3.5 s2.1 s1.6 s10.2 s17.2 s1 s8.1 s1.4 s4.2 s4.2 s3.6 s6.9 s59.8 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.