Heather Butler, April Cuevas, Terry Ramos
Text dokumentu (model dostal přesně tento text)
From: Terry Ramos <terry.ramos@barton.example> Date: July 31, 2025 Subject: ERP Upgrade – budget and dates Hi all, Here is my proposal for the next phase of ERP Upgrade. The scope has grown since the original brief, so I suggest setting aside $5,500 for the fall marketing campaign. For comparison, last year the "staff training" item cost us $6,500. I would keep the interim report on October 7, 2025. The vendor quotes are attached, and I will fill in the detailed budget based on your comments. Please let me know what you think by the end of the week. Best regards, Terry Ramos ---------- From: Christopher Guerra <christopher.guerra@barton.example> Date: August 1, 2025 Subject: Re: ERP Upgrade – budget and dates Hi, I can't approve $5,500; we don't have that much in the project budget. I also think October 7, 2025 is unrealistic, because the numbers from accounting are still missing. Before we confirm anything, I need to see a more detailed budget. Let's discuss it at the next team meeting; please bring the numbers and a comparison of the quotes. Christopher Guerra ---------- From: Christopher Guerra <christopher.guerra@barton.example> Date: August 6, 2025 Subject: Re: ERP Upgrade – budget and dates Hi everyone, Thanks for today's meeting and for preparing the numbers. Here is a summary of what we finally agreed on: - Marketing campaign: $3,500 - Staff training: $11,500 - New date for the interim report: October 27, 2025 This means the proposal of $5,500 is off the table, and the original date of October 7, 2025 no longer applies. Action items: - Heather Butler: prepare the interim report for senior management, due October 27, 2025 - April Cuevas: order the equipment and arrange installation, ongoing - Terry Ramos: launch the campaign and prepare the web content, ongoing If I missed anything, please let me know. Best, Christopher Guerra
Verdikt
Nejlevnější bez chyby: Gemma 4 31B za 2,90 Kč na 1000 dokladů.
- Mistral Large 4 je také bez chyby, ale 56,4× dražší.
Zadání pro všechny modely
Summarize the document below (meeting minutes, a project status report or an email thread) in at
most 80 words.
Rules:
- Include every final decision: the approved amounts, the deadlines that apply and the people
responsible for the action items (full names).
- Do not mention rejected proposals or their amounts, and do not mention deadlines that were
changed (the original dates); state only the deadlines that apply.
- Copy amounts and dates exactly as in the document; do not round them.
- Write in the language of the document, factually and in a formal register, as running text
without headings.
- Return only JSON in the form {"summary": "…"}.
Jak hodnotíme
Přesná shoda pole po sjednocení formátu data, částek a mezer. Chybějící diakritika se počítá jako chyba. Cena je skutečná útrata za tokeny v tomto běhu, přepočtená kurzem k datu v patičce.
Co z dokladu dostal který model
| Pole | Správná hodnota | Gemma 4 31B6 / 6 polí | GPT-6 Luna6 / 6 polí | Mistral Small 46 / 6 polí | Claude Haiku 5.56 / 6 polí | Qwen3.8 Flash6 / 6 polí | DeepSeek V4.1 Flash6 / 6 polí | Gemini 3.5 Flash Lite5 / 6 polí | GLM-5.3 Flash6 / 6 polí | Mistral Medium 3.56 / 6 polí | GPT-6 Sol6 / 6 polí | Claude Sonnet 5.56 / 6 polí | Claude Sonnet 56 / 6 polí | Gemini 3.8 Flash6 / 6 polí | Mistral Large 46 / 6 polí |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Částky | 3500.0; 11500.0 | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) | 3500; 11500 (správně) |
| Termíny | 2025-10-27 | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) | 2025-10-27 (správně) |
| Odpovědné osoby | Heather Butler; April Cuevas; Terry Ramos | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) | Heather Butler; April Cuevas; Terry Ramos (správně) |
| Zamítnuté návrhy (nesmí být)Částky z návrhů, které dokument zamítá. Ve shrnutí se objevit nesmí, čtenáře by zmátly. | 5500.0 | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) |
| Posunuté termíny (nesmí být)Termíny, které dokument později posouvá. Ve shrnutí má být jen nový termín. | 2025-10-07 | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) | — (správně) |
| Délka (max. slov)Shrnutí smí mít nejvýš tolik slov, kolik je limit v zadání. | 80 | 49 / 80 (správně) | 50 / 80 (správně) | 53 / 80 (správně) | 71 / 80 (správně) | 61 / 80 (správně) | 57 / 80 (správně) | 81 / 80špatná hodnota | 59 / 80 (správně) | 50 / 80 (správně) | 54 / 80 (správně) | 59 / 80 (správně) | 74 / 80 (správně) | 60 / 80 (správně) | 63 / 80 (správně) |
| Tokeny | vstup / výstup | 677 / 78 | 624 / 164 | 653 / 84 | 1 099 / 453 | 776 / 703 | 682 / 548 | 665 / 123 | 615 / 1 253 | 653 / 81 | 624 / 178 | 1 099 / 125 | 1 097 / 156 | 665 / 1 052 | 647 / 3 192 |
| z toho skryté přemýšlení | plací se jako výstup | 0 | 83 | 0 | 300 | 608 | 462 | 0 | 1 101 | 0 | 94 | 0 | 0 | 957 | 2 969 |
| z toho z cache | vstup se slevou | 3 | 0 | 0 | 0 | 256 | 90 | 0 | 0 | 69 | 0 | 0 | 0 | 0 | 0 |
| Cena tohoto dokladu | tento běh | 0,0029 Kč | 0,0033 Kč | 0,0034 Kč | 0,0077 Kč | 0,0095 Kč | 0,0113 Kč | 0,0117 Kč | 0,0165 Kč | 0,0365 Kč | 0,0696 Kč | 0,0793 Kč | 0,0863 Kč | 0,1022 Kč | 0,1636 Kč |
| Za 1000 dokladů | při stejném typu dokladu | 2,90 Kč | 3,32 Kč | 3,41 Kč | 7,74 Kč | 9,49 Kč | 11,33 Kč | 11,66 Kč | 16,53 Kč | 36,50 Kč | 69,64 Kč | 79,30 Kč | 86,34 Kč | 102,21 Kč | 163,56 Kč |
| Odezva | tento běh | 4,4 s | 2,8 s | 1,1 s | 2,6 s | 10,5 s | 6,5 s | 0,9 s | 8 s | 0,9 s | 4,9 s | 1,8 s | 2,8 s | 4,2 s | 39,7 s |