ModelVerdict

SLA: Na jakou slevu z měsíčního paušálu …

CzechDocument6 fields

Document cs-p0003 · layout sla · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document and questions (the model received exactly this text)

Musilová s.r.o.
DOHODA O ÚROVNI SLUŽEB (SLA)

1. Předmět a platnost
1.1 Tato dohoda o úrovni služeb (dále jen „SLA“) stanoví parametry provozu a podpory cloudové aplikace, kterou společnost Musilová s.r.o. (dále jen „poskytovatel“) provozuje pro objednatele.
1.2 Měsíční paušál za služby podle této SLA činí 32 000 Kč bez DPH.
1.3 SLA je účinná od 19. 2. 2026 a nahrazuje verzi ze dne 7. 6. 2025.

2. Dostupnost služby
2.1 Poskytovatel garantuje měsíční dostupnost produkčního prostředí ve výši 99,7 %. Cílová dostupnost testovacího prostředí je 97 % a není spojena s nárokem na slevu.
2.2 Dostupnost měří poskytovatel vlastním monitorovacím systémem v intervalu 5 minut. Měsíční zprávu o dostupnosti zašle objednateli do 5. pracovního dne následujícího měsíce.
2.3 Do nedostupnosti se nezapočítává plánovaná údržba. Plánovanou údržbu oznámí poskytovatel objednateli s předstihem nejméně 10 dnů a její rozsah nepřesáhne 4 hodiny za kalendářní měsíc.
2.4 Údržba probíhá zpravidla o víkendu v nočních hodinách.

3. Podpora a reakční doby
3.1 Požadavky hlásí objednatel přes servisní portál nebo na e-mailové adrese helpdesk@musilova.example. Požadavky priority P1 přijímá poskytovatel 24 hodin denně, 7 dní v týdnu.
3.2 U požadavků priority P1 (kritická porucha, služba je zcela nedostupná) reaguje poskytovatel do 4 hodin od nahlášení a poruchu odstraní nebo zajistí náhradní řešení do 6 hodin.
3.3 U požadavků priority P2 (omezení funkčnosti bez náhradního řešení) reaguje poskytovatel do 8 hodin od nahlášení v pracovní době.
3.4 Požadavky priority P3 a nižší zpracuje poskytovatel nejpozději následující pracovní den.

4. Slevy za nedodržení SLA
4.1 Nedosáhne-li měsíční dostupnost produkčního prostředí garantované úrovně, má objednatel nárok na slevu ve výši 15 % z měsíčního paušálu za dotčený měsíc.
4.2 Slevy za jeden kalendářní měsíc nepřesáhnou v souhrnu 50 % měsíčního paušálu. Nárok na slevu uplatní objednatel písemně do 30 dnů od konce měsíce.
4.3 Dotazy k fakturaci vyřizuje obchodní oddělení poskytovatele na adrese uctarna@musilova.example.

---

Otázky:
1. Na jakou slevu z měsíčního paušálu má objednatel nárok, pokud není dodržena garantovaná dostupnost? (procenta)
2. S jakým předstihem musí poskytovatel oznámit plánovanou údržbu? (počet dnů)
3. Na jakou e-mailovou adresu hlásí objednatel požadavky? (e-mailová adresa)
4. Jaká je reakční doba u požadavků priority P1? (počet hodin)
5. Jak dlouho poskytovatel uchovává zálohy dat? (počet dnů)
6. Jaká je reakční doba u požadavků priority P2? (počet hodin)

Verdict

Cheapest with no errors: Mistral Small 4 at $0.18 per 1,000 documents.

  • Claude Sonnet 5 is also error-free, but 26.8× more expensive.

Prompt given to every model

Odpovídáte na otázky k firemnímu dokumentu. Pod dokumentem je šest číslovaných otázek. Odpovězte
na každou z nich pouze na základě textu dokumentu a vraťte pouze JSON s klíči q1 až q6
(q1 = odpověď na otázku 1 atd.).

Pravidla:
- Každá otázka v závorce uvádí, v jaké jednotce nebo formátu odpovědět. Odpovídejte v této jednotce.
- Počty (dnů, měsíců, hodin) a procenta uvádějte jako číslo bez jednotky a bez znaku %, např. "14"
  nebo "0.05".
- Částky jako číslo s desetinnou tečkou, bez oddělovačů tisíců a bez symbolu měny, např. "1500.00".
- Data ve formátu YYYY-MM-DD.
- Časové rozmezí ve 24hodinovém formátu HH:MM-HH:MM, např. "08:00-17:00".
- E-mailové adresy přesně tak, jak jsou uvedeny v dokumentu.
- Pokud dokument odpověď na otázku neobsahuje, vraťte null. Nehádejte a nedoplňujte údaje, které
  v dokumentu nejsou.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueMistral Small 46 / 6 fieldsGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsClaude Haiku 5.56 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsQwen3.8 Flash5 / 6 fieldsMistral Medium 3.56 / 6 fieldsMistral Large 46 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsClaude Sonnet 56 / 6 fields
Question 11515 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct) 0.15number format15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)
Question 21010 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)
Question 3helpdesk@musilova.examplehelpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)helpdesk@musilova.example (correct)
Question 444 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)
Question 5—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Question 688 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)
Tokensinput / output1,256 / 511,238 / 511,283 / 971,327 / 1622,132 / 1551,479 / 1011,226 / 651,451 / 2,1271,256 / 511,440 / 1,1241,226 / 6761,283 / 442,132 / 512,130 / 55
including hidden reasoningbilled as output00511111005102,0580879611000
including cached inputinput billed at a discount294300000512000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0003$0.0003$0.0004$0.0005$0.0011$0.0023$0.0033$0.0035$0.0036$0.0048$0.0048
Per 1,000 documentsfor documents of this type$0.18$0.19$0.21$0.28$0.29$0.39$0.53$1.15$2.27$3.33$3.45$3.65$4.77$4.81
Latencythis run1 s2 s2 s3.9 s3.2 s1.3 s0.7 s39.1 s0.8 s12.7 s3.1 s2 s3.8 s4.1 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.