ModelVerdict

SLA: Welche Gutschrift auf die monatliche Pauschale …

GermanDocument6 fields

Document de-p0003 · layout sla · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document and questions (the model received exactly this text)

Bonbach AG
ANLAGE 2 ZUM IT-DIENSTLEISTUNGSVERTRAG – SERVICE LEVEL AGREEMENT

1. Gegenstand und Laufzeit
1.1 Dieses Service Level Agreement (nachfolgend „SLA“) legt die Betriebs- und Supportparameter der Cloud-Anwendung fest, die die Bonbach AG (nachfolgend „Anbieter“) für den Auftraggeber betreibt.
1.2 Die monatliche Pauschale für die Leistungen nach diesem SLA beträgt 2.200 € zuzüglich Umsatzsteuer.
1.3 Dieses SLA gilt ab dem 19. Februar 2026 und ersetzt die Fassung vom 7. Juni 2025.

2. Verfügbarkeit
2.1 Der Anbieter garantiert eine monatliche Verfügbarkeit der Produktionsumgebung von 99,7 %. Die Zielverfügbarkeit der Testumgebung beträgt 97 % und begründet keinen Anspruch auf Gutschriften.
2.2 Die Verfügbarkeit misst der Anbieter mit seinem Monitoringsystem im Abstand von 5 Minuten. Einen monatlichen Verfügbarkeitsbericht übermittelt er dem Auftraggeber bis zum 5. Arbeitstag des Folgemonats.
2.3 Geplante Wartungsarbeiten gelten nicht als Ausfallzeit. Der Anbieter kündigt geplante Wartungen mindestens 10 Tage im Voraus an; sie umfassen höchstens 4 Stunden pro Kalendermonat.
2.4 Wartungsarbeiten finden in der Regel am Wochenende in den Nachtstunden statt.

3. Support und Reaktionszeiten
3.1 Der Auftraggeber meldet Störungen über das Serviceportal oder per E-Mail an service@bonbach.example. Störungen der Priorität P1 nimmt der Anbieter rund um die Uhr an 7 Tagen pro Woche entgegen.
3.2 Bei Störungen der Priorität P1 (kritischer Ausfall, der Dienst ist vollständig ausgefallen) reagiert der Anbieter innerhalb von 4 Stunden nach der Meldung und stellt den Dienst innerhalb von 6 Stunden wieder her oder stellt eine Umgehungslösung bereit.
3.3 Bei Störungen der Priorität P2 (eingeschränkte Funktion ohne Umgehungslösung) reagiert der Anbieter innerhalb von 8 Stunden nach der Meldung während der Geschäftszeiten.
3.4 Anfragen der Priorität P3 und niedriger bearbeitet der Anbieter spätestens am folgenden Arbeitstag.

4. Gutschriften
4.1 Unterschreitet die monatliche Verfügbarkeit der Produktionsumgebung das garantierte Niveau, erhält der Auftraggeber eine Gutschrift in Höhe von 15 % der monatlichen Pauschale für den betroffenen Monat.
4.2 Gutschriften für einen Kalendermonat betragen insgesamt höchstens 50 % der monatlichen Pauschale. Der Auftraggeber macht Gutschriften schriftlich innerhalb von 30 Tagen nach Monatsende geltend.
4.3 Fragen zur Abrechnung beantwortet der Vertrieb des Anbieters unter rechnungen@bonbach.example.

---

Fragen:
1. Welche Gutschrift auf die monatliche Pauschale erhält der Auftraggeber, wenn die garantierte Verfügbarkeit nicht erreicht wird? (Prozent)
2. Wie viele Tage im Voraus muss der Anbieter geplante Wartungen ankündigen? (Anzahl Tage)
3. An welche E-Mail-Adresse meldet der Auftraggeber Störungen? (E-Mail-Adresse)
4. Wie lang ist die Reaktionszeit bei Störungen der Priorität P1? (Anzahl Stunden)
5. Wie lange bewahrt der Anbieter Datensicherungen auf? (Anzahl Tage)
6. Wie lang ist die Reaktionszeit bei Störungen der Priorität P2? (Anzahl Stunden)

Verdict

Cheapest with no errors: Gemma 4 31B at $0.17 per 1,000 documents.

  • Mistral Large 4 is also error-free, but 88× more expensive.

Prompt given to every model

Sie beantworten Fragen zu einem Geschäftsdokument. Unter dem Dokument stehen sechs nummerierte
Fragen. Beantworten Sie jede Frage ausschließlich anhand des Dokumenttextes und geben Sie nur JSON
mit den Schlüsseln q1 bis q6 zurück (q1 = Antwort auf Frage 1 usw.).

Regeln:
- Jede Frage nennt in Klammern die Einheit oder das Format der Antwort. Antworten Sie in dieser
  Einheit.
- Anzahlen (Tage, Monate, Stunden) und Prozentsätze als Zahl ohne Einheit und ohne %-Zeichen,
  z. B. "14" oder "0.05".
- Beträge als Zahl mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währungssymbol,
  z. B. "1500.00".
- Datumsangaben im Format YYYY-MM-DD.
- Zeiträume im 24-Stunden-Format HH:MM-HH:MM, z. B. "08:00-17:00".
- E-Mail-Adressen genau so, wie sie im Dokument stehen.
- Enthält das Dokument die Antwort auf eine Frage nicht, geben Sie null zurück. Raten Sie nicht und
  ergänzen Sie keine Angaben, die nicht im Dokument stehen.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsMistral Small 46 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsClaude Haiku 5.56 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsClaude Sonnet 56 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsMistral Large 46 / 6 fields
Question 11515 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)
Question 21010 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)
Question 3service@bonbach.exampleservice@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)service@bonbach.example (correct)
Question 444 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)
Question 5—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Question 688 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)
Tokensinput / output1,106 / 491,081 / 921,100 / 481,116 / 1811,343 / 951,283 / 3022,445 / 1281,094 / 631,100 / 481,081 / 421,094 / 6962,443 / 482,445 / 481,098 / 2,775
including hidden reasoningbilled as output04801324823776000633002,412
including cached inputinput billed at a discount30003202560000000492
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0003$0.0003$0.0003$0.0003$0.0005$0.0020$0.0031$0.0034$0.0054$0.0054$0.0154
Per 1,000 documentsfor documents of this type$0.17$0.18$0.19$0.26$0.29$0.30$0.31$0.49$2.01$3.12$3.43$5.37$5.37$15.35
Latencythis run1.4 s4.4 s0.6 s1.8 s3 s5.6 s1.7 s0.9 s0.8 s2.4 s3.1 s3 s3.1 s36.1 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.