ModelVerdict

SLA: Wie lang ist die Reaktionszeit bei …

GermanDocument6 fields

Document de-p0012 · layout sla · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document and questions (the model received exactly this text)

Wernecke GbR
SERVICE LEVEL AGREEMENT (SLA)

1. Gegenstand und Laufzeit
1.1 Dieses Service Level Agreement (nachfolgend „SLA“) legt die Betriebs- und Supportparameter der Cloud-Anwendung fest, die die Wernecke GbR (nachfolgend „Anbieter“) für den Auftraggeber betreibt.
1.2 Die monatliche Pauschale für die Leistungen nach diesem SLA beträgt 950 € zuzüglich Umsatzsteuer.
1.3 Dieses SLA gilt ab dem 25. Februar 2025 und ersetzt die Fassung vom 13. August 2023.

2. Verfügbarkeit
2.1 Der Anbieter garantiert eine monatliche Verfügbarkeit der Produktionsumgebung von 99,8 %. Die Zielverfügbarkeit der Testumgebung beträgt 95 % und begründet keinen Anspruch auf Gutschriften.
2.2 Die Verfügbarkeit misst der Anbieter mit seinem Monitoringsystem im Abstand von 5 Minuten. Einen monatlichen Verfügbarkeitsbericht übermittelt er dem Auftraggeber bis zum 5. Arbeitstag des Folgemonats.
2.3 Geplante Wartungsarbeiten gelten nicht als Ausfallzeit. Der Anbieter kündigt geplante Wartungen mindestens 5 Tage im Voraus an; sie umfassen höchstens 6 Stunden pro Kalendermonat.
2.4 Wartungsarbeiten finden in der Regel am Wochenende in den Nachtstunden statt.

3. Support und Reaktionszeiten
3.1 Der Auftraggeber meldet Störungen über das Serviceportal oder per E-Mail an service@wernecke-gbr.example. Störungen der Priorität P1 nimmt der Anbieter rund um die Uhr an 7 Tagen pro Woche entgegen.
3.2 Bei Störungen der Priorität P1 (kritischer Ausfall, der Dienst ist vollständig ausgefallen) reagiert der Anbieter innerhalb von 1 Stunde nach der Meldung und stellt den Dienst innerhalb von 24 Stunden wieder her oder stellt eine Umgehungslösung bereit.
3.3 Bei Störungen der Priorität P2 (eingeschränkte Funktion ohne Umgehungslösung) reagiert der Anbieter innerhalb von 6 Stunden nach der Meldung während der Geschäftszeiten.
3.4 Anfragen der Priorität P3 und niedriger bearbeitet der Anbieter spätestens am folgenden Arbeitstag.

4. Gutschriften
4.1 Unterschreitet die monatliche Verfügbarkeit der Produktionsumgebung das garantierte Niveau, erhält der Auftraggeber eine Gutschrift in Höhe von 20 % der monatlichen Pauschale für den betroffenen Monat.
4.2 Gutschriften für einen Kalendermonat betragen insgesamt höchstens 30 % der monatlichen Pauschale. Der Auftraggeber macht Gutschriften schriftlich innerhalb von 30 Tagen nach Monatsende geltend.
4.3 Fragen zur Abrechnung beantwortet der Vertrieb des Anbieters unter buchhaltung@wernecke-gbr.example.

---

Fragen:
1. Wie lang ist die Reaktionszeit bei Störungen der Priorität P2? (Anzahl Stunden)
2. Wie lautet die Telefonnummer der Hotline für Störungen der Priorität P1? (Telefonnummer)
3. An welche E-Mail-Adresse meldet der Auftraggeber Störungen? (E-Mail-Adresse)
4. Ab welchem Datum gilt das Dokument? (Datum)
5. Welche Gutschrift auf die monatliche Pauschale erhält der Auftraggeber, wenn die garantierte Verfügbarkeit nicht erreicht wird? (Prozent)
6. Welche monatliche Verfügbarkeit der Produktionsumgebung garantiert der Anbieter? (Prozent)

Verdict

Cheapest with no errors: Mistral Small 4 at $0.17 per 1,000 documents.

  • Mistral Large 4 is also error-free, but 40.8× more expensive.

Prompt given to every model

Sie beantworten Fragen zu einem Geschäftsdokument. Unter dem Dokument stehen sechs nummerierte
Fragen. Beantworten Sie jede Frage ausschließlich anhand des Dokumenttextes und geben Sie nur JSON
mit den Schlüsseln q1 bis q6 zurück (q1 = Antwort auf Frage 1 usw.).

Regeln:
- Jede Frage nennt in Klammern die Einheit oder das Format der Antwort. Antworten Sie in dieser
  Einheit.
- Anzahlen (Tage, Monate, Stunden) und Prozentsätze als Zahl ohne Einheit und ohne %-Zeichen,
  z. B. "14" oder "0.05".
- Beträge als Zahl mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währungssymbol,
  z. B. "1500.00".
- Datumsangaben im Format YYYY-MM-DD.
- Zeiträume im 24-Stunden-Format HH:MM-HH:MM, z. B. "08:00-17:00".
- E-Mail-Adressen genau so, wie sie im Dokument stehen.
- Enthält das Dokument die Antwort auf eine Frage nicht, geben Sie null zurück. Raten Sie nicht und
  ergänzen Sie keine Angaben, die nicht im Dokument stehen.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

Free with login

Every model's output for this document, field by field. The first three examples of each task are open.

Just your email, no password.

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.