Hahn & Schulz GmbH & Co. KG · Alpentec GmbH
Contract text (the model received exactly this text)
DIENSTLEISTUNGSVERTRAG § 1 Vertragsparteien Hahn & Schulz GmbH & Co. KG Max-Planck-Straße 157, 30587 Hannover Handelsregister: 69/600/48558 USt-IdNr.: DE679423559 – nachfolgend „Auftragnehmer“ genannt – und Alpentec GmbH Siemensstraße 84, 66568 Saarbrücken, Deutschland USt-IdNr.: DE233569151 – nachfolgend „Auftraggeber“ genannt – § 2 Vertragsgegenstand Der Auftragnehmer erbringt für den Auftraggeber Leistungen der Betreuung der IT-Infrastruktur sowie des Anwender-Supports im Umfang der Leistungsbeschreibung in Anlage 1. § 3 Vergütung und Zahlung (1) Die Vergütung beträgt monatlich EUR 746,00 netto zzgl. 19 % USt.. (2) Rechnungen sind innerhalb von 14 Tagen nach Rechnungsdatum ohne Abzug zahlbar. § 4 Laufzeit und Kündigung (1) Dieser Vertrag tritt am 14.02.2025 in Kraft. (2) Der Vertrag wird für eine feste Laufzeit bis zum 29.02.2028 geschlossen. (3) Eine ordentliche Kündigung vor Ablauf der Laufzeit ist ausgeschlossen. (4) Das Recht zur außerordentlichen Kündigung aus wichtigem Grund bleibt unberührt. § 5 Vertraulichkeit (1) Die Vertragsparteien verpflichten sich, alle vertraulichen Informationen der jeweils anderen Partei streng geheim zu halten. (2) Für jeden Fall der schuldhaften Zuwiderhandlung zahlt die verletzende Partei eine Vertragsstrafe in Höhe von 2.500,00 €. § 6 Schlussbestimmungen (1) Es gilt das Recht der Bundesrepublik Deutschland. (2) Ausschließlicher Gerichtsstand ist Pirmasens. (3) Änderungen und Ergänzungen dieses Vertrages bedürfen der Schriftform. (4) Sollte eine Bestimmung dieses Vertrages unwirksam sein, bleibt die Wirksamkeit der übrigen Bestimmungen unberührt. Ort, Datum: Pirmasens, 31.01.2025 Auftragnehmer: ____________________ Auftraggeber: ____________________
Verdict
Cheapest with no errors: Gemma 4 31B at $0.21 per 1,000 documents.
- Claude Sonnet 5.5 is also error-free, but 38.5× more expensive.
- Mistral Small 4 is 1.1× cheaper, but: extra value (Client ID).
Prompt given to every model
Extrahieren Sie die wesentlichen Bedingungen des nachstehenden Vertrages und geben Sie nur JSON mit diesen Schlüsseln zurück:
provider_name die leistende Partei (Auftragnehmer, Verkäufer, Vermieter, Lizenzgeber),
genau wie angegeben, einschließlich der Rechtsform
provider_id Registernummer dieser Partei (z. B. Handelsregisternummer), sofern angegeben
client_name die zahlende Partei (Auftraggeber, Käufer, Mieter, Lizenznehmer)
client_id Registernummer dieser Partei, sofern angegeben
contract_type einer der Werte: services, supply, lease, license, maintenance
price vereinbarter Preis ohne Umsatzsteuer (Zahl)
currency Währungscode nach ISO 4217 (EUR, CHF, USD, …)
price_period einer der Werte: one_time, monthly, yearly
effective_date Datum des Inkrafttretens des Vertrages (YYYY-MM-DD)
end_date Ende einer festen Laufzeit (YYYY-MM-DD); null, wenn der Vertrag auf
unbestimmte Zeit geschlossen ist
notice_period_months Kündigungsfrist in Monaten (Zahl); null, wenn es keine gibt
penalty_pct_per_day Vertragsstrafe für Zahlungsverzug in Prozent des offenen Betrags pro Tag
(z. B. 0.05 für 0,05 %); null, wenn es keine gibt
governing_law Ländercode des anwendbaren Rechts nach ISO 3166 (z. B. DE); US-Bundesstaaten
als US-XX
Regeln:
- Relative Daten („mit Unterzeichnung“, „zum Ersten des folgenden Monats“) bezogen auf das
Datum der Unterzeichnung umrechnen.
- Das Datum der Unterzeichnung ist nicht das Datum des Inkrafttretens, sofern der Vertrag dies
nicht ausdrücklich bestimmt.
- Anzahlung, Kaution und feste Vertragsstrafen für andere Verstöße sind weder der Preis noch die
Vertragsstrafe für Zahlungsverzug.
- Steht ein Wert nicht im Vertrag, null zurückgeben. Nicht raten.
- Beträge als Zahlen mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währungssymbol.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Mistral Small 412 / 13 fields | Gemma 4 31B13 / 13 fields | GPT-6 Luna13 / 13 fields | DeepSeek V4.1 Flash13 / 13 fields | Claude Haiku 5.513 / 13 fields | GLM-5.3 Flash13 / 13 fields | Gemini 3.5 Flash Lite13 / 13 fields | Qwen3.8 Flash12 / 13 fields | Gemini 3.8 Flash13 / 13 fields | Mistral Medium 3.513 / 13 fields | GPT-6 Sol13 / 13 fields | Mistral Large 413 / 13 fields | Claude Sonnet 513 / 13 fields | Claude Sonnet 5.513 / 13 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Provider | Hahn & Schulz GmbH & Co. KG | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) | Hahn & Schulz GmbH & Co. KG (correct) |
| Provider IDThe company registration number (Czech IČO, German Handelsregister, US EIN…). Not the VAT ID (DIČ, USt-IdNr.). If the document has none, the field should stay empty. | 69/600/48558 | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) | 69/600/48558 (correct) |
| Client | Alpentec GmbH | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) | Alpentec GmbH (correct) |
| Client IDThe company registration number (Czech IČO, German Handelsregister, US EIN…). Not the VAT ID (DIČ, USt-IdNr.). If the document has none, the field should stay empty. | — | DE233569151extra value | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Contract type | services | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) | services (correct) |
| Price (net) | 746.00 | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) | 746.00 (correct) |
| Currency | EUR | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) | EUR (correct) |
| Billing period | monthly | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) | monthly (correct) |
| Effective date | 2025-02-14 | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) | 2025-02-14 (correct) |
| End date | 2028-02-29 | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) | 2028-02-29 (correct) |
| Notice period (months) | — | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Late-payment penalty (% per day) | — | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Governing law | DE | DE (correct) | DE (correct) | DE (correct) | DE (correct) | DE (correct) | DE (correct) | DE (correct) | nullmissing field | DE (correct) | DE (correct) | DE (correct) | DE (correct) | DE (correct) | DE (correct) |
| Tokens | input / output | 1,044 / 156 | 1,094 / 149 | 1,137 / 243 | 1,463 / 349 | 1,865 / 486 | 1,071 / 698 | 1,082 / 178 | 1,446 / 2,078 | 1,082 / 425 | 1,044 / 144 | 1,137 / 167 | 1,233 / 2,178 | 1,863 / 294 | 1,865 / 446 |
| including hidden reasoning | billed as output | 0 | 0 | 131 | 221 | 289 | 557 | 0 | 1,910 | 248 | 0 | 55 | 1,882 | 97 | 249 |
| including cached input | input billed at a discount | 467 | 3 | 0 | 774 | 0 | 0 | 0 | 768 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0003 | $0.0004 | $0.0004 | $0.0005 | $0.0008 | $0.0011 | $0.0024 | $0.0026 | $0.0045 | $0.0054 | $0.0067 | $0.0082 |
| Per 1,000 documents | for documents of this type | $0.19 | $0.21 | $0.26 | $0.39 | $0.43 | $0.51 | $0.77 | $1.09 | $2.41 | $2.65 | $4.51 | $5.39 | $6.67 | $8.19 |
| Latency | this run | 1.3 s | 2.1 s | 3.6 s | 3.9 s | 2.4 s | 5.1 s | 1 s | 32.4 s | 2.6 s | 1.3 s | 5.3 s | 59.5 s | 4.3 s | 5.7 s |