SLA: Quel avoir sur la redevance mensuelle …
Document and questions (the model received exactly this text)
Lemaître Cousin SARL ANNEXE 2 AU CONTRAT DE PRESTATIONS INFORMATIQUES – CONTRAT DE NIVEAU DE SERVICE 1. Objet et durée 1.1 Le présent contrat de niveau de service (ci-après le « SLA ») définit les paramètres d'exploitation et de support de l'application en nuage que la société Lemaître Cousin SARL (ci-après le « Prestataire ») exploite pour le compte du Client. 1.2 La redevance mensuelle forfaitaire au titre des prestations du présent SLA s'élève à 2 200,00 € HT. 1.3 Le présent SLA s'applique à compter du 19 février 2026 et remplace la version du 7 juin 2025. 2. Disponibilité 2.1 Le Prestataire garantit une disponibilité mensuelle de l'environnement de production de 99,7 %. La disponibilité cible de l'environnement de test est de 97 % et n'ouvre droit à aucun avoir. 2.2 Le Prestataire mesure la disponibilité au moyen de son système de supervision toutes les 5 minutes. Il transmet au Client un rapport mensuel de disponibilité au plus tard le 5e jour ouvré du mois suivant. 2.3 Les opérations de maintenance planifiées ne sont pas considérées comme des interruptions de service. Le Prestataire annonce la maintenance planifiée au moins 10 jours à l'avance ; sa durée ne dépasse pas 4 heures par mois civil. 2.4 La maintenance a lieu en principe le week-end pendant la nuit. 3. Support et délais d'intervention 3.1 Le Client signale les incidents via le portail de services ou par e-mail à l'adresse service-client@lemaitre-cousin.example. Les incidents de priorité P1 sont pris en charge 24 heures sur 24, 7 jours sur 7. 3.2 Pour un incident de priorité P1 (panne critique, service totalement indisponible), le Prestataire intervient dans un délai de 4 heures après le signalement et rétablit le service ou met en place une solution de contournement dans un délai de 6 heures. 3.3 Pour un incident de priorité P2 (fonction dégradée sans solution de contournement), le Prestataire intervient dans un délai de 8 heures après le signalement pendant les heures ouvrées. 3.4 Les demandes de priorité P3 et inférieure sont traitées au plus tard le jour ouvré suivant. 4. Avoirs 4.1 Si la disponibilité mensuelle de l'environnement de production est inférieure au niveau garanti, le Client bénéficie d'un avoir de 15 % de la redevance mensuelle du mois concerné. 4.2 Le total des avoirs pour un mois civil ne peut excéder 50 % de la redevance mensuelle. Le Client fait valoir ses avoirs par écrit dans les 30 jours suivant la fin du mois. 4.3 Les questions relatives à la facturation sont traitées par le service commercial du Prestataire à l'adresse facturation@lemaitre-cousin.example. --- Questions : 1. Quel avoir sur la redevance mensuelle le Client obtient-il si la disponibilité garantie n'est pas atteinte ? (pourcentage) 2. Combien de jours à l'avance le Prestataire doit-il annoncer la maintenance planifiée ? (nombre de jours) 3. À quelle adresse e-mail le Client signale-t-il les incidents ? (adresse e-mail) 4. Quel est le délai d'intervention pour un incident de priorité P1 ? (nombre d'heures) 5. Pendant combien de temps le Prestataire conserve-t-il les sauvegardes ? (nombre de jours) 6. Quel est le délai d'intervention pour un incident de priorité P2 ? (nombre d'heures)
Verdict
Cheapest with no errors: Gemma 4 31B at $0.19 per 1,000 documents.
- Mistral Large 4 is also error-free, but 40.1× more expensive.
Prompt given to every model
Vous répondez à des questions sur un document d'entreprise. Sous le document figurent six questions numérotées. Répondez à chacune d'elles uniquement à partir du texte du document et renvoyez uniquement du JSON avec les clés q1 à q6 (q1 = réponse à la question 1, etc.). Règles : - Chaque question indique entre parenthèses l'unité ou le format de la réponse. Répondez dans cette unité. - Les nombres (de jours, de mois, d'heures) et les pourcentages sous forme de nombre, sans unité et sans le signe %, p. ex. "14" ou "0.05". - Les montants sous forme de nombre avec un point décimal, sans séparateur de milliers et sans symbole monétaire, p. ex. "1500.00". - Les dates au format YYYY-MM-DD. - Les plages horaires au format 24 heures HH:MM-HH:MM, p. ex. "08:00-17:00". - Les adresses e-mail exactement telles qu'elles figurent dans le document. - Si le document ne contient pas la réponse à une question, renvoyez null. Ne devinez pas et n'ajoutez aucune information qui ne figure pas dans le document.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | GPT-6 Luna6 / 6 fields | Mistral Small 46 / 6 fields | Claude Haiku 5.56 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | Qwen3.8 Flash4 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Gemini 3.8 Flash6 / 6 fields | Claude Sonnet 56 / 6 fields | Claude Sonnet 5.56 / 6 fields | Mistral Large 46 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Question 1 | 15 | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) | 15 (correct) |
| Question 2 | 10 | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) | 10 (correct) |
| Question 3 | service-client@lemaitre-cousin.example | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) | service-client@lemaitre-cousin.example (correct) |
| Question 4 | 4 | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) | 4 (correct) |
| Question 5 | — | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | 8extra value | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Question 6 | 8 | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 30wrong value | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) | 8 (correct) |
| Tokens | input / output | 1,171 / 54 | 1,154 / 98 | 1,132 / 52 | 2,177 / 135 | 1,364 / 105 | 1,172 / 527 | 1,159 / 68 | 1,376 / 1,909 | 1,132 / 52 | 1,154 / 47 | 1,159 / 1,029 | 2,175 / 55 | 2,177 / 55 | 1,174 / 3,175 |
| including hidden reasoning | billed as output | 0 | 49 | 0 | 80 | 53 | 457 | 0 | 1,837 | 0 | 0 | 986 | 0 | 0 | 2,864 |
| including cached input | input billed at a discount | 3 | 0 | 0 | 0 | 346 | 0 | 0 | 512 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0003 | $0.0003 | $0.0004 | $0.0005 | $0.0010 | $0.0021 | $0.0034 | $0.0047 | $0.0049 | $0.0049 | $0.0074 |
| Per 1,000 documents | for documents of this type | $0.19 | $0.19 | $0.20 | $0.29 | $0.30 | $0.44 | $0.52 | $1.04 | $2.09 | $3.35 | $4.73 | $4.90 | $4.90 | $7.43 |
| Latency | this run | 1.5 s | 3.5 s | 0.7 s | 1.6 s | 3.4 s | 5.3 s | 0.7 s | 27.3 s | 0.7 s | 2.5 s | 4.4 s | 2.7 s | 1.8 s | 102.8 s |