ModelVerdict

SLA: ¿Qué abono sobre la cuota mensual …

SpanishDocument6 fields

Document es-p0003 · layout sla · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document and questions (the model received exactly this text)

Farmaceútica Ramón & Asociados S.L.
ANEXO 2 AL CONTRATO DE SERVICIOS INFORMÁTICOS – ACUERDO DE NIVEL DE SERVICIO

1. Objeto y vigencia
1.1 El presente acuerdo de nivel de servicio (en adelante, el «SLA») establece los parámetros de funcionamiento y soporte de la aplicación en la nube que Farmaceútica Ramón & Asociados S.L. (en adelante, el «Proveedor») opera para el Cliente.
1.2 La cuota mensual fija por los servicios de este SLA asciende a 2.200,00 € más IVA.
1.3 El presente SLA se aplica a partir del 19 de febrero de 2026 y sustituye a la versión del 7 de junio de 2025.

2. Disponibilidad
2.1 El Proveedor garantiza una disponibilidad mensual del entorno de producción del 99,7 %. La disponibilidad objetivo del entorno de pruebas es del 97 % y no da derecho a abonos.
2.2 El Proveedor mide la disponibilidad con su sistema de monitorización cada 5 minutos. Remite al Cliente un informe mensual de disponibilidad a más tardar el 5.º día hábil del mes siguiente.
2.3 El mantenimiento programado no se considera tiempo de inactividad. El Proveedor anuncia el mantenimiento programado con al menos 10 días de antelación; su duración no supera 4 horas por mes natural.
2.4 El mantenimiento se realiza normalmente el fin de semana en horario nocturno.

3. Soporte y tiempos de respuesta
3.1 El Cliente notifica las incidencias a través del portal de servicio o por correo electrónico a soporte@farmaceutica-ramon.example. Las incidencias de prioridad P1 se atienden las 24 horas, los 7 días de la semana.
3.2 Ante una incidencia de prioridad P1 (fallo crítico, el servicio no está disponible en absoluto), el Proveedor responde en un plazo de 4 horas desde la notificación y restablece el servicio o aplica una solución alternativa en un plazo de 6 horas.
3.3 Ante una incidencia de prioridad P2 (funcionalidad limitada sin solución alternativa), el Proveedor responde en un plazo de 8 horas desde la notificación dentro del horario laboral.
3.4 Las solicitudes de prioridad P3 e inferior se atienden a más tardar el día hábil siguiente.

4. Abonos
4.1 Si la disponibilidad mensual del entorno de producción es inferior al nivel garantizado, el Cliente recibe un abono del 15 % de la cuota mensual del mes afectado.
4.2 Los abonos de un mes natural no pueden superar en total el 50 % de la cuota mensual. El Cliente reclama los abonos por escrito en un plazo de 30 días desde el final del mes.
4.3 Las consultas sobre facturación las atiende el departamento comercial del Proveedor en contabilidad@farmaceutica-ramon.example.

---

Preguntas:
1. ¿Qué abono sobre la cuota mensual recibe el Cliente si no se alcanza la disponibilidad garantizada? (porcentaje)
2. ¿Con cuántos días de antelación debe el Proveedor anunciar el mantenimiento programado? (número de días)
3. ¿A qué dirección de correo electrónico notifica el Cliente las incidencias? (dirección de correo electrónico)
4. ¿Cuál es el tiempo de respuesta ante una incidencia de prioridad P1? (número de horas)
5. ¿Durante cuánto tiempo conserva el Proveedor las copias de seguridad? (número de días)
6. ¿Cuál es el tiempo de respuesta ante una incidencia de prioridad P2? (número de horas)

Verdict

Cheapest with no errors: Mistral Small 4 at $0.17 per 1,000 documents.

  • Claude Sonnet 5.5 is also error-free, but 29.1× more expensive.

Prompt given to every model

Usted responde a preguntas sobre un documento empresarial. Debajo del documento hay seis preguntas
numeradas. Responda a cada una de ellas basándose únicamente en el texto del documento y devuelva
solo JSON con las claves q1 a q6 (q1 = respuesta a la pregunta 1, etc.).

Reglas:
- Cada pregunta indica entre paréntesis la unidad o el formato de la respuesta. Responda en esa
  unidad.
- Las cantidades (de días, meses, horas) y los porcentajes como número, sin unidad y sin el signo %,
  p. ej. "14" o "0.05".
- Los importes como número con punto decimal, sin separador de miles y sin símbolo de moneda,
  p. ej. "1500.00".
- Las fechas en formato YYYY-MM-DD.
- Las franjas horarias en formato de 24 horas HH:MM-HH:MM, p. ej. "08:00-17:00".
- Las direcciones de correo electrónico exactamente como aparecen en el documento.
- Si el documento no contiene la respuesta a una pregunta, devuelva null. No adivine ni añada
  información que no figure en el documento.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueMistral Small 46 / 6 fieldsGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsClaude Haiku 5.56 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsGPT-6 Sol6 / 6 fieldsMistral Large 46 / 6 fieldsClaude Sonnet 56 / 6 fieldsClaude Sonnet 5.56 / 6 fields
Question 11515 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)15 (correct)
Question 21010 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)10 (correct)
Question 3soporte@farmaceutica-ramon.examplesoporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)soporte@farmaceutica-ramon.example (correct)
Question 444 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)4 (correct)
Question 5—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Question 688 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)8 (correct)
Tokensinput / output1,124 / 551,099 / 541,099 / 942,167 / 1321,317 / 2061,128 / 1831,304 / 5281,087 / 681,124 / 551,087 / 5981,099 / 471,135 / 1,6332,165 / 562,167 / 56
including hidden reasoningbilled as output0045761631314580053001,48800
including cached inputinput billed at a discount2462820031602560000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0003$0.0004$0.0004$0.0004$0.0005$0.0021$0.0031$0.0032$0.0042$0.0049$0.0049
Per 1,000 documentsfor documents of this type$0.17$0.18$0.18$0.28$0.36$0.39$0.41$0.50$2.10$3.06$3.22$4.18$4.89$4.89
Latencythis run1.5 s1.9 s4 s1.9 s4.6 s1.8 s8.4 s0.7 s0.9 s2.9 s2 s18.6 s2.1 s1.2 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.