ModelVerdict

Vilma Lluch, Ale Estevez

SpanishDocument6 fields

Document es-p0001 · layout minutes · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Acta de la reunión del proyecto – Sede de Valencia

Fecha: 12/03/2025, de 9:00 a 10:30 h
Lugar: sala de reuniones A203
Asistentes: Jose Miguel Salas, Vilma Lluch, Ale Estevez
Redacta el acta: Vilma Lluch
Número de páginas: 4

Orden del día:
Punto 1: Campaña de marketing
Punto 2: Reforma de oficinas
Punto 3: Calendario
Punto 4: Tareas y otros asuntos

El Sr. Salas abrió la reunión, dio la bienvenida a los asistentes y resumió brevemente el estado del proyecto. El proyecto avanza según lo previsto; solo hay pequeños retrasos en algunas entregas.

Punto 1: Campaña de marketing
La Sra. Lluch propuso reservar 66.000 € para la campaña de marketing de otoño, ya que el alcance ha crecido respecto al encargo original. El Sr. Salas recordó que el presupuesto del proyecto no admite un importe tan alto. La propuesta de 66.000 € fue rechazada en la votación (2 votos a favor, 5 en contra). A continuación, el equipo aprobó 50.000 € para la campaña de marketing de otoño.

Punto 2: Reforma de oficinas
El Sr. Salas presentó las ofertas de tres proveedores y recomendó la más ventajosa. A modo de comparación, la misma partida costó 23.000 € el año pasado. El equipo aprobó 33.000 € para la reforma de las oficinas de la segunda planta.

Punto 3: Calendario
La fecha original prevista para el informe intermedio, el 16/05/2025, no se puede cumplir, porque todavía faltan cifras de contabilidad. El equipo acordó la nueva fecha del 07/06/2025; la fecha original del 16/05/2025 queda por tanto anulada. Todos los demás plazos se mantienen. El Sr. Salas agradeció a la Sra. Lluch el aviso de que hay que informar a los departamentos afectados.

Punto 4: Tareas y otros asuntos
Tareas:
- Vilma Lluch: elaborar el informe intermedio para la dirección, plazo: 07/06/2025
- Ale Estevez: preparar y firmar el contrato con el proveedor, plazo: 03/04/2025

Próxima reunión: 19/03/2025, en la misma sala. Las observaciones al acta se enviarán en un plazo de dos días hábiles.

Verdict

Cheapest with no errors: Gemma 4 31B at $0.16 per 1,000 documents.

  • Gemini 3.8 Flash is also error-free, but 48× more expensive.

Prompt given to every model

Resuma el documento siguiente (acta de reunión, informe de estado del proyecto o hilo de correos)
en un máximo de 80 palabras.

Reglas:
- Incluya todas las decisiones definitivas: los importes aprobados, los plazos vigentes y las
  personas responsables de las tareas (con su nombre completo).
- No mencione las propuestas rechazadas ni sus importes, ni los plazos que se han modificado (las
  fechas originales); indique solo los plazos vigentes.
- Copie los importes y las fechas exactamente como aparecen en el documento, sin redondearlos.
- Redacte en el idioma del documento, de forma objetiva y en un registro formal, como texto
  continuo sin títulos.
- Devuelva únicamente JSON con el formato {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsMistral Small 46 / 6 fieldsClaude Haiku 5.56 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 56 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsMistral Large 46 / 6 fieldsGemini 3.8 Flash6 / 6 fields
Amounts50000.0; 33000.050000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)50000; 33000 (correct)
Deadlines2025-06-07; 2025-04-032025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)2025-06-07; 2025-04-03 (correct)
Responsible peopleVilma Lluch; Ale EstevezVilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)Vilma Lluch; Ale Estevez (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.66000.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2025-05-16— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8060 / 80 (correct)54 / 80 (correct)65 / 80 (correct)80 / 80 (correct)74 / 80 (correct)66 / 80 (correct)73 / 80 (correct)72 / 80 (correct)40 / 80 (correct)70 / 80 (correct)66 / 80 (correct)72 / 80 (correct)65 / 80 (correct)63 / 80 (correct)
Tokensinput / output790 / 120747 / 224792 / 1301,365 / 647778 / 131896 / 1,091889 / 1,248795 / 2,416792 / 92747 / 2281,363 / 1871,365 / 191730 / 2,888778 / 1,876
including hidden reasoningbilled as output0118043209501,1071,862098002,4351,762
including cached inputinput billed at a discount30000000000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0005$0.0006$0.0006$0.0010$0.0013$0.0019$0.0038$0.0046$0.0046$0.0065$0.0076
Per 1,000 documentsfor documents of this type$0.16$0.19$0.20$0.46$0.56$0.65$1.02$1.33$1.88$3.77$4.60$4.64$6.53$7.62
Latencythis run2.4 s2.6 s1.6 s3.3 s0.9 s15 s13.6 s17 s0.9 s4.6 s3 s2.1 s39.4 s7.1 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.