ModelVerdict

Lorenzo Giménez, Vicenta Crespo, Agustín Valls

SpanishDocument6 fields

Document es-p0003 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

De: Vicenta Crespo <vicenta.crespo@castell-asociados.example>
Fecha: 31/07/2025
Asunto: Migración del ERP – presupuesto y plazos

Hola a todos:

Os envío mi propuesta para la siguiente fase del proyecto Migración del ERP. El alcance ha crecido respecto al encargo original, por lo que propongo reservar 5.500 € para la campaña de marketing de otoño. A modo de comparación, la partida «Formación del personal» nos costó 6.500 € el año pasado. Para el informe intermedio mantendría la fecha del 07/10/2025.

Adjunto las ofertas de los proveedores; completaré el presupuesto detallado cuando reciba vuestros comentarios. Os agradecería una respuesta antes del final de la semana.

Un saludo,
Vicenta Crespo

----------

De: Andrés Domingo <andres.domingo@castell-asociados.example>
Fecha: 01/08/2025
Asunto: RE: Migración del ERP – presupuesto y plazos

Estimada Sra. Crespo:

No puedo aprobar 5.500 €; el presupuesto del proyecto no da para tanto. La fecha del 07/10/2025 también me parece poco realista, porque todavía faltan cifras de contabilidad. Antes de confirmar nada necesito un presupuesto más detallado. Tratémoslo en la próxima reunión del equipo; le ruego que traiga las cifras y una comparación de las ofertas.

Andrés Domingo

----------

De: Andrés Domingo <andres.domingo@castell-asociados.example>
Fecha: 06/08/2025
Asunto: RE: Migración del ERP – presupuesto y plazos

Hola a todos:

Gracias por la reunión de hoy y por las cifras preparadas. Este es el resumen de lo que hemos acordado definitivamente:
- Campaña de marketing: 3.500 €
- Formación del personal: 11.500 €
- Nueva fecha para el informe intermedio: 27/10/2025

La propuesta de 5.500 € queda por tanto descartada y la fecha original del 07/10/2025 ya no es válida.

Tareas:
- Lorenzo Giménez: elaborar el informe intermedio para la dirección, plazo: 27/10/2025
- Vicenta Crespo: pedir los equipos y organizar la instalación, en curso
- Agustín Valls: lanzar la campaña y preparar los contenidos de la web, en curso

Si se me ha olvidado algo, por favor avisadme.

Un saludo,
Andrés Domingo

Verdict

Cheapest with no errors: GPT-6 Luna at $0.15 per 1,000 documents.

  • Gemini 3.8 Flash is also error-free, but 57.6× more expensive.

Prompt given to every model

Resuma el documento siguiente (acta de reunión, informe de estado del proyecto o hilo de correos)
en un máximo de 80 palabras.

Reglas:
- Incluya todas las decisiones definitivas: los importes aprobados, los plazos vigentes y las
  personas responsables de las tareas (con su nombre completo).
- No mencione las propuestas rechazadas ni sus importes, ni los plazos que se han modificado (las
  fechas originales); indique solo los plazos vigentes.
- Copie los importes y las fechas exactamente como aparecen en el documento, sin redondearlos.
- Redacte en el idioma del documento, de forma objetiva y en un registro formal, como texto
  continuo sin títulos.
- Devuelva únicamente JSON con el formato {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGPT-6 Luna6 / 6 fieldsGemma 4 31B6 / 6 fieldsMistral Small 46 / 6 fieldsClaude Haiku 5.56 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 56 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsMistral Large 46 / 6 fieldsGemini 3.8 Flash6 / 6 fields
Amounts3500.0; 11500.03500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)
Deadlines2025-10-272025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)
Responsible peopleLorenzo Giménez; Vicenta Crespo; Agustín VallsLorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.5500.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2025-10-07— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8060 / 80 (correct)68 / 80 (correct)65 / 80 (correct)72 / 80 (correct)80 / 80 (correct)63 / 80 (correct)50 / 80 (correct)67 / 80 (correct)46 / 80 (correct)59 / 80 (correct)63 / 80 (correct)63 / 80 (correct)60 / 80 (correct)66 / 80 (correct)
Tokensinput / output735 / 154801 / 110788 / 1331,385 / 635789 / 127891 / 699898 / 1,193790 / 1,158788 / 94735 / 2171,383 / 1711,385 / 177734 / 3,301789 / 2,155
including hidden reasoningbilled as output470045205731,0951,0230113003,0072,029
including cached inputinput billed at a discount01840001402560000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0005$0.0006$0.0006$0.0007$0.0010$0.0019$0.0036$0.0045$0.0045$0.0074$0.0087
Per 1,000 documentsfor documents of this type$0.15$0.16$0.20$0.46$0.55$0.63$0.66$1.05$1.89$3.64$4.48$4.54$7.40$8.67
Latencythis run2.1 s3.8 s1.1 s3.4 s0.8 s8.6 s15.4 s7.1 s0.9 s5.1 s2.6 s2.1 s51.9 s9 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.