ModelVerdict

Candelas Serra

SpanishDocument6 fields

Document es-p0002 · layout status · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Informe de estado del proyecto – Migración del ERP
Periodo del informe: del 27/05/2026 al 10/06/2026
Elaborado por: Mayte Lumbreras, jefa de proyecto
Página 1 de 3

1. Estado general
Valoramos el proyecto en conjunto en amarillo. Los trabajos principales cumplen el plan, pero el comité de dirección tuvo que decidir sobre el aplazamiento de un plazo.

Realizado en el periodo:
- análisis de requisitos terminado y validado con los usuarios clave,
- entorno de pruebas instalado y primeras pruebas de aceptación realizadas,
- registro de riesgos y plan de comunicación actualizados,
- cerradas todas las solicitudes abiertas del periodo anterior salvo una.

2. Presupuesto y cambios
El comité de dirección ha aprobado los siguientes importes:
- Compra de equipos: 11.500 €
- Formación del personal: 24.000 €

Solicitud de cambio SC-04: Candelas Serra solicitó aumentar el importe para portátiles y monitores para las nuevas incorporaciones hasta 16.000 €. El comité de dirección ha rechazado la solicitud; se mantiene el importe aprobado de 11.500 €.
A modo de comparación, la partida «Formación del personal» costó 18.500 € el año pasado.

3. Calendario
La fecha original prevista para la licitación, el 23/08/2026, se aplaza al 15/09/2026, porque el departamento jurídico todavía está revisando la documentación. El comité de dirección ha aprobado el aplazamiento; la fecha original ya no es válida.

4. Próximos pasos
- Publicar la licitación del proveedor de servicios – responsable: Candelas Serra, plazo: 15/09/2026
- Lanzar la campaña y preparar los contenidos de la web – responsable: Candelas Serra, plazo: 26/07/2026

5. Riesgos
El principal riesgo sigue siendo la disponibilidad de los proveedores en verano. El equipo sigue este riesgo y propondrá medidas si es necesario.

6. Comunicación
Los usuarios clave han sido informados de los cambios en su reunión periódica. La información actualizada del proyecto está en la intranet; las preguntas pueden dirigirse al equipo del proyecto.

El próximo informe de estado se publicará tras la reunión del comité de dirección del 17/06/2026.

Verdict

Cheapest with no errors: Gemma 4 31B at $0.14 per 1,000 documents.

  • Gemini 3.8 Flash is also error-free, but 40.1× more expensive.

Prompt given to every model

Resuma el documento siguiente (acta de reunión, informe de estado del proyecto o hilo de correos)
en un máximo de 80 palabras.

Reglas:
- Incluya todas las decisiones definitivas: los importes aprobados, los plazos vigentes y las
  personas responsables de las tareas (con su nombre completo).
- No mencione las propuestas rechazadas ni sus importes, ni los plazos que se han modificado (las
  fechas originales); indique solo los plazos vigentes.
- Copie los importes y las fechas exactamente como aparecen en el documento, sin redondearlos.
- Redacte en el idioma del documento, de forma objetiva y en un registro formal, como texto
  continuo sin títulos.
- Devuelva únicamente JSON con el formato {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsMistral Small 46 / 6 fieldsClaude Haiku 5.56 / 6 fieldsQwen3.8 Flash6 / 6 fieldsGemini 3.5 Flash Lite6 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 56 / 6 fieldsMistral Large 46 / 6 fieldsGemini 3.8 Flash6 / 6 fields
Amounts11500.0; 24000.011500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)11500; 24000 (correct)
Deadlines2026-09-15; 2026-07-262026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)2026-09-15; 2026-07-26 (correct)
Responsible peopleCandelas SerraCandelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)Candelas Serra (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.16000.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2026-08-23— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8047 / 80 (correct)61 / 80 (correct)62 / 80 (correct)72 / 80 (correct)61 / 80 (correct)65 / 80 (correct)70 / 80 (correct)78 / 80 (correct)23 / 80 (correct)69 / 80 (correct)69 / 80 (correct)76 / 80 (correct)54 / 80 (correct)54 / 80 (correct)
Tokensinput / output748 / 93688 / 204745 / 1331,335 / 598844 / 846736 / 116835 / 739744 / 1,916745 / 691,335 / 181688 / 3181,333 / 196687 / 2,492736 / 1,372
including hidden reasoningbilled as output093038372405991,5890018602,2481,272
including cached inputinput billed at a discount300025601400000000
Cost of this documentthis run$0.0001$0.0002$0.0002$0.0004$0.0005$0.0005$0.0006$0.0016$0.0016$0.0045$0.0046$0.0046$0.0057$0.0057
Per 1,000 documentsfor documents of this type$0.14$0.17$0.19$0.43$0.49$0.51$0.64$1.60$1.64$4.48$4.56$4.63$5.68$5.70
Latencythis run3.1 s2.4 s1.2 s2.7 s12.7 s0.8 s7.1 s13.1 s0.8 s2 s5.8 s3.9 s42.5 s5.2 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.