Candelas Serra
Document text (the model received exactly this text)
Informe de estado del proyecto – Migración del ERP Periodo del informe: del 27/05/2026 al 10/06/2026 Elaborado por: Mayte Lumbreras, jefa de proyecto Página 1 de 3 1. Estado general Valoramos el proyecto en conjunto en amarillo. Los trabajos principales cumplen el plan, pero el comité de dirección tuvo que decidir sobre el aplazamiento de un plazo. Realizado en el periodo: - análisis de requisitos terminado y validado con los usuarios clave, - entorno de pruebas instalado y primeras pruebas de aceptación realizadas, - registro de riesgos y plan de comunicación actualizados, - cerradas todas las solicitudes abiertas del periodo anterior salvo una. 2. Presupuesto y cambios El comité de dirección ha aprobado los siguientes importes: - Compra de equipos: 11.500 € - Formación del personal: 24.000 € Solicitud de cambio SC-04: Candelas Serra solicitó aumentar el importe para portátiles y monitores para las nuevas incorporaciones hasta 16.000 €. El comité de dirección ha rechazado la solicitud; se mantiene el importe aprobado de 11.500 €. A modo de comparación, la partida «Formación del personal» costó 18.500 € el año pasado. 3. Calendario La fecha original prevista para la licitación, el 23/08/2026, se aplaza al 15/09/2026, porque el departamento jurídico todavía está revisando la documentación. El comité de dirección ha aprobado el aplazamiento; la fecha original ya no es válida. 4. Próximos pasos - Publicar la licitación del proveedor de servicios – responsable: Candelas Serra, plazo: 15/09/2026 - Lanzar la campaña y preparar los contenidos de la web – responsable: Candelas Serra, plazo: 26/07/2026 5. Riesgos El principal riesgo sigue siendo la disponibilidad de los proveedores en verano. El equipo sigue este riesgo y propondrá medidas si es necesario. 6. Comunicación Los usuarios clave han sido informados de los cambios en su reunión periódica. La información actualizada del proyecto está en la intranet; las preguntas pueden dirigirse al equipo del proyecto. El próximo informe de estado se publicará tras la reunión del comité de dirección del 17/06/2026.
Verdict
Cheapest with no errors: Gemma 4 31B at $0.14 per 1,000 documents.
- Gemini 3.8 Flash is also error-free, but 40.1× more expensive.
Prompt given to every model
Resuma el documento siguiente (acta de reunión, informe de estado del proyecto o hilo de correos)
en un máximo de 80 palabras.
Reglas:
- Incluya todas las decisiones definitivas: los importes aprobados, los plazos vigentes y las
personas responsables de las tareas (con su nombre completo).
- No mencione las propuestas rechazadas ni sus importes, ni los plazos que se han modificado (las
fechas originales); indique solo los plazos vigentes.
- Copie los importes y las fechas exactamente como aparecen en el documento, sin redondearlos.
- Redacte en el idioma del documento, de forma objetiva y en un registro formal, como texto
continuo sin títulos.
- Devuelva únicamente JSON con el formato {"summary": "…"}.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | GPT-6 Luna6 / 6 fields | Mistral Small 46 / 6 fields | Claude Haiku 5.56 / 6 fields | Qwen3.8 Flash6 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | Claude Sonnet 5.56 / 6 fields | GPT-6 Sol6 / 6 fields | Claude Sonnet 56 / 6 fields | Mistral Large 46 / 6 fields | Gemini 3.8 Flash6 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 11500.0; 24000.0 | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) |
| Deadlines | 2026-09-15; 2026-07-26 | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) |
| Responsible people | Candelas Serra | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) | Candelas Serra (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 16000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2026-08-23 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 47 / 80 (correct) | 61 / 80 (correct) | 62 / 80 (correct) | 72 / 80 (correct) | 61 / 80 (correct) | 65 / 80 (correct) | 70 / 80 (correct) | 78 / 80 (correct) | 23 / 80 (correct) | 69 / 80 (correct) | 69 / 80 (correct) | 76 / 80 (correct) | 54 / 80 (correct) | 54 / 80 (correct) |
| Tokens | input / output | 748 / 93 | 688 / 204 | 745 / 133 | 1,335 / 598 | 844 / 846 | 736 / 116 | 835 / 739 | 744 / 1,916 | 745 / 69 | 1,335 / 181 | 688 / 318 | 1,333 / 196 | 687 / 2,492 | 736 / 1,372 |
| including hidden reasoning | billed as output | 0 | 93 | 0 | 383 | 724 | 0 | 599 | 1,589 | 0 | 0 | 186 | 0 | 2,248 | 1,272 |
| including cached input | input billed at a discount | 3 | 0 | 0 | 0 | 256 | 0 | 140 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0001 | $0.0002 | $0.0002 | $0.0004 | $0.0005 | $0.0005 | $0.0006 | $0.0016 | $0.0016 | $0.0045 | $0.0046 | $0.0046 | $0.0057 | $0.0057 |
| Per 1,000 documents | for documents of this type | $0.14 | $0.17 | $0.19 | $0.43 | $0.49 | $0.51 | $0.64 | $1.60 | $1.64 | $4.48 | $4.56 | $4.63 | $5.68 | $5.70 |
| Latency | this run | 3.1 s | 2.4 s | 1.2 s | 2.7 s | 12.7 s | 0.8 s | 7.1 s | 13.1 s | 0.8 s | 2 s | 5.8 s | 3.9 s | 42.5 s | 5.2 s |