Lorenzo Giménez, Vicenta Crespo, Agustín Valls
Texto del documento (el modelo recibió exactamente este texto)
De: Vicenta Crespo <vicenta.crespo@castell-asociados.example> Fecha: 31/07/2025 Asunto: Migración del ERP – presupuesto y plazos Hola a todos: Os envío mi propuesta para la siguiente fase del proyecto Migración del ERP. El alcance ha crecido respecto al encargo original, por lo que propongo reservar 5.500 € para la campaña de marketing de otoño. A modo de comparación, la partida «Formación del personal» nos costó 6.500 € el año pasado. Para el informe intermedio mantendría la fecha del 07/10/2025. Adjunto las ofertas de los proveedores; completaré el presupuesto detallado cuando reciba vuestros comentarios. Os agradecería una respuesta antes del final de la semana. Un saludo, Vicenta Crespo ---------- De: Andrés Domingo <andres.domingo@castell-asociados.example> Fecha: 01/08/2025 Asunto: RE: Migración del ERP – presupuesto y plazos Estimada Sra. Crespo: No puedo aprobar 5.500 €; el presupuesto del proyecto no da para tanto. La fecha del 07/10/2025 también me parece poco realista, porque todavía faltan cifras de contabilidad. Antes de confirmar nada necesito un presupuesto más detallado. Tratémoslo en la próxima reunión del equipo; le ruego que traiga las cifras y una comparación de las ofertas. Andrés Domingo ---------- De: Andrés Domingo <andres.domingo@castell-asociados.example> Fecha: 06/08/2025 Asunto: RE: Migración del ERP – presupuesto y plazos Hola a todos: Gracias por la reunión de hoy y por las cifras preparadas. Este es el resumen de lo que hemos acordado definitivamente: - Campaña de marketing: 3.500 € - Formación del personal: 11.500 € - Nueva fecha para el informe intermedio: 27/10/2025 La propuesta de 5.500 € queda por tanto descartada y la fecha original del 07/10/2025 ya no es válida. Tareas: - Lorenzo Giménez: elaborar el informe intermedio para la dirección, plazo: 27/10/2025 - Vicenta Crespo: pedir los equipos y organizar la instalación, en curso - Agustín Valls: lanzar la campaña y preparar los contenidos de la web, en curso Si se me ha olvidado algo, por favor avisadme. Un saludo, Andrés Domingo
Veredicto
El más barato sin errores: GPT-6 Luna, a 0,14 € por cada 1000 documentos.
- Gemini 3.8 Flash tampoco comete errores, pero es 57,6× más caro.
Prompt enviado a todos los modelos
Resuma el documento siguiente (acta de reunión, informe de estado del proyecto o hilo de correos)
en un máximo de 80 palabras.
Reglas:
- Incluya todas las decisiones definitivas: los importes aprobados, los plazos vigentes y las
personas responsables de las tareas (con su nombre completo).
- No mencione las propuestas rechazadas ni sus importes, ni los plazos que se han modificado (las
fechas originales); indique solo los plazos vigentes.
- Copie los importes y las fechas exactamente como aparecen en el documento, sin redondearlos.
- Redacte en el idioma del documento, de forma objetiva y en un registro formal, como texto
continuo sin títulos.
- Devuelva únicamente JSON con el formato {"summary": "…"}.
Cómo puntuamos
Coincidencia exacta por campo tras normalizar fechas, importes y espacios. La falta de diacríticos cuenta como error. El coste es el gasto real en tokens de esta ejecución, convertido al tipo de cambio indicado en el pie de página.
Lo que extrajo cada modelo
| Campo | Valor correcto | GPT-6 Luna6 / 6 campos | Gemma 4 31B6 / 6 campos | Mistral Small 46 / 6 campos | Claude Haiku 5.56 / 6 campos | Gemini 3.5 Flash Lite6 / 6 campos | DeepSeek V4.1 Flash6 / 6 campos | Qwen3.8 Flash6 / 6 campos | GLM-5.3 Flash6 / 6 campos | Mistral Medium 3.56 / 6 campos | GPT-6 Sol6 / 6 campos | Claude Sonnet 56 / 6 campos | Claude Sonnet 5.56 / 6 campos | Mistral Large 46 / 6 campos | Gemini 3.8 Flash6 / 6 campos |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Importes | 3500.0; 11500.0 | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) |
| Plazos | 2025-10-27 | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) |
| Responsables | Lorenzo Giménez; Vicenta Crespo; Agustín Valls | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) | Lorenzo Giménez; Vicenta Crespo; Agustín Valls (correcto) |
| Propuestas rechazadas (no deben aparecer)Importes de propuestas que el documento rechaza. No deben aparecer en el resumen: confundirían al lector. | 5500.0 | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) |
| Plazos sustituidos (no deben aparecer)Fechas que el documento cambia más adelante. El resumen solo debe dar la nueva fecha. | 2025-10-07 | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) |
| Longitud (máx. palabras)El resumen no puede superar el límite de palabras del prompt. | 80 | 60 / 80 (correcto) | 68 / 80 (correcto) | 65 / 80 (correcto) | 72 / 80 (correcto) | 80 / 80 (correcto) | 63 / 80 (correcto) | 50 / 80 (correcto) | 67 / 80 (correcto) | 46 / 80 (correcto) | 59 / 80 (correcto) | 63 / 80 (correcto) | 63 / 80 (correcto) | 60 / 80 (correcto) | 66 / 80 (correcto) |
| Tokens | entrada / salida | 735 / 154 | 801 / 110 | 788 / 133 | 1385 / 635 | 789 / 127 | 891 / 699 | 898 / 1193 | 790 / 1158 | 788 / 94 | 735 / 217 | 1383 / 171 | 1385 / 177 | 734 / 3301 | 789 / 2155 |
| de ellos, razonamiento oculto | se factura como salida | 47 | 0 | 0 | 452 | 0 | 573 | 1095 | 1023 | 0 | 113 | 0 | 0 | 3007 | 2029 |
| de ellos, desde caché | entrada con descuento | 0 | 184 | 0 | 0 | 0 | 140 | 256 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Coste de este documento | esta ejecución | 0,0001 € | 0,0001 € | 0,0002 € | 0,0004 € | 0,0005 € | 0,0006 € | 0,0006 € | 0,0010 € | 0,0017 € | 0,0033 € | 0,0041 € | 0,0042 € | 0,0068 € | 0,0080 € |
| Por cada 1000 documentos | para el mismo tipo de documento | 0,14 € | 0,14 € | 0,18 € | 0,42 € | 0,51 € | 0,58 € | 0,61 € | 0,96 € | 1,74 € | 3,35 € | 4,12 € | 4,18 € | 6,81 € | 7,98 € |
| Latencia | esta ejecución | 2,1 s | 3,8 s | 1,1 s | 3,4 s | 0,8 s | 8,6 s | 15,4 s | 7,1 s | 0,9 s | 5,1 s | 2,6 s | 2,1 s | 51,9 s | 9 s |