Océane Maillard, Michel Bertin, Alphonse Joubert
Texto del documento (el modelo recibió exactamente este texto)
De : Océane Maillard <oceane.maillard@rossi.example> Date : 31 juillet 2025 Objet : Migration ERP – budget et échéances Bonjour à tous, Voici ma proposition pour la prochaine phase du projet Migration ERP. Le périmètre a augmenté par rapport à la commande initiale ; je propose donc de prévoir 5 500 EUR pour la campagne marketing d'automne. Pour comparaison, le poste « Formation du personnel » nous a coûté 6 500 EUR l'année dernière. Pour le rapport intermédiaire, je conserverais la date du 7 octobre 2025. Les offres des prestataires sont jointes ; je compléterai le budget détaillé après vos remarques. Merci de me répondre d'ici la fin de la semaine. Bien cordialement, Océane Maillard ---------- De : Philippine Hebert <philippine.hebert@rossi.example> Date : 1er août 2025 Objet : RE : Migration ERP – budget et échéances Bonjour Madame Maillard, Je ne peux pas approuver 5 500 EUR, le budget du projet ne le permet pas. La date du 7 octobre 2025 me paraît également irréaliste, car il manque encore des chiffres de la comptabilité. Avant de confirmer quoi que ce soit, j'ai besoin d'un budget plus détaillé. Réglons cela lors de la prochaine réunion d'équipe ; merci d'apporter les chiffres et une comparaison des offres. Philippine Hebert ---------- De : Philippine Hebert <philippine.hebert@rossi.example> Date : 6 août 2025 Objet : RE : Migration ERP – budget et échéances Bonjour à tous, Merci pour la réunion d'aujourd'hui et pour les chiffres préparés. Voici le résumé de ce que nous avons définitivement convenu : - Campagne marketing : 3 500 EUR - Formation du personnel : 11 500 EUR - Nouvelle date pour le rapport intermédiaire : 27 octobre 2025 La proposition de 5 500 EUR est donc écartée, et la date initiale du 7 octobre 2025 n'est plus valable. Actions : - Océane Maillard : rédiger le rapport intermédiaire pour la direction, échéance : 27 octobre 2025 - Michel Bertin : commander le matériel et organiser l'installation, en continu - Alphonse Joubert : lancer la campagne et préparer les contenus du site web, en continu Si j'ai oublié quelque chose, merci de me le signaler. Bien cordialement, Philippine Hebert
Veredicto
El más barato sin errores: Gemma 4 31B, a 0,15 € por cada 1000 documentos.
- Mistral Large 4 tampoco comete errores, pero es 104,8× más caro.
Prompt enviado a todos los modelos
Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.
Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.
Cómo puntuamos
Coincidencia exacta por campo tras normalizar fechas, importes y espacios. La falta de diacríticos cuenta como error. El coste es el gasto real en tokens de esta ejecución, convertido al tipo de cambio indicado en el pie de página.
Lo que extrajo cada modelo
| Campo | Valor correcto | Gemma 4 31B6 / 6 campos | GPT-6 Luna6 / 6 campos | Mistral Small 46 / 6 campos | Claude Haiku 5.55 / 6 campos | DeepSeek V4.1 Flash6 / 6 campos | Gemini 3.5 Flash Lite4 / 6 campos | GLM-5.3 Flash6 / 6 campos | Qwen3.8 Flash6 / 6 campos | Mistral Medium 3.56 / 6 campos | GPT-6 Sol6 / 6 campos | Claude Sonnet 5.56 / 6 campos | Claude Sonnet 56 / 6 campos | Gemini 3.8 Flash6 / 6 campos | Mistral Large 46 / 6 campos |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Importes | 3500.0; 11500.0 | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | —campo ausente | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) | 3500; 11500 (correcto) |
| Plazos | 2025-10-27 | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) | 2025-10-27 (correcto) |
| Responsables | Océane Maillard; Michel Bertin; Alphonse Joubert | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) | Océane Maillard; Michel Bertin; Alphonse Joubert (correcto) |
| Propuestas rechazadas (no deben aparecer)Importes de propuestas que el documento rechaza. No deben aparecer en el resumen: confundirían al lector. | 5500.0 | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) |
| Plazos sustituidos (no deben aparecer)Fechas que el documento cambia más adelante. El resumen solo debe dar la nueva fecha. | 2025-10-07 | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) | — (correcto) |
| Longitud (máx. palabras)El resumen no puede superar el límite de palabras del prompt. | 80 | 75 / 80 (correcto) | 62 / 80 (correcto) | 65 / 80 (correcto) | 91 / 80valor incorrecto | 72 / 80 (correcto) | 83 / 80valor incorrecto | 69 / 80 (correcto) | 66 / 80 (correcto) | 38 / 80 (correcto) | 64 / 80 (correcto) | 66 / 80 (correcto) | 74 / 80 (correcto) | 71 / 80 (correcto) | 65 / 80 (correcto) |
| Tokens | entrada / salida | 823 / 127 | 757 / 190 | 794 / 103 | 1432 / 697 | 909 / 756 | 811 / 190 | 809 / 1468 | 929 / 2968 | 794 / 72 | 757 / 240 | 1432 / 173 | 1430 / 194 | 811 / 2076 | 758 / 3829 |
| de ellos, razonamiento oculto | se factura como salida | 0 | 82 | 0 | 475 | 633 | 0 | 1167 | 2851 | 0 | 131 | 0 | 0 | 1948 | 3496 |
| de ellos, desde caché | entrada con descuento | 200 | 0 | 0 | 0 | 154 | 0 | 0 | 256 | 0 | 0 | 0 | 0 | 0 | 0 |
| Coste de este documento | esta ejecución | 0,0002 € | 0,0002 € | 0,0002 € | 0,0005 € | 0,0006 € | 0,0007 € | 0,0012 € | 0,0014 € | 0,0016 € | 0,0036 € | 0,0042 € | 0,0044 € | 0,0077 € | 0,0160 € |
| Por cada 1000 documentos | para el mismo tipo de documento | 0,15 € | 0,16 € | 0,17 € | 0,45 € | 0,61 € | 0,66 € | 1,18 € | 1,38 € | 1,59 € | 3,60 € | 4,23 € | 4,42 € | 7,72 € | 16,00 € |
| Latencia | esta ejecución | 11,6 s | 3,4 s | 1,1 s | 3,9 s | 9,6 s | 1,2 s | 9 s | 40,1 s | 1,3 s | 4,8 s | 2,7 s | 3,8 s | 8 s | 66,4 s |