Odette Bourdon
Document text (the model received exactly this text)
Rapport d'avancement du projet – Migration ERP Période couverte : du 27/05/2026 au 10/06/2026 Rédigé par : Martin Gaudin, chef de projet Page 1 sur 3 1. État général Nous évaluons le projet globalement en orange. Les travaux principaux respectent le calendrier, mais le comité de pilotage a dû se prononcer sur le report d'une échéance. Réalisé au cours de la période : - analyse des besoins terminée et validée avec les utilisateurs clés, - environnement de test mis en place et premiers tests de recette effectués, - registre des risques et plan de communication mis à jour, - toutes les demandes ouvertes de la période précédente traitées, sauf une. 2. Budget et modifications Le comité de pilotage a approuvé les montants suivants : - Achat de matériel : 11 500 EUR - Formation du personnel : 24 000 EUR Demande de modification DM-03 : Odette Bourdon a demandé de porter le montant prévu pour les ordinateurs portables et les écrans des nouveaux collaborateurs à 16 000 EUR. Le comité de pilotage a rejeté cette demande ; le montant approuvé reste de 11 500 EUR. Pour comparaison, le poste « Formation du personnel » avait coûté 18 500 EUR l'année dernière. 3. Calendrier La date initiale prévue pour l'appel d'offres, le 23/08/2026, est reportée au 15/09/2026, car le service juridique examine encore le dossier. Le comité de pilotage a approuvé ce report ; la date initiale n'est plus valable. 4. Prochaines étapes - Publier l'appel d'offres pour le prestataire – responsable : Odette Bourdon, échéance : 15/09/2026 - Lancer la campagne et préparer les contenus du site web – responsable : Odette Bourdon, échéance : 26/07/2026 5. Risques La charge des équipes internes constitue un risque. La direction en est informée et a promis un renfort. 6. Communication Les utilisateurs clés ont été informés des changements lors de leur réunion régulière. Les informations à jour sur le projet sont disponibles sur l'intranet ; merci d'adresser vos questions à l'équipe projet. Le prochain rapport d'avancement suivra la réunion du comité de pilotage du 17/06/2026.
Verdict
Cheapest with no errors: Gemma 4 31B at $0.16 per 1,000 documents.
- Gemini 3.8 Flash is also error-free, but 54.7× more expensive.
Prompt given to every model
Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.
Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | GPT-6 Luna6 / 6 fields | Mistral Small 45 / 6 fields | Claude Haiku 5.55 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Claude Sonnet 56 / 6 fields | Claude Sonnet 5.56 / 6 fields | Gemini 3.8 Flash6 / 6 fields | Mistral Large 40 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 11500.0; 24000.0 | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | 11500; 24000 (correct) | nullinvalid JSON |
| Deadlines | 2026-09-15; 2026-07-26 | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | 2026-09-15; 2026-07-26 (correct) | nullinvalid JSON |
| Responsible people | Odette Bourdon | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | Odette Bourdon (correct) | nullinvalid JSON |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 16000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | nullinvalid JSON |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2026-08-23 | — (correct) | — (correct) | 2026-08-23extra value | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | nullinvalid JSON |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 54 / 80 (correct) | 52 / 80 (correct) | 73 / 80 (correct) | 101 / 80wrong value | 75 / 80 (correct) | 63 / 80 (correct) | 73 / 80 (correct) | 57 / 80 (correct) | 33 / 80 (correct) | 74 / 80 (correct) | 75 / 80 (correct) | 70 / 80 (correct) | 64 / 80 (correct) | nullinvalid JSON |
| Tokens | input / output | 812 / 104 | 739 / 218 | 775 / 161 | 1,337 / 806 | 800 / 141 | 884 / 813 | 795 / 1,161 | 911 / 2,817 | 775 / 82 | 739 / 208 | 1,335 / 190 | 1,337 / 191 | 800 / 2,105 | 735 / 4,000 |
| including hidden reasoning | billed as output | 0 | 121 | 0 | 533 | 0 | 685 | 891 | 2,694 | 0 | 79 | 0 | 0 | 1,974 | 3,248 |
| including cached input | input billed at a discount | 200 | 0 | 165 | 0 | 0 | 154 | 0 | 256 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0005 | $0.0006 | $0.0007 | $0.0010 | $0.0014 | $0.0018 | $0.0036 | $0.0046 | $0.0046 | $0.0085 | $0.0177 |
| Per 1,000 documents | for documents of this type | $0.16 | $0.18 | $0.19 | $0.54 | $0.59 | $0.70 | $1.05 | $1.43 | $1.78 | $3.56 | $4.57 | $4.58 | $8.49 | $17.72 |
| Latency | this run | 4.3 s | 2.8 s | 1.1 s | 4.1 s | 0.9 s | 10 s | 7.4 s | 36.5 s | 1 s | 5.2 s | 3 s | 2.2 s | 7.9 s | 46.7 s |