Alain Ferrand, Chantal François
Document text (the model received exactly this text)
Compte rendu de la réunion de projet – Site de Lyon Date : 12 mars 2025, de 9 h 00 à 10 h 30 Lieu : salle de réunion B203 Participants : Denise Valette, Alain Ferrand, Chantal François Rédaction du compte rendu : Chantal François Nombre de pages : 4 Ordre du jour : Point 1 : Campagne marketing Point 2 : Réaménagement des bureaux Point 3 : Calendrier Point 4 : Actions et questions diverses Mme Valette a ouvert la réunion, a accueilli les participants et a brièvement présenté l'état d'avancement du projet. La plupart des travaux avancent comme prévu, la réunion a porté principalement sur le budget. Point 1 : Campagne marketing M. Ferrand a proposé de prévoir 66 000 € pour la campagne marketing d'automne, le périmètre ayant augmenté par rapport à la commande initiale. Mme Valette a rappelé que le budget du projet ne permet pas un montant aussi élevé. La proposition de 66 000 € a été rejetée lors du vote (2 voix pour, 5 contre). L'équipe a ensuite approuvé 50 000 € pour la campagne marketing d'automne. Point 2 : Réaménagement des bureaux Mme Valette a présenté les offres de trois prestataires et a recommandé la plus avantageuse. Pour comparaison, le même poste avait coûté 23 000 € l'année dernière. L'équipe a approuvé 33 000 € pour le réaménagement des bureaux du deuxième étage. Point 3 : Calendrier La date initiale prévue pour le rapport intermédiaire, le 16 mai 2025, ne peut pas être tenue, car il manque encore des chiffres de la comptabilité. L'équipe a retenu la nouvelle date du 7 juin 2025 ; la date initiale du 16 mai 2025 est donc annulée. Toutes les autres échéances restent inchangées. Mme Valette a remercié Mme François d'avoir rappelé que les services concernés doivent être informés. Point 4 : Actions et questions diverses Actions : - Alain Ferrand : rédiger le rapport intermédiaire pour la direction, échéance : 7 juin 2025 - Chantal François : préparer et signer le contrat avec le fournisseur, échéance : 3 avril 2025 Prochaine réunion : 19 mars 2025, même salle. Merci d'envoyer vos remarques sur le compte rendu dans un délai de deux jours ouvrés.
Verdict
Cheapest with no errors: Gemma 4 31B at $0.16 per 1,000 documents.
- Mistral Large 4 is also error-free, but 38.1× more expensive.
Prompt given to every model
Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.
Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.
How we score
Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Gemma 4 31B6 / 6 fields | Mistral Small 46 / 6 fields | GPT-6 Luna6 / 6 fields | Claude Haiku 5.56 / 6 fields | Gemini 3.5 Flash Lite6 / 6 fields | DeepSeek V4.1 Flash6 / 6 fields | GLM-5.3 Flash6 / 6 fields | Qwen3.8 Flash6 / 6 fields | Mistral Medium 3.56 / 6 fields | GPT-6 Sol6 / 6 fields | Claude Sonnet 5.56 / 6 fields | Claude Sonnet 56 / 6 fields | Gemini 3.8 Flash6 / 6 fields | Mistral Large 46 / 6 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amounts | 50000.0; 33000.0 | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) | 50000; 33000 (correct) |
| Deadlines | 2025-06-07; 2025-04-03 | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) | 2025-06-07; 2025-04-03 (correct) |
| Responsible people | Alain Ferrand; Chantal François | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) | Alain Ferrand; Chantal François (correct) |
| Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader. | 66000.0 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline. | 2025-05-16 | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Length (max words)The summary must not exceed the word limit given in the prompt. | 80 | 66 / 80 (correct) | 69 / 80 (correct) | 71 / 80 (correct) | 76 / 80 (correct) | 69 / 80 (correct) | 57 / 80 (correct) | 56 / 80 (correct) | 59 / 80 (correct) | 47 / 80 (correct) | 74 / 80 (correct) | 69 / 80 (correct) | 72 / 80 (correct) | 59 / 80 (correct) | 60 / 80 (correct) |
| Tokens | input / output | 809 / 108 | 777 / 126 | 750 / 259 | 1,409 / 703 | 797 / 123 | 911 / 798 | 824 / 1,330 | 912 / 2,264 | 777 / 89 | 750 / 279 | 1,409 / 190 | 1,407 / 214 | 797 / 1,364 | 748 / 2,606 |
| including hidden reasoning | billed as output | 0 | 0 | 135 | 513 | 0 | 681 | 1,011 | 2,147 | 0 | 151 | 0 | 0 | 1,261 | 2,277 |
| including cached input | input billed at a discount | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0002 | $0.0002 | $0.0002 | $0.0005 | $0.0005 | $0.0007 | $0.0012 | $0.0012 | $0.0018 | $0.0043 | $0.0047 | $0.0050 | $0.0057 | $0.0060 |
| Per 1,000 documents | for documents of this type | $0.16 | $0.19 | $0.20 | $0.49 | $0.55 | $0.73 | $1.18 | $1.20 | $1.83 | $4.29 | $4.72 | $4.95 | $5.71 | $5.96 |
| Latency | this run | 4.9 s | 1 s | 3.3 s | 4 s | 0.9 s | 9.2 s | 8.6 s | 32.3 s | 1.4 s | 6.8 s | 2.6 s | 3.8 s | 6.2 s | 69.9 s |