ModelVerdict

Océane Maillard, Michel Bertin, Alphonse Joubert

FrenchDocument6 fields

Document fr-p0003 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

De : Océane Maillard <oceane.maillard@rossi.example>
Date : 31 juillet 2025
Objet : Migration ERP – budget et échéances

Bonjour à tous,

Voici ma proposition pour la prochaine phase du projet Migration ERP. Le périmètre a augmenté par rapport à la commande initiale ; je propose donc de prévoir 5 500 EUR pour la campagne marketing d'automne. Pour comparaison, le poste « Formation du personnel » nous a coûté 6 500 EUR l'année dernière. Pour le rapport intermédiaire, je conserverais la date du 7 octobre 2025.

Les offres des prestataires sont jointes ; je compléterai le budget détaillé après vos remarques. Merci de me répondre d'ici la fin de la semaine.

Bien cordialement,
Océane Maillard

----------

De : Philippine Hebert <philippine.hebert@rossi.example>
Date : 1er août 2025
Objet : RE : Migration ERP – budget et échéances

Bonjour Madame Maillard,

Je ne peux pas approuver 5 500 EUR, le budget du projet ne le permet pas. La date du 7 octobre 2025 me paraît également irréaliste, car il manque encore des chiffres de la comptabilité. Avant de confirmer quoi que ce soit, j'ai besoin d'un budget plus détaillé. Réglons cela lors de la prochaine réunion d'équipe ; merci d'apporter les chiffres et une comparaison des offres.

Philippine Hebert

----------

De : Philippine Hebert <philippine.hebert@rossi.example>
Date : 6 août 2025
Objet : RE : Migration ERP – budget et échéances

Bonjour à tous,

Merci pour la réunion d'aujourd'hui et pour les chiffres préparés. Voici le résumé de ce que nous avons définitivement convenu :
- Campagne marketing : 3 500 EUR
- Formation du personnel : 11 500 EUR
- Nouvelle date pour le rapport intermédiaire : 27 octobre 2025

La proposition de 5 500 EUR est donc écartée, et la date initiale du 7 octobre 2025 n'est plus valable.

Actions :
- Océane Maillard : rédiger le rapport intermédiaire pour la direction, échéance : 27 octobre 2025
- Michel Bertin : commander le matériel et organiser l'installation, en continu
- Alphonse Joubert : lancer la campagne et préparer les contenus du site web, en continu

Si j'ai oublié quelque chose, merci de me le signaler.

Bien cordialement,
Philippine Hebert

Verdict

Cheapest with no errors: Gemma 4 31B at $0.17 per 1,000 documents.

  • Mistral Large 4 is also error-free, but 104.8× more expensive.

Prompt given to every model

Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.

Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
  et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
  modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
  de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B6 / 6 fieldsGPT-6 Luna6 / 6 fieldsMistral Small 46 / 6 fieldsClaude Haiku 5.55 / 6 fieldsDeepSeek V4.1 Flash6 / 6 fieldsGemini 3.5 Flash Lite4 / 6 fieldsGLM-5.3 Flash6 / 6 fieldsQwen3.8 Flash6 / 6 fieldsMistral Medium 3.56 / 6 fieldsGPT-6 Sol6 / 6 fieldsClaude Sonnet 5.56 / 6 fieldsClaude Sonnet 56 / 6 fieldsGemini 3.8 Flash6 / 6 fieldsMistral Large 46 / 6 fields
Amounts3500.0; 11500.03500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct) —missing field3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)3500; 11500 (correct)
Deadlines2025-10-272025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)2025-10-27 (correct)
Responsible peopleOcéane Maillard; Michel Bertin; Alphonse JoubertOcéane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)Océane Maillard; Michel Bertin; Alphonse Joubert (correct)
Rejected proposals (must not appear)Amounts from proposals the document rejects. They must not appear in the summary; they would mislead the reader.5500.0— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Superseded deadlines (must not appear)Deadlines the document later reschedules. The summary should give only the new deadline.2025-10-07— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Length (max words)The summary must not exceed the word limit given in the prompt.8075 / 80 (correct)62 / 80 (correct)65 / 80 (correct) 91 / 80wrong value72 / 80 (correct) 83 / 80wrong value69 / 80 (correct)66 / 80 (correct)38 / 80 (correct)64 / 80 (correct)66 / 80 (correct)74 / 80 (correct)71 / 80 (correct)65 / 80 (correct)
Tokensinput / output823 / 127757 / 190794 / 1031,432 / 697909 / 756811 / 190809 / 1,468929 / 2,968794 / 72757 / 2401,432 / 1731,430 / 194811 / 2,076758 / 3,829
including hidden reasoningbilled as output082047563301,1672,8510131001,9483,496
including cached inputinput billed at a discount20000015400256000000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0005$0.0007$0.0007$0.0013$0.0015$0.0017$0.0039$0.0046$0.0048$0.0084$0.0174
Per 1,000 documentsfor documents of this type$0.17$0.17$0.18$0.49$0.67$0.72$1.28$1.50$1.73$3.91$4.59$4.80$8.39$17.39
Latencythis run11.6 s3.4 s1.1 s3.9 s9.6 s1.2 s9 s40.1 s1.3 s4.8 s2.7 s3.8 s8 s66.4 s

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.