ModelVerdict

Jean Guyot, Hélène Chauvin, Lorraine Couturier

FrenchDocument6 fields

Document fr-p0021 · layout thread · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

De : Marguerite Tanguy <marguerite.tanguy@gilles.example>
Date : 10/06/2026
Objet : Site de Lyon – budget et échéances

Bonjour à tous,

Voici ma proposition pour la prochaine phase du projet Site de Lyon. Le périmètre a augmenté par rapport à la commande initiale ; je propose donc de prévoir 76 000 EUR pour les ordinateurs portables et les écrans des nouveaux collaborateurs. Pour comparaison, le poste « Réaménagement des bureaux » nous a coûté 39 000 EUR l'année dernière. Pour la signature du contrat avec le fournisseur, je conserverais la date du 23/07/2026.

Les offres des prestataires sont jointes ; je compléterai le budget détaillé après vos remarques. Merci de me répondre d'ici la fin de la semaine.

Bien cordialement,
Marguerite Tanguy

----------

De : Patricia Durand <patricia.durand@gilles.example>
Date : 11/06/2026
Objet : RE : Site de Lyon – budget et échéances

Bonjour Madame Tanguy,

Je ne peux pas approuver 76 000 EUR, le budget du projet ne le permet pas. La date du 23/07/2026 me paraît également irréaliste, car le fournisseur n'a pas encore envoyé le projet de contrat révisé. Avant de confirmer quoi que ce soit, j'ai besoin d'un budget plus détaillé. Réglons cela lors de la prochaine réunion d'équipe ; merci d'apporter les chiffres et une comparaison des offres.

Patricia Durand

----------

De : Patricia Durand <patricia.durand@gilles.example>
Date : 16/06/2026
Objet : RE : Site de Lyon – budget et échéances

Bonjour à tous,

Merci pour la réunion d'aujourd'hui et pour les chiffres préparés. Voici le résumé de ce que nous avons définitivement convenu :
- Achat de matériel : 48 000 EUR
- Réaménagement des bureaux : 65 000 EUR
- Campagne marketing : 12 000 EUR
- Nouvelle date pour la signature du contrat avec le fournisseur : 20/08/2026

La proposition de 76 000 EUR est donc écartée, et la date initiale du 23/07/2026 n'est plus valable.

Actions :
- Jean Guyot : préparer et signer le contrat avec le fournisseur, échéance : 20/08/2026
- Hélène Chauvin : rédiger le rapport intermédiaire pour la direction, échéance : 07/07/2026
- Lorraine Couturier : organiser la formation et envoyer les invitations, en continu

Si j'ai oublié quelque chose, merci de me le signaler.

Bien cordialement,
Patricia Durand

Verdict

Cheapest with no errors: Gemma 4 31B at $0.18 per 1,000 documents.

  • Gemini 3.8 Flash is also error-free, but 51.9× more expensive.

Prompt given to every model

Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.

Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
  et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
  modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
  de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

Free with login

Every model's output for this document, field by field. The first three examples of each task are open.

Just your email, no password.

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.