ModelVerdict

Marthe Meunier, Laurence Menard

FrenchDocument6 fields

Document fr-p0022 · layout minutes · 6 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Document text (the model received exactly this text)

Compte rendu de la réunion de projet – Portail client

Date : 04/06/2026, de 9 h 00 à 10 h 30
Lieu : salle de réunion C403
Participants : Emmanuelle Rousset, Marthe Meunier, Laurence Menard, Luc Picard
Rédaction du compte rendu : Marthe Meunier
Nombre de pages : 4

Ordre du jour :
Point 1 : Achat de matériel
Point 2 : Logiciel comptable
Point 3 : Calendrier
Point 4 : Actions et questions diverses

Mme Rousset a ouvert la réunion, a accueilli les participants et a brièvement présenté l'état d'avancement du projet. La plupart des travaux avancent comme prévu, la réunion a porté principalement sur le budget.

Point 1 : Achat de matériel
M. Picard a proposé de prévoir 10 000 EUR pour les ordinateurs portables et les écrans des nouveaux collaborateurs, le périmètre ayant augmenté par rapport à la commande initiale. Mme Rousset a rappelé que le budget du projet ne permet pas un montant aussi élevé. La proposition de 10 000 EUR a été rejetée lors du vote (1 voix pour, 6 contre). L'équipe a ensuite approuvé 6 500 EUR pour les ordinateurs portables et les écrans des nouveaux collaborateurs.

Point 2 : Logiciel comptable
Mme Menard a présenté les offres de trois prestataires et a recommandé la plus avantageuse. Pour comparaison, le même poste avait coûté 3 000 EUR l'année dernière. L'équipe a approuvé 4 000 EUR pour les licences et le déploiement du nouveau logiciel comptable.

Point 3 : Calendrier
La date initiale prévue pour la signature du contrat avec le fournisseur, le 04/09/2026, ne peut pas être tenue, car le fournisseur n'a pas encore envoyé le projet de contrat révisé. L'équipe a retenu la nouvelle date du 22/09/2026 ; la date initiale du 04/09/2026 est donc annulée. Toutes les autres échéances restent inchangées. Mme Rousset a remercié Mme Meunier d'avoir rappelé que les services concernés doivent être informés.

Point 4 : Actions et questions diverses
Actions :
- Marthe Meunier : préparer et signer le contrat avec le fournisseur, échéance : 22/09/2026
- Laurence Menard : commander le matériel et organiser l'installation, échéance : 03/07/2026

Prochaine réunion : 18/06/2026, même salle. Merci d'envoyer vos remarques sur le compte rendu dans un délai de deux jours ouvrés.

Verdict

Cheapest with no errors: Gemma 4 31B at $0.17 per 1,000 documents.

  • Gemini 3.8 Flash is also error-free, but 49.4× more expensive.

Prompt given to every model

Résumez le document ci-dessous (compte rendu de réunion, rapport d'avancement de projet ou fil
d'e-mails) en 80 mots au maximum.

Règles :
- Mentionnez toutes les décisions définitives : les montants approuvés, les échéances en vigueur
  et les personnes responsables des actions (avec leur nom complet).
- Ne mentionnez ni les propositions rejetées ni leurs montants, ni les échéances qui ont été
  modifiées (les dates initiales) ; indiquez uniquement les échéances en vigueur.
- Reprenez les montants et les dates exactement comme dans le document, sans les arrondir.
- Rédigez dans la langue du document, de manière factuelle et dans un registre formel, sous forme
  de texte continu sans titres.
- Renvoyez uniquement du JSON sous la forme {"summary": "…"}.

How we score

Exact match per field after normalizing dates, amounts, and whitespace. Missing diacritics count as an error. Cost is the actual token spend of this run, converted at the rate shown in the footer.

Free with login

Every model's output for this document, field by field. The first three examples of each task are open.

Just your email, no password.

Log in with email

We use your email only to log you in (and for the digest if you tick it). No spam.