ModelVerdict

Méthodologie

Méthodologie : comment nous mesurons

Chaque chiffre de ce site peut être rattaché à un document précis, à un résultat de modèle et au coût d'une exécution. Voici comment ils sont obtenus.

Ce que nous mesurons

Six tâches courantes en entreprise : extraire 13 champs d'une facture (fournisseur, identifiants, numéro de facture, référence de paiement, dates, montant HT et taxe par taux, total, devise, compte bancaire) ; trier les e-mails clients (catégorie, priorité, tonalité, client, numéros de commande et de facture, montant, devise, échéance) ; repérer les données personnelles dans des textes d'entreprise, par exemple avant de les envoyer à un service d'IA (noms, adresses e-mail, numéros de téléphone, adresses postales, dates de naissance, numéros d'identification nationaux, comptes bancaires) ; extraire les conditions essentielles d'un contrat (parties, type de contrat, prix et périodicité de facturation, dates de début et de fin, préavis, pénalité de retard, droit applicable) ; résumer un document en y reprenant les montants, dates et responsables clés, sans les montants refusés ni les dates remplacées, dans une limite de mots ; et répondre à des questions sur un document, y compris à celles auxquelles le document ne répond pas. Nous indiquons la part de champs corrects et la part de documents sans aucune erreur, car pour une entreprise, c'est souvent le second chiffre qui compte. Les documents sont en tchèque, en anglais américain, en allemand, en français et en espagnol.

Le jeu de test

Tous les documents sont synthétiques : générés à partir de données aléatoires mais valides (identifiants d'entreprise et numéros de naissance tchèques avec clé de contrôle, comptes bancaires selon les règles de la Banque nationale tchèque, EIN, numéros de routage ABA). La bonne réponse est donc la donnée source, pas une transcription manuelle, et elle ne contient pas de coquilles. Aucune donnée personnelle ou d'entreprise réelle : les adresses e-mail utilisent des domaines .example, les numéros de téléphone américains la plage fictive 555-01xx, les SSN une plage jamais attribuée. Les documents de langues différentes forment des paires de même structure, ce qui permet de mesurer l'écart linguistique.

Les factures se déclinent en huit mises en page avec des variantes réalistes (non assujetti à la TVA, facture d'acompte, avoir, devise étrangère) et en quatre niveaux : 30 % texte PDF, 30 % image nette, 30 % scan (rotation, bruit, JPEG), 10 % photo (perspective, ombre). Un tiers de chaque jeu n'est pas public ; nous n'en publions que des scores agrégés, pour qu'un modèle ne puisse pas obtenir un bon score parce qu'il a déjà vu les réponses.

Les e-mails se présentent sous forme de message simple, avec une longue signature, de fil de discussion citant des messages antérieurs ou d'e-mail transféré par un collègue ; les échéances sont parfois relatives (« d'ici vendredi »). La priorité suit des règles fixes écrites dans le prompt ; ce n'est donc pas une question d'opinion. Les textes contenant des données personnelles (dossiers RH, tickets de support, comptes rendus, e-mails) comportent volontairement des données non personnelles : noms d'entreprise formés de noms de famille, identifiants d'entreprise, adresses génériques comme info@, numéros de commande et dates qui ne sont pas des dates de naissance.

Déroulement d'une exécution

Tous les modèles sont appelés via OpenRouter avec le même prompt dans la langue du document, à température 0, chaque modèle chez un fournisseur fixe pour que les résultats soient reproductibles. Si un modèle prend en charge la sortie structurée (schéma JSON), nous l'utilisons ; si le fournisseur refuse le schéma, nous relançons sans et le consignons. Si la réponse n'est pas un JSON valide, nous relançons une fois et le consignons aussi. Pour chaque appel, nous enregistrons le modèle, les versions du prompt et du jeu de données, les tokens, le coût, la latence et le fournisseur. Les sorties sont mises en cache : chaque semaine, nous ne payons que pour les nouveaux modèles, documents et prompts. Les nouveaux modèles sont mesurés sur les documents texte via l'API Batch, à moitié prix. Les réponses sont les mêmes, mais leur latence ne peut pas être mesurée : nous mesurons donc la vitesse sur un échantillon de 10 documents par langue avec des appels classiques, et affichons le coût au tarif standard pour qu'il reste comparable à celui des autres modèles.

Notre notation

Un champ est correct lorsqu'il correspond exactement à la valeur attendue après normalisation du format : dates en AAAA-MM-JJ, montants en nombre à deux décimales (les deux conventions de séparateur), espaces ignorés dans les identifiants et numéros de compte. Les diacritiques ne sont pas normalisés : « Horak » au lieu de « Horák » est une erreur. Les erreurs sont classées par catégorie (champ manquant, valeur erronée, diacritiques perdus, dates inversées, HT au lieu du TTC, mauvais taux, format numérique, JSON invalide). Le seuil pour les factures est de 95 % de champs corrects.

E-mails : la catégorie, la priorité et la tonalité doivent correspondre exactement ; les échéances relatives doivent donner la bonne date. Données personnelles : chaque champ est une liste, correcte seulement si elle est complète et sans élément en trop ; un identifiant d'entreprise signalé comme donnée personnelle compte comme une valeur en trop. Le seuil est de 95 % de champs corrects pour toutes les tâches.

Coûts et taxe linguistique

Le coût correspond à la consommation réelle de tokens telle que renvoyée par l'API en USD, ramenée à 1 000 documents. La conversion vers d'autres devises n'intervient qu'à l'affichage, au taux indiqué en bas de page. La taxe linguistique est mesurée sur un corpus parallèle de 50 paragraphes en tchèque, allemand, français, espagnol, polonais et anglais : nous envoyons le texte avec une limite de sortie minimale, retranchons le surcoût d'un prompt vide et comparons les tokens d'entrée à ceux de l'anglais.

Le coût réel ajoute le travail d'une personne qui doit repérer et corriger chaque document erroné : 3 minutes par document à 450 CZK / 35 EUR / 40 USD de l'heure. La vitesse est le temps de réponse médian (90e centile dans l'info-bulle) ; les réponses valides sont la part de documents avec un JSON valide. Les erreurs de limitation de débit de l'API ne sont pas imputées au modèle : les requêtes sont relancées jusqu'à ce que chaque document ait une réponse.

Le calculateur de coût réel utilise les coûts mesurés lorsque nous disposons de documents dans la langue. Pour les autres langues, il fait une estimation : le surcoût mesuré sur des documents dans une autre langue, ajusté par la taxe linguistique de la langue choisie (une image de facture coûte la même chose dans toutes les langues ; le simple ratio de tokens surestimerait donc le surcoût). Les estimations sont marquées ≈ et n'indiquent pas de précision.

L'écart linguistique

La différence de précision entre documents tchèques et anglais n'est calculée que sur les champs présents dans les deux versions. Les factures américaines n'ont ni numéro de TVA ni date du fait générateur : ces champs sont exclus de la comparaison.

Limites

Les documents synthétiques ne couvrent pas tout ce qu'une entreprise rencontre réellement (notes manuscrites, factures de plusieurs pages, mises en page inhabituelles). Avec environ 150 documents par langue, la précision comporte une incertitude d'environ ±1 point de pourcentage : ne considérez pas les écarts plus faibles entre modèles comme décisifs. Les modèles et les prix évoluent : chaque chiffre indique donc la date de l'exécution.

Tous les modèles reçoivent le même prompt, rédigé une fois par tâche et par langue et optimisé pour aucun modèle en particulier : un seul message, sans prompt système ni exemples. Nous mesurons donc comment un modèle s'en sort avec un prompt raisonnable du premier coup, et non ce qu'on peut en tirer en l'ajustant. Avec un prompt adapté à un modèle précis et à vos documents, les résultats peuvent être meilleurs, surtout pour les erreurs de format (écriture des montants ou des identifiants). Considérez donc les petits écarts entre les meilleurs modèles plutôt comme une égalité. Le prompt est affiché avec chaque exemple de sortie.

Indépendance

Les classements et les recommandations ne s'achètent pas. Aucun éditeur de modèle ne nous paie pour son positionnement. Si vous trouvez une erreur dans une bonne réponse ou dans la notation, signalez-la-nous : nous la corrigeons et documentons la modification.

Exécution actuelle : 20261010T220935Z-c30495 du 10 octobre 2026, version du jeu de données 0.1.0.

Connexion par e-mail

Nous utilisons votre e-mail uniquement pour la connexion (et le résumé si vous le cochez). Pas de spam.