ModelVerdict

Miriam Tomé Casanovas

SpanishText7 fields

Document es-p0006 · layout ticket · 7 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Text (the model got exactly this text)

Incidencia n.º 46077 · Reclamación

Cliente: Miriam Tomé Casanovas
Correo electrónico: miriam.casanovas@mail.example
Teléfono: 625 91 25 75
Dirección de entrega: Acceso de Teófila Bonilla, 92, 41211 Sevilla

La clienta informa de que la mercancía del pedido PED-2026-35412 ha llegado dañada y solicita su sustitución.
Si procede un reembolso, debe abonarse en la cuenta ES5801288598608330799640.
Incidencia asignada a: Miguela Lerma Cabeza.

Verdict

Cheapest without an error: Gemma 4 31B at $0.12 per 1,000 documents.

  • Claude Sonnet 5 is also error-free but 47.7× more expensive.
  • Mistral Small 4 is 1.1× cheaper, but: invented value (Names).

Prompt given to every model

Localice en el texto de abajo todos los datos personales de personas físicas (para su anonimización) y devuelva solo JSON
con estas claves, cada una como lista de cadenas (una lista vacía si no hay ninguno):

person_names       nombres completos de personas, cada persona una sola vez, tal como aparecen en el texto
email_addresses    direcciones de correo electrónico de personas
phone_numbers      números de teléfono de personas, tal como aparecen en el texto
postal_addresses   domicilios o direcciones de entrega de personas, tal como aparecen en el texto (calle, localidad, código postal)
birth_dates        fechas de nacimiento (YYYY-MM-DD)
national_ids       números de identificación nacionales (p. ej. DNI, NIE, número de la Seguridad Social)
bank_accounts      números de cuenta bancaria (IBAN) de personas, tal como aparecen en el texto

Reglas:
- Solo datos de personas físicas. Los nombres de empresas, los datos del Registro Mercantil, el CIF y otros números de
  empresas, las direcciones genéricas de empresas como info@ o support@ y los números de pedido y de incidencia no son
  datos personales: omítalos.
- Las fechas que no son fechas de nacimiento (reuniones, entregas, incorporación) no son datos personales.
- No invente ni complete valores; cópielos del texto.

How we score

Exact match per field after normalising dates, amounts and whitespace. Missing diacritics count as an error. Cost is the real token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueMistral Small 46 / 7 fieldsGemma 4 31B7 / 7 fieldsGPT-6 Luna7 / 7 fieldsQwen3.8 Flash7 / 7 fieldsGemini 3.5 Flash Lite6 / 7 fieldsDeepSeek V4.1 Flash7 / 7 fieldsMistral Medium 3.57 / 7 fieldsGemini 3.8 Flash7 / 7 fieldsGPT-6 Sol7 / 7 fieldsClaude Sonnet 57 / 7 fields
NamesMiriam Tomé Casanovas; Miguela Lerma Cabeza Miriam Tomé Casanovas; Miguela Lerma Cabeza; Teófila Bonillainvented valueMiriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) Miriam Tomé Casanovas; Teófila Bonilla; Miguela Lerma Cabezainvented valueMiriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct)Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct)
Email addressesmiriam.casanovas@mail.examplemiriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)miriam.casanovas@mail.example (correct)
Phone numbers625 91 25 75625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)625 91 25 75 (correct)
AddressesAcceso de Teófila Bonilla, 92, 41211 SevillaAcceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct)
Dates of birth—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
National IDs—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Bank accountsES5801288598608330799640ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)ES5801288598608330799640 (correct)
Tokensinput / output475 / 133483 / 128550 / 133774 / 757471 / 113744 / 1,231475 / 128471 / 490550 / 1791,282 / 310
of which hidden reasoningbilled as output003558701,111037565154
of which from cacheinput billed at a discount283314051204600000
Cost of this documentthis run$0.0001$0.0001$0.0001$0.0004$0.0004$0.0009$0.0017$0.0022$0.0029$0.0057
Per 1,000 documentsfor the same kind of document$0.11$0.12$0.12$0.40$0.42$0.88$1.67$2.19$2.89$5.66
Latencythis run1.1 s5.6 s1.9 s11.8 s0.9 s14.1 s1 s2.2 s3.6 s4.8 s