Miriam Tomé Casanovas
Text (the model got exactly this text)
Incidencia n.º 46077 · Reclamación Cliente: Miriam Tomé Casanovas Correo electrónico: miriam.casanovas@mail.example Teléfono: 625 91 25 75 Dirección de entrega: Acceso de Teófila Bonilla, 92, 41211 Sevilla La clienta informa de que la mercancía del pedido PED-2026-35412 ha llegado dañada y solicita su sustitución. Si procede un reembolso, debe abonarse en la cuenta ES5801288598608330799640. Incidencia asignada a: Miguela Lerma Cabeza.
Verdict
Cheapest without an error: Gemma 4 31B at $0.12 per 1,000 documents.
- Claude Sonnet 5 is also error-free but 47.7× more expensive.
- Mistral Small 4 is 1.1× cheaper, but: invented value (Names).
Prompt given to every model
Localice en el texto de abajo todos los datos personales de personas físicas (para su anonimización) y devuelva solo JSON con estas claves, cada una como lista de cadenas (una lista vacía si no hay ninguno): person_names nombres completos de personas, cada persona una sola vez, tal como aparecen en el texto email_addresses direcciones de correo electrónico de personas phone_numbers números de teléfono de personas, tal como aparecen en el texto postal_addresses domicilios o direcciones de entrega de personas, tal como aparecen en el texto (calle, localidad, código postal) birth_dates fechas de nacimiento (YYYY-MM-DD) national_ids números de identificación nacionales (p. ej. DNI, NIE, número de la Seguridad Social) bank_accounts números de cuenta bancaria (IBAN) de personas, tal como aparecen en el texto Reglas: - Solo datos de personas físicas. Los nombres de empresas, los datos del Registro Mercantil, el CIF y otros números de empresas, las direcciones genéricas de empresas como info@ o support@ y los números de pedido y de incidencia no son datos personales: omítalos. - Las fechas que no son fechas de nacimiento (reuniones, entregas, incorporación) no son datos personales. - No invente ni complete valores; cópielos del texto.
How we score
Exact match per field after normalising dates, amounts and whitespace. Missing diacritics count as an error. Cost is the real token spend of this run, converted at the rate shown in the footer.
What each model extracted
| Field | Correct value | Mistral Small 46 / 7 fields | Gemma 4 31B7 / 7 fields | GPT-6 Luna7 / 7 fields | Qwen3.8 Flash7 / 7 fields | Gemini 3.5 Flash Lite6 / 7 fields | DeepSeek V4.1 Flash7 / 7 fields | Mistral Medium 3.57 / 7 fields | Gemini 3.8 Flash7 / 7 fields | GPT-6 Sol7 / 7 fields | Claude Sonnet 57 / 7 fields |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Names | Miriam Tomé Casanovas; Miguela Lerma Cabeza | Miriam Tomé Casanovas; Miguela Lerma Cabeza; Teófila Bonillainvented value | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Teófila Bonilla; Miguela Lerma Cabezainvented value | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) | Miriam Tomé Casanovas; Miguela Lerma Cabeza (correct) |
| Email addresses | miriam.casanovas@mail.example | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) | miriam.casanovas@mail.example (correct) |
| Phone numbers | 625 91 25 75 | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) | 625 91 25 75 (correct) |
| Addresses | Acceso de Teófila Bonilla, 92, 41211 Sevilla | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) | Acceso de Teófila Bonilla, 92, 41211 Sevilla (correct) |
| Dates of birth | — | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| National IDs | — | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) | — (correct) |
| Bank accounts | ES5801288598608330799640 | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) | ES5801288598608330799640 (correct) |
| Tokens | input / output | 475 / 133 | 483 / 128 | 550 / 133 | 774 / 757 | 471 / 113 | 744 / 1,231 | 475 / 128 | 471 / 490 | 550 / 179 | 1,282 / 310 |
| of which hidden reasoning | billed as output | 0 | 0 | 35 | 587 | 0 | 1,111 | 0 | 375 | 65 | 154 |
| of which from cache | input billed at a discount | 283 | 314 | 0 | 512 | 0 | 460 | 0 | 0 | 0 | 0 |
| Cost of this document | this run | $0.0001 | $0.0001 | $0.0001 | $0.0004 | $0.0004 | $0.0009 | $0.0017 | $0.0022 | $0.0029 | $0.0057 |
| Per 1,000 documents | for the same kind of document | $0.11 | $0.12 | $0.12 | $0.40 | $0.42 | $0.88 | $1.67 | $2.19 | $2.89 | $5.66 |
| Latency | this run | 1.1 s | 5.6 s | 1.9 s | 11.8 s | 0.9 s | 14.1 s | 1 s | 2.2 s | 3.6 s | 4.8 s |