Sprachlücke
Sprachlücke: Wie viel schlechter ist ein Modell außerhalb des Englischen?
Gleiche Art von Dokumenten, gleiche Anweisungen, andere Sprache. Die Lücke zeigt, wie viel Genauigkeit ein Modell bei Dokumenten in einer anderen Sprache im Vergleich zu englischen verliert.
Rechnungsextraktion · Deutsch
| Modell | Richtige Felder 82 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 82,36 % | 93,39 % | +11,0 Pp. | 87,33 % / 57,33 % | |
| Mistral Large 4 Mistral | 95,39 % | 97,45 % | +2,1 Pp. | 92,00 % / 77,33 % | |
| Gemini 3.5 Flash Lite | 99,21 % | 100,00 % | +0,8 Pp. | 100,00 % / 92,00 % | |
| Mistral Medium 3.5 Mistral | 97,76 % | 98,12 % | +0,4 Pp. | 81,33 % / 79,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,39 % | 99,58 % | +0,2 Pp. | 95,33 % / 93,33 % | |
| Mistral Small 4 Mistral | 95,58 % | 95,64 % | +0,1 Pp. | 58,67 % / 58,00 % | |
| GPT-6 Sol OpenAI | 99,94 % | 99,94 % | ±0 Pp. | 99,33 % / 99,33 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 99,94 % | −0,1 Pp. | 99,33 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,82 % | −0,2 Pp. | 98,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 99,94 % | 99,52 % | −0,4 Pp. | 95,33 % / 99,33 % | |
| GPT-6 Luna OpenAI | 99,70 % | 99,15 % | −0,5 Pp. | 91,33 % / 96,67 % | |
| Claude Sonnet 5 Anthropic | 99,82 % | 98,79 % | −1,0 Pp. | 86,67 % / 98,67 % | |
| Gemma 4 31B | 97,64 % | 95,21 % | −2,4 Pp. | 66,67 % / 81,33 % | |
| Gemini 3.8 Flash | 99,82 % | 97,27 % | −2,5 Pp. | 96,67 % / 98,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Lieferant, Lieferanten-ID (EIN, IČO…), Rechnungsnummer, Zahlungsreferenz, Rechnungsdatum, Fälligkeitsdatum, Netto nach Steuersatz, Steuer nach Steuersatz, Gesamtbetrag, Währung, Bankverbindung). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Rechnungsextraktion · Tschechisch
| Modell | Richtige Felder 82 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 82,36 % | 91,33 % | +9,0 Pp. | 76,67 % / 57,33 % | |
| Mistral Large 4 Mistral | 95,39 % | 97,09 % | +1,7 Pp. | 88,67 % / 77,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,39 % | 99,88 % | +0,5 Pp. | 98,67 % / 93,33 % | |
| Claude Sonnet 5 Anthropic | 99,82 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.5 Flash Lite | 99,21 % | 99,39 % | +0,2 Pp. | 93,33 % / 92,00 % | |
| Gemini 3.8 Flash | 99,82 % | 99,94 % | +0,1 Pp. | 99,33 % / 98,00 % | |
| GPT-6 Sol OpenAI | 99,94 % | 99,88 % | −0,1 Pp. | 98,67 % / 99,33 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,94 % | −0,1 Pp. | 99,33 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 99,94 % | −0,1 Pp. | 99,33 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 99,94 % | 99,64 % | −0,3 Pp. | 96,67 % / 99,33 % | |
| Mistral Small 4 Mistral | 95,58 % | 95,21 % | −0,4 Pp. | 65,33 % / 58,00 % | |
| GPT-6 Luna OpenAI | 99,70 % | 99,33 % | −0,4 Pp. | 94,00 % / 96,67 % | |
| Gemma 4 31B | 97,64 % | 96,12 % | −1,5 Pp. | 66,67 % / 81,33 % | |
| Mistral Medium 3.5 Mistral | 97,76 % | 94,85 % | −2,9 Pp. | 67,33 % / 79,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Lieferant, Lieferanten-ID (EIN, IČO…), Rechnungsnummer, Zahlungsreferenz, Rechnungsdatum, Fälligkeitsdatum, Netto nach Steuersatz, Steuer nach Steuersatz, Gesamtbetrag, Währung, Bankverbindung). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Rechnungsextraktion · Spanisch
| Modell | Richtige Felder 82 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 82,36 % | 89,09 % | +6,7 Pp. | 78,67 % / 57,33 % | |
| Mistral Small 4 Mistral | 95,58 % | 97,33 % | +1,8 Pp. | 75,33 % / 58,00 % | |
| Mistral Large 4 Mistral | 95,39 % | 96,36 % | +1,0 Pp. | 88,00 % / 77,33 % | |
| Gemini 3.5 Flash Lite | 99,21 % | 99,64 % | +0,4 Pp. | 96,00 % / 92,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 97,76 % | 97,58 % | −0,2 Pp. | 75,33 % / 79,33 % | |
| GLM-5.3 Flash Z.ai | 99,94 % | 99,27 % | −0,7 Pp. | 92,67 % / 99,33 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,33 % | −0,7 Pp. | 92,67 % / 100,00 % | |
| GPT-6 Luna OpenAI | 99,70 % | 98,97 % | −0,7 Pp. | 88,67 % / 96,67 % | |
| GPT-6 Sol OpenAI | 99,94 % | 99,09 % | −0,8 Pp. | 90,00 % / 99,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,39 % | 97,94 % | −1,4 Pp. | 78,00 % / 93,33 % | |
| Claude Sonnet 5 Anthropic | 99,82 % | 98,18 % | −1,6 Pp. | 81,33 % / 98,67 % | |
| Gemini 3.8 Flash | 99,82 % | 97,27 % | −2,5 Pp. | 96,67 % / 98,00 % | |
| Gemma 4 31B | 97,64 % | 93,94 % | −3,7 Pp. | 50,67 % / 81,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Lieferant, Lieferanten-ID (EIN, IČO…), Rechnungsnummer, Zahlungsreferenz, Rechnungsdatum, Fälligkeitsdatum, Netto nach Steuersatz, Steuer nach Steuersatz, Gesamtbetrag, Währung, Bankverbindung). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Rechnungsextraktion · Französisch
| Modell | Richtige Felder 82 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 82,36 % | 90,24 % | +7,9 Pp. | 83,33 % / 57,33 % | |
| Mistral Medium 3.5 Mistral | 97,76 % | 98,42 % | +0,7 Pp. | 86,00 % / 79,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,39 % | 99,52 % | +0,1 Pp. | 94,67 % / 93,33 % | |
| Gemini 3.8 Flash | 99,82 % | 99,94 % | +0,1 Pp. | 99,33 % / 98,00 % | |
| GPT-6 Sol OpenAI | 99,94 % | 99,88 % | −0,1 Pp. | 98,67 % / 99,33 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 99,94 % | −0,1 Pp. | 99,33 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,82 % | −0,2 Pp. | 98,00 % / 100,00 % | |
| Claude Sonnet 5 Anthropic | 99,82 % | 99,64 % | −0,2 Pp. | 96,67 % / 98,67 % | |
| Gemini 3.5 Flash Lite | 99,21 % | 98,91 % | −0,3 Pp. | 88,00 % / 92,00 % | |
| Mistral Small 4 Mistral | 95,58 % | 95,21 % | −0,4 Pp. | 56,00 % / 58,00 % | |
| GPT-6 Luna OpenAI | 99,70 % | 99,03 % | −0,7 Pp. | 89,33 % / 96,67 % | |
| GLM-5.3 Flash Z.ai | 99,94 % | 98,91 % | −1,0 Pp. | 89,33 % / 99,33 % | |
| Gemma 4 31B | 97,64 % | 93,21 % | −4,4 Pp. | 51,33 % / 81,33 % | |
| Mistral Large 4 Mistral | 95,39 % | 89,88 % | −5,5 Pp. | 78,67 % / 77,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Lieferant, Lieferanten-ID (EIN, IČO…), Rechnungsnummer, Zahlungsreferenz, Rechnungsdatum, Fälligkeitsdatum, Netto nach Steuersatz, Steuer nach Steuersatz, Gesamtbetrag, Währung, Bankverbindung). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
E-Mail-Triage · Deutsch
| Modell | Richtige Felder 86 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 97,48 % | 97,85 % | +0,4 Pp. | 81,33 % / 78,67 % | |
| Claude Sonnet 5 Anthropic | 98,22 % | 97,85 % | −0,4 Pp. | 81,33 % / 84,00 % | |
| Gemini 3.8 Flash | 98,74 % | 98,37 % | −0,4 Pp. | 85,33 % / 88,67 % | |
| GPT-6 Luna OpenAI | 97,48 % | 96,96 % | −0,5 Pp. | 72,67 % / 77,33 % | |
| GPT-6 Sol OpenAI | 99,04 % | 98,22 % | −0,8 Pp. | 84,00 % / 92,00 % | |
| Claude Sonnet 5.5 Anthropic | 98,89 % | 98,00 % | −0,9 Pp. | 83,33 % / 90,00 % | |
| Mistral Large 4 Mistral | 98,74 % | 97,85 % | −0,9 Pp. | 82,00 % / 88,67 % | |
| Claude Haiku 5.5 Anthropic | 98,15 % | 97,11 % | −1,0 Pp. | 74,67 % / 84,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 97,63 % | 96,37 % | −1,3 Pp. | 68,00 % / 78,67 % | |
| Gemma 4 31B | 96,52 % | 95,11 % | −1,4 Pp. | 62,00 % / 72,00 % | |
| GLM-5.3 Flash Z.ai | 99,41 % | 98,00 % | −1,4 Pp. | 82,00 % / 94,67 % | |
| Gemini 3.5 Flash Lite | 96,30 % | 94,67 % | −1,6 Pp. | 56,67 % / 68,67 % | |
| Mistral Medium 3.5 Mistral | 94,89 % | 92,74 % | −2,1 Pp. | 48,00 % / 57,33 % | |
| Mistral Small 4 Mistral | 89,70 % | 87,26 % | −2,4 Pp. | 29,33 % / 37,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Kategorie, Priorität, Stimmung, Kundenname, Bestellnummer, Rechnungsnummer, Betrag, Währung, Frist). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
E-Mail-Triage · Tschechisch
| Modell | Richtige Felder 86 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 97,48 % | 98,52 % | +1,0 Pp. | 86,67 % / 78,67 % | |
| Gemma 4 31B | 96,52 % | 97,11 % | +0,6 Pp. | 74,67 % / 72,00 % | |
| Gemini 3.8 Flash | 98,74 % | 99,19 % | +0,4 Pp. | 92,67 % / 88,67 % | |
| GPT-6 Luna OpenAI | 97,48 % | 97,93 % | +0,4 Pp. | 81,33 % / 77,33 % | |
| Claude Sonnet 5 Anthropic | 98,22 % | 98,15 % | −0,1 Pp. | 83,33 % / 84,00 % | |
| GPT-6 Sol OpenAI | 99,04 % | 98,96 % | −0,1 Pp. | 90,67 % / 92,00 % | |
| Claude Sonnet 5.5 Anthropic | 98,89 % | 98,67 % | −0,2 Pp. | 88,00 % / 90,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 97,63 % | 97,41 % | −0,2 Pp. | 77,33 % / 78,67 % | |
| Mistral Medium 3.5 Mistral | 94,89 % | 94,52 % | −0,4 Pp. | 55,33 % / 57,33 % | |
| Gemini 3.5 Flash Lite | 96,30 % | 95,78 % | −0,5 Pp. | 64,00 % / 68,67 % | |
| GLM-5.3 Flash Z.ai | 99,41 % | 98,89 % | −0,5 Pp. | 90,00 % / 94,67 % | |
| Claude Haiku 5.5 Anthropic | 98,15 % | 97,63 % | −0,5 Pp. | 80,00 % / 84,00 % | |
| Mistral Large 4 Mistral | 98,74 % | 98,15 % | −0,6 Pp. | 89,33 % / 88,67 % | |
| Mistral Small 4 Mistral | 89,70 % | 87,63 % | −2,1 Pp. | 31,33 % / 37,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Kategorie, Priorität, Stimmung, Kundenname, Bestellnummer, Rechnungsnummer, Betrag, Währung, Frist). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
E-Mail-Triage · Spanisch
| Modell | Richtige Felder 88 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| Gemma 4 31B | 96,52 % | 97,11 % | +0,6 Pp. | 74,00 % / 72,00 % | |
| Gemini 3.8 Flash | 98,74 % | 98,96 % | +0,2 Pp. | 90,67 % / 88,67 % | |
| GLM-5.3 Flash Z.ai | 99,41 % | 99,11 % | −0,3 Pp. | 92,00 % / 94,67 % | |
| Claude Haiku 5.5 Anthropic | 98,15 % | 97,70 % | −0,5 Pp. | 80,00 % / 84,00 % | |
| GPT-6 Sol OpenAI | 99,04 % | 98,44 % | −0,6 Pp. | 86,00 % / 92,00 % | |
| Claude Sonnet 5 Anthropic | 98,22 % | 97,56 % | −0,7 Pp. | 78,67 % / 84,00 % | |
| GPT-6 Luna OpenAI | 97,48 % | 96,81 % | −0,7 Pp. | 72,00 % / 77,33 % | |
| Gemini 3.5 Flash Lite | 96,30 % | 95,56 % | −0,7 Pp. | 65,33 % / 68,67 % | |
| Mistral Medium 3.5 Mistral | 94,89 % | 94,15 % | −0,7 Pp. | 54,00 % / 57,33 % | |
| Qwen3.8 Flash Qwen | 97,48 % | 96,74 % | −0,7 Pp. | 72,00 % / 78,67 % | |
| Mistral Large 4 Mistral | 98,74 % | 97,93 % | −0,8 Pp. | 82,00 % / 88,67 % | |
| Mistral Small 4 Mistral | 89,70 % | 88,67 % | −1,0 Pp. | 35,33 % / 37,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 97,63 % | 96,52 % | −1,1 Pp. | 72,00 % / 78,67 % | |
| Claude Sonnet 5.5 Anthropic | 98,89 % | 97,70 % | −1,2 Pp. | 80,67 % / 90,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Kategorie, Priorität, Stimmung, Kundenname, Bestellnummer, Rechnungsnummer, Betrag, Währung, Frist). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
E-Mail-Triage · Französisch
| Modell | Richtige Felder 88 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| Mistral Small 4 Mistral | 89,70 % | 90,52 % | +0,8 Pp. | 44,67 % / 37,33 % | |
| Claude Sonnet 5 Anthropic | 98,22 % | 98,67 % | +0,5 Pp. | 88,00 % / 84,00 % | |
| Gemini 3.5 Flash Lite | 96,30 % | 96,15 % | −0,1 Pp. | 68,67 % / 68,67 % | |
| Gemini 3.8 Flash | 98,74 % | 98,59 % | −0,2 Pp. | 87,33 % / 88,67 % | |
| GPT-6 Luna OpenAI | 97,48 % | 97,26 % | −0,2 Pp. | 76,00 % / 77,33 % | |
| Gemma 4 31B | 96,52 % | 96,22 % | −0,3 Pp. | 68,67 % / 72,00 % | |
| Mistral Large 4 Mistral | 98,74 % | 98,30 % | −0,4 Pp. | 84,67 % / 88,67 % | |
| GPT-6 Sol OpenAI | 99,04 % | 98,59 % | −0,4 Pp. | 87,33 % / 92,00 % | |
| Mistral Medium 3.5 Mistral | 94,89 % | 94,15 % | −0,7 Pp. | 54,00 % / 57,33 % | |
| Claude Haiku 5.5 Anthropic | 98,15 % | 97,41 % | −0,7 Pp. | 76,67 % / 84,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 97,63 % | 96,74 % | −0,9 Pp. | 72,67 % / 78,67 % | |
| GLM-5.3 Flash Z.ai | 99,41 % | 98,52 % | −0,9 Pp. | 86,67 % / 94,67 % | |
| Qwen3.8 Flash Qwen | 97,48 % | 96,44 % | −1,0 Pp. | 76,00 % / 78,67 % | |
| Claude Sonnet 5.5 Anthropic | 98,89 % | 97,78 % | −1,1 Pp. | 82,00 % / 90,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Kategorie, Priorität, Stimmung, Kundenname, Bestellnummer, Rechnungsnummer, Betrag, Währung, Frist). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Erkennung personenbezogener Daten · Deutsch
| Modell | Richtige Felder 98 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 99,24 % | 99,62 % | +0,4 Pp. | 99,33 % / 98,67 % | |
| Mistral Medium 3.5 Mistral | 99,71 % | 100,00 % | +0,3 Pp. | 100,00 % / 98,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,62 % | 99,81 % | +0,2 Pp. | 98,67 % / 97,33 % | |
| Gemini 3.5 Flash Lite | 99,52 % | 99,62 % | +0,1 Pp. | 97,33 % / 97,33 % | |
| Claude Sonnet 5 Anthropic | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.8 Flash | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Gemma 4 31B | 99,90 % | 99,90 % | ±0 Pp. | 99,33 % / 99,33 % | |
| GPT-6 Luna OpenAI | 99,62 % | 99,62 % | ±0 Pp. | 97,33 % / 97,33 % | |
| GPT-6 Sol OpenAI | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Mistral Large 4 Mistral | 99,62 % | 99,52 % | −0,1 Pp. | 96,67 % / 97,33 % | |
| Claude Haiku 5.5 Anthropic | 99,81 % | 99,62 % | −0,2 Pp. | 97,33 % / 98,67 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 99,81 % | −0,2 Pp. | 98,67 % / 100,00 % | |
| Mistral Small 4 Mistral | 99,43 % | 99,14 % | −0,3 Pp. | 94,00 % / 96,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Namen, E-Mail-Adressen, Telefonnummern, Adressen, Geburtsdaten, Identifikationsnummern, Bankkonten). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Erkennung personenbezogener Daten · Tschechisch
| Modell | Richtige Felder 96 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| Mistral Medium 3.5 Mistral | 99,71 % | 99,81 % | +0,1 Pp. | 98,67 % / 98,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,62 % | 99,71 % | +0,1 Pp. | 98,00 % / 97,33 % | |
| GPT-6 Luna OpenAI | 99,62 % | 99,62 % | ±0 Pp. | 97,33 % / 97,33 % | |
| GPT-6 Sol OpenAI | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Gemma 4 31B | 99,90 % | 99,81 % | −0,1 Pp. | 98,67 % / 99,33 % | |
| Gemini 3.8 Flash | 99,71 % | 99,52 % | −0,2 Pp. | 96,67 % / 98,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 99,71 % | −0,3 Pp. | 98,00 % / 100,00 % | |
| Mistral Large 4 Mistral | 99,62 % | 99,33 % | −0,3 Pp. | 95,33 % / 97,33 % | |
| Claude Haiku 5.5 Anthropic | 99,81 % | 99,43 % | −0,4 Pp. | 96,00 % / 98,67 % | |
| Mistral Small 4 Mistral | 99,43 % | 98,76 % | −0,7 Pp. | 92,00 % / 96,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 99,33 % | −0,7 Pp. | 99,33 % / 100,00 % | |
| Claude Sonnet 5 Anthropic | 99,71 % | 98,86 % | −0,8 Pp. | 92,00 % / 98,00 % | |
| Gemini 3.5 Flash Lite | 99,52 % | 98,10 % | −1,4 Pp. | 88,00 % / 97,33 % | |
| Qwen3.8 Flash Qwen | 99,24 % | 96,95 % | −2,3 Pp. | 88,67 % / 98,67 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Namen, E-Mail-Adressen, Telefonnummern, Adressen, Geburtsdaten, Identifikationsnummern, Bankkonten). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Erkennung personenbezogener Daten · Spanisch
| Modell | Richtige Felder 94 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 99,24 % | 99,81 % | +0,6 Pp. | 98,67 % / 98,67 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,62 % | 99,90 % | +0,3 Pp. | 99,33 % / 97,33 % | |
| Claude Haiku 5.5 Anthropic | 99,81 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,67 % | |
| Mistral Large 4 Mistral | 99,62 % | 99,81 % | +0,2 Pp. | 98,67 % / 97,33 % | |
| Claude Sonnet 5 Anthropic | 99,71 % | 99,81 % | +0,1 Pp. | 98,67 % / 98,00 % | |
| Gemini 3.8 Flash | 99,71 % | 99,81 % | +0,1 Pp. | 98,67 % / 98,00 % | |
| GPT-6 Sol OpenAI | 99,71 % | 99,81 % | +0,1 Pp. | 98,67 % / 98,00 % | |
| GPT-6 Luna OpenAI | 99,62 % | 99,71 % | +0,1 Pp. | 98,00 % / 97,33 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 99,90 % | 99,90 % | ±0 Pp. | 99,33 % / 99,33 % | |
| Mistral Medium 3.5 Mistral | 99,71 % | 99,62 % | −0,1 Pp. | 97,33 % / 98,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 99,81 % | −0,2 Pp. | 98,67 % / 100,00 % | |
| Mistral Small 4 Mistral | 99,43 % | 99,05 % | −0,4 Pp. | 93,33 % / 96,00 % | |
| Gemini 3.5 Flash Lite | 99,52 % | 95,81 % | −3,7 Pp. | 73,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Namen, E-Mail-Adressen, Telefonnummern, Adressen, Geburtsdaten, Identifikationsnummern, Bankkonten). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Erkennung personenbezogener Daten · Französisch
| Modell | Richtige Felder 94 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 99,24 % | 99,71 % | +0,5 Pp. | 98,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,71 % | 99,81 % | +0,1 Pp. | 98,67 % / 98,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,62 % | 99,71 % | +0,1 Pp. | 98,00 % / 97,33 % | |
| Claude Sonnet 5 Anthropic | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Luna OpenAI | 99,62 % | 99,62 % | ±0 Pp. | 97,33 % / 97,33 % | |
| GPT-6 Sol OpenAI | 99,71 % | 99,71 % | ±0 Pp. | 98,00 % / 98,00 % | |
| Gemma 4 31B | 99,90 % | 99,81 % | −0,1 Pp. | 98,67 % / 99,33 % | |
| Mistral Medium 3.5 Mistral | 99,71 % | 99,62 % | −0,1 Pp. | 97,33 % / 98,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 99,81 % | −0,2 Pp. | 98,67 % / 100,00 % | |
| Mistral Small 4 Mistral | 99,43 % | 98,95 % | −0,5 Pp. | 93,33 % / 96,00 % | |
| Claude Haiku 5.5 Anthropic | 99,81 % | 99,33 % | −0,5 Pp. | 95,33 % / 98,67 % | |
| Mistral Large 4 Mistral | 99,62 % | 98,67 % | −0,9 Pp. | 94,67 % / 97,33 % | |
| Gemini 3.5 Flash Lite | 99,52 % | 94,95 % | −4,6 Pp. | 67,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Namen, E-Mail-Adressen, Telefonnummern, Adressen, Geburtsdaten, Identifikationsnummern, Bankkonten). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Vertragsklauseln · Deutsch
| Modell | Richtige Felder 90 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| Mistral Large 4 Mistral | 96,10 % | 99,44 % | +3,3 Pp. | 95,33 % / 74,67 % | |
| Qwen3.8 Flash Qwen | 95,13 % | 98,00 % | +2,9 Pp. | 87,33 % / 69,33 % | |
| Mistral Small 4 Mistral | 91,54 % | 94,26 % | +2,7 Pp. | 46,67 % / 43,33 % | |
| GLM-5.3 Flash Z.ai | 99,49 % | 100,00 % | +0,5 Pp. | 100,00 % / 96,00 % | |
| Claude Haiku 5.5 Anthropic | 99,69 % | 100,00 % | +0,3 Pp. | 100,00 % / 97,33 % | |
| Claude Sonnet 5.5 Anthropic | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,00 % | |
| GPT-6 Luna OpenAI | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,90 % | 99,90 % | ±0 Pp. | 99,33 % / 99,33 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 98,10 % | 97,13 % | −1,0 Pp. | 75,33 % / 87,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 98,21 % | −1,8 Pp. | 86,67 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 99,95 % | 98,00 % | −2,0 Pp. | 84,00 % / 99,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 97,08 % | −2,9 Pp. | 76,00 % / 100,00 % | |
| Gemma 4 31B | 99,64 % | 94,41 % | −5,2 Pp. | 27,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Auftragnehmer, Auftragnehmer-ID, Auftraggeber, Auftraggeber-ID, Vertragsart, Preis (netto), Währung, Abrechnungszeitraum, Wirksam ab, Vertragsende, Kündigungsfrist (Monate), Verzugsstrafe (% pro Tag), Anwendbares Recht). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Vertragsklauseln · Tschechisch
| Modell | Richtige Felder 90 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| Mistral Small 4 Mistral | 91,54 % | 99,03 % | +7,5 Pp. | 92,00 % / 43,33 % | |
| Qwen3.8 Flash Qwen | 95,13 % | 99,90 % | +4,8 Pp. | 98,67 % / 69,33 % | |
| Mistral Large 4 Mistral | 96,10 % | 100,00 % | +3,9 Pp. | 100,00 % / 74,67 % | |
| Mistral Medium 3.5 Mistral | 98,10 % | 100,00 % | +1,9 Pp. | 100,00 % / 87,33 % | |
| GLM-5.3 Flash Z.ai | 99,49 % | 100,00 % | +0,5 Pp. | 100,00 % / 96,00 % | |
| Gemma 4 31B | 99,64 % | 99,95 % | +0,3 Pp. | 99,33 % / 97,33 % | |
| Claude Haiku 5.5 Anthropic | 99,69 % | 100,00 % | +0,3 Pp. | 100,00 % / 97,33 % | |
| Claude Sonnet 5.5 Anthropic | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,00 % | |
| GPT-6 Luna OpenAI | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,90 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 99,95 % | 99,85 % | −0,1 Pp. | 98,00 % / 99,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Auftragnehmer, Auftragnehmer-ID, Auftraggeber, Auftraggeber-ID, Vertragsart, Preis (netto), Währung, Abrechnungszeitraum, Wirksam ab, Vertragsende, Kündigungsfrist (Monate), Verzugsstrafe (% pro Tag), Anwendbares Recht). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Vertragsklauseln · Spanisch
| Modell | Richtige Felder 90 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| Mistral Small 4 Mistral | 91,54 % | 100,00 % | +8,5 Pp. | 100,00 % / 43,33 % | |
| Qwen3.8 Flash Qwen | 95,13 % | 100,00 % | +4,9 Pp. | 100,00 % / 69,33 % | |
| Mistral Large 4 Mistral | 96,10 % | 100,00 % | +3,9 Pp. | 100,00 % / 74,67 % | |
| Mistral Medium 3.5 Mistral | 98,10 % | 100,00 % | +1,9 Pp. | 100,00 % / 87,33 % | |
| GLM-5.3 Flash Z.ai | 99,49 % | 100,00 % | +0,5 Pp. | 100,00 % / 96,00 % | |
| Claude Haiku 5.5 Anthropic | 99,69 % | 99,95 % | +0,3 Pp. | 99,33 % / 97,33 % | |
| Claude Sonnet 5.5 Anthropic | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,00 % | |
| GPT-6 Luna OpenAI | 99,79 % | 100,00 % | +0,2 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,90 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 99,95 % | 99,79 % | −0,2 Pp. | 98,00 % / 99,33 % | |
| Gemma 4 31B | 99,64 % | 94,41 % | −5,2 Pp. | 27,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Auftragnehmer, Auftragnehmer-ID, Auftraggeber, Auftraggeber-ID, Vertragsart, Preis (netto), Währung, Abrechnungszeitraum, Wirksam ab, Vertragsende, Kündigungsfrist (Monate), Verzugsstrafe (% pro Tag), Anwendbares Recht). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Vertragsklauseln · Französisch
| Modell | Richtige Felder 90 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| Mistral Small 4 Mistral | 91,54 % | 99,23 % | +7,7 Pp. | 90,00 % / 43,33 % | |
| Qwen3.8 Flash Qwen | 95,13 % | 99,49 % | +4,4 Pp. | 93,33 % / 69,33 % | |
| Mistral Large 4 Mistral | 96,10 % | 99,28 % | +3,2 Pp. | 90,67 % / 74,67 % | |
| Mistral Medium 3.5 Mistral | 98,10 % | 100,00 % | +1,9 Pp. | 100,00 % / 87,33 % | |
| GLM-5.3 Flash Z.ai | 99,49 % | 99,74 % | +0,2 Pp. | 96,67 % / 96,00 % | |
| Claude Sonnet 5.5 Anthropic | 99,79 % | 99,95 % | +0,2 Pp. | 99,33 % / 98,00 % | |
| Gemini 3.8 Flash | 99,90 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Gemini 3.5 Flash Lite | 99,95 % | 99,95 % | ±0 Pp. | 99,33 % / 99,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 99,95 % | ±0 Pp. | 99,33 % / 100,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 99,85 % | −0,1 Pp. | 98,00 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 99,69 % | 99,38 % | −0,3 Pp. | 92,00 % / 97,33 % | |
| GPT-6 Sol OpenAI | 100,00 % | 99,59 % | −0,4 Pp. | 94,67 % / 100,00 % | |
| GPT-6 Luna OpenAI | 99,79 % | 99,33 % | −0,5 Pp. | 91,33 % / 98,67 % | |
| Gemma 4 31B | 99,64 % | 94,62 % | −5,0 Pp. | 30,67 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Auftragnehmer, Auftragnehmer-ID, Auftraggeber, Auftraggeber-ID, Vertragsart, Preis (netto), Währung, Abrechnungszeitraum, Wirksam ab, Vertragsende, Kündigungsfrist (Monate), Verzugsstrafe (% pro Tag), Anwendbares Recht). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Zusammenfassungen · Deutsch
| Modell | Richtige Felder 94 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| Claude Sonnet 5 Anthropic | 96,00 % | 99,11 % | +3,1 Pp. | 96,00 % / 76,67 % | |
| Claude Haiku 5.5 Anthropic | 98,33 % | 99,44 % | +1,1 Pp. | 96,67 % / 90,00 % | |
| Gemini 3.5 Flash Lite | 99,22 % | 99,89 % | +0,7 Pp. | 99,33 % / 95,33 % | |
| GPT-6 Sol OpenAI | 99,56 % | 100,00 % | +0,4 Pp. | 100,00 % / 97,33 % | |
| Mistral Small 4 Mistral | 99,67 % | 99,89 % | +0,2 Pp. | 99,33 % / 98,67 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.8 Flash | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Luna OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Large 4 Mistral | 100,00 % | 99,33 % | −0,7 Pp. | 99,33 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 99,11 % | −0,9 Pp. | 94,67 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,89 % | 95,33 % | −4,6 Pp. | 95,33 % / 99,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Beträge, Termine, Verantwortliche, Abgelehnte Vorschläge (dürfen nicht vorkommen), Verschobene Termine (dürfen nicht vorkommen), Länge (max. Wörter)). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Zusammenfassungen · Tschechisch
| Modell | Richtige Felder 82 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| GPT-6 Sol OpenAI | 99,56 % | 100,00 % | +0,4 Pp. | 100,00 % / 97,33 % | |
| Gemini 3.5 Flash Lite | 99,22 % | 99,56 % | +0,3 Pp. | 97,33 % / 95,33 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.8 Flash | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Luna OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Small 4 Mistral | 99,67 % | 99,00 % | −0,7 Pp. | 94,00 % / 98,67 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 98,67 % | −1,3 Pp. | 92,00 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 98,33 % | 95,89 % | −2,4 Pp. | 77,33 % / 90,00 % | |
| Claude Sonnet 5 Anthropic | 96,00 % | 93,44 % | −2,6 Pp. | 68,00 % / 76,67 % | |
| Qwen3.8 Flash Qwen | 99,89 % | 95,44 % | −4,4 Pp. | 93,33 % / 99,33 % | |
| Mistral Large 4 Mistral | 100,00 % | 83,33 % | −16,7 Pp. | 83,33 % / 100,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Beträge, Termine, Verantwortliche, Abgelehnte Vorschläge (dürfen nicht vorkommen), Verschobene Termine (dürfen nicht vorkommen), Länge (max. Wörter)). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Zusammenfassungen · Spanisch
| Modell | Richtige Felder 90 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.8 Flash | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 99,67 % | −0,3 Pp. | 98,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 99,56 % | 97,89 % | −1,7 Pp. | 87,33 % / 97,33 % | |
| Claude Sonnet 5 Anthropic | 96,00 % | 94,22 % | −1,8 Pp. | 68,00 % / 76,67 % | |
| Mistral Small 4 Mistral | 99,67 % | 97,78 % | −1,9 Pp. | 86,67 % / 98,67 % | |
| GPT-6 Luna OpenAI | 100,00 % | 97,00 % | −3,0 Pp. | 82,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 96,67 % | −3,3 Pp. | 96,67 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 99,22 % | 95,33 % | −3,9 Pp. | 72,00 % / 95,33 % | |
| Claude Haiku 5.5 Anthropic | 98,33 % | 94,11 % | −4,2 Pp. | 64,67 % / 90,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 95,56 % | −4,4 Pp. | 73,33 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,89 % | 94,44 % | −5,4 Pp. | 93,33 % / 99,33 % | |
| Mistral Large 4 Mistral | 100,00 % | 91,33 % | −8,7 Pp. | 91,33 % / 100,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Beträge, Termine, Verantwortliche, Abgelehnte Vorschläge (dürfen nicht vorkommen), Verschobene Termine (dürfen nicht vorkommen), Länge (max. Wörter)). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Zusammenfassungen · Französisch
| Modell | Richtige Felder 72 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| Claude Sonnet 5 Anthropic | 96,00 % | 96,78 % | +0,8 Pp. | 80,67 % / 76,67 % | |
| DeepSeek V4.1 Flash DeepSeek | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.8 Flash | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 99,11 % | −0,9 Pp. | 94,67 % / 100,00 % | |
| GPT-6 Luna OpenAI | 100,00 % | 98,78 % | −1,2 Pp. | 92,67 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 97,89 % | −2,1 Pp. | 87,33 % / 100,00 % | |
| GPT-6 Sol OpenAI | 99,56 % | 97,22 % | −2,3 Pp. | 83,33 % / 97,33 % | |
| Qwen3.8 Flash Qwen | 99,89 % | 96,33 % | −3,6 Pp. | 94,67 % / 99,33 % | |
| Gemini 3.5 Flash Lite | 99,22 % | 94,67 % | −4,5 Pp. | 71,33 % / 95,33 % | |
| Claude Haiku 5.5 Anthropic | 98,33 % | 92,78 % | −5,5 Pp. | 56,67 % / 90,00 % | |
| Mistral Small 4 Mistral | 99,67 % | 93,22 % | −6,5 Pp. | 62,00 % / 98,67 % | |
| Mistral Large 4 Mistral | 100,00 % | 72,67 % | −27,3 Pp. | 72,67 % / 100,00 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Beträge, Termine, Verantwortliche, Abgelehnte Vorschläge (dürfen nicht vorkommen), Verschobene Termine (dürfen nicht vorkommen), Länge (max. Wörter)). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Fragen zu einem Dokument · Deutsch
| Modell | Richtige Felder 92 % – 100 % | Englisch | Deutsch | Lücke | Fehlerfreie Dokumente (Deutsch / Englisch) |
|---|---|---|---|---|---|
| DeepSeek V4.1 Flash DeepSeek | 99,22 % | 100,00 % | +0,8 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,89 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Small 4 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,78 % | 98,89 % | −0,9 Pp. | 96,67 % / 98,67 % | |
| GPT-6 Luna OpenAI | 99,11 % | 98,00 % | −1,1 Pp. | 91,33 % / 96,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 98,78 % | −1,2 Pp. | 95,33 % / 100,00 % | |
| Mistral Large 4 Mistral | 98,89 % | 93,56 % | −5,3 Pp. | 89,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Frage 1, Frage 2, Frage 3, Frage 4, Frage 5, Frage 6). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Fragen zu einem Dokument · Tschechisch
| Modell | Richtige Felder 88 % – 100 % | Englisch | Tschechisch | Lücke | Fehlerfreie Dokumente (Tschechisch / Englisch) |
|---|---|---|---|---|---|
| GPT-6 Luna OpenAI | 99,11 % | 100,00 % | +0,9 Pp. | 100,00 % / 96,00 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,22 % | 100,00 % | +0,8 Pp. | 100,00 % / 98,67 % | |
| Gemini 3.8 Flash | 99,89 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Small 4 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,78 % | −0,2 Pp. | 98,67 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,78 % | 94,22 % | −5,6 Pp. | 84,67 % / 98,67 % | |
| Mistral Large 4 Mistral | 98,89 % | 89,89 % | −9,0 Pp. | 78,00 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Frage 1, Frage 2, Frage 3, Frage 4, Frage 5, Frage 6). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Fragen zu einem Dokument · Spanisch
| Modell | Richtige Felder 94 % – 100 % | Englisch | Spanisch | Lücke | Fehlerfreie Dokumente (Spanisch / Englisch) |
|---|---|---|---|---|---|
| DeepSeek V4.1 Flash DeepSeek | 99,22 % | 100,00 % | +0,8 Pp. | 100,00 % / 98,67 % | |
| GPT-6 Luna OpenAI | 99,11 % | 99,67 % | +0,6 Pp. | 98,67 % / 96,00 % | |
| Gemini 3.8 Flash | 99,89 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Small 4 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,78 % | 99,67 % | −0,1 Pp. | 98,67 % / 98,67 % | |
| Mistral Large 4 Mistral | 98,89 % | 94,22 % | −4,7 Pp. | 90,67 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Frage 1, Frage 2, Frage 3, Frage 4, Frage 5, Frage 6). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.
Fragen zu einem Dokument · Französisch
| Modell | Richtige Felder 92 % – 100 % | Englisch | Französisch | Lücke | Fehlerfreie Dokumente (Französisch / Englisch) |
|---|---|---|---|---|---|
| DeepSeek V4.1 Flash DeepSeek | 99,22 % | 100,00 % | +0,8 Pp. | 100,00 % / 98,67 % | |
| GPT-6 Luna OpenAI | 99,11 % | 99,56 % | +0,5 Pp. | 98,00 % / 96,00 % | |
| Gemini 3.8 Flash | 99,89 % | 100,00 % | +0,1 Pp. | 100,00 % / 99,33 % | |
| Claude Sonnet 5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Claude Sonnet 5.5 Anthropic | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Gemma 4 31B | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Medium 3.5 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| Mistral Small 4 Mistral | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GPT-6 Sol OpenAI | 100,00 % | 100,00 % | ±0 Pp. | 100,00 % / 100,00 % | |
| GLM-5.3 Flash Z.ai | 100,00 % | 99,67 % | −0,3 Pp. | 98,67 % / 100,00 % | |
| Gemini 3.5 Flash Lite | 100,00 % | 99,56 % | −0,4 Pp. | 98,00 % / 100,00 % | |
| Claude Haiku 5.5 Anthropic | 100,00 % | 99,22 % | −0,8 Pp. | 96,67 % / 100,00 % | |
| Qwen3.8 Flash Qwen | 99,78 % | 98,78 % | −1,0 Pp. | 97,33 % / 98,67 % | |
| Mistral Large 4 Mistral | 98,89 % | 92,33 % | −6,6 Pp. | 87,33 % / 97,33 % |
Verglichen werden nur Felder, die beide Sprachfassungen des Dokuments haben (Frage 1, Frage 2, Frage 3, Frage 4, Frage 5, Frage 6). Felder, die es nur in einem Land gibt (etwa die USt-IdNr. auf einer deutschen Rechnung), bleiben außen vor.