Gemini 3.8 Flash führt unter 14 Modellen; GLM-5.3 Flash ist 6x günstiger
Dreizehn neue Modelle, getestet an sechs Dokumentaufgaben in fünf Sprachen: Gemini 3.8 Flash liegt auf Platz eins, GLM-5.3 Flash ist der günstige Zweitplatzierte, und Sonnet 5.5 löst Sonnet 5 ab.
Veröffentlicht am 12. Oktober 2026 · Zahlen aus Lauf 20261010T220935Z-c30495
Im aktuellen Durchlauf kommen 13 Modelle zum Benchmark hinzu, sodass nun 14 Modelle im Ranking stehen. Ein Dokument gilt nur dann als korrekt, wenn jedes Feld stimmt. Die Kosten entsprechen dem, was die API pro 1.000 Dokumente berechnet hat. Alle Dokumente sind synthetisch, die Temperatur beträgt 0, und die Sprachen sind cs, de, en, es und fr.
Das Ranking: Zwei Flash-Modelle an der Spitze
Gemini 3.8 Flash belegt mit 97,40 % vollständig korrekten Dokumenten und 4,03 $ den ersten Platz. GLM-5.3 Flash, ein Open-Weights-Modell, folgt mit 96,55 % bei 0,68 $ auf Platz zwei. Das ist rund 6x günstiger als der Spitzenreiter, bei einem Abstand von weniger als einem Punkt. GPT-6 Sol liegt auf Platz drei, Claude Sonnet 5.5 auf Platz vier.
| Rang | Modell | Vollständig korrekt | USD pro 1.000 Dokumente |
|---|---|---|---|
| 1 | Gemini 3.8 Flash | 97,40 % | 4,03 $ |
| 2 | GLM-5.3 Flash | 96,55 % | 0,68 $ |
| 3 | GPT-6 Sol | 95,97 % | 4,56 $ |
| 4 | Claude Sonnet 5.5 | 95,48 % | 5,55 $ |
| 5 | DeepSeek V4.1 Flash | 93,00 % | 0,45 $ |
| 6 | GPT-6 Luna | 92,44 % | 0,24 $ |
Dahinter folgen: Claude Sonnet 5 (Platz 8, 91,28 %), Mistral Large 4 (Platz 9, 88,99 %), Qwen3.8 Flash (Platz 10, 88,60 %), Gemini 3.5 Flash Lite (Platz 11, 86,99 %), Mistral Medium 3.5 (Platz 12, 86,37 %), Gemma 4 31B (Platz 13, 81,15 %) und Mistral Small 4 (Platz 14, 73,66 %).
Der Listenpreis ist ein schlechter Maßstab für die tatsächlichen Kosten. Mistral Large 4 kostet laut Preisliste 0,68 $ / 2,09 $ pro Million Eingabe- bzw. Ausgabe-Token, verursacht aber 5,50 $ pro 1.000 Dokumente. Reasoning-Modelle erzeugen lange, verborgene Ausgaben, die dennoch abgerechnet werden.
Sonnet 5.5 im Vergleich zum Vorgänger
Claude Sonnet 5.5 löst Claude Sonnet 5 ab und ist in fast jeder Zeile besser. Insgesamt erreicht es 95,48 % gegenüber 91,28 % und ist mit 5,55 $ statt 5,96 $ zudem günstiger. Bei Rechnungen sind 99,59 % der Dokumente vollständig korrekt, gegenüber 92,66 %. Bei Scans und Fotos erreicht es 100,00 %, das beste Ergebnis aller 14 Modelle; Sonnet 5 kommt auf 91,33 %.
Seine Schwäche sind Meeting-Zusammenfassungen: 89,46 %, während Sonnet 5 auf 77,86 % kommt. Gemini 3.8 Flash und DeepSeek V4.1 Flash erreichen dort beide 100,00 %. Auch die E-Mail-Triage ist mit 84,80 % eher mäßig. Siehe den direkten Vergleich oder die Seite zu Sonnet 5.5.
Stärken und Schwächen je Aufgabe
- Vertragsklauseln: Gemini 3.8 Flash 99,73 %, Sonnet 5.5 99,46 %. Gemma 4 31B fällt auf 56,39 % ab.
- E-Mail-Triage: die schwierigste Aufgabe. GLM-5.3 Flash führt mit 89,06 % bei 0,47 $, knapp vor Gemini 3.8 Flash mit 88,93 %. Mistral Medium 3.5 erreicht 53,73 % und Mistral Small 4 nur 35,59 %.
- PII-Schwärzung: für die meisten nahezu gelöst. Sonnet 5.5 erreicht 99,60 %, GLM-5.3 Flash und Gemma 4 31B 99,06 %. Gemini 3.5 Flash Lite ist mit 84,66 % der Ausreißer.
- Fragen zu einem Dokument: GPT-6 Sol, Sonnet 5.5, Mistral Medium 3.5, Gemma 4 31B und Mistral Small 4 erreichen alle 100,00 %. Mistral Large 4 kommt auf 88,53 %, wobei bei 4,66 % der Dokumente keine gültige Antwort vorliegt.
- Meeting-Zusammenfassungen: Mistral Medium 3.5 erreicht 100,00 % bei 1,92 $. Mistral Large 4 kommt auf 89,33 % bei 8,56 $, und bei 10,66 % seiner Dokumente gibt es keine gültige Antwort.
Qwen3.8 Flash zeigt bei Rechnungen ein ähnliches Problem: Bei 6,66 % der Dokumente fehlt eine gültige Antwort, und 75,86 % sind vollständig korrekt. Unser Testbericht zu Mistral Large 4 behandelt dieses Modell ausführlicher.
Rechnungen, Scans und der echte Preis
Bei Rechnungen trennt sich das Feld besonders deutlich. Jede Rechnung hat 13 Felder, sodass ein falsches Feld die gesamte Rechnung unbrauchbar macht; der Artikel zu Feld- versus Dokumentgenauigkeit erklärt, warum das wichtig ist. Bei einem Korrekturaufwand von 3 Minuten pro fehlerhafter Rechnung und 40 $ pro Stunde sehen die tatsächlichen Kosten pro 1.000 Rechnungen so aus:
- Sonnet 5.5: API 10,65 $, inklusive Korrektur 19 $.
- Gemini 3.8 Flash: API 5,83 $, inklusive Korrektur 49 $.
- GLM-5.3 Flash: API 1,00 $, inklusive Korrektur 110 $.
- GPT-6 Luna: API 0,53 $, inklusive Korrektur 169 $.
- Mistral Small 4: API 0,43 $, inklusive Korrektur 998 $.
Die niedrigste API-Rechnung ist nicht das günstigste Ergebnis. Bei Scans und Fotos wird der Abstand noch größer: Gemini 3.8 Flash erreicht 98,44 %, GLM-5.3 Flash 93,99 %, GPT-6 Luna 86,00 %, Gemma 4 31B 43,33 % und Mistral Small 4 40,89 %.
Sprachen
Gemini 3.8 Flash ist am ausgewogensten: Die Spanne reicht von 96,44 % (de) bis 98,11 % (cs). GPT-6 Sol fällt in es und fr jeweils auf 93,66 % ab. GLM-5.3 Flash ist in fr mit 95,00 % und in de mit 95,11 % am schwächsten. Gemma 4 31B zeigt die größte Schwankung: von 91,66 % in en bis auf 73,89 % in fr und 75,44 % in de. DeepSeek V4.1 Flash ist in de mit 89,44 % am schwächsten.
Welches Modell passt?
Für die höchste Genauigkeit empfiehlt sich Gemini 3.8 Flash. Für das beste Verhältnis von Preis und Genauigkeit ist GLM-5.3 Flash die richtige Wahl. Bei Rechnungen und Scans, wo Fehler teuer sind, ist Sonnet 5.5 am stärksten. GPT-6 Luna ist mit 0,24 $ das günstigste Modell, das noch mehr als 92 % erreicht. Mistral Small 4 und Gemma 4 31B sollten Sie für Rechnungen meiden.
Die vollständige Tabelle finden Sie im Leaderboard, und wie wir testen, steht in der Methodik.