Messungen ·Pageta ·Kurztext ·geprüft 2026-06-05
Welches KI-Modell braucht es, um einen Artikel in 3–5 Sätzen zusammenzufassen?

Artikel zusammenfassen: das Gerät-Modell reicht

Wir haben 12 Modelle von der Geräte-Klasse bis zum teuersten Frontier gegeneinander gemessen. Ergebnis: das kleine, lokal auf dem Gerät laufende Modell erreicht 93 % der Qualität des absolut besten — bei 0 Euro.

Empfehlung
on-device gemma3:4b (on-device) Qualität 0.93 0 €
günstigstes Modell ≥ Schwelle 0.90 bei erfüllten Format-Checks
Leaderboard · 12 Modelle
ModellQualitätFormatKostenok?
Frontier gemini-3.1-pro-preview 1.00 100% $0,076 ✓
Frontier gemini-3.5-flash 1.00 100% $0,068 ✓
Frontier gemini-2.5-flash 1.00 100% $0,001 ✓
China qwen3.7-max 1.00 100% $0,035 ✓
China glm-5 1.00 100% $0,012 ✓
China deepseek-v4-pro 0.99 100% $0,004 ✓
lokal gemma3:12b 0.98 100% 0 € ✓
EU-Cloud mistral-large 0.98 100% $0,007 ✓
Frontier claude-opus-4.8 0.98 100% $0,054 ✓
EU-Cloud mistral-small 0.95 100% $0,001 ✓
on-device gemma3:4b Empfehlung — günstigste gut-genug Wahl 0.93 100% 0 € ✓
Frontier gpt-5.5 Reasoning-Modell — über-denkt die einfache Aufgabe 0.80 80% $0,021 –

Methodik: 5 Fälle · Judge-Panel (Median): gemini-2.5-flash, deepseek-v4-pro, mistral-small. „Format" = deterministische Hard-Checks (gültiges Schema etc.). Die Judge-Modelle stehen selbst im Feld — ein Modell benotet sich nie selbst (Self-Ausschluss), aber Panel und Kandidaten überlappen, eine Peer-Bevorzugung ist nicht ausgeschlossen. Quelle: services/mana-evals.

Was wir sehen

Pageta fasst gespeicherte Artikel auf Wunsch in drei bis fünf Sätzen zusammen. Die Frage: muss dafür ein teures Cloud-Modell ran, oder reicht etwas Kleines, das lokal läuft?

Die Messung ist eindeutig. Ganz oben drängeln sich die Frontier- und die chinesischen Modelle mit perfekten Werten — aber das auf dem Gerät laufende gemma3:4b liegt nur Haaresbreite dahinter (0,93) und kostet nichts. Es braucht keine GPU-Box und keine Cloud: das Modell läuft im Browser bzw. auf dem Telefon. Selbst das stärkste gemessene Modell rechtfertigt für diese Aufgabe seinen Preis nicht.

Bemerkenswert am unteren Ende: das „smarteste“ Modell im Feld (ein Reasoning- Modell von OpenAI) fällt durch — es verbrennt sein Antwort-Budget mit internem Nachdenken und liefert abgeschnittene Zusammenfassungen. Mehr Intelligenz ist hier nicht besser, sondern schlechter.

Das ist die Souveränität in Zahlen: Die häufigste Textaufgabe läuft gratis, ohne dass Daten das Gerät verlassen. Die volle Methodik steht in docs/EVALS.md.

Ehrlich benannt

Der Gegenpunkt

Fünf Artikel sind ein Signal, kein statistischer Beweis. Die Qualität bewertet ein Panel aus drei Modellen (Median) — das mildert Verzerrung, ist aber selbst modell-basiert; final gehört es gegen menschliches Urteil geeicht. „Gut genug" heißt: für pagetas konkrete Zusammenfassungs-Aufgabe — nicht für jede Textsorte.

Weitere Messungen