Muster aus der Timeline lesen: hier zahlt sich Frontier aus
Die ehrliche Gegenprobe: eine wirklich analytische Aufgabe. Hier brechen die lokalen und günstigen Modelle ein — nur die teuren Frontier-Modelle (GPT-5.5, Claude Opus) erreichen die Schwelle. Mehr Geld lohnt sich also doch — aber nur hier.
Methodik: 4 Fälle · Judge-Panel (Median): gemini-2.5-flash, deepseek-v4-pro, mistral-small.
„Format" = deterministische Hard-Checks (gültiges Schema etc.). Die Judge-Modelle
stehen selbst im Feld — ein Modell benotet sich nie selbst (Self-Ausschluss), aber
Panel und Kandidaten überlappen, eine Peer-Bevorzugung ist nicht ausgeschlossen.
Quelle:
services/mana-evals.
Der mana-Hub kann aus deiner App-übergreifenden Aktivität — Mahlzeiten, gelesene Artikel, Stimmungen, gehörte Songs — kurze, konkrete Einsichten ableiten („du loggst Frühstück nur werktags“, „an niedergeschlagenen Tagen hörst du dreimal so lange Musik“). Das ist echte Analyse, kein Umformulieren.
Und hier kippt das Bild. Die lokalen Modelle brechen ein (0,51–0,53): sie produzieren generische Floskeln statt daten-belegter Muster. Die günstigen Clouds bleiben mittelmäßig (0,73–0,78). Nur die teuren Frontier-Modelle — GPT-5.5 (0,90) und Claude Opus (0,88) — erreichen die Schwelle.
Das ist der ehrliche Teil der Geschichte: Souveränität heißt nicht, dass das lokale Modell immer reicht. Für die einfachen, häufigen Aufgaben tut es das — und das ist der Großteil. Aber für die wenigen, wirklich analytischen Aufgaben verdient das Frontier seinen Preis. Genau deshalb messen wir pro Operation, statt pauschal zu entscheiden. Spannend am Rand: das chinesische glm-5 liegt mit 0,89 für ein Zehntel des Preises knapp dahinter.
Der Gegenpunkt
Wichtige Selbstkritik: das Judge-Panel besteht aus Modellen, die diese Aufgabe selbst nur mittelmäßig lösen (0,76–0,78). Dass sie die stärkeren Modelle dennoch oben einordnen, ist beruhigend — aber gerade für analytische Aufgaben gehört ein starker Judge ins Panel oder eine menschliche Eichung. n=4. Das Ergebnis ist belastbar genug für die Richtung, nicht für die zweite Nachkommastelle.