Sprechende Köpfe auf eigener GPU — fünf Wege, ein Ton

Ein sprechender Kopf lässt sich auf zwei grundverschiedene Weisen bauen. Man kann ein Gesicht rechnen — aus einem parametrischen Modell, Punkt für Punkt, wie ein Bildhauer, der eine Formel hat. Oder man kann ein Foto bewegen — mit einem Diffusionsmodell, das gelernt hat, wie Gesichter beim Sprechen aussehen.

Wir betreiben seit Juli das Erste. Diesen Monat haben wir das Zweite auf dieselbe Karte gestellt und beide denselben Text sprechen lassen: sechs Folien über den Verein, unsere eigene Stimme, wortgenau ausgerichtet. Für den Vergleich zählt nur, dass alles gleich bleibt ausser dem Kopf.

Was gemessen wurde

Alles auf derselben RTX 3090, 512 mal 512 Bildpunkte, 25 Bilder je Sekunde, 19,4 Sekunden Ton. Die Vorlage ist ein Porträt aus unserem eigenen Bildmodell.

Die letzte Zeile ist keine Grafikkartenzahl. Unser Erzähler rechnet im Browser auf der CPU, 0,28 Millisekunden je Bild; für die 485 Bilder dieses Abschnitts sind das rund 0,14 Sekunden Rechenzeit — abgeleitet aus der gemessenen Bildrate, nicht als Gesamtlauf gestoppt. Er steht in dieser Tabelle nicht als Sieger, sondern als Hinweis darauf, dass die beiden Ansätze nicht dieselbe Frage beantworten.

Der Befund, der uns überrascht hat

Die veröffentlichte Arbeit hinter der schnellsten Fassung verkürzt vier Diffusionsschritte auf einen. Das haben wir nachgemessen, indem wir das Basismodell mit seinem eigenen Code auf denselben Gewichten laufen liessen: 72 Rechenschritte auf 18 Videostücke, also genau vier je Stück, gegen einen bei der destillierten Fassung. Der Schritt selbst kostet beide Male dasselbe — es ist dasselbe Modell.

Nur: Danach kommt der Bild-Umsetzer, und der kostete mehr als der Schritt. 1,95 Sekunden gegen 0,74. Der Teil, um den es in der Arbeit geht, war auf unserer Karte der billigere. Tauscht man den Umsetzer gegen den leichten, fällt er auf 0,10 Sekunden — und der ganze Vorgang wird nochmal dreimal schneller als durch die eigentliche Beschleunigung.

Das ist kein Einwand gegen die Arbeit. Es ist ein Hinweis darauf, dass die Engpässe auf einer Karte der vorletzten Generation woanders liegen als auf der Hardware, für die veröffentlicht wird.

Und was kostet das an Bild?

Wenig. Die Basis zeichnet die Lippen eine Spur satter, die destillierten Fassungen liegen dicht darunter, und der leichte Umsetzer verschmilzt die Einzelzähne etwas. Wer einen Erzähler in der Ecke eines Foliensatzes zeigt, sieht davon nichts. Wer eine Grossaufnahme baut, schon.

Ehrlich dazu: Weil die Fassungen auseinanderlaufen, zeigen dieselben Bildnummern nicht dieselben Laute. Das oben sind vier Stichproben je Reihe — ein Eindruck. Die Zeiten daneben sind gemessen, mit einer Streuung von einem Prozent über 17 Wiederholungen.

Der Anker von 2023 — und die Überraschung darin

Damit ein Fortschritt eine Grösse hat, braucht er einen Nullpunkt. Wir haben deshalb SadTalker dazugestellt, das 2023 erschien und gar kein Diffusionsmodell ist: Es leitet aus dem Ton 3D-Koeffizienten ab und rendert damit ein Gesicht, das anschliessend ins Ausgangsbild zurückgesetzt wird.

Es lief in 63 Sekunden — schneller als beide schweren Diffusionswege und fast so schnell wie die schlanke Fassung von heute. Das war nicht die Erwartung. Wer „drei Jahre älter“ hört, denkt an langsamer; hier ist es umgekehrt, weil das Verfahren strukturell weniger tut.

Bezahlt wird das an anderer Stelle. Der Kopf steht still — teils, weil wir ihn mit der ruhigen Einstellung gefahren haben, teils, weil das Verfahren nur das Gesicht bewegt und den Rest des Bildes unverändert lässt. Die Mundbewegung ist deutlich zurückhaltender als bei den Diffusionsmodellen, und bei genauem Hinsehen erkennt man die eingesetzte Fläche.

🔴 Und ein Befund, der nichts mit Qualität zu tun hat: SadTalker läuft auf einem Stapel von 2026 nicht mehr ohne Eingriffe. Drei Quelltextstellen mussten wir ändern, bis es startete — eine Bibliothek greift auf ein torchvision-Modul zu, das es nicht mehr gibt; zweimal stolpert der Code über numpy-Aliase, die seit 1.24 entfernt sind. Nichts davon ist ein Fehler der Autoren. Es ist der Preis dafür, dass drei Jahre in diesem Feld eine lange Zeit sind — und der Grund, warum wir bei uns Fassungen festschreiben.

Die Lippen, gemessen

Bis hierher war der Bildvergleich ein Augenschein. Jetzt steht eine Zahl daneben — LSE-C und LSE-D nach SyncNet, dem Prüfnetz, das in diesem Feld als Massstab dient. Es wurde auf echten Sprechvideos trainiert und weiss nichts davon, wie ein Verfahren seinen Mund erzeugt; damit ist es nicht zu überlisten. Echte Aufnahmen liegen üblicherweise zwischen 6 und 8.

Drei Dinge stehen da, die wir so nicht erwartet haben.

Das Verfahren von 2023 trifft die Lippen am besten. Nicht knapp, sondern deutlich — und das bei der zweitschnellsten Rechenzeit. Was es nicht kann, steht weiter oben: Der Kopf bewegt sich nicht, die Mimik bleibt zurückhaltend, die eingesetzte Fläche ist erkennbar. Aber die eine Sache, um die es bei einem sprechenden Kopf zuerst geht, macht es am saubersten.

Die Destillation kostet keine Lippen — sie bringt welche. LeapTalk liegt mit 7,38 über seiner eigenen Basis mit 6,50, und die beiden Umsetzer-Fassungen sind praktisch gleichauf (7,38 gegen 7,33). Der Weg von vier Schritten auf einen und der Tausch des Umsetzers, zusammen der Faktor zehn in der Rechenzeit, kosten an dieser Stelle also nichts.

Unser gerechneter Kopf liegt weit zurück. 2,18 gegen 6,5 bis 8,3 ist kein knapper Abstand. Das ist die unbequemste Zahl dieses Berichts, und sie gehört hierhin: Wer einen Erzähler braucht, dessen Lippen genau sitzen, bekommt das von einem Diffusionsmodell und nicht von zwölf gerechneten Mundstellungen.

Die Abnahme widerspricht der Messung

Am 2026-08-12 hat Till sich die Verfahren bewegt angesehen. Ergebnis: SadTalker ist ausgeschieden — „liefert die mit Abstand schlechtesten Ergebnisse“.

Das ist bemerkenswert, weil dasselbe Verfahren in unserer eigenen Messung den besten Lippenwert hatte: LSE-C 8,32 gegen 6,50 bis 7,38 für die Diffusionswege. Wer nur diese Zahl gelesen hätte, hätte genau falsch gewählt.

Der Grund liegt nicht in der Messung — sie misst korrekt, was sie misst. Er liegt darin, was sie nicht misst: Kopfhaltung, Mimik, die Übergänge, den erkennbaren Rand der eingesetzten Fläche, kurz alles, was ein Gesicht lebendig oder tot aussehen lässt. Die Lippen können exakt sitzen, während der Rest nicht trägt. Auch der zweite Lauf mit freigegebener Kopfbewegung hat daran nichts geändert.

In derselben Runde fiel die zweite Entscheidung, und die deckt sich mit der Messung: Zwischen LeapTalks schwerem und schlankem Umsetzer war kein Unterschied zu sehen. Genommen wird der schlanke — LSE-C 7,33 gegen 7,38 ist keine Differenz, und er ist dreimal schneller. Damit ist der Faktor drei, der weiter oben noch als offene Frage stand, gratis.

Was wir daraus mitnehmen: LSE-C ist ein Ausschlusskriterium, kein Auswahlkriterium. Ein Verfahren mit schlechten Lippen scheidet aus; ein Verfahren mit guten Lippen ist damit noch nicht gewählt. Diese Reihenfolge — erst messen, was messbar ist, dann ansehen, was nicht messbar ist — ist der eigentliche Ertrag dieses Vergleichs.

Warum wir beides behalten

Der gerechnete Kopf kann etwas, das kein Diffusionsmodell kann: Er läuft offline weiter, wenn unsere Infrastruktur ausfällt, er wiegt so viel wie ein mittleres Foto, und er zeigt niemanden, den es gibt. Der fotoechte Kopf kann etwas, das keine Matrixmultiplikation kann: Nuancen, die in 253 Achsen nicht enthalten sind.

Beide bleiben, beide werden weitergebaut. Was uns dieser Nachmittag gebracht hat, ist nicht eine Entscheidung, sondern ein Preisschild an beiden Wegen — und die Gewissheit, dass der teure Weg auf unserer eigenen Karte läuft, ohne dass wir dafür etwas kaufen müssen.