Noten statt Prompt — ein Modell singt die geschriebene Melodie

Wer heute mit einem offenen Modell Musik erzeugt, beschreibt sie in Worten und nimmt, was kommt. Unser Musikmodell ACE-Step arbeitet so: eine Textbeschreibung hinein, ein fertiges Stück samt Gesang heraus. Das ist erstaunlich und für vieles brauchbar — aber es ist kein Werkzeug für jemanden, der bereits weiß, wie die Melodie geht.

Genau dort setzt VocalRender an. Die Eingabe ist keine Beschreibung, sondern eine Partitur: Silben, dazu je Silbe eine oder mehrere Tonhöhen mit Notenwert, und ein Tempo für das Ganze. Also das, was auf einem Notenblatt steht. Das Modell singt es.

Warum das technisch bemerkenswert ist

Systeme, die Gesang aus Noten erzeugen, brauchten bisher eines von zwei Dingen, die eine Komponistin nicht hat. Entweder eine exakte Dauer für jede Silbe in Sekunden — dann muss ein zweites Modell diese Dauern erst raten, und sein Fehler wandert in den Ton. Oder eine zeitlich ausgerichtete Referenzaufnahme, an der entlang gesungen wird — dann braucht man den Gesang schon, den man erzeugen will.

VocalRender braucht keines von beidem. Die Länge des Ergebnisses sagt das Modell selbst voraus, Abschnitt für Abschnitt, während es erzeugt. Damit entfällt das Dauer-Modell als eigene Fehlerquelle, und dem Modell bleibt der Spielraum, den ein Mensch beim Singen auch nimmt — ein wenig früher, ein wenig später, nicht metronomisch auf der Note.

Der zweite Kunstgriff steckt in der Schreibweise der Eingabe. Silbe und Noten stehen verschränkt in einer einzigen Folge: erst das Tempo, dann eine Silbe, dann alle Tonhöhen-Notenwert-Paare, die zu dieser Silbe gehören, dann die nächste Silbe. Dadurch ist die Zuordnung von Text zu Melodie nicht rekonstruiert, sondern aufgeschrieben — auch dann, wenn eine Silbe über mehrere Töne läuft. Innen arbeiten drei Teile zusammen: ein Sprachmodell mit rund 1,7 Milliarden Parametern entwirft den Verlauf, ein Diffusions-Baustein mit rund 0,6 Milliarden füllt die klanglichen Feinheiten, ein Klang-Umsetzer macht daraus 48-kHz-Ton. Die Gewichte stammen aus einem Sprachmodell für Sprachausgabe und wurden auf Gesang nachtrainiert — auf vier H100-Karten, gut vier Tage für die größere der beiden Fassungen.

Was wir im Quelltext nachgesehen haben

Zwei Dinge wollten wir wissen, die in keiner Projektbeschreibung stehen.

Erstens: Wie eng ist das an der chinesischen Schrift gebaut? Die Antwort ist zweigeteilt und deshalb interessant. Die Vorverarbeitung ist es sehr — Ausschnitte ohne chinesische Wort-Zeichen werden ausdrücklich als wertlos verworfen, und die Silben werden ohne Trennzeichen aneinandergefügt, was nur für eine Schrift ohne Wortabstände richtig ist. Der Kern dagegen ist es nicht: Jede Silbe wird einzeln in Marken zerlegt, die Zeile richtet sich nach der längsten. Eine deutsche Silbe belegt dann eben vier Spalten statt einer. Die Form trägt es. Trainiert wurde nur nie darauf.

Zweitens: Was kann man überhaupt notieren? Zwölf Notenwerte, von ganz bis Zweiunddreißigstel, jeweils auch punktiert. 128 Tonhöhen, ganzzahlige Taktangaben. Keine Triolen. Keine Bindebögen. Das ist eine Grenze der Schreibweise, nicht der Qualität — und sie steht in dreißig Zeilen Quelltext, nicht im Paper.

Was der eigene Lauf ergeben hat

Am 11. August 2026 lief das Modell auf unserer RTX 3090, neben dem laufenden Betrieb — kein Dienst musste weichen. Sechs Stücke: die drei mitgelieferten chinesischen Beispiele als Kontrolle, dazu drei selbst geschriebene deutsche Partituren. Alle sechs liefen fehlerfrei durch. Das allein sagt allerdings nichts: Ein Lauf ohne Fehlermeldung kann Brei erzeugen. Deshalb wurde zweierlei gemessen.

Erstens: Hält es sich an die Noten? Aus jeder Ausgabe die Grundfrequenz geschätzt und gegen die notierte Tonhöhe gestellt, unstimmhafte Stellen außen vor. Das Ergebnis ist eindeutig gut.

Die geschriebene Melodie kommt zurück, und zwar auch dann, wenn der Text deutsch ist. Eine Silbe über drei Töne trägt ebenfalls.

Zweitens: Versteht man die Wörter? Dafür haben wir die Ausgaben durch unsere eigene Spracherkennung geschickt, bewusst ohne Sprachvorgabe — die erkannte Sprache ist Teil der Antwort.

Das Kontrollstück kommt nahezu wortgenau zurück — verglichen mit der Partitur (假如迷路了一定把思念装进漂流瓶) sind es reine Gleichklang-Verwechslungen. Die Messkette taugt also, und deshalb ist das Ergebnis daneben belastbar: Aus deutschem Text macht das Modell chinesisch klingende Silben. Nicht Kauderwelsch, nicht Rauschen — eine fremde Sprache.

Der Nebenbefund ist der interessanteste. Das dritte Stück bestand nur aus Vokalen und offenen Silben, und es kam als Vokalfolge zurück, nicht als fremde Sprache. Wortloser Gesang auf einer geschriebenen Melodie ist also drin: ein Summ-Bett unter einer Szene, eine Chorlinie, ein „la-la“ über einem Instrumental aus ACE-Step. Gesungener deutscher Text ist es nicht.

Zum Betrieb: höchstens 4,5 Gigabyte eigener Grafikspeicher, 27 bis 30 Sekunden je Aufruf, davon rund acht Sekunden Erzeugung — der Rest ist das Laden des 9,2-Gigabyte-Checkpoints, das bei einem dauerhaften Dienst einmalig anfiele. Unsere vorherige Ableitung von acht bis zehn Gigabyte war zu hoch gegriffen, und das steht hier, statt es stillschweigend zu korrigieren.

Wo wir stehen

Die Frage, die alles trug, ist beantwortet, und die Antwort ist ein Nein mit einer schmalen Ausnahme. Für ein gesungenes deutsches Lied taugen diese Gewichte nicht. Für eine wortlose Gesangslinie auf einer selbst geschriebenen Melodie taugen sie technisch — ob sie es auch musikalisch tun, muss jemand hören; alles oben ist Maschinenmessung.

Und vor jeder Veröffentlichung stünden weiterhin zwei Fragen, die der Lauf nicht berührt hat: ob die Herkunft der Gewichte eine Nutzung außerhalb der Forschung zulässt — der Code ist Apache-2.0, die Daten sind es nicht —, und wessen Stimme als Klangfarben-Vorlage dient. Zwei bis acht Sekunden echter Gesang sind Pflicht, und die gehören einem Menschen, der gefragt werden muss.