Unabhängige KI · Eigenbetrieb · Leitfaden

KI selbst betreiben — und ehrlich sagen, wo es hakt.

Der Verein betreibt Sprache, Bild, Musik und 3D auf eigener Hardware in einem Wohnhaus am Bodensee. Kein Ton, kein Bild und kein Text verlässt dafür das Haus. Diese Seite ist die Übersicht dazu: was läuft, wie wir prüfen, ob es taugt — und bei welchen Modalitäten wir das bis heute nicht wissen.

Sie rechnet bewusst keine einzige Zahl neu. Jede Messung hat bei uns genau einen Ort, und dorthin führt jeweils ein Link. Zwei Seiten mit derselben Deutung driften auseinander — das haben wir schon einmal erlebt und eine davon wieder gelöscht.

  • 15 Modelle im Katalog
  • 11 davon im Einsatz
  • 13 selbst betreibbar
  • 3 von 6 Modalitäten gemessen
Der Stand

Sechs Modalitäten, drei davon geprüft

Etwas zu betreiben und zu wissen, wie gut es ist, sind zwei verschiedene Dinge. Wir betreiben sechs Modalitäten; für drei haben wir eigenes Prüfmaterial und veröffentlichte Zahlen. Bei den anderen dreien steht hier ausdrücklich, dass wir es nicht wissen.

  • Sprachmodelle

    gemessen
    Zusammenfassen, Vorschlagen, Strukturieren, Bilder einschätzen

    Je App-Aufgabe ein eingefrorenes Prüfset, bewertet von einem Panel aus mehreren Modellen. Empfohlen wird nicht das beste, sondern das günstigste, das über der Schwelle liegt.

    Messungen →

  • Spracherkennung

    gemessen
    Aufnahmen verschriftlichen

    Öffentliche Korpora mit geprüftem Referenztext, drei Maschinen und elf Verfahren gegeneinander. Die Wortfehlerrate braucht kein menschliches Urteil — deshalb ist das die billigste Modalität und war die erste.

    Maschinen im Vergleich →Verfahren im Vergleich →

  • Sprachausgabe

    gemessen
    Texte vorlesen

    Zwei Maßstäbe zugleich: objektiv, indem wir das Gesprochene zurück in Text verwandeln und die Abweichung zählen — und blind, weil Verständlichkeit nicht dasselbe ist wie Natürlichkeit. Genau hier gingen die beiden Ranglisten auseinander.

    Stimmen →

  • Bild

    ungemessen
    Bilder erzeugen

    Wir betreiben ein Modell und haben mehrere geprüft — aber nur auf die Lizenz, nicht auf die Qualität. Ein Bild-Prüfstand braucht ein menschliches Urteil über Anweisungstreue und Ästhetik; das ist aufwendiger als jede Fehlerrate und steht noch aus.

    Modelle →

  • Musik

    ungemessen
    Musikstücke erzeugen

    Hier fehlt nicht nur unser Prüfstand, sondern auch jeder brauchbare fremde Maßstab — siehe unten. Wir können sagen, dass es läuft, und sonst nichts.

    ACE-Step →

  • Dreidimensionales

    ungemessen
    Aus einem Foto ein Objekt

    Ein Dienst, ein Modell, keine Zahl zur Qualität der erzeugten Gitter.

    TRELLIS →
Worauf es läuft

Vier Rechner in einem Wohnhaus

Eine gebrauchte Workstation mit einer RTX 3090 trägt die KI-Dienste. Ein Mac mini M4 trägt die restliche Plattform. Dazu zwei ausgemusterte Büro-Rechner von 2015 und 2017, die sonst im Elektroschrott gelandet wären — sie überwachen, und einer von ihnen ist der Ausweichweg für Spracherkennung, falls die Workstation ausfällt.

Wir haben alle drei arbeitenden Maschinen an derselben Aufgabe gemessen. Die zwei Ergebnisse, die uns selbst überrascht haben: Die Genauigkeit hängt praktisch nicht an der Maschine, sondern am Modell — und die Grafikkarte ist trotz 247 Watt unter Last die sparsamste Lösung, weil sie um Faktor 44 früher fertig ist. Ein zehn Jahre alter Büro-PC schreibt eine Stunde Sitzung in gut 18 Minuten mit. Alle Zahlen dazu, samt Messfehler, den wir unterwegs selbst gemacht und korrigiert haben: Alle Maschinen, dieselbe Aufgabe.

Die einzelnen Geräte mit ihren offenen Punkten stehen unter Infrastruktur.

Einordnung von außen

Warum wir fremde Ranglisten nicht übernehmen

Es gibt öffentliche Ranglisten für KI-Modelle, allen voran die Arenen von Artificial Analysis: Menschen vergleichen blind zwei Ausgaben und wählen die bessere, daraus entsteht eine Elo-Zahl wie beim Schach. Das ist ein ehrlicheres Verfahren als jede Herstellerangabe, und für die Frage „was gibt es überhaupt" benutzen wir es. Für unsere Entscheidungen taugt es nicht — aus drei Gründen, die wir jeweils selbst belegt haben.

Sie messen Englisch. Bei der Sprachausgabe führt unter den offenen Modellen eines die Arena an, das schlicht kein Deutsch spricht. Unser eigener Blindvergleich kam zu einer anderen Rangfolge als das englische Feld — nachzuhören unter Stimmen. Eine Elo-Zahl aus einem englischen Vergleich ist für eine deutschsprachige App kein Signal.

Dort stehen fast nur geschlossene Dienste. Wir haben am 7. August 2026 die Musik-Arena von Hand nachgezählt: sechzehn Einträge, genau einer mit offenen Gewichten — auf dem letzten Platz, und kommerziell nicht nutzbar lizenziert. Für einen Verein, der Software als Dienst betreibt, ist die offene Auswahl dort effektiv leer. Das Modell, das wir tatsächlich einsetzen, tritt gar nicht erst an. Beide Fälle stehen als Steckbrief da: MusicGen und ACE-Step.

Ein Platz ist oft Rauschen. Beim Nachzählen mit Genre-Filter lagen die Konfidenzintervalle bei ±35 bis 45 Punkten. Die Plätze vier bis dreizehn sind damit ein statistischer Block und keine Rangfolge — wer daraus „Platz 7" zitiert, zitiert Zufall. Dazu eine Namensfalle, die wir fast übersehen hätten: Der Eintrag „Stable Audio 2.0" ist nicht das offene Modell; offen ist nur das kleinere, anders heißende, das nicht antritt.

Deshalb steht in unseren Tabellen keine fremde Zahl. Ob ein Modell unsere Aufgabe auf unserer Hardware in unserer Sprache löst, beantwortet nur eine eigene Messung.

Zum Nachmachen

Sechs Dinge, die wir vorher gern gewusst hätten

In der Reihenfolge, in der sie sich für uns gelohnt haben — jede davon aus einem Fehler entstanden, den wir selbst gemacht haben.

  1. 1

    Mit der Modalität anfangen, die kein menschliches Urteil braucht

    Spracherkennung liefert eine Wortfehlerrate gegen einen Referenztext — objektiv, wiederholbar, ohne Bewertungsrunde. Wir hatten dort nach zwei Tagen belastbare Zahlen. Bei Bild und Musik hätten dieselben zwei Tage nichts ergeben, weil dort erst ein Urteilsverfahren entstehen muss.

  2. 2

    Die Lizenz vor die Technik stellen

    Wir haben ein Bildmodell durchgemessen, das technisch führend war — und es dann nicht einsetzen dürfen, weil seine Gewichte „nicht-kommerziell" lizenziert sind. Seither ist die Lizenz die erste Spalte. „Ladbar" und „frei" sind zwei verschiedene Wörter, und der Unterschied fällt erst auf, wenn die Arbeit schon getan ist.

  3. 3

    Nicht das beste Modell suchen, sondern das günstigste, das genügt

    Die Frage „welches Modell ist das beste" hat keine nützliche Antwort. Die Frage „welches Modell schafft diese eine Aufgabe über meiner Schwelle, und was kostet es" hat eine — und sie führt fast immer zu einem lokalen, kostenlosen Modell.

  4. 4

    Die Laufzeitumgebung messen, nicht nur das Modell

    Dieselben Modellgewichte liefen bei uns je nach Ausführungsumgebung um den Faktor drei bis vier verschieden schnell, bei praktisch gleicher Genauigkeit. Wer nur Modelle vergleicht, dreht an der kleineren Schraube — und der größere Hebel kostet nichts.

  5. 5

    Energie je Arbeit rechnen, nicht je Sekunde

    Eine Grafikkarte zieht unter Last ein Vielfaches eines Büro-PCs und braucht je verarbeiteter Stunde trotzdem einen Bruchteil, weil sie viel früher fertig ist. Wer nur auf die Spitzenlast schaut, entscheidet falsch herum. Im Leerlauf dreht sich das Verhältnis wieder um — beides gehört in die Rechnung.

  6. 6

    Jede Zahl mit ihrem Aufbau aufschreiben — und mit dem, was sie nicht zeigt

    Zwei richtige Messungen derselben Größe sehen ohne Material und Bedingung wie ein Widerspruch aus. Und eine Messung ohne benannten Gegenpunkt liest sich als Werbung, auch wenn sie ehrlich gemeint ist. Uns hat eine Einzelmessung ohne Wiederholung schon einen falschen Befund untergeschoben, den wir öffentlich korrigieren mussten.

Ehrlich benannt

Was wir nicht wissen

  • Die Hälfte der Modalitäten ist ungemessen. Bild, Musik und 3D laufen bei uns, ohne dass wir sagen könnten, wie gut. Es fehlt jeweils das eingefrorene Prüfmaterial und ein Urteilsverfahren — bei Bild und Musik braucht es Menschen, die hören und schauen, und das ist teurer als jede automatische Fehlerrate.
  • Der Maschinenvergleich ist nicht ganz fair. Der Hauptserver wurde unter voller Produktionslast gemessen, die anderen leer. Seine Zahl beantwortet „was schafft er nebenbei", nicht „was kann diese Hardware". Dafür bräuchte es ein Wartungsfenster.
  • Keine Messung an der Steckdose. Alle Energiewerte stammen vom jeweils größten Verbraucher — Grafikkarte beziehungsweise Prozessor. Netzteil, Board und Speicher fehlen. Für den Größenvergleich reicht das, für eine Stromrechnung nicht.
  • Nur fremde Korpora. Alle Sprachzahlen stammen aus öffentlichen Sammlungen. Was auf einer echten Vereinssitzung mit mehreren Sprechenden herauskommt, haben wir nie geprüft — und genau das ist der Anwendungsfall.
  • Eine Grafikkarte für alles. Sprache, Bild, Musik und 3D teilen sich eine RTX 3090. Ein langer 3D-Auftrag blockiert sie minutenlang. Wir koordinieren das, aber wir haben keine Redundanz — fällt die Karte aus, bleibt nur der Ausweichweg für Spracherkennung.
Alles dazu

Die sechs Flächen

Diese Seite ist die Tür. Dahinter liegen fünf weitere, jede mit einer eigenen Aufgabe — vier davon stehen auf eigenen Messungen, eine ist ein Katalog. Wo etwas fehlt, steht es dort auch.

Warum wir das überhaupt selbst machen, statt es einzukaufen, steht unter Warum jetzt? — und warum es technisch inzwischen geht, unter Warum möglich?

Der Modell-Katalog → Die Maschinen