mana-gpu

Sprache aus Memoro, geocodierte Adressen aus Viadocu, gesprochene Erinnerungen — das sind die Workloads, die wir nicht an OpenAI Whisper oder Google Geocoding schicken wollen. Die landen auf dieser Workstation.

Eine NVIDIA RTX 3090 mit 24 GB VRAM, gebraucht für unter 1000 Euro zu haben, reicht für den Vereins-Bedarf gut aus. Dahinter ein Ryzen 9 5950X mit 16 Kernen und 64 GB Arbeitsspeicher. WSL2 unter Windows, mit Docker-Containern für Whisper, TTS-Modelle und den Photon-Geocoder. Das ist eine pragmatische Antwort auf „KI-Souveränität“: nicht jedes Modell selbst trainieren, aber jedes Modell selbst hosten, das auf einer Consumer-Karte läuft.

Was die Karte leistet — gemessen

Am 6. August 2026 haben wir den Transkriptionsdienst mit denselben Aufnahmen gefüttert, mit denen zuvor der Büro-PC geprüft wurde — gleiches Modell, gleiche Auswertung (ausführlicher Vergleich).

Eine durchgehende Aufnahme von knapp fünf Minuten ist in 2,2 Sekunden transkribiert, über drei Läufe mit weniger als einem Prozent Schwankung. Das sind 134-fache Echtzeit. An einer echten Stunde (79,6 Minuten am Stück) sind es sogar 142-fach — rund 25 Sekunden je Stunde Audio — bei 5,4 % Wortfehlern, dem besten von uns gemessenen Wert. Länge bremst die Karte also nicht.

⚠️ Hier stand zunächst 71,8×. Das war ein einzelner Lauf, ohne Wiederholung, während die Karte fremde Last trug — korrigiert nach drei sauberen Läufen (Streuung 1,6 s).

Ein Detail mit praktischer Folge: Dieselbe Audiomenge in kurzen Dateien statt am Stück drückt das Tempo auf 39-fach. Zwei Drittel der Leistung gehen verloren, wenn man die Karte mit Schnipseln füttert — je schneller die Maschine, desto stärker wiegt der Aufwand pro Anfrage.

Strom: schneller ist hier sparsamer

Die naheliegende Annahme, eine 350-Watt-Grafikkarte sei die verschwenderische Lösung, hält der Messung nicht stand. Unter Last zieht die Karte im Mittel 247 Watt, mit Spitzen bis 321. Weil sie aber so schnell fertig ist, kostet eine transkribierte Stunde Audio nur rund 1,7 Wattstunden — gegenüber 11,6 auf dem Büro-PC. Ein Siebtel.

Umgekehrt im Leerlauf: Dort zieht allein die Karte 16 Watt, nur um bereitzustehen, während der kleine Rechner mit 3 Watt auskommt. Die Regel lautet also nicht „große Karte = Verschwendung“, sondern: viel Arbeit gehört auf die Karte, bloße Bereitschaft auf den kleinen Knoten.

Sie trägt mehr als KI

Neben Spracherkennung, Sprachausgabe und Bildmodellen laufen hier 25 Container, darunter die gesamte Überwachung der Vereins-Flotte — Metriken, Protokolle, Alarmierung und die öffentliche Statusseite. Das ist bequem, aber es ist auch der wunde Punkt: Diese Maschine stürzt gelegentlich hart ab, und sie beherbergt ausgerechnet den Dienst, der solche Ausfälle melden soll.

Für große Sprachmodelle (Claude, GPT, Gemini) reicht die Karte nicht — das geht über llm-anbieter als bewusste externe Abhängigkeit.