mana-gpu-broker

Der Verein hat eine Grafikkarte und sieben Dienste, die sie brauchen. Ohne Absprache laden zwei davon gleichzeitig ihre Modelle, der Speicher reicht nicht, und beide stürzen ab — der eine, der zuerst da war, inklusive. Der Broker ist die Absprache.

Wer rechnen will, fragt vorher nach einem Platz und sagt dazu, wie viel Speicher er braucht und wie lange er ihn ungefähr hält. Passt es ins Budget, darf er sofort; passt es nicht, wartet er. Mehrere dürfen gleichzeitig, solange die Summe ins Budget passt — serialisiert wird nur so weit wie nötig.

Zwei Entscheidungen darin sind wichtiger, als sie klingen:

Wer wartet, wird nicht überholt. Die Zuteilung stoppt beim ersten Wartenden, der nicht mehr hineinpasst, statt kleinere Aufträge an ihm vorbeizulassen. Das kostet Auslastung und verhindert, dass ein grosser Auftrag ewig hinten steht.

Der Mensch geht vor dem Stapel. Spracherkennung und Sprachausgabe haben Vorrang vor Bild, Musik und Trennung — hinter den ersten beiden wartet jemand, hinter den anderen ein Auftrag.

Interessanterweise rechnet der Broker selbst nichts und läuft nicht einmal auf der Box: er sitzt auf dem Mac Mini und entscheidet nur, wer auf die Karte darf.

Der ehrliche Haken: die Speichermengen, mit denen die Dienste anfragen, sind zum grössten Teil Schätzungen, keine Messungen — bei den Sprachmodellen sogar nur eine Tabelle nach Modellgrösse. Genau zwei Werte im ganzen Haus stammen aus einem echten Lauf. Die Betriebs-Tafel weist beides getrennt aus, statt es zu vermischen.