Eine Gruppe von Wissenschaftlern aus Apples KI-Forschungsteam schlägt vor, wenig ausgelastete Macs und andere Apple-Silicon-Geräte als virtuelle GPU in der Cloud zu verwenden. Laut einer Publikation auf dem Preprint-Server arXiv nennt sich die Prototypsoftware „Minions“ („Knecht“, wohl in Anlehnung an den bekannten Film) und soll anfangs Macs und später vielleicht auch iPhones und iPads dazu verwenden, „Machine-Learning-Inferenz-Workloads in großem Maßstab“ auszuführen, ohne dass dafür KI-Rechenzentren notwendig wären. Gänzlich neu ist die Idee bei Apple nicht: Schon früher hatte Apple erwogen, Machine Learning über zahlreiche Geräte zu verteilen – vor der Zeit der großen Sprachmodelle. Jetzt hat das Unternehmen auch die passenden Grundlagen, etwa Private Cloud Compute (PCC), um LLM-Workloads geschützt zu verteilen.

Das Minions-System arbeitet allerdings deutlich einfacher. Laut Paper soll die Schaffung einer „dynamischen und verteilten virtuellen GPU-Cloud“ gelingen. Das soll alles mit existierender Hardware möglich sein. Die Forscher Jianhua Li, Yun Xing, Girisha De Silva, Ryan Flint, Kai Yuan und Sean Suchter haben dazu einen Server als zentrale Koordinationsschicht entwickelt, der mit sogenannten Minion Executors auf den einzelnen Maschinen arbeitet. Auf diesen laufen Ollama-Inferenz-Instanzen, Inputs, Modelle und Resultate werden über AWS-S3 gespeichert und bereitgestellt.

Die Aufgaben werden über eine PostgreSQL-Datenbank verteilt, wobei es keinen direkten Zugriff der Minion Executor gibt, die sich ihre Aufgaben und einen Heartbeat per REST-API besorgen. Ein „Minion Watchdog“ überwacht das System auf Fehler. Der Nutzer selbst ist mit dem „Minion Server“ konfrontiert, der die Aufgaben entgegennimmt und dann die Prozesse verteilt.

In praktischen Versuchen zeigte sich, dass die Wartezeiten auf GPU-Inferenzjobs, die in den Teams bei Apple Research teils über zehn Stunden dauerten, da die großen Systeme belegt sind, dank Minions auf Minuten schrumpften, weil viele macOS-Maschinen mit geringer (oder gar keiner) Auslastung bereitstanden. Das Scaling lief zudem organisch. Teilweise habe man sich intern per Slack abgesprochen, ob ein Minion Executor auf einer Maschine läuft oder nicht – spezifisch auf die Projekte abgestimmt.

Momentan geht es jedoch nur um Workloads innerhalb von Organisationen, die sich vertrauen. Techniken zum Abschotten der Prozesse, wie etwa bei Apples PCC, sind noch nicht implementiert. Allerdings kann man laut dem Paper eigene PostgreSQL-Datenbanken und isolierte Minion-Executor-Pools bilden, um Teams oder ganze Organisationen abzuschotten. Künftig soll mit Minions auch möglich sein, KI-Trainingsläufe durchzuführen. Aktuellen Code für das Projekt konnten wir zunächst nicht finden.

(bsc)