Forscher der EPFL haben eine neue Software entwickelt – die nun in ein Start-up-Unternehmen ausgegliedert wurde –, die es überflüssig macht, Daten an Cloud-Dienste von Drittanbietern zu senden, wenn KI zur Erledigung einer Aufgabe eingesetzt wird. Dies könnte das Geschäftsmodell der Big Tech in Frage stellen. Text: Tanya Petersen
Der Einsatz künstlicher Intelligenz für alltägliche Aufgaben hat in den letzten drei Jahren rapide zugenommen. KI-Modelle werden zunehmend für die Verarbeitung sensibler Daten wie Patientenakten, Kundenanfragen oder vertrauliche Arbeitsdokumente eingesetzt.
Jedes Mal, wenn KI mit einer Aufgabe betraut wird, beginnt die Abfrage lokal auf dem Computer des Benutzers und wird dann in die «Cloud» gesendet, wo die KI mithilfe leistungsstarker Hardware eine Antwort generiert – ein Prozess, der als Inferenz bezeichnet wird. Die Antwort wird schliesslich an den lokalen Computer des Benutzers zurückgesendet.
Dazu werden heutzutage enorme Datenverarbeitungskapazitäten genutzt, die riesige Rechenzentren erfordern, die auch für das Training von KI-Modellen wie ChatGPT, Gemini und Claude benötigt werden. Das bedeutet, dass sowohl die Inferenz als auch das Training derzeit fast ausschliesslich von Big Tech kontrolliert werden.
Plug and Play: Verteilte KI leicht gemacht
Nun haben die EPFL-Forscher Gauthier Voron, Geovani Rizk und Rachid Guerraoui vom Distributed Computing Laboratory (DCL) der School of Computer and Communication Sciences eine neue Software veröffentlicht, mit der Benutzer Open-Source-KI-Modelle herunterladen und lokal verwenden können, ohne dass die Cloud benötigt wird, um Fragen zu beantworten oder Aufgaben zu erledigen.
Die neue Software namens Anyway Systems koordiniert und kombiniert verteilte Maschinen in einem lokalen Netzwerk zu einem lokalen Cluster. Sie nutzt robuste Selbststabilisierungstechniken, um die Nutzung der zugrunde liegenden lokalen Hardware zu optimieren, und widerspricht damit der weit verbreiteten Annahme, dass für den Einsatz von KI-Modellen riesige Rechenzentren erforderlich sind.
Sie kann in nur einer halben Stunde in einem Netzwerk lokaler Maschinen installiert werden, ohne dass Daten das Netzwerk verlassen, wodurch Datenschutz und Souveränität gewährleistet sind. Ein sehr grosses KI-Modell wie GPT-120B, das neueste und grösste offene Modell von OpenAI, kann in wenigen Minuten heruntergeladen und auf Anyway Systems bereitgestellt werden. Dazu sind nicht mehr als vier Maschinen mit jeweils einer handelsüblichen GPU (Kostenpunkt: ca. 2300 CHF pro Stück) erforderlich, anstatt eines teuren speziellen Rack-Gehäuses (Kostenpunkt: ca. 100’000 CHF), das bisher als notwendig für den Betrieb eines KI-Modells angesehen wurde.
«Jahrelang glaubte man, dass grosse Sprachmodelle und KI-Tools ohne enorme Ressourcen nicht möglich seien und dass Datenschutz, Souveränität und Nachhaltigkeit darunter leiden würden, aber das ist nicht der Fall, und es sind intelligentere, sparsamere Ansätze möglich», sagte Professor Rachid Guerraoui, Leiter des DCL.
Datenschutz, Souveränität und Nachhaltigkeit
Wenn die Daten eines Nutzers in die Cloud gesendet werden, stellen sich wichtige Fragen hinsichtlich Sicherheit und Datenschutz, insbesondere ob diese Daten zum weiteren Training oder zur Verbesserung von KI-Modellen verwendet werden. Ausserdem wirft die Abhängigkeit von grossen, globalen Cloud-Anbietern für KI-Dienste Fragen zur KI-Souveränität auf, da dadurch die Kontrolle über kritische nationale Vermögenswerte – Daten, Algorithmen und Infrastruktur – von einer inländischen Einrichtung auf internationale Konzerne übertragen wird.
Darüber hinaus treibt die immense Rechenleistung, die zur Beantwortung von KI-Anfragen in der Cloud benötigt wird – Schätzungen zufolge macht die Inferenz 80 bis 90 Prozent der KI-bezogenen Rechenleistung aus –, den raschen Ausbau riesiger Rechenzentren für KI voran, die enorme Mengen an Energie und Wasser verbrauchen.
«Anyway Systems glänzt bei der Inferenz, könnte aber auch dazu beitragen, die für das Training erforderlichen Ressourcen zu reduzieren», erklärte Guerraoui. Pilotversuche haben gezeigt, dass beim Herunterladen und Ausführen eines Modells auf verstreuten lokalen Rechnern anstelle einer riesigen Cloud zwar ein wenig Latenz – also die Zeit bis zur Reaktion auf eine Eingabe – verloren geht, aber nicht die Genauigkeit.
Von Blockchain zu KI?
«Wir sind der Meinung, dass Anyway Systems einfach, skalierbar und sicher ist», fährt Guerraoui fort. Frühere Varianten des Anyway-Algorithmus wurden vor vielen Jahren vom DCL entwickelt, wo sich Forscher seit langem mit verteilter Datenverarbeitung, Fehlertoleranz, Optimierung und Datenschutz beschäftigen.
Die früheren Algorithmen des DCL waren bestehende Lösungen für andere Herausforderungen im Bereich Technologien wie Blockchain und Kryptowährung. Vor drei Jahren hatten Guerraoui und seine Kollegen die Idee, Selbststabilisierungstechniken auf KI anzuwenden, und fanden eine nahezu perfekte Übereinstimmung.
«Als Labor sind wir vielleicht einzigartig darin, dass wir sowohl aus theoretischer als auch aus praktischer Perspektive an robustem verteiltem Rechnen und maschinellem Lernen arbeiten, und wir haben unsere Aufmerksamkeit auf die Verwendung von Selbststabilisierungstechniken für KI gerichtet. Sie haben funktioniert! Wir dachten, wir optimieren und optimieren weiter, und sie funktionierten sogar noch besser. Das Ergebnis ist fast zu gut, um wahr zu sein», sagte Guerraoui.
Blick in die Zukunft – Ihre eigene KI zu Hause
Anyway Systems wurde kürzlich als einer von sechs ersten Stipendiaten des Startup Launchpad AI Track ausgewählt – unterstützt von UBS, dem ersten Stipendienprogramm der Schweiz, das sich der KI widmet. Diese Projekte wurden aus über 50 Vorschlägen ausgewählt und erhalten Finanzmittel und maßgeschneiderte Unterstützung, um ihren Weg vom Prototyp zur Marktreife zu beschleunigen.
Die Software hat die Prototypenphase hinter sich gelassen und wird derzeit in Unternehmen und Verwaltungen in der ganzen Schweiz getestet, darunter auch an der EPFL. Die ersten Nutzer evaluieren derzeit mögliche Kompromisse in Bezug auf Geschwindigkeit, Genauigkeit und Qualität.
«Anyway Systems ist eine interessante und attraktive Technologie, die die Ressourcennutzung optimiert und gleichzeitig Datensicherheit und -souveränität gewährleistet. Sie könnte die KI-Branche revolutionieren», sagt Professor David Atienza, stellvertretender Vizepräsident für Forschungszentren und Technologieplattformen an der EPFL. «Der nachhaltige Ansatz passt perfekt zu den Anforderungen der fortschrittlichen Computing-Plattformen der EPFL und wird eine entscheidende Rolle bei der Gestaltung der zukünftigen KI-Entwicklung an der EPFL spielen, um mit dem neuen Einsatz von LLM-Modellen wie Apertus weniger Ressourcen zu verbrauchen.»
Derzeit funktioniert Anyway Systems noch nicht auf einem einzelnen Desktop- oder Laptop-Computer zu Hause, aber die Geschichte der Computertechnik zeigt, dass Optimierungen oft schnell voranschreiten.
«Ihr Smartphone enthält unglaubliche Mengen an Informationen, die vor einigen Jahren noch unvorstellbar gewesen wären, und heute erledigen Sie alles damit. Es kann gleichzeitig gegen die 100 besten Schachmeister antreten, während der Computer, der nötig war, um Kasparov zu schlagen, riesig gewesen ist. Die Geschichte lehrt uns, dass sich die Dinge schnell entwickeln. Unser Standpunkt ist, dass wir in Bezug auf KI alles lokal erledigen können. Wir hätten die Möglichkeit, eine Open-Source-KI unserer Wahl herunterzuladen und sie an unsere Bedürfnisse anzupassen. Und wir damit selbst und nicht die grossen Technologieunternehmen, die Kontrolle über alle Komponenten übernehmen», schloss Guerraoui.
Fragen und Antworten
Was ist der Unterschied zwischen Anyway Systems und Google AI Edge?
Google AI Edge ist für den Einsatz auf Mobiltelefonen für sehr spezifische und kleine, von Google entwickelte Modelle vorgesehen, wobei jeder Nutzer ein Modell ausführt, das durch die Kapazität des Telefons begrenzt ist. Es gibt keine verteilte Datenverarbeitung, die den Einsatz derselben grossen und leistungsstarken KI-Modelle ermöglicht, die von vielen Nutzern derselben Organisation auf skalierbare und fehlertolerante Weise gemeinsam genutzt werden. Das Anyway-System kann mit nur wenigen GPUs Hunderte von Milliarden Parametern verarbeiten.
Was ist der Unterschied zwischen Anyway Systems und anderen Lösungen, mit denen lokale LLMs wie Llama oder msty.ai ausgeführt werden können?
Die meisten dieser Ansätze helfen bei der Bereitstellung eines Modells auf einem einzelnen Rechner, der eine einzige Fehlerquelle darstellt. Um die leistungsstärksten Modelle einzusetzen, müssen sie sehr teure Maschinen kaufen und in diese investieren. Im Grunde genommen sind es solche, wie man sie in einem Rechenzentrum findet. Wenn Sie also über einen einzigen handelsüblichen Rechner verfügen, sind die genannten Lösungen für den Einsatz kleiner Modelle nützlich. Wenn Sie über mehrere handelsübliche Rechner verfügen, können Sie diese mit den genannten Lösungen nicht effizient kombinieren, um ein grosses Modell einzusetzen, und selbst wenn Sie dies könnten, wäre ein Team für die Verwaltung und Wartung des Systems erforderlich. Das Anyway-System erledigt dies transparent, robust und automatisch. Die Tatsache, dass ein Rechner ausfällt, das Netzwerk verlässt oder sich ihm anschliesst, ist in Anyway-Systemen transparent, abgesehen von einer geringen Änderung der Latenz (der Zeit, die zur Beantwortung einer Anfrage benötigt wird).
KI-Modelle werden ständig verbessert und mit Daten gefüttert. Wie wirken sich diese Verbesserungen lokal aus?
Da das Anyway-System die lokale Bereitstellung beliebiger Open-Source-KI-Modelle ermöglicht, ist die Einspeisung lokaler und sensibler Daten vollkommen sicher und akzeptabel, sodass die Kontrolle wieder beim Nutzer liegt.
