Europas schnellster Superrechner im KI-Leistungstest

Jülich, 18. November 2021 – Forschende des Forschungszentrums Jülich und des Karlsruher Instituts für Technologie (KIT) wollten wissen, wie Europas schnellster Supercomputer beim Training neuronaler Netze abschneidet – und haben ihn einem neuen Leistungstest für künstliche Intelligenz, kurz KI, unterzogen. Das für KI optimierte Booster-Modul des Jülicher Superrechners JUWELS benötigte gerade einmal 2 Minuten, um ein großes Klimamodell zu trainieren. Die enorme Rechenpower ist unter anderem für die Entwicklung von Sprachmodellen und Wettervorhersagen mit KI sowie die Auflösung unbekannter RNA-Strukturen gefragt. Die Ergebnisse wurden auf der weltweit größten Supercomputing-Konferenz SC21 vorgestellt, die in dieser Woche in St. Louis in den USA stattfindet.

Superrechner JUWELS am Forschungszentrum Jülich

“Rechner in der Größe von JUWELS ermöglichen es Europa, mit den USA und China mitzuhalten. Mit dem Benchmark-Test haben wir gezeigt, dass unsere Maschine in der Praxis ihr Potential voll entfalten und dazu beitragen kann, dass Europa bei KI am Ball bleibt”, erklärt der Direktor des Jülich Supercomputing Centre Prof. Thomas Lippert.

Der Siegeszug der künstlichen Intelligenz macht auch vor der Forschung nicht halt. Früher wurden Supercomputer typischerweise für die Simulation und Modellierung genutzt. Heute werden sie zunehmend eingesetzt, um große, extrem rechenaufwendige KI-Modelle zu trainieren. Der Rechenbedarf dafür stieg in den letzten 6 Jahren um das 300.000-fache. Der Aufbau des schnellsten und effizientesten Superrechners in Europa trägt dieser Entwicklung Rechnung. Das Booster-Modul des Jülicher Superrechner JUWELS verfügt über mehr als 3700 NVIDIA-Grafikprozessoren der neuesten Generation, die speziell für das maschinelle Lernen ausgelegt sind.

Neben dem JUWELS-Booster am Test beteiligt war der „Hochleistungsrechner Karlsruhe", kurz HoreKa. Der Supercomputer am KIT stellt mit fast 700 dieser Hochleistungschips das Rückgrat des Hochleistungsrechnen für deutsche Universitäten dar. Die Forschenden hatten die Ausführung des Benchmarks im Rahmen von Helmholtz AI – einer Forschungskooperation der Helmholtz-Gemeinschaft zu künstlicher Intelligenz – optimiert, um das Letzte aus beiden Maschinen herauszuholen.

Mit dem noch relativ neuen MLPerf Training HPC Benchmark lässt sich feststellen, wie leistungsfähig Superrechner beim Training neuronaler Netze sind. „Mit dem MLPerf HPC Benchmark konnten wir über 3000 Grafikprozessoren gleichzeitig nutzen, um maschinelles Lernen zu beschleunigen. Insgesamt wurden dabei mehr als 100 Billiarden Rechenoperationen pro Sekunde ausgeführt.“, erklärt der Jülicher KI-Experte Dr. Stefan Kesselheim. Gerade einmal zwei Minuten dauerte es, um ein großes Klimamodell zu trainieren. Auf dem Vorgänger des JUWELS-Superrechners hätte die Aufgabe noch mehrere Stunden in Anspruch genommen.

Jülicher Rechenpower für europäisches KI-Sprachmodell gefragt

Der JUWELS Booster soll etwa für das Training eines großen KI-Sprachmodells eingesetzt werden, das mit dem Sprachmodell GPT-3 aus den USA mithalten kann. Das von OpenAI entwickelte und von Microsoft vermarktete GPT-3-Modell sorgte bei seiner Einführung im Jahr 2020 für Furore, weil es selbstständig menschlich klingende Texte formulieren kann. Das Forschungszentrum Jülich kooperiert bei der Entwicklung des europäischen Pendants, Open-GPT-X, mit BMW, dem WDR sowie dem Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS. Im Juni dieses Jahres wurde Open-GPT-X vom Bundeswirtschaftsministerium als Teil der europäischen Dateninfrastruktur Gaia-X aufgenommen.

Forschende am Forschungszentrum Jülich nutzen den JUWELS Booster zudem für die Entwicklung von Wettervorhersagen mit KI. Dabei werden moderne Deep-Learning-Verfahren eingesetzt, um mittel- und kurzfristige Prognosen zu verbessern. Ein anderes Beispiel ist die Auflösung von Proteinstrukturen, speziell von vielfach noch unbekannten RNA-Strukturen. Die strategische Bedeutung wurde zuletzt anhand der Entwicklung des Covid-19-Impfstoffs von Biontech deutlich, der auf einer solchen RNA basiert.

MLPerf HPC – ein neuer Benchmark für das Machine Learning

Forschende und Ingenieure von Baidu und Google sowie aus Harvard, Stanford und Berkeley hatten den MLPerf Benchmark vor wenigen Jahren geschaffen, um damit die Performance von Rechensystemen bei Anwendungen mit künstlicher Intelligenz zu erfassen. Der Benchmark MLPerf HPC zielt speziell darauf ab, die Leistung klassischer Supercomputer für das Training neuronaler Netze zu ermitteln. Traditionell werden solche Rechner sonst für die Simulation und Modellierung eingesetzt.

Helmholtz AI – gemeinsam forschen zu künstlicher Intelligenz

Die Initiative Helmholtz AI, fördert zentrumsübergreifende und interdisziplinäre Forschung zu angewandter künstlicher Intelligenz in der Helmholtz-Gemeinschaft. Forschende des Forschungszentrums Jülich und des Karlsruher Institut für Technologie (KIT) haben im Rahmen von Helmholtz AI gemeinsam ermittelt, wie zwei deutsche Spitzenrechner beim rechenaufwendigen Training von Algorithmen aus dem Bereich der künstlichen Intelligenz abschneiden. Neben dem Booster-Modul des Jülicher Superrechner JUWELS wurde auch der Hochleistungsrechner Karlsruhe – kurz HoreKa – einem Leistungstest unterzogen.