Navigation und Service

Introduction to Scalable Deep Learning (PRACE-Trainingskurs, online)

Der Kurs findet als Online-Veranstaltung statt. Der Link zur Online-Plattform wird nur den registrierten Teilnehmern bekannt gegeben.

 

Anfang
01.02.2021 09:30 Uhr
Ende
05.02.2021 13:00 Uhr
Veranstaltungsort
online

Inhalt:

In this course, we will cover machine learning and deep learning and how to achieve scaling to high performance computing systems. The course aims at covering all levels, from fundamental software design to specific compute environments and toolkits. We want to enable the participants to unlock the resource of machines like the JUWELS booster for their machine learning workflows. Different from previous years we assume that the participants have a background from a university level introductory course to machine learning. Suggested options for self-teaching are given below.

We will start the course with a presentation of high performance computing system architectures and the design paradigms for HPC software. In the tutorial, we familiarize the users with the environment. Furthermore, we give a recap of important machine learning concepts and algorithms and the participants will train and test a reference model. Afterwards, we introduce how deep learning algorithms can be parallelized for supercomputer usage with Horovod. Furthermore, we discuss best practicies and pitfalls in adopting deep learning algorithms on supercomputers and learn to test their function and performance. Finally we apply the gained expertise to large scale unsupervised learning, with a particular focus on Generative Adversarial Networks (GANs).

This course is a PRACE training course.

Voraussetzungen:

We assume that the participants are familiar with general concepts of machine learning and/or deep learning, such as widely used models, losses, regularization and basic model training / testing. Many excellent self-training resources are available such as:

Hands-on experience with ML/DL framework is required, first experience with HPC systems is helpful.

Zielgruppe:

Wissenschaftler, die Supercomputer für ML/DL-Workflows einsetzen wollen.

Lernergebnis:

Nach diesem Kurs werden die Teilnehmer in der Lage sein, Tensorflow- und Pytorch ML-Workflows auf HPC-Maschinen zu parallelisieren, wobei die HPC-Systemarchitektur berücksichtigt und typische Fallstricke und Engpässe umgangen werden.

Sprache:

Der Kurs wird auf Englisch gehalten.

Dauer:

2,5 Tage

Zeit:

1. - 5. Februar 2021, 9.30 - 13.00 Uhr

Ort:

Online

Teilnehmerzahl:

maximal 40

Referenten:

Dr. Stefan Kesselheim, Dr. Jenia Jitsev, Roshni Kamath, Dr. Mehdi Certi, Dr. Alexandre Strube

Ansprechpartner:

Photo Dr. Stefan Kesselheim
Dr. Stefan Kesselheim
Telefon: +49 2461 61-3651
E-Mail: s.kesselheim@fz-juelich.de

Anmeldung: 

Bitte melden Sie sich bis 15. Januar 2021 über das Registrierungsformular auf der PRACE-Webseite (verfügbar ab Dezember 2020) an.