Joblib HTCondor Backend

Die Joblib HTCondor-Bibliothek stellt ein HTCondor-Backend für joblib zur Verfügung, mit dem man auf einfache Art und Weise Jobs auf Rechenclustern eine HTCondor Warteschlange stellen kann. Mit diesem Tool können Benutzer eine große Anzahl von rechenintensiven Aufgaben parallelisieren und ihre Ausführung direkt in ihren Analysen festlegen. Dies ermöglicht die Parallelisierung von Software, die Joblib verwendet, z. B. Scikit-Learn. Joblib HTCondor unterstützt auch verschachtelte parallele Aufrufe, bei denen das Backend innerhalb eines parallelen Aufrufs verwendet wird. Dies ist nützlich, wenn eine große Anzahl von Aufgaben parallelisiert werden kann und jede dieser Aufgaben ebenfalls parallelisiert werden kann - ein häufiges Muster beim maschinellen Lernen, z. B. mit mehreren Folds in einer Kreuzvalidierung, bei der das Training jedes Folds parallelisiert werden kann (z. B. Hyperparameter-Abstimmung).