ProjektMPOL – Mehrphasige probabilistische Optimierer für tiefe Lernprobleme
Grunddaten
Akronym:
MPOL
Titel:
Mehrphasige probabilistische Optimierer für tiefe Lernprobleme
Laufzeit:
01.07.2021 bis 30.06.2024
Abstract / Kurz- beschreibung:
This proposal to SPP 2298/1 proposes to investigate a novel paradigm for the training of deep neural networks. The peculiarities of deep models, in particular strong stochasticity (SNR<1), preclude the use of classic optimization algorithms. And contemporary alternatives, of which there are already many, are wasteful with resources. Rather than add yet another optimization rule to the long and growing list of such methods, this project aims to make substantial conceptual progress by investigating two key ideas: First, leveraging the entire probability distribution of gradients across the dataset (empirically estimated at runtime) to identify algorithmic parameters that the user would otherwise have to manually tune. And second, splitting the optimization process into at least three distinct phases with differing mathematical objectives. The goal is to develop (concretely, as a software library) an optimizer that requires no manual tuning, and achieves good generalization performance without repeated re-starts.
Schlüsselwörter:
maschinelles Lernen
machine learning
Optimierung
optimising
Deep Learning
Probabilistik
Beteiligte Mitarbeiter/innen
Leiter/innen
Wilhelm-Schickard-Institut für Informatik (WSI)
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Exzellenzcluster: Maschinelles Lernen: Neue Perspektiven für die Wissenschaft (CML)
Zentren oder interfakultäre wissenschaftliche Einrichtungen
Zentren oder interfakultäre wissenschaftliche Einrichtungen
Tübingen AI Center
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Weitere Mitarbeiter/innen
Fachbereich Informatik
Mathematisch-Naturwissenschaftliche Fakultät
Mathematisch-Naturwissenschaftliche Fakultät
Wilhelm-Schickard-Institut für Informatik (WSI)
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Fachbereich Informatik, Mathematisch-Naturwissenschaftliche Fakultät
Lokale Einrichtungen
Fachbereich Informatik
Mathematisch-Naturwissenschaftliche Fakultät
Universität Tübingen
Universität Tübingen
Geldgeber
Bonn, Nordrhein-Westfalen, Deutschland