REAL-RL

Modelbasiertes Reinforcement Lernen für vielseitige Roboter in der realen Welt

01.01.2023 bis 31.12.2027

REAL-RL schlägt einen Weg vor, autonome Roboter aus Erfahrung lernen zu lassen. Indem sie lernen, neue und herausfordernde Aufgaben zu lösen und ihre spezifischen Fähigkeiten zu nutzen, könnten sie zu allgegenwärtigen Assistenten des Menschen bei einer Vielzahl von Aufgaben werden. Derzeitige Steuerungsstrategien für Roboter werden für bestimmte Aufgaben entwickelt und sind nicht vielseitig. Um ihre Funktion zu gewährleisten, sind hochpräzise physikalische Modelle erforderlich, die alle wesentlichen Aspekte der realen Welt genau wiedergeben. REAL-RL verfolgt einen anderen Weg: einen lernenden Ansatz zur Robotersteuerung. Die vorherrschende Richtung in diesem Bereich verwendet modellfreie Methoden des Verstärkungslernens, die eine unglaubliche Anzahl von Interaktionen mit der Welt erfordern - für reale Roboter oft unerschwinglich. Als Umgehung werden Simulationen verwendet, die jedoch detaillierte Kenntnisse aller möglichen Situationen erfordern, denen der Roboter begegnen könnte. Diese Probleme werden in REAL-RL umgangen, indem ein modellbasierter Ansatz verfolgt wird. Modelle der Interaktion mit der Welt werden aus Erfahrung gelernt und zur Planung und Anpassung des Verhaltens im laufenden Betrieb verwendet. Dieser Ansatz verspricht, wesentlich dateneffizienter zu sein und ermöglicht den Transfer wertvoller Erfahrungen zwischen verschiedenen Aufgaben. Grundlegende Herausforderungen im Bereich des Modelllernens, der sicherheitsbewussten Exploration und Planung sowie der Argumentation höherer Ordnung werden hier identifiziert und mit konkreten neuen Lösungsideen vorgestellt, wie z.B. ein kausaler induktiver Bias für tiefe Dynamikmodelle, risikobewusste allgemeine Trajektorienoptimierung in Echtzeit und differenzierbare diskrete Planung. Kritische Trittsteine, wie probabilistische Modelle und schnelle Trajektorienplanung, wurden gerade von der Forschungsgemeinde und dem Antragsteller entwickelt. Der Vorschlag zielt auf eine generische Lernmethode ab, die zur Steuerung beliebiger - starrer oder weicher - Roboter mit Beinen, Armen oder anderen Endeffekten für Manipulations- und Fortbewegungsaufgaben verwendet werden kann und sie mit zunehmender Erfahrung besser werden lässt, und schafft damit eine solide Grundlage für künftige Roboteranwendungen.