OPENHAFM

Evaluierung und Verbesserung offener Basismodelle durch einen systematischen Vergleich mit menschlichem Verhalten und Kuratierung von Datensätzen

01/10/2024 to 30/09/2027

Unser Vorhaben "Analyse und Verbesserung offener Foundation Modelle durch einen systematischen und
vergleichenden Benchmark auf menschlichem Verhalten und gezielter Kuration von Datensätzen"
(OPENHAFM) zielt darauf ab, die funktionale Übereinstimmung zwischen Menschen und Foundation-
Modellen zu verbessern, indem wir Lücken im Denkprozess angehen und Datenkurationsstrategien
optimieren. Wir planen, aktuelle state-of-the-art Sprach- und Vision-Sprach-Modelle (LLVMs) wie CLIP,
LLava, Flamingo und StableDiffusion systematisch zu benchmarken, um Fehlanpassungen und Denkfehler
zu identifizieren und zu quantifizieren. Dazu entwickeln wir spezifische Benchmarks für die Mensch-ModellÜbereinstimmung
und analysieren die Modellleistung in verschiedenen Größen und Datenskalen, um die
Auswirkungen von Skalierungsgesetzen zu verstehen. Durch die Nutzung der Rechenressourcen des
Jülicher Supercomputing Centers und die Datenexpertise von LAION wollen wir neuartige
Datenkurationsstrategien entwickeln, die die Datenqualität und -vielfalt erhöhen und somit die
Übereinstimmung von menschlichen und modellbasierten Denkprozessen verbessern. Die
Zusammenarbeit zwischen dem Tübinger AI Center, dem Jülicher Supercomputing Center und LAION
vereint führende Expertise in Verhaltenskonsistenz, großskaligem Rechnen und Open-Source-
Datensätzen, um funktionale Fehlanpassungen systematisch zu reduzieren. Dieser Ansatz wird die
Zuverlässigkeit und Nützlichkeit von Foundation-Modellen steigern und sie für anspruchsvolle
Anwendungen wie in der Medizin und im autonomen Fahren geeigneter machen.