Deep Human Vision

01.06.2021 bis 31.03.2024

Wie erkennt und verarbeitet das menschliche Gehirn Objekte, Personen und Handlungen aus komplexen
visuellen Reizen. Wie verändern sich die zugrunde liegenden Darstellungen im Laufe der Zeit? Um diese
Fragen zu beantworten, werden wir auf vielschichtige neuronale Netze verwenden, um quantitativ zu
modellieren, wie Neuronen in höher gelegenen menschlichen Gehirnregionen auf komplexe visuelle
Informationen reagieren. Wir werden einen einzigartigen Datensatz verwenden, der die Aktivität von
Tausenden von einzelnen Neuronen umfasst. Diese Messungen wurden im medialen Temporallappen von
Epilepsiepatienten aufgenommen, während diese einen Hollywood-Film anschauten.
Mit unseren Methodiken wird es erstmals möglich sein, vorherzusagen wie Gruppen von Nervenzellen im
menschlichen Gehirn auf dynamische visuelle Informationen reagieren, und diese Messungen mit
makroskopischen elektrophysiologischen und bildgebenden Daten zu integrieren. Wir werden
Visualisierungstools entwickeln, um visuelle und semantische Merkmale aus dem Film zu identifizieren, die
neuronale Aktivität vorhersagen können.
Wir werden unsere Softwaretools zur Analyse multimodaler neuronaler Daten, trainierte Netzwerkmodelle
und aufbereitete Daten zur Verfügung stellen. Unsere Tools werden neue Analysen in den Bereichen der
kognitiven und klinischen Neurowissenschaften möglich mahen. Unsere Erkenntnisse darüber, wie das
menschliche visuelle System Objektinformationen robust extrahiert und kodiert, können zur Entwicklung
von neuen leistungsfähigeren und robusteren künstlichen visuellen Systemen beitragen.