A_Modal_SMAs

Das Zusammenspiel von amodalen und modalen Enkodierungen bei direktionalen räumlich-metrischen Assoziationen

01.11.2023 bis 31.10.2026

Es wird aktuell debattiert, ob direktionale räumlich-metrische Assoziationen (space-metric associations: SMAs) einen modalen oder amodalen Ursprung haben. Dabei wird z.B. angenommen, dass Zahlen im Langzeitgedächtnis auf einem mentalen Zahlenstrahl abgebildet werden. Dieser ist modal von der Schreibrichtung abhängig und erstreckt sich in westlichen Kulturen von links nach rechts. Amodale Kodierungen, andererseits, beziehen sich auf die Art wie Entitäten (nicht nur Zahlen) temporär geordnet im Arbeitsgedächtnis (kurz AG) gehalten werden. Die erste Projektphase hat gezeigt, dass beide Erklärungen, sowohl langzeitgedächtnis- basierte Assoziationen (z. B. Zahlenstrahl) als auch der Zustand des AGs eine Rolle spielen. Darüber hinaus konnten wir in virtuellen Realitätsumgebungen (VR) zeigen, dass die Raumachsen, die von den SMAs beeinflusst werden, stark von deren modaler Relevanz im Experiment abhängen. Neben der experimentellen Arbeit haben wir auch ein kognitives Model entwickelt: das sogenannte resourceful event-predictive inference (REPI) System. REPI ist ein Prozessmodel, das die kognitiven Dynamiken modelliert, die während der Reizverarbeitung und der Entscheidungsfindung ablaufen könnten. Es offeriert explizite algorithmische Erklärungen und Prädiktionen. Die Resultate und die Modellierung haben neue Fragen aufgeworfen, die in der zweiten Projektphase untersucht werden sollen. Insbesondere soll die Natur der Interaktionen zwischen modalen und amodalen Repräsentationen ebenso wie die Aufgaben-relevante Aktivierung bestimmter Achsen weiter differenziert werden. Außerdem soll die Modellierung weiter vorangetrieben werden, zum Beispiel um zu untersuchen, ob ein einheitliches AG Modul ausreicht, die amodalen Effekte zu modellieren – oder ob doch subtilere Interaktionsmodellierungen von modalen und amodalen Komponenten notwendig sind. Im ersten von 4 Arbeitspaketen („work packages": WP) WP1 wollen wir mit weiteren VR Studien die Logik der selektiv aktivierten räumlichen SMAs prüfen. Außerdem werden wir die Limitationen und Generalisierung der AG-basierten SMA- Erklärung durch Untersuchungen mit anderen Stimuli abklären. Im WP2 werden wir individuelle Stimuli systematisch differenzieren, um zu klären, inwieweit die Rolle des AGs bei SMAs generell oder doch entgegen gängiger Modelle auch stimulusspezifisch ist. Im WP3 werden wir die Amodalität des AGs überprüfen, in dem wir systematisch die Modalität der Enkodierung und der Antwort variieren werden. Im WP4 werden wir die kindliche Entwicklung der modalen und amodalen Einflüsse auf SMAs untersuchen. In allen vier Arbeitspaketen werden wir die erhobenen Resultate (sowie andere schon verfügbare) mit Hilfe von REPI modellieren, um verbale Erklärungen mit einem komputationalen Model zu untermauern. Insgesamt hoffen wir somit Erklärungen – sowohl auf der verarbeitungstechnischen als auch auf der algorithmischen Ebene – zu liefern, wie SMAs sich entwickeln und hoch dynamisch das Antwortverhalten beeinflussen.