Phylomilia

Phylogenetic linguistic inference from acoustic speech data

01.12.2024 bis 30.11.2027

Die vergleichende Computerlinguistik stützt sich traditionell stark auf die manuelle Datenvorverarbeitung, was den Fortschritt, die Skalierbarkeit und die Reproduzierbarkeit einschränkt. Das Projekt zielt darauf ab, dieses Gebiet zu revolutionieren, indem es neueste Deep-Learning-Methoden im Bereich der automatischen Erkennung gesprochener Sprache nutzt, um phylogenetische Analysen direkt aus akustischen Sprachdaten ohne manuelle Eingriffe abzuleiten. Die Verwendung von gesprochener Sprache als primäre Datenquelle stellt einen deutlichen Fortschritt gegenüber schrift-basierten Analysen dar und ermöglicht direktere und differenziertere Einblicke in den Sprachwandel und die Sprachvielfalt.

Die vorgeschlagene Methodik vereinfacht den traditionellen mehrstufigen Arbeitsablauf der Sprachanalyse in zwei Kernprozesse:

1. Umwandeln von Sprachdaten in Vektorraumdarstellungen mithilfe selbstüberwachter Deep-Learning-Modelle wie wav2vec-u, die die sprachlichen Merkmale effektiv direkt aus Audiodaten erfassen.
2. Durchführung phylogenetischer Inferenz auf diesen vektorisierten Darstellungen, um Sprachstammbäume zu erstellen und historische Sprachbeziehungen abzuleiten.

Als Vorbereitung für das Pre-Training für den ersten Schritt wird das Projekt ein sprachunabhängiges, durchgängiges automatisches Spracherkennungstool entwickeln, das gesprochene Sprache in IPA transkribiert. Mithilfe von Autoencoder-Techniken wird das Projekt außerdem Aspekte des Vokabulars und der Phonotaktik früherer Sprachstadien probabilistisch rekonstruieren.

Da die im Projekt eingesetzten Deep-Learning-Methoden einen Black-Box-Charakter haben, wird das Projekt sich auch der Post-hoc-Erklärbarkeit des trainierten Modells im Rahmen linguistischer Kategorien widmen.