DeepStereoVision

Effiziente und genaue Tiefenwahrnehmung durch Stereovision mit Deep Learning und FPGAs

01.01.2019 bis 31.12.2021

Die genaue dreidim. Vermessung von Objekten oder Arbeitsbereichen ist eine Grundvoraussetzung für
viele Aufgabenstellungen in der Robotik, Automatisierungstechnik, Qualitätssicherung, Inspektion und weiteren Branchenfeldern der Industrie 4.0. Eine 3D-Erfassung mit Stereovision ist dann eine
vielversprechende Lösung, speziell wenn aktive Kamerasysteme, die selbst Licht aussenden, wegen zu
starkem Fremdlicht (z.B. im Freien) oder zu großer Entfernung nicht praktikabel sind.
Bei Stereovision werden zwei versetzt angeordnete Kameras genutzt, um die räumliche Tiefe über einen
Vergleich der beiden Kamerabilder zu ermitteln, ähnlich wie beim menschlichen Sehen.
Für Stereovision ist die besonders rechenintensive Bildverarbeitung eine Herausforderung. Möchte man
eine Bildverarbeitung in Echtzeit erreichen, so ist deshalb der Einsatz spezieller Hardwaresysteme nötig,
wie diese von Nerian Vision GmbH angeboten werden. Die Systeme von Nerian basieren auf
programmierbaren Logikbausteinen (FPGAs), die es erlauben, die Bildverarbeitungsalgorithmen direkt in
Hardware abzubilden.
Aktuellste Forschungsergebnisse haben gezeigt, dass die Anwendung von Deep Neural Networks in
Kombination mit klassischen Algorithmen für Stereovision die Genauigkeit deutlich verbessern kann.
Hierdurch wäre es möglich, eine vergleichbare oder höhere Genauigkeit zu erzielen als mit aktiven
Sensoren. In diesem Forschungsvorhaben sollen deshalb Architekturen für neuronale Netzwerke erforscht
werden, welche sich für Stereovision eignen und auf einem FPGA ausgeführt werden können. Hierfür
müssen auch Methoden erforscht werden, welche sich für das Trainieren von Netzwerken mit den oben
genannten Beschränkungen eignen. Gleichzeitig soll erforscht werden wie sich diese neuronalen
Netzwerke mit einem klassischen Algorithmus für Stereovision, wie Semi-Global-Matching (SGM), in einem
FPGA integrieren lassen.