Wissenschaftler entwickeln Computer-Vision-Framework, um Tiere in freier Wildbahn ohne Markierungen zu verfolgen

Forscher des Exzellenzclusters Collective Behavior haben ein Computer-Vision-Framework zur Haltungsschätzung und Identitätsverfolgung entwickelt, das sie sowohl in Innenräumen als auch in freier Wildbahn einsetzen können. Dies ist ein wichtiger Schritt hin zur markerlosen Verfolgung von Tieren in freier Wildbahn mittels Computer-Vision und maschinellem Lernen.

Zwei Tauben picken in einem Konstanzer Park nach Körnern. Eine dritte Taube fliegt heran. In unmittelbarer Nähe sind vier Kameras aufgestellt. Die Doktoranden Alex Chan und Urs Waldmann vom Exzellenzcluster Collective Behavior der Universität Konstanz filmen die Szene. Nach einer Stunde kehren sie mit den Aufnahmen in ihr Büro zurück, um diese mit einem Computer Vision Framework zur Haltungsschätzung und Identitätsverfolgung auszuwerten.

Das Framework erkennt und zeichnet eine Box um alle Tauben. Es erfasst zentrale Körperteile und bestimmt ihre Haltung, ihre Position und ihre Interaktion mit den anderen Tauben um sie herum. All dies geschieht, ohne dass an den Tauben Markierungen angebracht werden oder ein Mensch zu Hilfe gerufen werden muss. Dies wäre noch vor wenigen Jahren nicht möglich gewesen.

3D-MuPPET-Rahmenwerk

Markerlose Methoden zur Haltungsverfolgung von Tieren haben sich in letzter Zeit rasant entwickelt, doch es fehlen immer noch Frameworks und Benchmarks zur 3D-Verfolgung großer Tiergruppen. Um diese Lücke zu schließen, präsentieren die Forscher Urs Waldmann vom Exzellenzcluster Collective Behavior der Universität Konstanz und Alex Chan vom Max-Planck-Institut für Verhaltensbiologie zusammen mit ihren Kollegen 3D-MuPPET, ein Framework zur Schätzung und Verfolgung der 3D-Posen von bis zu 10 Tauben bei interaktiver Geschwindigkeit unter Verwendung mehrerer Kameraansichten.

Der Forschung wurde kürzlich veröffentlicht in Internationale Zeitschrift für Computer Vision.

3D-MuPPET steht für 3D Multi-Pigeon Pose Estimation and Tracking und ist ein Computer-Vision-Framework zur Haltungsschätzung und Identitätsverfolgung für bis zu 10 einzelne Tauben aus vier Kameraansichten, basierend auf Daten, die sowohl in Gefangenschaft als auch in freier Wildbahn erfasst wurden.

„Wir haben einen 2D-Schlüsselpunktdetektor trainiert und Punkte in 3D trianguliert. Außerdem zeigen wir, dass Modelle, die mit Daten einzelner Tauben trainiert wurden, mit Daten mehrerer Tauben gut funktionieren“, erklärt Waldmann. Dies ist ein erstes Beispiel für die 3D-Verfolgung der Tierhaltung für eine ganze Gruppe von bis zu 10 Tieren.

Somit bietet das neue Framework Biologen eine konkrete Methode, Experimente zu erstellen und die Körperhaltung von Tieren für die automatische Verhaltensanalyse zu messen. „Dieses Framework ist ein wichtiger Meilenstein in der Verfolgung der Körperhaltung von Tieren und der automatischen Verhaltensanalyse“, sagt Chan.

Framework kann in freier Wildbahn verwendet werden

Neben der Verfolgung von Tauben in Innenräumen wird das Framework auch auf Tauben in freier Wildbahn ausgeweitet. „Mithilfe eines Modells, das die Umrisse jedes Objekts in einem Bild identifizieren kann, das Segment Anything Model genannt wird, haben wir zusätzlich einen 2D-Schlüsselpunktdetektor mit einer maskierten Taube aus den Gefangenendaten trainiert und das Modell dann ohne zusätzliche Modellfeinabstimmung auf Taubenvideos im Freien angewendet“, erklärt Chan.

3D-MuPPET präsentiert eine der ersten Fallstudien zum Übergang von der Verfolgung von Tieren in Gefangenschaft zur Verfolgung von Tieren in freier Wildbahn, wodurch das Verhalten von Tieren in ihrem natürlichen Lebensraum detailliert gemessen werden kann. Die entwickelten Methoden können in zukünftigen Arbeiten möglicherweise auf andere Arten angewendet werden, mit potenzieller Anwendung für groß angelegte kollektive Verhaltensforschung und Artenüberwachung auf nicht-invasive Weise.

3D-MuPPET stellt ein leistungsstarkes und flexibles Framework für Forscher dar, die 3D-Haltungsrekonstruktionen für mehrere Individuen verwenden möchten, um kollektives Verhalten in jeder Umgebung oder bei jeder Art zu untersuchen. Sofern ein Mehrkamera-Setup und ein 2D-Haltungsschätzer verfügbar sind, kann das Framework zur Verfolgung von 3D-Haltungen jedes beliebigen Tiers verwendet werden.