Maschinelles Lernen gibt einen Einblick, wie das Gehirn eines Hundes darstellt, was es sieht

Wissenschaftler haben visuelle Bilder aus dem Gehirn eines Hundes entschlüsselt und bieten einen ersten Einblick, wie der Hundeverstand rekonstruiert, was er sieht. Das Zeitschrift für visualisierte Experimente veröffentlichte die Forschung an der Emory University.

Die Ergebnisse deuten darauf hin, dass Hunde eher auf Handlungen in ihrer Umgebung eingestellt sind als darauf, wer oder was die Handlung ausführt.

Die Forscher zeichneten die neuronalen fMRI-Daten von zwei wachen, nicht angeschnallten Hunden auf, während sie sich in drei 30-minütigen Sitzungen insgesamt 90 Minuten lang Videos ansahen. Anschließend verwendeten sie einen maschinellen Lernalgorithmus, um die Muster in den neuronalen Daten zu analysieren.

„Wir haben gezeigt, dass wir die Aktivität im Gehirn eines Hundes überwachen können, während er sich ein Video ansieht, und zumindest in begrenztem Umfang rekonstruieren können, was er sich ansieht“, sagt Gregory Berns, Emory-Professor für Psychologie und korrespondierender Autor der Arbeit . „Dass uns das gelingt, ist bemerkenswert.“

Das Projekt wurde von den jüngsten Fortschritten im maschinellen Lernen und fMRT inspiriert, um visuelle Reize aus dem menschlichen Gehirn zu dekodieren und neue Einblicke in die Natur der Wahrnehmung zu liefern. Außerhalb des Menschen wurde die Technik nur bei einer Handvoll anderer Arten angewendet, darunter einige Primaten.

„Obwohl unsere Arbeit auf nur zwei Hunden basiert, bietet sie einen Machbarkeitsnachweis dafür, dass diese Methoden bei Hunden funktionieren“, sagt Erin Phillips, Erstautorin der Arbeit, die die Arbeit als Forschungsspezialistin im Canine Cognitive Neuroscience Lab von Berns durchgeführt hat. „Ich hoffe, dass dieses Papier dazu beiträgt, anderen Forschern den Weg zu ebnen, diese Methoden auf Hunde und andere Arten anzuwenden, damit wir mehr Daten und tiefere Einblicke in die Funktionsweise des Gehirns verschiedener Tiere erhalten.“

Phillips, gebürtiger Schotte, kam als Bobby Jones Scholar nach Emory, einem Austauschprogramm zwischen Emory und der University of St. Andrews. Derzeit ist sie Doktorandin in Ökologie und Evolutionsbiologie an der Princeton University.

Berns und seine Kollegen leisteten Pionierarbeit bei Trainingstechniken, um Hunde dazu zu bringen, in einen fMRI-Scanner zu gehen und völlig still und ungehindert zu bleiben, während ihre neurale Aktivität gemessen wird. Vor einem Jahrzehnt veröffentlichte sein Team die ersten fMRI-Gehirnbilder eines völlig wachen, ungezügelten Hundes. Das öffnete die Tür zu dem, was Berns The Dog Project nennt – eine Reihe von Experimenten, die den Geist der ältesten domestizierten Spezies erforschen.

Im Laufe der Jahre hat sein Labor Forschungsergebnisse darüber veröffentlicht, wie das Gehirn von Hunden Sehen, Worte, Gerüche und Belohnungen wie Lob oder Futter verarbeitet.

In der Zwischenzeit verbesserte sich die Technologie hinter Computeralgorithmen für maschinelles Lernen immer weiter. Die Technologie hat es Wissenschaftlern ermöglicht, einige menschliche Gehirnaktivitätsmuster zu entschlüsseln. Die Technologie „liest Gedanken“, indem sie innerhalb von Gehirndatenmustern die verschiedenen Objekte oder Aktionen erkennt, die eine Person sieht, während sie sich ein Video ansieht.

„Ich begann mich zu fragen: ‚Können wir ähnliche Techniken bei Hunden anwenden?’“, erinnert sich Berns.

Die erste Herausforderung bestand darin, Videoinhalte zu entwickeln, die ein Hund interessant genug finden könnte, um sie sich über einen längeren Zeitraum anzusehen. Das Emory-Forschungsteam befestigte einen Videorecorder an einem Gimbal und einem Selfie-Stick, mit dem sie stabile Aufnahmen aus der Perspektive eines Hundes machen konnten, etwa in Hüfthöhe eines Menschen oder etwas tiefer.

Sie verwendeten das Gerät, um ein halbstündiges Video mit Szenen zu erstellen, die sich auf das Leben der meisten Hunde beziehen. Zu den Aktivitäten gehörten, dass Hunde von Menschen gestreichelt wurden und Leckereien von Menschen erhielten. Szenen mit Hunden zeigten sie auch beim Schnüffeln, Spielen, Essen oder Gehen an der Leine. Aktivitätsszenen zeigten Autos, Fahrräder oder einen Roller, der auf einer Straße vorbeifuhr; eine Katze, die in einem Haus spazieren geht; ein Reh, das einen Weg überquert; Leute sitzen; Menschen, die sich umarmen oder küssen; Menschen, die der Kamera einen Gummiknochen oder einen Ball anbieten; und Menschen essen.

Die Videodaten wurden durch Zeitstempel in verschiedene Klassifikatoren segmentiert, darunter objektbasierte Klassifikatoren (z. B. Hund, Auto, Mensch, Katze) und aktionsbasierte Klassifikatoren (z. B. schnüffeln, spielen oder essen).

Nur zwei der Hunde, die für Experimente in einem fMRT trainiert worden waren, hatten die Konzentration und das Temperament, vollkommen still zu liegen und das 30-minütige Video ohne Pause anzusehen, einschließlich drei Sitzungen für insgesamt 90 Minuten. Diese beiden „Superstar“-Eckzähne waren Daisy, eine gemischte Rasse, die möglicherweise ein Teil des Boston Terriers ist, und Bhubo, eine gemischte Rasse, die möglicherweise ein Teil des Boxers ist.

„Sie brauchten nicht einmal Leckereien“, sagt Phillips, der die Tiere während der fMRT-Sitzungen überwachte und beobachtete, wie ihre Augen auf dem Video verfolgten. „Es war amüsant, weil es ernsthafte Wissenschaft ist und viel Zeit und Mühe investiert wurde, aber es lief darauf hinaus, dass diese Hunde Videos von anderen Hunden und Menschen ansahen, die sich irgendwie albern benahmen.“

Zwei Menschen unterzogen sich ebenfalls demselben Experiment und sahen sich dasselbe 30-minütige Video in drei separaten Sitzungen an, während sie in einem fMRI lagen.

Die Gehirndaten konnten mithilfe von Zeitstempeln auf die Videoklassifikatoren abgebildet werden.

Auf die Daten wurde ein maschineller Lernalgorithmus, ein neuronales Netz namens Ivis, angewendet. Ein neuronales Netz ist eine Methode zum maschinellen Lernen, bei der ein Computer Trainingsbeispiele analysiert. In diesem Fall wurde das neuronale Netz darauf trainiert, den Inhalt der Gehirndaten zu klassifizieren.

Die Ergebnisse für die beiden menschlichen Probanden ergaben, dass das mit dem neuronalen Netz entwickelte Modell eine Genauigkeit von 99 % bei der Zuordnung der Gehirndaten sowohl zu den objekt- als auch zu den aktionsbasierten Klassifikatoren zeigte.

Im Fall der Dekodierung von Videoinhalten von den Hunden funktionierte das Modell nicht für die Objektklassifizierer. Es war jedoch zu 75% bis 88% genau bei der Entschlüsselung der Aktionsklassifikationen für die Hunde.

Die Ergebnisse deuten auf große Unterschiede in der Funktionsweise des Gehirns von Menschen und Hunden hin.

„Wir Menschen sind sehr objektorientiert“, sagt Berns. „Es gibt zehnmal so viele Substantive wie Verben in der englischen Sprache, weil wir eine besondere Besessenheit davon haben, Objekten Namen zu geben. Hunde scheinen sich weniger darum zu kümmern, wen oder was sie sehen, als vielmehr um die Handlung selbst.“

Hunde und Menschen haben auch große Unterschiede in ihren visuellen Systemen, bemerkt Berns. Hunde sehen nur in Blau- und Gelbtönen, haben aber eine etwas höhere Dichte an Sehrezeptoren, die darauf ausgelegt sind, Bewegungen zu erkennen.

„Es macht absolut Sinn, dass die Gehirne von Hunden in erster Linie sehr stark auf Aktionen eingestellt sind“, sagt er. „Tiere müssen sich sehr um die Dinge kümmern, die in ihrer Umgebung passieren, um nicht gefressen zu werden oder um Tiere zu überwachen, die sie vielleicht jagen möchten. Aktion und Bewegung sind von größter Bedeutung.“

Für Philips ist das Verständnis, wie verschiedene Tiere die Welt wahrnehmen, wichtig für ihre aktuelle Feldforschung darüber, wie sich die Wiedereinführung von Raubtieren in Mosambik auf Ökosysteme auswirken kann. „In der Vergangenheit gab es kaum Überschneidungen zwischen Informatik und Ökologie“, sagt sie. „Aber maschinelles Lernen ist ein wachsendes Feld, das allmählich breitere Anwendungen findet, auch in der Ökologie.“

Weitere Autoren des Artikels sind Daniel Dilks, Emory-Sonderprofessor für Psychologie, und Kirsten Gillette, die als Emory-Studentin im Hauptfach Neurowissenschaften und Verhaltensbiologie an dem Projekt gearbeitet hat. Gilette hat inzwischen ihren Abschluss gemacht und befindet sich jetzt in einem Postbaccalaureate-Programm an der University of North Carolina.

Daisy ist im Besitz von Rebecca Beasley und Bhubo ist im Besitz von Ashwin Sakhardande.