Forscher entschlüsseln den visuellen Vorteil der Gebärdensprache

Linguisten wissen schon lange, dass Gebärdensprachen grammatikalisch und logisch ebenso ausgefeilt sind wie Lautsprachen – und dass sie auch stärker von „Ikonizität“ Gebrauch machen, also der Eigenschaft, dass manche Wörter auf Dinge verweisen, indem sie ihnen ähneln. So ähnelt beispielsweise der Klang eines englischen „bang“ ikonisch einem scharfen Geräusch und ein Miauen dem Schreien einer Katze.

Insbesondere in der amerikanischen Gebärdensprache (ASL) und in zahlreichen anderen Gebärdensprachen gibt es oft zwei Möglichkeiten, ungefähr dasselbe auszudrücken: Eine besteht aus Standardwörtern (Zeichen) und die andere aus stark ikonischen Ausdrücken, sogenannten „Klassifikatoren“, die zur Erstellung visueller Animationen dienen.

Es ist jedoch noch nicht vollständig geklärt, wie normale Zeichen und bildliche Darstellungen integriert werden, um Bedeutung zu erzeugen.

Philippe Schlenker, Forscher am französischen Nationalen Zentrum für wissenschaftliche Forschung (CNRS) und an der New York University, und Jonathan Lamberton, ein gehörloser Muttersprachler der ASL-Sprache, ein unabhängiger Forscher und ehemaliger Dolmetscher für das Büro des New Yorker Bürgermeisters, schlagen in zwei Studien in der Zeitschrift eine Antwort vor. Linguistik & Philosophie, der erste davon wurde gemeinsam mit Marion Bonnet, Jason Lamberton, Emmanuel Chemla, Mirko Santoro und Carlo Geraci verfasst.

Sie kommen zu dem Schluss, dass ASL seine übliche Grammatik (oft mit der Wortreihenfolge Subjekt-Verb-Objekt) durch eine ausgeprägte bildliche Grammatik ergänzen kann, in der ikonische Darstellungen in der Reihenfolge erscheinen, die sie auf den illustrierten Panels eines Comichefts hätten – und zwar nicht, weil ASL Techniken aus Comics übernimmt, sondern weil derselbe kognitive Mechanismus, nämlich die bildliche Darstellung, bei Klassifikatoren und Comics involviert ist.

Darüber hinaus ist, genau wie bei Comic-Zeichnungen, die Wahl des Blickwinkels entscheidend für die Darstellung von Klassifikatoren. Die gesprochene Sprache muss auf verschiedene Modalitäten (Sprache und Gestik) zurückgreifen, um eine vergleichbare Synthese aus Grammatik und bildlicher Darstellung zu schaffen.

„Diese Studien unterstreichen die Bedeutung visueller Animationen in der Sprache, mit Konsequenzen für Grammatik und Bedeutung gleichermaßen“, erklärt Schlenker. „Die traditionelle Sichtweise von Sprache als diskretem System ist daher unvollständig: Innerhalb der Sprache können einzelne Wörter durch visuelle Animationen mit unterschiedlichen Abstufungen ergänzt werden, in ein und derselben Modalität in der Gebärdensprache und in zwei Modalitäten – Sprache versus Gesten – in der Lautsprache.“

Das gleichzeitige Vorhandensein von normalen Zeichen und stark ikonischen Klassifikatoren in der Gebärdensprache ist seit langem bekannt. Wenn ein Lehrer beispielsweise sagen möchte: „Gestern in der Pause ist ein Schüler gegangen“, gibt es in ASL zwei Möglichkeiten, die Aktion auszudrücken. Wie beim englischen Wort „Leave“ kann der Gebärdende ein normales Verb verwenden, das die Art der Bewegung nicht näher bezeichnet. Der Gebärdende kann aber auch einen aufrechten Zeigefinger – einen Klassifikator – verwenden, um eine vereinfachte Animation einer aufrecht stehenden Person zu erstellen, die sich aus dem Raum bewegt – z. B. schnell oder langsam, nach rechts oder nach links, direkt oder mit einem Umweg.

„Der Klassifikator funktioniert wie eine Art animierte Marionette, die mitten in einen Satz eingefügt wird“, erklärt Jonathan Lamberton. „Dadurch entsteht eine außergewöhnliche Mischung aus normalen Zeichen und bildhaften Darstellungen.“

Aber wie werden diese beiden Komponenten integriert? Schlenker und Jonathan Lamberton begannen zusammen mit Bonnet, Jason Lamberton, Chemla, Santoro und Geraci mit der Wortreihenfolge. In ASL ist die grundlegende Wortreihenfolge SVO – Subjekt-Verb-Objekt – wie im Englischen. Es wurde jedoch beobachtet, dass Klassifizierer es oft vorziehen, dass ihre Objekte vor dem Verb stehen – z. B. Subjekt-Objekt-Verb (SOV).

Die Forscher vermuten, dass Klassifikatoren die grundlegende Wortreihenfolge der ASL außer Kraft setzen, weil sie visuelle Animationen erzeugen. Doch sie beginnen mit einer Beobachtung, die das Rätsel zunächst noch vertieft. Wenn ein Klassifikator verwendet wird, um ein Krokodil darzustellen, das einen Ball frisst, erscheinen sowohl das Subjekt als auch das Objekt vorzugsweise vor dem Verb – z. B. SOV. Wenn der Klassifikator jedoch ein Krokodil darstellt, das einen Ball ausspuckt, den es zuvor gefressen hat, wird die SVO-Reihenfolge wiederhergestellt.

Dies lässt sich laut den Autoren folgendermaßen erklären, wenn man Klassifikatoren als bildähnliche Darstellungen analysiert. Aufgrund ihrer bildähnlichen Natur folgen Klassifikatoren vorzugsweise der Reihenfolge, die in einem Comic zu finden wäre – wenn man ihn von links nach rechts betrachten würde. Beim Krokodil, das einen Ball frisst, sieht man typischerweise das Krokodil und den Ball vor dem Fressen, weshalb Subjekt und Objekt vor dem Verb stehen (z. B. SOV). Im Gegensatz dazu sieht man beim Krokodil, das einen Ball ausspuckt, zuerst das Krokodil (das Subjekt) und das Spucken und erst dann den Ball (das Objekt), der aus dem Krokodil kommt – weshalb die SVO-Reihenfolge wiederhergestellt wird.

„In der gesprochenen Sprache können Wörter keine visuellen Animationen erzeugen, Gesten hingegen schon“, bemerkt Schlenker. „Diese Arbeit an Gebärdensprachklassifizierern bietet eine neue Perspektive auf Gesten in der gesprochenen Sprache.“

Es ist eine alte Beobachtung, dass Sprecher verschiedener Sprachen in Sequenzen stiller Gesten (Pantomimen) vorzugsweise SOV verwenden, selbst wenn dies der Reihenfolge ihrer Muttersprache widerspricht, wie es im Englischen der Fall ist (das SVO ist). Die Autoren zeigen jedoch, dass diese SOV-Präferenz nur für Gesten des Typs „Aufessen“ gilt. Wenn Gesten des Typs „Ausspucken“ berücksichtigt werden, wird die SVO-Reihenfolge wiederhergestellt, genau wie bei ASL-Klassifikatoren. Und auch hier liegt die Erklärung darin, dass Gesten in der Reihenfolge erscheinen, die in einem Comic zu finden wäre.

In ihrer zweite StudieSchlenker und Lamberton fragen, wie die Bedeutungen von Standardzeichen und Klassifikatoren integriert werden. Seit den 1960er Jahren werde die Bedeutung von Sätzen mit logischen Methoden analysiert, erklären die Forscher. Einige haben kürzlich die These aufgestellt, dass es eine Logik bildlicher Darstellungen geben könne. Schlenker und Lamberton schlagen vor, dass die reichen Bedeutungskomponenten der Gebärdensprache durch die Kombination der Logik von Wörtern und der Logik bildhafter Darstellungen integriert werden.

Genauer gesagt besteht der „Klebstoff“ zwischen ihnen in der Vorstellung eines Blickwinkels, der der Position einer Videokamera entspricht: Die Kameraposition für die Animation, die den Weggang des Schülers darstellt, wird wahrscheinlich dem Blickwinkel des Lehrers entsprechen.

Es besteht jedoch eine beträchtliche Flexibilität bei der Manipulation von Blickwinkeln. Manchmal werden zwei Klassifikatoren, die im selben Satz vorkommen, hinsichtlich unterschiedlicher Blickwinkel ausgewertet, wie es der Fall ist, wenn ein Lehrer in einem Klassenzimmer Linguistik und in einem anderen Klassenzimmer Philosophie unterrichtet und darstellen möchte, wie ein Student den Philosophieunterricht schnell verlässt und ein anderer Student den Linguistikunterricht langsam: Jede Animation kann mit ihrer eigenen Kameraposition oder ihrem eigenen Blickwinkel versehen sein.

„Dies ist lediglich die Spitze des Eisbergs, denn die Manipulation des Blickwinkels kann noch ausgefeilter werden“, bemerkt Schlenker.

Auch hier bieten Gebärdensprachklassifizierer eine neue Perspektive auf Gesten in gesprochener Sprache. Während gesprochene Wörter keine visuellen Animationen erzeugen können, können Gesten dies. Und die Blickwinkelabhängigkeit von Gebärdensprachklassifizierern findet sich auch bei Gesten wieder, und zwar bis ins Detail.

Dies stehe im Einklang mit einer alten Idee, so die Schlussfolgerung der Autoren: „Während Sprache allein nicht mit der reichen ikonischen Komponente der Gebärdensprache mithalten kann, ist dies mit Sprache und Gesten manchmal möglich.“